Entropia warunkowa

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania

Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej jeśli wcześniej znamy wartość innej zmiennej losowej Zapisuje się ją jako i tak jak inne entropie mierzy w bitach.

Całka Lebesgue’a – konstrukcja matematyczna rozszerzająca pojęcie całki Riemanna na szerszą klasę funkcji, wprowadzona w 1902 r. przez francuskiego matematyka Henriego Lebesgue’a. Rozszerzenie dotyczy także dziedziny, na której mogą być określone funkcje podcałkowe.Zmienna losowa – funkcja przypisująca zdarzeniom elementarnym liczby. Intuicyjnie: odwzorowanie przenoszące badania prawdopodobieństwa z niewygodnej przestrzeni probabilistycznej do dobrze znanej przestrzeni euklidesowej. Zmienne losowe to funkcje mierzalne względem przestrzeni probabilistycznych.

Intuicyjnie entropia ta mierzy, o ile entropia pary zmiennych i jest większa od entropii samej zmiennej czyli ile dodatkowej informacji dostajemy na podstawie zmiennej jeśli znamy zmienną

W statystykach, współczynnik niepewności, nazywany również biegłością, entropią produktową (lub współczynnikiem entropii) oraz współczynnikiem Theila (U Theila), to miara asocjacji nominalnej (ang. measure of nominal association). Współczynnik ten został wprowadzony przez Henriego Theila. Jest oparty na koncepcji entropii informacji.Zdarzenia losowe niezależne - zdarzenia A , B ∈ A {displaystyle A,Bin {mathcal {A}}} na pewnej ustalonej przestrzeni probabilistycznej ( Ω , A , P ) {displaystyle (Omega ,{mathcal {A}},P)} spełniające warunek

Definicja[ | edytuj kod]

Formalnie dla dyskretnych zmiennych losowych i entropia warunkowana przez może być zdefiniowana jako:

Bit (w ang. kawałek, skrót od binary digit, czyli cyfra dwójkowa) – najmniejsza ilość informacji potrzebna do określenia, który z dwóch równie prawdopodobnych stanów przyjął układ. Jednostka logiczna.Ciągły rozkład prawdopodobieństwa - rozkład prawdopodobieństwa dla którego dystrybuanta jest funkcją ciągłą. Stosowana jest też węższa definicja, przedstawiona poniżej w sekcji bezwzględna ciągłość.

gdzie:

Teoria informacji – dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Naukowo teoria informacji jest blisko powiązana z matematyką dyskretną, a z jej osiągnięć czerpią takie dyscypliny jak informatyka i telekomunikacja.

A zatem:

Wzór ten można zapisać również jako:

W przypadku ciągłych rozkładów sumowanie należy zastąpić przez całkowanie:

gdzie oznacza funkcję gęstości prawdopodobieństwa pary zmiennych, a jest gęstością prawdopodobieństwa

Alternatywnie tę samą definicję można zapisać jako

gdzie oznacza entropię produktową i a oznacza entropię

Jeśli i są niezależne, poznanie nie daje żadnych informacji o Wtedy entropia warunkowa jest po prostu równa entropii

Z drugiej strony, jeśli jest funkcją to poznanie całkowicie determinuje wartość Wtedy

Podstrony: 1 [2] [3]




Reklama