• Artykuły
  • Forum
  • Ciekawostki
  • Encyklopedia
  • Ilość informacji

    Przeczytaj także...
    Nat (skr. od ang. natural unit "jednostka naturalna"; czasami także nit lub nepit, skr. od Neper unit "jednostka Nepera") – logarytmiczna jednostka miary ilości informacji. 1 nat jest ilością informacji zawartą w wiadomości o zajściu zdarzenia, którego prawdopodobieństwo równe jest 1/e. Ilość informacji wyraża się w postaci logarytmu naturalnego liczby możliwych wariantów zdarzenia.Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej Y, jeśli wcześniej znamy wartość innej zmiennej losowej X. Zapisuje się ją jako H ( Y | X ) {displaystyle H(Y|X),} i tak jak inne entropie mierzy w bitach.
    Claude Elwood Shannon (urodzony 30 kwietnia 1916 - zmarł 24 lutego 2001 po długotrwałych zmaganiach z chorobą Alzheimera) - amerykański matematyk i inżynier, profesor MIT. Jeden z twórców teorii informacji. Jako jeden z pierwszych pojął doniosłość kodu binarnego i już jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk.

    Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.

    Ilościowym aspektem informacji zajmuje się statystyczno-syntaktyczna teoria informacji Hartleya i Shannona. Miary ilości informacji są w niej oparte na prawdopodobieństwie zajścia zdarzenia. Jako miarę ilości informacji przyjmuje się wielkość niepewności, która została usunięta w wyniku zajścia zdarzenia (otrzymania komunikatu). Zdarzenia (komunikaty) mniej prawdopodobne dają więcej informacji. To podejście pomija znaczenie (semantykę), jakie niesie komunikat, a skupia się jedynie na jego składni (syntaktyce).

    Statystyka (niem. Statistik, „badanie faktów i osób publicznych”, z łac. [now.] statisticus, „polityczny, dot. polityki”, od status, „państwo, stan”) – nauka, której przedmiotem zainteresowania są metody pozyskiwania i prezentacji, a przede wszystkim analizy danych opisujących zjawiska, w tym masowe.Entropia – w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości.

    Miary ilości informacji[]

    1. Ilość informacji otrzymanej przy zajściu zdarzenia (entropia tego zdarzenia, entropia indywidualna, samoinformacja komunikatu) to (Hartley 1928):

    Intuicyjnie, zdarzenie losowe to pewien zbiór możliwych wyników danego eksperymentu. Może to być zarówno zbiór składający się z pojedynczego wyniku, jak i zbiór złożony z większej ilości elementów. Zdarzenia losowe rozważa się w rachunku prawdopodobieństwa.Semantyka (semantyka logiczna) – obok syntaktyki i pragmatyki jeden z trzech działów semiotyki logicznej (taki podział semiotyki wprowadził Charles W. Morris), zajmujący się funkcjami semantycznymi, tj. relacjami między znakami (w tym zwłaszcza wyrażeniami) a rzeczywistością, do której znaki te się odnoszą. Tak rozumianą semantykę należy odróżnić od semantyki językoznawczej jako nauki o znaczeniu wyrazów (sam termin "semantyka" upowszechnił zresztą językoznawca, Michel Bréal) i semantyki ogólnej, nurtu filozofii języka; terminem "semantyka" określa się też niekiedy semiotykę logiczną jako całość.

    gdzie:

    Informacja wzajemna – pojęcie z zakresu teorii informacji, będące miarą zależności pomiędzy dwiema zmiennymi losowymi. Zwykle podaje się ją w bitach, co oznacza, że wylicza się ją przy użyciu logarytmów o podstawie 2.Podstawa logarytmu naturalnego, liczba e, liczba Eulera, liczba Nepera – stała matematyczna wykorzystywana w wielu dziedzinach matematyki i fizyki. W przybliżeniu wynosi 2,7182818, oznacza się ją literą e.
    – ilość informacji otrzymanej przy zajściu zdarzenia , – prawdopodobieństwo zajścia zdarzenia , r – podstawa logarytmu.

    W teorii informacji najczęściej stosuje się logarytm o podstawie r = 2, wówczas jednostką informacji jest bit (szanon). Przy r = e jednostką jest nat (nit), natomiast przy r = 10 – dit (hartley).

    Syntaktyka – jeden z trzech głównych działów semiotyki, obok semantyki i pragmatyki. Syntaktyka bada funkcje syntaktyczne – relacje, które zachodzą między wyrażeniami (znakami językowymi) wewnątrz języka i które mają charakter formalny. Podstawowe relacje syntaktyczne to np. implikacja (wynikanie) czy reprezentowanie stałych przez zmienne.Informacja (łac. informatio – przedstawienie, wizerunek; informare – kształtować, przedstawiać) – termin interdyscyplinarny, definiowany różnie w różnych dziedzinach nauki; najogólniej – właściwość pewnych obiektów, relacja między elementami zbiorów pewnych obiektów, której istotą jest zmniejszanie niepewności (nieokreśloności).

    2. Przeciętna ilość informacji przypadająca na zajście zdarzenia z pewnego zbioru n zdarzeń (entropia bezwarunkowa tego zbioru, entropia zmiennej losowej, entropia przeciętna, przeciętna samoinformacja komunikatu) to średnia arytmetyczna ważona ilości informacji otrzymywanej przy zajściu poszczególnych zdarzeń, gdzie wagami są prawdopodobieństwa tych zdarzeń (Shannon 1948):

    Ban (czasem także hartley – oznaczenie Hart, określany też jako dit od decimal digit ) – logarytmiczna jednostka miary ilości informacji lub entropii. Jeden ban (hartley) to ilość informacji zawarta w wiadomości o zajściu zdarzenia, którego prawdopodobieństwo wynosi 0,1. Konstrukcja tej jednostki ilości informacji oparta jest na logarytmie o podstawie 10 (logarytm dziesiętny). Jednostką miary ilości informacji opartą na logarytmie o podstawie 2 jest bit, a na logarytmie o podstawie e (logarytm naturalny) – nat. Decyban jest jedną dziesiątą bana.Prawdopodobieństwo – ogólne określenie jednego z wielu pojęć służących modelowaniu doświadczenia losowego poprzez przypisanie poszczególnym zdarzeniom losowym liczb, zwykle z przedziału jednostkowego (w zastosowaniach często wyrażanych procentowo), wskazujących szanse ich zajścia. W rozumieniu potocznym wyraz „prawdopodobieństwo” odnosi się do oczekiwania względem rezultatu zdarzenia, którego wynik nie jest znany (niezależnie od tego, czy jest ono w jakimś sensie zdeterminowane, miało miejsce w przeszłości, czy dopiero się wydarzy); w ogólności należy je rozumieć jako pewną miarę nieprzewidywalności.

    gdzie:

    Zmienna losowa – funkcja przypisująca zdarzeniom elementarnym liczby. Intuicyjnie: odwzorowanie przenoszące badania prawdopodobieństwa z niewygodnej przestrzeni probabilistycznej do dobrze znanej przestrzeni euklidesowej. Zmienne losowe to funkcje mierzalne względem przestrzeni probabilistycznych.Jednostki informacji – najmniejszą jednostką informacji jest bit. Skróconym symbolem bitu jest b. Wyższe jednostki to:
    H(X) – entropia bezwarunkowa zbioru X, n – liczba zdarzeń w zbiorze, pi – prawdopodobieństwo zajścia zdarzenia xi.

    3. Ilość informacji o zdarzeniach ze zbioru X (wartościach zmiennej losowej X), np. komunikatach nadanych (stanach źródła informacji), zawarta w zdarzeniach ze zbioru Y (wartościach zmiennej losowej Y), np. komunikatach odebranych (stanach odbiorcy), tzw. informacja wzajemna, albo po prostu ilość informacji o X zawarta w Y, równa jest różnicy pomiędzy entropią bezwarunkową zbioru X (entropią źródła) a entropią zbioru X, jaka pozostaje po odebraniu komunikatu ze zbioru Y (entropią warunkową X pod warunkiem Y):

    Bit (w ang. kawałek, skrót od binary digit, czyli cyfra dwójkowa) – najmniejsza ilość informacji potrzebna do określenia, który z dwóch równie prawdopodobnych stanów przyjął układ. Jednostka logiczna.Teoria informacji – dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Naukowo teoria informacji jest blisko powiązana z matematyką dyskretną, a z jej osiągnięć czerpią takie dyscypliny jak informatyka i telekomunikacja.

    gdzie: I(X;Y) – informacja wzajemna Y o X, H(X) – entropia bezwarunkowa zbioru (zmiennej) X, H(X|Y) – entropia warunkowa X pod warunkiem Y.

    Innymi słowy, dotyczy informacji dostarczonej przez zmienną o zmiennej .

    Gdy odebrany komunikat zmniejsza nieokreśloność X do zera (), ilość przekazanej informacji jest równa entropii źródła . Także (zawartość informacji w źródle, w zmiennej losowej, samoinformacja), gdyż .

    Przypisy

    1. Stefan Mynarski, Elementy teorii systemów i cybernetyki, 1979 s. 155.
    2. szanon – Encyklopedia PWN.
    3. Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 156.
    4. Stefan Mynarski Elementy teorii systemów i cybernetyki 1979 s. 159.
    5. A.M. Jagłom, I.M. Jagłom, Prawdopodobieństwo i informacja, 1963 s. 91.



    w oparciu o Wikipedię (licencja GFDL, CC-BY-SA 3.0, autorzy, historia, edycja)

    Reklama

    Czas generowania strony: 0.029 sek.