• Artykuły
  • Forum
  • Ciekawostki
  • Encyklopedia
  • Entropia - teoria informacji



    Podstrony: 1 [2] [3]
    Przeczytaj także...
    Kodowanie Huffmana (ang. Huffman coding) – jedna z najprostszych i łatwych w implementacji metod kompresji bezstratnej. Została opracowana w 1952 roku przez Amerykanina Davida Huffmana.Kodowanie arytmetyczne – metoda kodowania źródłowego dyskretnych źródeł sygnałów, stosowana jako jeden z systemów w bezstratnej kompresji danych. Została wynaleziona przez Petera Eliasa około 1960 roku.

    Entropia – średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości.

    Wzór na entropię zmiennej losowej o zbiorze wartości :

    Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej Y, jeśli wcześniej znamy wartość innej zmiennej losowej X. Zapisuje się ją jako H ( Y | X ) {displaystyle H(Y|X),} i tak jak inne entropie mierzy w bitach.Claude Elwood Shannon (urodzony 30 kwietnia 1916 - zmarł 24 lutego 2001 po długotrwałych zmaganiach z chorobą Alzheimera) - amerykański matematyk i inżynier, profesor MIT. Jeden z twórców teorii informacji. Jako jeden z pierwszych pojął doniosłość kodu binarnego i już jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk.

    gdzie to prawdopodobieństwo zajścia zdarzenia a to podstawa logarytmu. W teorii informacji najczęściej stosuje się logarytm o podstawie 2, wówczas jednostką entropii jest bit. Dla jednostka ta nazywa się nat (nit), natomiast dla dit lub hartley. W przypadku gdy dla pewnego wartość składnika jest przyjmowana jako 0, co jest zgodne z granicą:

    Kompresja danych (ang. data compression) – polega na zmianie sposobu zapisu informacji tak, aby zmniejszyć redundancję i tym samym objętość zbioru. Innymi słowy chodzi o wyrażenie tego samego zestawu informacji, lecz za pomocą mniejszej liczby bitów.Informacja wzajemna – pojęcie z zakresu teorii informacji, będące miarą zależności pomiędzy dwiema zmiennymi losowymi. Zwykle podaje się ją w bitach, co oznacza, że wylicza się ją przy użyciu logarytmów o podstawie 2.

    W latach 60. XX wieku węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest entropią Rényi.

    Nat (skr. od ang. natural unit "jednostka naturalna"; czasami także nit lub nepit, skr. od Neper unit "jednostka Nepera") – logarytmiczna jednostka miary ilości informacji. 1 nat jest ilością informacji zawartą w wiadomości o zajściu zdarzenia, którego prawdopodobieństwo równe jest 1/e. Ilość informacji wyraża się w postaci logarytmu naturalnego liczby możliwych wariantów zdarzenia.Library of Congress Control Number (LCCN) – numer nadawany elementom skatalogowanym przez Bibliotekę Kongresu wykorzystywany przez amerykańskie biblioteki do wyszukiwania rekordów bibliograficznych w bazach danych i zamawiania kart katalogowych w Bibliotece Kongresu lub u innych komercyjnych dostawców.

    Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli jakieś zdarzenie w zbiorze zdarzeń występuje z prawdopodobieństwem równym 1, to entropia układu wynosi wówczas 0, gdyż z góry wiadomo, co się stanie – nie ma niepewności.

    Własności entropii:

    Proces Markowa – ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie procesy stochastyczne, które spełniają własność Markowa.Ban (czasem także hartley – oznaczenie Hart, określany też jako dit od decimal digit ) – logarytmiczna jednostka miary ilości informacji lub entropii. Jeden ban (hartley) to ilość informacji zawarta w wiadomości o zajściu zdarzenia, którego prawdopodobieństwo wynosi 0,1. Konstrukcja tej jednostki ilości informacji oparta jest na logarytmie o podstawie 10 (logarytm dziesiętny). Jednostką miary ilości informacji opartą na logarytmie o podstawie 2 jest bit, a na logarytmie o podstawie e (logarytm naturalny) – nat. Decyban jest jedną dziesiątą bana.
  • jest nieujemna;
  • jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same;
  • jest równa 0, gdy stany systemu przyjmują wartości tylko 0 albo tylko 1;
  • własność superpozycji – gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii;
  • jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi
  • Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazało się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.

    Prawdopodobieństwo – ogólne określenie jednego z wielu pojęć służących modelowaniu doświadczenia losowego poprzez przypisanie poszczególnym zdarzeniom losowym liczb, zwykle z przedziału jednostkowego (w zastosowaniach często wyrażanych procentowo), wskazujących szanse ich zajścia. W rozumieniu potocznym wyraz „prawdopodobieństwo” odnosi się do oczekiwania względem rezultatu zdarzenia, którego wynik nie jest znany (niezależnie od tego, czy jest ono w jakimś sensie zdeterminowane, miało miejsce w przeszłości, czy dopiero się wydarzy); w ogólności należy je rozumieć jako pewną miarę nieprzewidywalności.Entropia – termodynamiczna funkcja stanu, określająca kierunek przebiegu procesów spontanicznych (samorzutnych) w odosobnionym układzie termodynamicznym. Entropia jest miarą stopnia nieuporządkowania układu. Jest wielkością ekstensywną. Zgodnie z drugą zasadą termodynamiki, jeżeli układ termodynamiczny przechodzi od jednego stanu równowagi do drugiego, bez udziału czynników zewnętrznych (a więc spontanicznie), to jego entropia zawsze rośnie. Pojęcie entropii wprowadził niemiecki uczony Rudolf Clausius.

    Pojęcie entropii jest bardzo przydatne np. w dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i liczby znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne.

    Alfréd Rényi (20 marca 1921 w Budapeszcie – 1 lutego 1970 tamże) – węgierski matematyk, który znacząco przyczynił się do rozwoju kombinatoryki, teorii grafów, teorii liczb i szczególnie probablilistyki. Ze względu na żydowskie pochodzenie przebywał w obozie pracy w 1944.Biblioteka Narodowa Francji (fr. Bibliothèque nationale de France, BnF) – francuska biblioteka narodowa, znajdująca się w Paryżu. Przewidziana jest jako repozytorium dla wszystkich materiałów bibliotecznych, wydawanych we Francji. Obecnym dyrektorem Biblioteki jest Bruno Racine.

    Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.

    Przykład[ | edytuj kod]

    W przypadku, gdy prawdopodobieństwa poszczególnych zdarzeń w zbiorze są równe, powyższy wzór można stosować w postaci uproszczonej:

    gdzie: oznacza wielkość zbioru. Przykładowo dla zbioru 26 liter alfabetu entropia każdej z nich wynosi około 4,7, więc ośmioznakowy ciąg liter wykorzystywany np. jako hasło będzie miał entropię 37,6.

    W statystykach, współczynnik niepewności, nazywany również biegłością, entropią produktową (lub współczynnikiem entropii) oraz współczynnikiem Theila (U Theila), to miara asocjacji nominalnej (ang. measure of nominal association). Współczynnik ten został wprowadzony przez Henriego Theila. Jest oparty na koncepcji entropii informacji.Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.

    Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:

    Jednakże jeśli moneta z jakieś przyczyny daje zafałszowany wynik (statystycznie częściej daje albo orła albo reszkę z określonym prawdopodobieństwem) mamy do czynienia z sytuacją, w której jest mniejsza niepewność (możemy łatwiej przewidzieć wynik). Objawia się to niższą entropią. Przykładowo, jeśli założymy, że z czterech rzutów wypadły 3 reszki to podstawiając do wzoru otrzymamy entropię równą 0,81. Idąc do ekstremum, przy czterech rzutach i 4 reszkach lub 4 orłach entropia osiąga minimum, czyli 0, ponieważ nie ma niepewności (wiemy co wydarzy się w następnym rzucie). Przedstawiony przykład jest skrajnie uproszczony i próba czterech rzutów jest za mała, aby wyciągać jakieś statystyczne wnioski, ale dobrze obrazuje problem.

    Histogram – jeden z graficznych sposobów przedstawiania rozkładu empirycznego cechy. Składa się z szeregu prostokątów umieszczonych na osi współrzędnych. Prostokąty te są z jednej strony wyznaczone przez przedziały klasowe (patrz: Szereg rozdzielczy) wartości cechy, natomiast ich wysokość jest określona przez liczebności (lub częstości, ewentualnie gęstość prawdopodobieństwa) elementów wpadających do określonego przedziału klasowego.Termodynamika – nauka o energii, dział fizyki zajmujący się badaniem energetycznych efektów wszelkich przemian fizycznych i chemicznych, które wpływają na zmiany energii wewnętrznej analizowanych układów. Wbrew rozpowszechnionym sądom termodynamika nie zajmuje się wyłącznie przemianami cieplnymi, lecz także efektami energetycznymi reakcji chemicznych, przemian z udziałem jonów, przemianami fazowymi, a nawet przemianami jądrowymi i energią elektryczną.

    Ogólniej każde źródło dające równie prawdopodobnych wyników ma bitów na symbol entropii:

    Ponadto inną miarą związaną z entropią Shannona jest entropia metryczna, która uwzględnia długość informacji (entropia dzielona jest przez długość wiadomości) i pozwala zmierzyć losowość informacji.

    Hiszpańska Biblioteka Narodowa (Biblioteca Nacional de España) – największa biblioteka w Hiszpanii i jedną z największych na świecie. Znajduje się w Madrycie, a dokładnie przy Paseo de Recoletos. Kontrola autorytatywna – w terminologii bibliotekoznawczej określenie procedur zapewniających utrzymanie w sposób konsekwentny haseł (nazw, ujednoliconych tytułów, tytułów serii i haseł przedmiotowych) w katalogach bibliotecznych przez zastosowanie wykazu autorytatywnego zwanego kartoteką wzorcową.


    Podstrony: 1 [2] [3]




    Warto wiedzieć że... beta

    Średnia ważona – średnia elementów, którym przypisywane są różne wagi (znaczenia) w ten sposób, że elementy o większej wadze mają większy wpływ na średnią. Jeżeli wszystkie wagi są takie same (wszystkie elementy tak samo znaczące), wówczas średnia ważona równa jest danej średniej. W różnych zastosowaniach średnia może być liczona w różny sposób (np. średnia arytmetyczna, geometryczna itd.) dlatego też konkretny wzór na średnią ważoną zależy od rodzaju średniej.
    Gemeinsame Normdatei (GND) – kartoteka wzorcowa, stanowiąca element centralnego katalogu Niemieckiej Biblioteki Narodowej (DNB), utrzymywanego wspólnie przez niemieckie i austriackie sieci biblioteczne.
    Bit (w ang. kawałek, skrót od binary digit, czyli cyfra dwójkowa) – najmniejsza ilość informacji potrzebna do określenia, który z dwóch równie prawdopodobnych stanów przyjął układ. Jednostka logiczna.
    Teoria informacji – dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Naukowo teoria informacji jest blisko powiązana z matematyką dyskretną, a z jej osiągnięć czerpią takie dyscypliny jak informatyka i telekomunikacja.
    Entropia metryczna – entropia (teoria informacji) znormalizowana przez długość wiadomości. Pozwala zmierzyć losowość informacji, ponieważ entropia Shannona wzrasta liniowo ze wzrostem długości wiadomości. Normalizacja przez długość wiadomości daje tą samą informację, ale jest niezależna od długości wiadomości.

    Reklama

    Czas generowania strony: 0.867 sek.