• Artykuły
  • Forum
  • Ciekawostki
  • Encyklopedia
  • Entropia - teoria informacji



    Podstrony: 1 [2] [3]
    Przeczytaj także...
    Kodowanie Huffmana (ang. Huffman coding) – jedna z najprostszych i łatwych w implementacji metod kompresji bezstratnej. Została opracowana w 1952 roku przez Amerykanina Davida Huffmana.Nat (skr. od ang. natural unit "jednostka naturalna"; czasami także nit lub nepit, skr. od Neper unit "jednostka Nepera") – logarytmiczna jednostka miary ilości informacji. 1 nat jest ilością informacji zawartą w wiadomości o zajściu zdarzenia, którego prawdopodobieństwo równe jest 1/e. Ilość informacji wyraża się w postaci logarytmu naturalnego liczby możliwych wariantów zdarzenia.

    Entropia – średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości.

    Wzór na entropię zmiennej losowej o zbiorze wartości :

    Kodowanie arytmetyczne – metoda kodowania źródłowego dyskretnych źródeł sygnałów, stosowana jako jeden z systemów w bezstratnej kompresji danych. Została wynaleziona przez Petera Eliasa około 1960 roku.Entropia warunkowa – wartość używana w teorii informacji. Mierzy, ile wynosi entropia nieznanej zmiennej losowej Y, jeśli wcześniej znamy wartość innej zmiennej losowej X. Zapisuje się ją jako H ( Y | X ) {displaystyle H(Y|X),} i tak jak inne entropie mierzy w bitach.

    gdzie to prawdopodobieństwo zajścia zdarzenia , a to podstawa logarytmu. W teorii informacji najczęściej stosuje się logarytm o podstawie 2, wówczas jednostką entropii jest bit. Dla r=e jednostka ta nazywa się nat (nit), natomiast dla r=10 – dit lub hartley. W przypadku gdy dla pewnego wartość składnika jest przyjmowana jako 0, co jest zgodne z granicą:

    Claude Elwood Shannon (urodzony 30 kwietnia 1916 - zmarł 24 lutego 2001 po długotrwałych zmaganiach z chorobą Alzheimera) - amerykański matematyk i inżynier, profesor MIT. Jeden z twórców teorii informacji. Jako jeden z pierwszych pojął doniosłość kodu binarnego i już jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk.Kompresja danych (ang. data compression) – polega na zmianie sposobu zapisu informacji tak, aby zmniejszyć redundancję i tym samym objętość zbioru. Innymi słowy chodzi o wyrażenie tego samego zestawu informacji, lecz za pomocą mniejszej liczby bitów.

    W latach 60. węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest entropią Rényi.

    Informacja wzajemna – pojęcie z zakresu teorii informacji, będące miarą zależności pomiędzy dwiema zmiennymi losowymi. Zwykle podaje się ją w bitach, co oznacza, że wylicza się ją przy użyciu logarytmów o podstawie 2.Proces Markowa – ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym, procesy Markowa to takie procesy stochastyczne, które spełniają własność Markowa.

    Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli jakieś zdarzenie w zbiorze zdarzeń występuje z prawdopodobieństwem równym 1, to entropia układu wynosi wówczas 0, gdyż z góry wiadomo, co się stanie – nie ma niepewności.

    Własności entropii:

    Ban (czasem także hartley – oznaczenie Hart, określany też jako dit od decimal digit ) – logarytmiczna jednostka miary ilości informacji lub entropii. Jeden ban (hartley) to ilość informacji zawarta w wiadomości o zajściu zdarzenia, którego prawdopodobieństwo wynosi 0,1. Konstrukcja tej jednostki ilości informacji oparta jest na logarytmie o podstawie 10 (logarytm dziesiętny). Jednostką miary ilości informacji opartą na logarytmie o podstawie 2 jest bit, a na logarytmie o podstawie e (logarytm naturalny) – nat. Decyban jest jedną dziesiątą bana.Prawdopodobieństwo – ogólne określenie jednego z wielu pojęć służących modelowaniu doświadczenia losowego poprzez przypisanie poszczególnym zdarzeniom losowym liczb, zwykle z przedziału jednostkowego (w zastosowaniach często wyrażanych procentowo), wskazujących szanse ich zajścia. W rozumieniu potocznym wyraz „prawdopodobieństwo” odnosi się do oczekiwania względem rezultatu zdarzenia, którego wynik nie jest znany (niezależnie od tego, czy jest ono w jakimś sensie zdeterminowane, miało miejsce w przeszłości, czy dopiero się wydarzy); w ogólności należy je rozumieć jako pewną miarę nieprzewidywalności.
  • jest nieujemna;
  • jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same;
  • jest równa 0, gdy stany systemu przyjmują wartości tylko 0 albo tylko 1;
  • własność superpozycji – gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii;
  • jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi .
  • Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazało się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.

    Entropia – termodynamiczna funkcja stanu, określająca kierunek przebiegu procesów spontanicznych (samorzutnych) w odosobnionym układzie termodynamicznym. Entropia jest miarą stopnia nieuporządkowania układu. Jest wielkością ekstensywną. Zgodnie z drugą zasadą termodynamiki, jeżeli układ termodynamiczny przechodzi od jednego stanu równowagi do drugiego, bez udziału czynników zewnętrznych (a więc spontanicznie), to jego entropia zawsze rośnie. Pojęcie entropii wprowadził niemiecki uczony Rudolf Clausius.Alfréd Rényi (20 marca 1921 w Budapeszcie – 1 lutego 1970 tamże) – węgierski matematyk, który znacząco przyczynił się do rozwoju kombinatoryki, teorii grafów, teorii liczb i szczególnie probablilistyki. Ze względu na żydowskie pochodzenie przebywał w obozie pracy w 1944.

    Pojęcie entropii jest bardzo przydatne np. w dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i liczby znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne.

    Ilość informacji – wielkość ujmująca (przedstawiająca) ilościowo właściwość zmniejszania (usuwania) nieokreśloności (niepewności), czyli informację, termin używany w matematycznej teorii informacji.Histogram – jeden z graficznych sposobów przedstawiania rozkładu empirycznego cechy. Składa się z szeregu prostokątów umieszczonych na osi współrzędnych. Prostokąty te są z jednej strony wyznaczone przez przedziały klasowe (patrz: Szereg rozdzielczy) wartości cechy, natomiast ich wysokość jest określona przez liczebności (lub częstości, ewentualnie gęstość prawdopodobieństwa) elementów wpadających do określonego przedziału klasowego.

    Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.

    Spis treści

  • 1 Przykład
  • 2 Zobacz też
  • 3 Przypisy
  • 4 Linki zewnętrzne


  • Podstrony: 1 [2] [3]



    w oparciu o Wikipedię (licencja GFDL, CC-BY-SA 3.0, autorzy, historia, edycja)

    Warto wiedzieć że... beta

    Termodynamika – nauka o energii, dział fizyki zajmujący się badaniem energetycznych efektów wszelkich przemian fizycznych i chemicznych, które wpływają na zmiany energii wewnętrznej analizowanych układów. Wbrew rozpowszechnionym sądom termodynamika nie zajmuje się wyłącznie przemianami cieplnymi, lecz także efektami energetycznymi reakcji chemicznych, przemian z udziałem jonów, przemianami fazowymi, a nawet przemianami jądrowymi i energią elektryczną.
    W statystykach, współczynnik niepewności, nazywany również biegłością, entropią produktową (lub współczynnikiem entropii) oraz współczynnikiem Theila (U Theila), to miara asocjacji nominalnej (ang. measure of nominal association). Współczynnik ten został wprowadzony przez Henriego Theila. Jest oparty na koncepcji entropii informacji.
    Średnia ważona – średnia elementów, którym przypisywane są różne wagi (znaczenia) w ten sposób, że elementy o większej wadze mają większy wpływ na średnią. Jeżeli wszystkie wagi są takie same (wszystkie elementy tak samo znaczące), wówczas średnia ważona równa jest danej średniej. W różnych zastosowaniach średnia może być liczona w różny sposób (np. średnia arytmetyczna, geometryczna itd.) dlatego też konkretny wzór na średnią ważoną zależy od rodzaju średniej.
    Bit (w ang. kawałek, skrót od binary digit, czyli cyfra dwójkowa) – najmniejsza ilość informacji potrzebna do określenia, który z dwóch równie prawdopodobnych stanów przyjął układ. Jednostka logiczna.
    Teoria informacji – dyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Naukowo teoria informacji jest blisko powiązana z matematyką dyskretną, a z jej osiągnięć czerpią takie dyscypliny jak informatyka i telekomunikacja.
    Entropia metryczna – entropia (teoria informacji) znormalizowana przez długość wiadomości. Pozwala zmierzyć losowość informacji, ponieważ entropia Shannona wzrasta liniowo ze wzrostem długości wiadomości. Normalizacja przez długość wiadomości daje tą samą informację, ale jest niezależna od długości wiadomości.

    Reklama

    Czas generowania strony: 0.031 sek.