• Artykuły
  • Forum
  • Ciekawostki
  • Encyklopedia
  • Teoria informacji



    Podstrony: 1 [2] [3]
    Przeczytaj także...
    Model statystyczny – hipoteza lub układ hipotez, sformułowanych w sposób matematyczny (odpowiednio w postaci równania lub układu równań), który przedstawia zasadnicze powiązania występujące pomiędzy rozpatrywanymi zjawiskami rzeczywistymi.Claude Elwood Shannon (urodzony 30 kwietnia 1916 - zmarł 24 lutego 2001 po długotrwałych zmaganiach z chorobą Alzheimera) - amerykański matematyk i inżynier, profesor MIT. Jeden z twórców teorii informacji. Jako jeden z pierwszych pojął doniosłość kodu binarnego i już jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk.

    Teoria informacjidyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Teoria informacji jest blisko powiązana z matematyką, telekomunikacją, informatyką i elektrotechniką.

    Historia i charakterystyka teorii informacji[ | edytuj kod]

    Za ojca teorii informacji uważa się Claude’a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku w swojej pracy zatytułowanej A Mathematical Theory of Cryptography. Natomiast w 1948 roku w kolejnej pracy pt. A Mathematical Theory of Communication przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość, jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku pracy Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.

    Transmisja – proces przesyłania dowolnej wiadomości lub ogólnie danych między nadawcą (nadajnikiem) a odbiorcą (odbiornikiem) zapisanej określonym, zrozumiałym dla obu stron kodem i po określonej drodze. Do transmisji mogą być wykorzystane media transmisyjne przewodowe lub bezprzewodowe.Kompresja danych (ang. data compression) – polega na zmianie sposobu zapisu informacji tak, aby zmniejszyć redundancję i tym samym objętość zbioru. Innymi słowy chodzi o wyrażenie tego samego zestawu informacji, lecz za pomocą mniejszej liczby bitów.

    Ważne pojęcia teorii informacji:

  • Bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło (zob. wyższe jednostki informacji).
  • Entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach. Wzór na entropię to:
  • gdzie to prawdopodobieństwo zajścia zdarzenia a to wartościowanie kodu.

    Entropia – w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości.Dyscyplina naukowa – część dziedziny naukowej, społecznie zorganizowana działalność badawcza nastawiona na wytwarzanie informacji (badania) oraz stosowania rezultatów tej działalności (teorie) w praktyce.

    Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.

    Podstrony: 1 [2] [3]




    Warto wiedzieć że... beta

    Wydział Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego (WMIM UW, MIMUW) – wydział Uniwersytetu Warszawskiego kształcący w trybie dziennym na kierunkach:
    Informacja (łac. informatio – przedstawienie, wizerunek; informare – kształtować, przedstawiać) – termin interdyscyplinarny, definiowany różnie w różnych dziedzinach nauki; najogólniej – właściwość pewnych obiektów, relacja między elementami zbiorów pewnych obiektów, której istotą jest zmniejszanie niepewności (nieokreśloności).
    Prawdopodobieństwo – ogólne określenie jednego z wielu pojęć służących modelowaniu doświadczenia losowego poprzez przypisanie poszczególnym zdarzeniom losowym liczb, zwykle z przedziału jednostkowego (w zastosowaniach często wyrażanych procentowo), wskazujących szanse ich zajścia. W rozumieniu potocznym wyraz „prawdopodobieństwo” odnosi się do oczekiwania względem rezultatu zdarzenia, którego wynik nie jest znany (niezależnie od tego, czy jest ono w jakimś sensie zdeterminowane, miało miejsce w przeszłości, czy dopiero się wydarzy); w ogólności należy je rozumieć jako pewną miarę nieprzewidywalności.
    Entropia – termodynamiczna funkcja stanu, określająca kierunek przebiegu procesów spontanicznych (samorzutnych) w odosobnionym układzie termodynamicznym. Entropia jest miarą stopnia nieuporządkowania układu. Jest wielkością ekstensywną. Zgodnie z drugą zasadą termodynamiki, jeżeli układ termodynamiczny przechodzi od jednego stanu równowagi do drugiego, bez udziału czynników zewnętrznych (a więc spontanicznie), to jego entropia zawsze rośnie. Pojęcie entropii wprowadził niemiecki uczony Rudolf Clausius.
    Złożoność Kołmogorowa – dla łańcucha symboli, skończonego lub nieskończonego, to długość najkrótszego programu, który generuje dany łańcuch. Nazwa pojęcia pochodzi od nazwiska Andrieja Kołmogorowa.
    Jednostki informacji – najmniejszą jednostką informacji jest bit. Skróconym symbolem bitu jest b. Wyższe jednostki to:
    Kod (łac. codex – spis) – ciąg składników sygnału (kombinacji sygnałów elementarnych, np. kropek i kresek, impulsów prądu, symboli) oraz reguła ich przyporządkowania składnikom wiadomości (np. znakom pisma). W niektórych zastosowaniach, głównie przy przesyłaniu informacji podlegających utajnieniu, zwany jest szyfrem. Kody są stosowane m.in. w telegrafii, w technice cyfrowej.

    Reklama

    Czas generowania strony: 0.013 sek.