Teoria informacji

Z Wikipedii, wolnej encyklopedii
Przejdź do nawigacji Przejdź do wyszukiwania

Teoria informacjidyscyplina zajmująca się problematyką informacji oraz metodami przetwarzania informacji, np. w celu transmisji lub kompresji. Teoria informacji jest blisko powiązana z matematyką, telekomunikacją, informatyką i elektrotechniką.

Claude Elwood Shannon (urodzony 30 kwietnia 1916 - zmarł 24 lutego 2001 po długotrwałych zmaganiach z chorobą Alzheimera) - amerykański matematyk i inżynier, profesor MIT. Jeden z twórców teorii informacji. Jako jeden z pierwszych pojął doniosłość kodu binarnego i już jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk.Transmisja – proces przesyłania dowolnej wiadomości lub ogólnie danych między nadawcą (nadajnikiem) a odbiorcą (odbiornikiem) zapisanej określonym, zrozumiałym dla obu stron kodem i po określonej drodze. Do transmisji mogą być wykorzystane media transmisyjne przewodowe lub bezprzewodowe.

Historia i charakterystyka teorii informacji[ | edytuj kod]

Za ojca teorii informacji uważa się Claude’a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku w swojej pracy zatytułowanej A Mathematical Theory of Cryptography. Natomiast w 1948 roku w kolejnej pracy pt. A Mathematical Theory of Communication przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość, jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku pracy Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.

Kompresja danych (ang. data compression) – polega na zmianie sposobu zapisu informacji tak, aby zmniejszyć redundancję i tym samym objętość zbioru. Innymi słowy chodzi o wyrażenie tego samego zestawu informacji, lecz za pomocą mniejszej liczby bitów.Entropia – w ramach teorii informacji jest definiowana jako średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości.

Ważne pojęcia teorii informacji:

  • Bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło (zob. wyższe jednostki informacji).
  • Entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach. Wzór na entropię to:
  • gdzie to prawdopodobieństwo zajścia zdarzenia a to wartościowanie kodu.

    Dyscyplina naukowa – część dziedziny naukowej, społecznie zorganizowana działalność badawcza nastawiona na wytwarzanie informacji (badania) oraz stosowania rezultatów tej działalności (teorie) w praktyce.Wydział Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego (WMIM UW, MIMUW) – wydział Uniwersytetu Warszawskiego kształcący w trybie dziennym na kierunkach:

    Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.

    Podstrony: 1 [2] [3]




    Warto wiedzieć że... beta

    Nationalencyklopedin – największa, szwedzka encyklopedia współczesna. Jej stworzenie było możliwe dzięki kredytowi w wysokości 17 mln koron, którego udzielił rząd szwedzki w 1980 roku i który został spłacony w 1990. Drukowana wersja składa się z 20 tomów i zawiera 172 tys. haseł. Wersja internetowa zawiera 260 tys. haseł (stan z czerwca 2005). Inicjatorem projektu był rząd szwedzki, który rozpoczął negocjacje z różnymi wydawcami. Negocjacje zakończyły się w 1985, kiedy na wydawcę został wybrany Bra Böcker z Höganäs. Encyklopedia miała uwzględniać kwestie genderowe i związane z ochroną środowiska. Pierwszy tom ukazał się w 1989 roku, ostatni w 1996. Dodatkowo w roku 2000 ukazały się trzy dodatkowe tomy. Encyklopedię zamówiło 54 tys. osób. W 1997 roku ukazało się wydanie elektroniczne na CD, a w 2000 pojawiło się wydanie internetowe, które jest uzupełniane na bieżąco.
    Library of Congress Control Number (LCCN) – numer nadawany elementom skatalogowanym przez Bibliotekę Kongresu wykorzystywany przez amerykańskie biblioteki do wyszukiwania rekordów bibliograficznych w bazach danych i zamawiania kart katalogowych w Bibliotece Kongresu lub u innych komercyjnych dostawców.
    Informacja (łac. informatio – przedstawienie, wizerunek; informare – kształtować, przedstawiać) – termin interdyscyplinarny, definiowany różnie w różnych dziedzinach nauki; najogólniej – właściwość pewnych obiektów, relacja między elementami zbiorów pewnych obiektów, której istotą jest zmniejszanie niepewności (nieokreśloności).
    Cambridge University Press – angielska oficyna wydawnicza, działająca od 1534 na mocy edyktu króla Henryka VIII. Jest najstarszym nieprzerwanie działającym wydawnictwem na świecie. Zajmuje się wydawaniem pozycji naukowych i edukacyjnych, adresowanych do odbiorców na całym świecie, w tym wydawnictwami z zakresu nauczania języka angielskiego jako obcego. Siedzibą wydawnictwa jest Cambridge; jego biura działają w Europie, Ameryce Północnej, Południowej, na Bliskim Wschodzie, w Afryce, Azji i Oceanii.
    Prawdopodobieństwo – ogólne określenie jednego z wielu pojęć służących modelowaniu doświadczenia losowego poprzez przypisanie poszczególnym zdarzeniom losowym liczb, zwykle z przedziału jednostkowego (w zastosowaniach często wyrażanych procentowo), wskazujących szanse ich zajścia. W rozumieniu potocznym wyraz „prawdopodobieństwo” odnosi się do oczekiwania względem rezultatu zdarzenia, którego wynik nie jest znany (niezależnie od tego, czy jest ono w jakimś sensie zdeterminowane, miało miejsce w przeszłości, czy dopiero się wydarzy); w ogólności należy je rozumieć jako pewną miarę nieprzewidywalności.
    Entropia – termodynamiczna funkcja stanu, określająca kierunek przebiegu procesów spontanicznych (samorzutnych) w odosobnionym układzie termodynamicznym. Entropia jest miarą stopnia nieuporządkowania układu. Jest wielkością ekstensywną. Zgodnie z drugą zasadą termodynamiki, jeżeli układ termodynamiczny przechodzi od jednego stanu równowagi do drugiego, bez udziału czynników zewnętrznych (a więc spontanicznie), to jego entropia zawsze rośnie. Pojęcie entropii wprowadził niemiecki uczony Rudolf Clausius.
    Informatyka – dyscyplina nauki zaliczana do nauk ścisłych oraz techniki zajmująca się przetwarzaniem informacji, w tym również technologiami przetwarzania informacji oraz technologiami wytwarzania systemów przetwarzających informację. Początkowo stanowiła część matematyki, później rozwinęła się do odrębnej dyscypliny – pozostaje jednak nadal w ścisłej relacji z matematyką, która dostarcza informatyce podstaw teoretycznych.

    Reklama