Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

TEORIE INFORMACE CLAUDE ELWOOD SHANNON 1916 - 2002.

Podobné prezentace


Prezentace na téma: "TEORIE INFORMACE CLAUDE ELWOOD SHANNON 1916 - 2002."— Transkript prezentace:

1 TEORIE INFORMACE CLAUDE ELWOOD SHANNON

2 2 LAICKÝ POHLED NA INFORMACI 4 SDĚLENÍ, ZPRÁVAZPRÁVA 4 JAZYKOVÝ PROJEV VYBUDOVANÝ NA PRINCIPU INFORMAČNÍHO SLOHOVÉHO POSTUPU, VE KTERÉM SE CO NEJOBJEKTIVNĚJI VĚCNĚ A DOKUMENTARISTICKY KONSTATUJÍ URČITÁ FAKTAFAKTA 4 ZNALOST SDÍLENÁ TÍM, ŽE SE KOMUNIKUJE - TO, CO MY VÍME (SDĚLITELNÁ ZNALOST)

3 3 4 VLASTNOST HMOTNÉ REALITY BÝT USPOŘÁDÁN A JEJÍ SCHOPNOST USPOŘÁDÁVAT (FORMA EXISTENCE HMOTY VEDLE PROSTORU, ČASU A POHYBU) (ZEMAN) 4 VNÍMATELNÝ OBSAH POZNANÉHO NEBO PŘEDPOKLÁDANÉHO OBRAZU SKUTEČNOSTI, KTERÝ JE MOŽNO VYUŽÍT PRO ŽIVOT ČLOVĚKA 4 POTENCIÁLNĚ KOMUNIKOVATELNÝ POZNATEK O OBJEKTIVNÍ REALITĚ 4 POZNATEK O URČITÉ SKUTEČNOSTI, PŘEDMĚTU NEBO JEVU ZACHYCENÉM VE ZPŘÍSTUPNITELNÉ FORMĚ VYUŽITELNÝ PŘI PŘIZPŮSOBOVÁNÍ SE ČLOVĚKA ŽIVOTNÍMU PROSTŘEDÍ (CIGÁNIK) 4 VÝZNAM PŘIŘAZENÝ OBRAZŮM, ÚDAJŮM A Z NICH UTVOŘENÝM LIDSKÝM CELKŮM. INFORMACE PŘEDSTAVUJE MÍRU USPOŘÁDANOSTI SYSTÉMŮ NA ROZDÍL OD ENTROPIE, TJ. MÍRY NEUSPOŘÁDANOSTI. FILOSOFICKÉ POJETÍ

4 4 4 OBSAH PROCESU LIDSKÉ KOMUNIKACE, ODEVZDÁVÁNÍ A PŘIJÍMÁNÍ OZNÁMENÍ, JEJICH PŘENOS OSOBNÍM KONTAKTEM, ZVUKEM, SIGNÁLEM A PROSTŘEDKY MASOVÉ KOMUNIKACE 4 KAŽDÝ ZNAKOVÝ PROJEV, KTERÝ MÁ SMYSL PRO KOMUNIKÁTORA I PŘÍJEMCE (LAMSER) 4 OBJEKTIVNÍ OBSAH KOMUNIKACE MEZI SOUVISEJÍCÍMI HMOTNÝMI OBJEKTY, PROJEVUJÍCÍ SE ZMĚNOU STAVU TĚCHTO OBJEKTŮ (BRILLOUIN) KOMUNIKAČNÍ POJETÍ

5 5 4 ENERGETICKÁ VELIČINA, JEJÍŽ HODNOTA JE ÚMĚRNÁ ZMENŠENÍ ENTROPIE SYSTÉMU 4 POZNATEK, KTERÝ OMEZUJE NEBO ODSTRAŇUJE NEJISTOTU TÝKAJÍCÍ SE VÝSKYTU URČITÉHO JEVU Z DANÉ MNOŽINY MOŽNÝCH JEVŮ 4 OBSAH ZPRÁVY, KTERÝ JE DEFINOVÁN JAKO ZÁPORNÝ DVOJKOVÝ LOGARITMUS JEJÍ PRAVDĚPODOBNOSTI MATEMATICKÝ PŘÍSTUP

6 6 TEORIE INFORMACE SOUČÁST KYBERNETIKY 4 DĚLÍ SE NA : 1. KÓDOVÁNÍ ZPRÁV 2. VYSÍLÁNÍ ZPRÁV 3. PŘENOS INFORMAČNÍM KANÁLEM 4. PŘÍJEM ZPRÁV U PŘÍJEMCE 5. DEKÓDOVÁNÍ ZPRÁV

7 7 OBECNÝ SDĚLOVACÍ ŘETĚZEC Měnič zprávy Měnič signálu Přenosová cesta Zpětný měnič signálu Zpětný měnič zprávy KÓDOVÁNÍMODULACE PŘENOS DEMODULACE DEKÓDOVÁNÍ ZDROJ ZPŘÍJEMCE Z RUŠENÍ VYSÍLACÍ ČÁSTPŘIJÍMACÍ ČÁSTPŘENOSOVÝ KANÁL SPOJ Z Z´ PUBLIKOVÁNO V ROCE 1955

8 8 PROCES PŘENOSU INFORMACE OD ZDROJE K PŘÍJEMCI ZDROJ PŘÍJEMCE INFORMACE/ZPRÁVA SIGNÁL FYZIKÁLNÍ VELIČINA V JEJÍŽ NĚKTERÝCH PARAMETRECH JE ZAKÓDOVÁNA ZPRÁVA ZPRÁVA SE ŠÍŘÍ DANÝM PROSTŘEDÍM DÍKY NOSIČI - SIGNÁLU

9 9 INFORMACE 4 SDĚLÍ POZNATEK, KTERÝ MÁ SMYSL A SNIŽUJE NEJISTOTU. INFORMACI CHÁPEME SÉMANTICKY, BĚŽNĚ TENTO POJEM POUŽÍVÁME V ŘEČI, ALE LZE JI DEFINOVAT I MATEMATICKY.

10 10 ZPRÁVA JE KOMBINACÍ ZNAKŮ Z ABECEDY USPOŘÁDANÝCH PODLE PRAVIDEL TAK, ABY BYLA SROZUMITELNÁ. ZPRÁVA MŮŽE, ALE NEMUSÍ BÝT INFORMACÍ. ZPRÁVA O VELMI PRAVDĚPODOBNÉM JEVU NESE V SOBĚ TEDY MÁLO INFORMACE A NAOPAK ZPRÁVA O MÁLO PRAVDĚPODOBNÉM JEVU OBSAHUJE VELKÉ MNOŽSTVÍ INFORMACE

11 11 KDY JE INFORMACE INFORMACÍ? 4 INFORMACE JE OBSAŽENA VE ZPRÁVĚ JEN TEHDY, JESTLIŽE U PŘÍJEMCE (PŘIJÍMAJÍCÍHO SUBJEKTU) ODSTRAŇUJE JISTÉ NEVĚDĚNÍ, TJ. MÁ URČITÉ NÁSLEDKY NA STAV PŘÍJEMCE. MÍROU TĚCHTO NÁSLEDKŮ JE MNOŽSTVÍ PŘIJATÉ INFORMACE. 4 PO PŘIJETÍ ZPRÁVY JE ZMĚNA STAVU PŘÍJEMCE TÍM VĚTŠÍ, ČÍM VĚTŠÍM JE PRO NĚHO INFORMACE PŘEKVAPENÍM. S ČÍM MENŠÍ PRAVDĚPODOBNOSTÍ ZPRÁVU OČEKÁVÁ, TÍM VĚTŠÍ MNOŽSTVÍ INFORMACE PRO NĚHO ZPRÁVA PŘEDSTAVUJE. MOHL-LI PŘÍJEMCE OČEKÁVAT ZPRÁVU S JISTOTOU, NEOBSAHUJE PRO NĚJ ŽÁDNOU INFORMACI. TZN. MNOŽSTVÍ INFORMACE VE ZPRÁVĚ SE CHÁPE VŽDY RELATIVNĚ, VZHLEDEM K URČITÉMU PŘÍJEMCI A K URČITÉ SITUACI. TÍM SE LIŠÍ ZPRÁVA OD INFORMACE, NEJDE O SYNONYMA

12 12 INFORMACE A ENTROPIE 4TEORIÍ INFORMACE SE ZABÝVAL AMERICKÝ FYZIK CLAUDE SHANNON (1916–2001) 4SHANNONOVA DEFINICE: INFORMACE JE MÍRA MNOŽSTVÍ NEURČITOSTI NEBO NEJISTOTY O NĚJAKÉM NÁHODNÉM DĚJI ODSTRANĚNÁ REALIZACÍ TOHOTO DĚJE A ZÍSKÁNÍM VÝSLEDKŮ. 4MNOŽSTVÍ INFORMACE VE ZPRÁVĚ TEDY MĚŘÍME PODLE TOHO, O KOLIK SE SNÍŽÍ NEURČITOST NEBO NEJISTOTA, KDYŽ ZPRÁVU PŘIJMEME A POCHOPÍME. 4PRO TUTO NEURČITOST POUŽIL SHANNON POJEM INFORMAČNÍ ENTROPIE. (AUTOREM POJMU ENTROPIE JE L. BOLTZMANN, ENTROPIE PŘEDSTAVUJE MÍRU NEUSPOŘÁDANOSTI SYSTÉMU.) 4ENTROPIE JE CHÁPÁNA JAKO MÍRA NEURČITOSTI, KTERÁ SE PO PŘIJETÍ ZPRÁVY ODSTRAŇUJE A VYJADŘUJE TAK MNOŽSTVÍ INFORMACE OBSAŽENÉ VE ZPRÁVĚ.

13 13 PŘÍKLADY ….KDY BUDE ZPRÁVA INFORMACÍ ??

14 14 DVOJÍ VÝZNAM INFORMACE SÉMANTICKÝ JAKÝ JE OBSAH ZPRÁVY SYNTAKTICKÝ JAKÁ JE FORMA ZPRÁVY TEORIE INFORMACE SE ZABÝVÁ POUZE SYNTAKTICKÝM POJETÍM A NEZAJÍMÁ JI SÉMATIKA.

15 15 REDUNDANCE MÍRA RELATIVNÍ NADBYTEČNOSTI INFORMACE POSKYTOVANÉ ZDROJEM. NADBYTEČNOST NENÍ BEZÚČELNÁ SLOUŽÍ K ZAKÓDOVÁNÍ ZPRÁVY. NAPŘ. ZDVOJENÍ ZPRÁVY, SAMOOPRAVNÉ KÓDY, PARITNÍ BITY. PŘÍKLADEM VYSOKÉ REDUNDANCE JE HOVOROVÁ ŘEČ (ASI 90 %). REDUNDANCI MUSÍME ZNOVU OBNOVIT

16 16 REDUNDANCE A IRELEVANCE VYJADŘUJÍ VŠEOBECNĚ NADBYTEČNOU INFORMACI V SIGNÁLU. TO ZNAMENÁ, ZE SIGNÁL, KTERÝ OBSAHUJE TYTO INFORMACE, SE NÁM JEVÍ STEJNĚ I PO ODSTRANĚNÍ TĚCHTO INFORMACÍ. REDUNDANTNÍ SLOŽKA TOTIŽ PŘEDSTAVUJE TU ČÁST INFORMACE, KTEROU KDYŽ ODSTRANÍME ZE SIGNÁLU, ZE ZBÝVAJÍCÍ ČÁSTI MŮŽEME REKONSTRUOVAT PŮVODNÍ SIGNÁL BEZ ZKRESLENÍ. NAPŘÍKLAD MĚJME SIGNÁL, KTERÝ JE REPREZENTOVÁN NÁSLEDUJÍCÍ SEKVENCÍ VZORKŮ S(N): S(N) = {5,5,5,5,5,5,5,5,2,2,2,2,2,2,2,2,3,3,3,3,3} TUTO SEKVENCI MŮŽEME JEDNOZNAČNĚ POPSAT I POMOCÍ KRATŠÍHO VYJÁDŘENÍ. NA ZÁKLADĚ TOHO SIGNÁL S(N) MŮŽE BÝT JEDNOZNAČNĚ VYJÁDŘEN POMOCÍ TŘÍ DVOJIC TAKTO : {5,8} {2,8} {3,5} Z TOHOTO KRATŠÍHO VYJÁDŘENÍ NA ZÁKLADĚ ZNALOSTI JEHO STRUKTURY (PRVNÍ ČÍSLO V DVOJICI ZNAMENÁ HODNOTU A DRUHÉ ČÍSLO POČET VZORKŮ) JE MOŽNÉ REKONSTRUOVAT SEKVENCI S(N), ANIŽ BYCHOM ZTRATILI NĚJAKOU INFORMACI.

17 17 IRELEVANCE IRELEVANTNÍ INFORMACE JE TA ČÁST INFORMACE, JEJÍŽ NEPŘÍTOMNOST JE NEPOSTŘEHNUTELNÁ V SIGNÁLU. SIGNÁL PŮVODNÍ A SIGNÁL S ODSTRANĚNOU IRELEVANTNÍ ČÁSTÍ SE NÁM JEVÍ STEJNĚ, I KDYŽ EXAKTNĚ STEJNÉ NEJSOU. NEPODSTATNOST IRELEVANCI UŽ OBNOVOVAT NEMUSÍME

18 18 f 1 kHz NA FREKVENCI 900 kHz ZAVEDEME DALŠÍ TÓN O NĚCO SLABŠÍ – NAŠE UCHO BUDE MÍT DOJEM, ŽE DRUHÝ TÓN TAM NENÍ… VYTVOŘENÍ MASKOVACÍHO PRAHU – JESTLIŽE JSME S JINÝMI TÓNY POD TÍMTO PRAHEM TAK JE NESLYŠÍME – NEDOKONALOST NAŠICH ORGÁNŮ VYSVĚTLENÍ IRELEVANCE IRELEVANCI UŽ OBNOVOVAT NEMUSÍME – NA PŘIJÍMACÍ STRANĚ BYCHOM JI STEJNĚ NEZAZNAMENALI

19 19 t VYSVĚTLENÍ IRELEVANCE V ČASOVÉ OBLASTI MASKOVACÍ EFEKT V ČASOVÉ OBLASTI POST MASKOVACÍ EFEKT PRE MASKOVACÍ EFEKT DOBA TRVÁNÍ TÓNU TÓN O NIŽŠÍ INTENZITĚ

20 20 KAPACITA KANÁLU 4 DEFINICE MAXIMÁLNÍ MNOŽSTVÍ INFORMACE, KTERÉ JE MOŽNO PŘENÉST ZA ČASOVOU JEDNOTKU. Z DEFINICE PLYNE, ŽE POJMU INFORMACE MUSÍME DÁT NĚJAKÝ KVANTITATIVNÍ SMYSL

21 21 PROBLÉM 4 CO KDYŽ SE NEDAŘÍ PŘENÉST ZPRÁVY ZE ZDROJE SE ZNÁMOU KAPACITOU ? JE CHYBA V KAPACITĚ KANÁLU NEBO V KÓDOVÁNÍ ? JE TŘEBA OHODNOTIT INFORMAČNÍ VYDATNOST ZDROJE A TO DĚLÁME POMOCÍ POJMU ENTROPIE.

22 22 ENTROPIE NEURČITOST, NEJISTOTA, NEUSPOŘÁDANOST, STŘEDNÍ HODNOTA MÍRY INFORMACE POTŘEBNÉ K ODSTRANĚNÍ NEURČITOSTI, KTERÁ JE DÁNA KONEČNÝM POČTEM VZÁJEMNĚ SE VYLUČUJÍCÍCH JEVŮ. INFORMACE DEFINOVÁNA POMOCÍ ENTROPIE – MÍRA URČITOSTI.

23 23

24 24 PŘÍKLADY PRO VYSVĚTLENÍ ENTROPIE 4 ENTROPIE URČITÉHO SYSTÉMU VYJADŘUJE MÍRU JEHO NEUSPOŘÁDANOSTI. PODLE NAŠÍ KAŽDODENNÍ ZKUŠENOSTI MÁ TATO NEUSPOŘÁDANOST STÁLÝ SKLON NARŮSTAT, PONECHÁME-LI VĚCI SAMI O SOBĚ. K TOMU ABYCHOM SE O TOM PŘESVĚDČILI, STAČÍ KDYŽ NA CHVÍLI PŘESTANEME OPRAVOVAT DŮM. NEPOŘÁDEK MŮŽEME ZMĚNIT NA POŘÁDEK (TŘEBA TÍM, ŽE VYMALUJEME), ALE VYŽADUJE TO VYNALOŽIT URČITÉ ÚSILÍ A ENERGII. TYTO MYŠLENKY JSOU PŘESNĚ FORMULOVÁNY VE DRUHÉ VĚTĚ TERMODYNAMICKÉ.

25 25 PŘÍKLADY PRO VYSVĚTLENÍ ENTROPIE 4 VE DRUHÉ VĚTĚ TERMODYNAMICKÉ SE ŘÍKÁ, ŽE ENTROPIE IZOLOVANÉHO SYSTÉMU NIKDY NEKLESÁ A ENTROPIE SYSTÉMU, KTERÝ VZNIKL SPOJENÍM DVOU JINÝCH SYSTÉMŮ, PŘEVYŠUJE SOUČET ENTROPIÍ JEDNOTLIVÝCH ČÁSTÍ. NAPŘ. SYSTÉM MOLEKUL PLYNU UZAVŘENÝCH V KRABICI.

26 26 ENTROPIE VERSUS ŠÁLEK 4 CHOVÁNÍ ŠÁLKŮ I VŠEHO OSTATNÍHO V NAŠEM SVĚTĚ SE OBVYKLE VYSVĚTLUJE TÍM, ŽE SAMOVOLNÉ SPOJOVÁNÍ ROZBITÝCH HRNEČKŮ JE V ROZPORU S DRUHOU VĚTOU TERMODYNAMICKOU. PODLE NÍ V KAŽDÉM UZAVŘENÉM SYSTÉMU NEUSPOŘÁDANOST ČI ENTROPIE S ČASEM VŽDY VZRŮSTÁ. JDE O JISTOU MODIFIKACI MURPHYHO ZÁKONA, ŽE VĚCI TVRDOŠÍJNĚ SPĚJÍ K HORŠÍMU KONCI. NEPORUŠENÝ ŠÁLEK NA STOLE PŘEDSTAVUJE VYSOCE USPOŘÁDANÝ STAV, ALE KDYŽ LEŽÍ ROZTŘÍŠTĚNÝ NA ZEMI, JE TO STAV NEUSPOŘÁDANÝ

27 27 PŘÍKLAD 1 4 MÁME 27 KULIČEK Z NICHŽ 1 JE TĚŽŠÍ. MÁME DVOURAMENNÉ VÁHY BEZ ZÁVAŽÍ. KOLIK VÁŽENÍ BUDE TŘEBA K URČENÍ TĚŽŠÍ KULIČKY ? 4 ŘEŠENÍ ….ENTROPIE ZÁKLADNÍHO POKUSU…….

28 28 4 VE TŘÍDĚ JE 32 ŽÁKŮ Z NICHŽ JEDEN MÁ NAROZENINY. JAKÝM MINIMÁLNÍM POČTEM OTÁZEK, NA KTERÉ MŮŽEME DOSTAT JEN ODPOVĚĎ ANO/NE ZJISTÍME, KTERÝ ŽÁK TO JE ? PŘÍKLAD 2

29 29 SMĚŠNÝMI 33 BITY LZE JEDNOZNAČNĚ IDENTIFIKOVAT VŠECHNY LIDI NA ZEMI.

30 30 SHANNONOVA VĚTA 4 KDYŽ JE ENTROPIE ZDROJE MENŠÍ, NEŽ KAPACITA KANÁLU, VŽDY EXISTUJE KÓD, KTERÝ UMOŽNÍ PŘENÉST ZPRÁVY ZE ZDROJE PŘES KANÁL A TO S DOSTATEČNOU PŘESNOSTÍ BEZ ZDRŽENÍ. CLAUDE ELWOOD SHANNON

31 31 OBRÁCENÁ SHONNONOVA VĚTA 4 KDYŽ ENTROPIE ZDROJE PŘEVYŠUJE KAPACITU KANÁLU, JE PŘESNÝ PŘENOS PŘES KANÁL BEZ ZDRŽENÍ NEMOŽNÝ

32 32 KVANTIFIKACE INFORMACE JAK POPSAT MNOŽSTVÍ INFORMACE VE ZPRÁVĚ ? JAKO POSLOUPNOS DOVOLENÝCH STAVŮ. V ABSTRAKTNÍM POJETÍ JE SIGNÁL MNOŽINOU PO SOBĚ JDOUCÍCH POVOLENÝCH STAVŮ (RESP. KOMBINACE STAVŮ) DANÉ FYZIKÁLNÍ VELIČINY.

33 33 KONKRETIZACE VARIACE S OPAKOVÁNÍM KDYŽ MÁME NAPŘ. 3 PRVKY 1,2,x, MŮŽEME Z NICH TVOŘIT SKUPINY TAK, ŽE PŘIPUSTÍME, ABY SE KAŽDÝ PRVEK V KAŽDÉ SKUPINĚ OPAKOVAL LIBOVOLNĚKRÁT. KDYŽ PŘITOM BEREME ZŘETEL NA POŘÁDEK, VE KTERÉM JSOU SESTAVENÉ PRVKY V JEDNOTLIVÝCH SKUPINÁCH, HOVOŘÍME O VARIACÍCH S OPAKOVÁNÍM. V k (n) = n k

34 34 PŘÍKLAD 1 MÁME 3 PRVKY CHCEME JE USPOŘÁDAT DO SKUPIN PO DVOU. KOLIK SKUPIN (VARIACÍ S OPAKOVÁNÍM) MŮŽEME SESTAVIT ? V 2 (3)=3 2

35 35 PŘÍKLAD Z TEORIE INFORMACE KVANTIFIKACE INFORMACE SIGNÁL JE SLOŽEN Z n KÓDOVÝCH SLOV „N“ INFORMAČNÍCH PRVKŮ (PRO N=2 HOVOŘÍME O BINÁRNÍ ABECEDĚ) N k = POČET POVOLENÝCH KÓDOVÝCH SLOV N Z = POČET NAVZÁJEM RŮZNÝCH ZPRÁV, KTERÉ JE MOŽNÉ SIGNÁLEM VYJÁDŘIT. N Z = N K n

36 36 PŘÍKLAD 2 TELEGRAM VYUŽÍVÁ 32-PRVKOVOU ABECEDU (N=32), KOLIK LZE SESTAVIT RŮZNÝCH TELEGRAMŮ O DÉLCE 50 ZNAKŮ (n=50). N Z =32 50 Z HLEDISKA SÉMANTICKÉHO, KTERÉ JE TEORIÍ INFORMACÍ IGNOROVÁNO, JE VŠAK VĚTŠINA Z TĚCHTO TELEGRAMŮ NESMYSLNÝCH.

37 37 SAMOSTATNÝ ÚKOL 1 KOLIK JE MOŽNÉ VYTVOŘIT RŮZNÝCH ZVUKOVÝCH KLIPŮ O PARAMETRECH KLIPU „ ZVUK MICROSOFT.WAV“. DÉLKA ZÁZNAMU 7,859 s, ZVUKOVÝ FORMÁT PCM, VZORKOVACÍ KMITOČET Hz KVANTOVÁNÍ NA 16 BITŮ.

38 38 ŘEŠENÍ N = 2 POČET INFORMAČNÍCH PRVKŮ N K =16 POČET POVOLENÝCH KÓDOVÝCH SLOV n = 7,859*22050= POČET KÓDOVÝCH SLOV(POČET VZORKŮ) N Z =(2 16 ) = V TOMTO POČTU JSOU KROMĚ ZNĚLKY WINDOWS ZAHRNUTY VŠECHNY MOŽNÉ SEGMENTY DANÉ DÉLKY VŠECH EXISTUJÍCÍCH HUDEBNÍCH NAHRÁVEK, I TĚCH KTERÉ TEPRVE BUDOU VYMYŠLENY..

39 39 SAMOSTATNÝ ÚKOL 2 ODHADNĚTE POČET RŮZNÝCH PŮLMINUTOVÝCH TELEFONNÍCH HOVORŮ. PŘEDPOKLÁDEJTE, ŽE TELEFONNÍ SIGNÁL JE KMITOČTOVĚ OMEZEN DO F M =3,4 kHz A PŘENÁŠEN TECHNIKOU PCM, TJ. VZORKOVÁN 8000 KRÁT ZA SEKUNDU, PŘIČEMŽ KAŽDÝ VZOREK JE KVANTOVÁN 8 BITY.

40 40 ŘEŠENÍ 2 N = 2 N K =2 8 = 256 n = 30*8000= N Z = RŮZNÝCH TELEFONNÍCH HOVORŮ

41 41 MĚŘENÍ MNOŽSTVÍ INFORMACE 4MNOŽSTVÍ INFORMACE OBSAŽENÉ VE ZPRÁVĚ TEDY MĚŘÍME MNOŽSTVÍM ODSTRANĚNÉ NEURČITOSTI (ENTROPIE). 4VELIKOST NEURČITOSTI (ENTROPIE) MŮŽEME SPOČÍTAT POMOCÍ NÁSLEDUJÍCÍHO VZORCE: KDE S JE POČET MOŽNOSTÍ (VARIANT) A P(XI) JE PRAVDĚPODOBNOST VÝSKYTU I-TÉ VARIANTY (100 % = 1).

42 42 PŘÍKLAD 4 POČÁTEČNÍ SITUACE: SOUTĚŽÍCÍ V TELEVIZNÍ SOUTĚŽI MÁ NA VÝBĚR ZE ČTYŘ ODPOVĚDÍ NA ZADANOU OTÁZKU. SPRÁVNOU ODPOVĚĎ VŠAK NEZNÁ A DOKONCE ANI ŽÁDNOU VARIANTU NEPREFERUJE. 4 NEJISTOTA SOUTĚŽÍCÍHO V ZADANÉ OTÁZCE: SPRÁVNÁ ODPOVĚĎ MŮŽE BÝT SE STEJNOU PRAVDĚPODOBNOSTÍ (P(X I ) = 0,25) KTERÁKOLIV ZE ČTYŘ NABÍDNUTÝCH. 4 HODNOTA INFORMAČNÍ ENTROPIE SOUTĚŽÍCÍHO:

43 43 PŘÍKLAD 4 NÁSLEDUJÍCÍ SITUACE: SOUTĚŽÍCÍ POŽÁDÁ O NÁPOVĚDU „50 NA 50“, TAKŽE MU ZBUDOU NA VÝBĚR 2 VARIANTY. 4 NEJISTOTA SOUTĚŽÍCÍHO V TÉTO SITUACI: SPRÁVNÁ ODPOVĚĎ MŮŽE BÝT SE STEJNOU PRAVDĚPODOBNOSTÍ (P(XI) = 0,5) KTERÁKOLIV ZE DVOU ZBÝVAJÍCÍCH. 4 HODNOTA INFORMAČNÍ ENTROPIE SOUTĚŽÍCÍHO: POTÉ, CO SE DOZVÍ SPRÁVNOU ODPOVĚĎ, KLESÁ HODNOTA NEURČITOSTI NA NULU.

44 44 ENTROPIE – ZJEDNODUŠENÝ VZOREC 4 ENTROPIE NABÝVÁ NEJVYŠŠÍ HODNOTY PŘI STEJNÉ PRAVDĚPODOBNOSTI VÝSKYTU PRVKŮ X I. POTOM PLATÍ: 4 NEJMENŠÍ JEDNOTKA MÍRY INFORMACE = NEURČITOST REALIZACE JEVU, KTERÝ MÁ JEN DVĚ MOŽNOSTI = 1 BIT (1 B).

45 45 MNOŽSTVÍ INFORMACE JEDNOTKOVÉ MNOŽSTVÍ INFORMACE JE 1 SHANNON SE ZKRATKOU Sh PRŮMĚRNÉ MNOŽSTVÍ INFORMACE PŘIPADAJÍCÍ NA JEDEN PRVEK ZPRÁVY (TZV. ENTROPIE) JE DÁNO VZTAHEM H = LOG 2 S S = POČET PRVKŮ ABECEDY ZDROJE Z NICHŽ KAŽDÝ MA STEJNOU PRAVDĚPODOBNOST VÝSKYTU.

46 46 LITERATURA 4 Biolek, D.: Datová komunikace- přednášky 2000 – Němec, K.: Datová komunikace. Skriptum VUT, VUTIUM Doc.Ing. Václav Žalud. CSc, Přednáška z předmětu „Mobilní komunikace“ ( )

47 47 OTÁZKY K OPAKOVÁNÍ 4 DO JAKÝCH SKUPIN SE DĚLÍ TEORIE INFORMACE 4 VYSVĚTLETE PROCES PŘENOSU INFORMACE OD ZDROJE K PŘÍJEMCI. 4 CO JE TO INFORMACE. CO JE TO ZPRÁVA. 4 VYSVĚTLETE DVOJÍ VÝZNAM INFORMACE. 4 CO JE TO REDUNDANCE. 4 CO JE TO KAPACITA KANÁLU 4 VYSVĚTLETE POJEM ENTROPIE VE VZTAHU K TEORII INFORMACE. 4 SHANNONOVA VĚTA VE VZTAHU K ENTROPII. 4 CO JE TO KVANTIFIKACE INFORMACE. 4 VARIACE S OPAKOVÁNÍM + PŘÍKLADY


Stáhnout ppt "TEORIE INFORMACE CLAUDE ELWOOD SHANNON 1916 - 2002."

Podobné prezentace


Reklamy Google