Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace.

Podobné prezentace


Prezentace na téma: "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."— Transkript prezentace:

1

2

3 1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace Základní pojmy – jednotka a zobrazení informace, informační hodnota Entropie – vlastnosti entropie Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu, způsoby boje proti šumu 4.Kódování Elementární teorie kódování Rovnoměrné kódy – telegrafní kód Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda 5.Bezpečností kódy Zabezpečující schopnosti kódů, Systematické kódy, Nesystematické kódy ZÁKLADY INFORMATIKY – Entropie ZÁKLADY INFORMATIKY – Entropie

4 ENTROPIE děje v přírodě dělíme na : deterministické – neurčitost rovna nule náhodné – jistá míra neurčitosti – velikost neurčitosti závisí na celkovém počtu možných výsledků a na pravděpod. výskytu jednotlivých výsledků Míra neurčitostiH i p i Míra neurčitosti i-tého výsledku H i pak bude funkcí pravděpodobnosti p i H i =f(p i ) platí: a)f(1) = 0 b)f(p i ) je monotónní klesající funkcí pravděpodobnosti p i, tj. f(p i ) p j

5 Jediná funkce, která těmto podmínkám vyhovuje, je funkce logaritmického tvaru: H i = c. log p i Entropie je tedy míra neurčitosti v nějaké zprávě X o daném systému. Tato míra neurčitosti se po příjmu zprávy odstraňuje a tím se vyjádří míra získané informace. Při růstu informace klesá entropie a naopak. kde c je libovolná konstanta ( když c = -1 pak H kladné)

6 Entropii náhodné veličiny můžeme chápat i jako průměrné množství informace, které získáme, vykonáme-li několik nezávislých opakování náhodné veličiny. Je to vlastně střední hodnota náhodné veličiny. Entropie zprávy X je: Shannonův vzorec

7 pak ENTROPIE: Ze zadání vyplývá konkrétní konečné schéma: Příklad: Oblíbeným demonstračním příkladem je házení hrací kostkou se šesti stěnami. Může nastat jeden ze šesti stavů, tj. hodíme jedničku, nebo dvojku, nebo... nebo šestku. Všechny možnosti mají stejnou pravděpodobnost výskytu = 1/6. Jaká je entropie výsledku hodu kostkou?

8 Xnx i p i Entropie náhodné veličiny X, která nabývá n hodnot x i s příslušnými pravděpodobnostmi p i, má tyto základní vlastnosti: Entropie je spojitá a nezáporná funkce – všechny náhodné procesy mají nezápornou neurčitost. H(X)  0 Entropie je rovna nule tehdy, když pravděpodobnost výskytu některého znaku x i je : p(x i ) = 1  p(x j ) = 0 pro všechny i  j. Není jednoznačnou funkcí svých argumentů. Jsou-li pravděpodobnosti výskytu jednotlivých stavů stejné má zpráva maximální entropii. H(X)  H(1/n, 1/n,….1/n) = log 2 n = max H(X) Vlastnosti entropie Vlastnosti entropie

9 Často se vyjadřuje průměrná entropie systému jako míra průměrné neurčitosti jednoho stavu systému. p 1, p 2,.....,p n Může-li systém nabývat n možných stavů s pravděpodobnostmi p 1, p 2,.....,p n pak průměrná entropie je rovna: p 1 = p 2 =...=p n = 1/n pro p 1 = p 2 =...=p n = 1/n pak platí: H(X) = -log 2 1/n = log 2 n = max H(X)

10 – redundance (nadbytečnost) zdroje Je-li skutečná entropie menší než maximální, znamená to, že zdroj se plně nevyužívá – redundance (nadbytečnost) zdroje X H X XH’ x = 0 Mějme nějaký systém X. Než dostaneme zprávu o jeho stavu je jeho entropie H X. Po obdržení přesné zprávy o stavu systému X je jeho entropie H’ x = 0. je rovno entropii tohoto systému. Množství informace, které dostaneme ve zprávě sdělující nám přesný stav nějakého systému je rovno entropii tohoto systému. I X X Informace I X o systému X, kterou jsme získali, je:  -  - relativní entropie, nebo-li účinnost zdroje

11 Graficky si znázorníme závislost entropie dané náhodné veličiny na Pravděpodobnosti p  0, 1 . A vynesení výsledku příkladu: p 0.5 H 1 1 0, ,3 pro: p=0,3 H(A )= -0,3 log 2 0,3 - (1-0,3) log 2 (1-0,3) 0, ,360201= 0, Příklad: Znázorněte graficky závislost entropie náhodné veličiny, která nabývá dvě možné hodnoty A={a 1, a 2 } na pravděpodobnosti p. (přičemž P(a 1 )=p, P(a 2 )=1-p ). Vypočtěte hodnotu entropie pro p=0.3. H(A ) = -p log 2 p - (1-p) log 2 (1-p) Pro entropii takového systému platí: H(A ) = -p log 2 p - (1-p) log 2 (1-p)

12 Pravděpodobnost uvedených světelných signálů, uvádí následující tabulka: XČŽZ PkPk 0,40,20,41 H(X) = - 0,4 lb 0,4 – 0,2 lb 0,2 – 0,4 lb 0,4 = Řešení: = 0, , ,5288 = 1,522(bit) Příklad: Světelný semafor vysílá červený, zelený a žlutý signál, přičemž červený a zelený signál svítí vždy 40s, kdežto žlutý signál, který vždy odděluje zbývající 2 signály, svítí jen 20s. Určete entropii H náhodné veličiny X výskytu barvy signálu.

13 Příklad: (4.3 – podklady) Máme dvě urny, z nichž každá obsahuje 20 koulí. V prvním osudí je 10 bílých, 5 červených a 5 žlutých koulí. V druhém osudí je 8 bílých, 8 červených a 4 žluté koule. Z každé urny vytáhneme jednu kouli. O kterém z těchto dvou pokusů lze tvrdit, že jeho výsledek je méně neurčitý? Barva vytažené koule bíláčervenážlutá Pravděpodobnost vytažení dané koule při 1. pokusu 0,50,25 1 Pravděpodobnost vytažení dané koule při 2. pokusu 0,4 0,21 Pro entropie jednotlivých pokusů dostaneme: H 1 = -0,5 lb 0,5 - 0,25 lb 0,25 - 0,25 lb 0,25 = 0,50 + 0,5 + 0,5 = 1,50 bit H 2 = -0,4 lb 0,4 - 0,4 lb 0,4 - 0,2 lb 0,2 = 0, , ,4644 = 1,522 bit Výsledek 1.pokusu je tedy méně neurčitý.

14 Příklad: (4.4 – podklady) Podle dlouholetých zkušeností bylo v místě N zjištěno, že pravděpodobnost výskytu deště 15. června je p 1 =0,4; kdežto pravděpodobnost, že nebude uvedeného dne pršet, je p 2 =0,6. Podobně v témže místě N pravděpodobnost výskytu srážek (tj. deště nebo sněžení 15. listopadu je q 1 =0,80, kdežto pravděpodobnost, že 15. listopad bude beze srážek, je q 2 = 0,20. Zajímá-li nás při počasí jen výskyt srážek, máme určit, který z obou dnů má určitější počasí. Řešení: Pro 15. červen je entropie: H 1 = -0,4 lb 0,4 - 0,6 lb 0,6 = 0,971 bit Pro 15. listopad je entropie: H 2 = -0,8 lb 0,8 - 0,2 lb 0,2 = 0,7219 bit Počasí 15. listopadu je v daném případě méně neurčité než počasí 15. června neboť H 2 < H 1.

15 Příklad: (str. 38 – skripta Zelinka) Mějme abecedu A, B, C, D. Text sestavený z těchto abeced má 800 písmen. Předpokládejme, že A se vyskytuje 400 krát, B – 200 krát, C a D – 100 krát. Jaká je entropie takové abecedy? Jaká je redundance? Řešení: Pravděpodobnost výskytu jednotlivých písmen je dána takto: P(A)=1/2, P(B)=1/4, P(C)=P(D)=1/8. Entropie abecedy je pak dána: Pro výpočet redundance je zapotřebí určit maximální entropii dané abecedy. Abeceda bude mít maximální entropii tehdy, budou-li pravděpodobnosti výskytu jednotlivých stavů stejné. Tzn. P(A)=P(B)=P(C)=P(D)=1/4 Maximální entropie abecedy je pak dána: Redundance je pak dána:

16 Jsou-li podsystémy X, Y vzájemně nezávislé, platí: H XY = H X + H Y XY x 1,.....,x n y 1,.....y m XY (x i, y j )n x m. V praxi často potřebujeme určit entropii systému, který je tvořen z několika podsystémů. Např. dva podsystémy X a Y, které mohou nabývat stavy: x 1,.....,x n resp. y 1,.....y m, sloučené do jednoho systému XY, který teď může nabývat stavy (x i, y j ). Počet stavů tohoto systému je n x m. Pravděpodobnost daného stavu je Jsou-li podsystémy X, Y vzájemně závislé, platí: H XY = H X + H Y|X = H Y + H X|Y Entropie složeného systému XY je pak dána:

17


Stáhnout ppt "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."

Podobné prezentace


Reklamy Google