Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace.

Podobné prezentace


Prezentace na téma: "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."— Transkript prezentace:

1

2

3 1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace Základní pojmy – jednotka a zobrazení informace, informační hodnota Entropie – vlastnosti entropie Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu, způsoby boje proti šumu 4.Kódování Elementární teorie kódování Rovnoměrné kódy – telegrafní kód Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda 5.Bezpečností kódy Zabezpečující schopnosti kódů, Systematické kódy, Nesystematické kódy ZÁKLADY INFORMATIKY – Efektivní kódy ZÁKLADY INFORMATIKY – Efektivní kódy

4 Efektivní kódy

5 EFEKTIVNÍ KÓDY a i P(a i ) = p i n i U běžného kódování známe pravděpodobnosti výskytu znaku a i zdrojové abecedy P(a i ) = p i ale neznáme délky kódových slov n i. Musíme proto hledat délky kódových slov tak, aby průměrný počet kódových znaků připadajících na jeden zdrojový znak byl minimální. Takové kódy nazýváme : EFEKTIVNÍ nebo MINIMÁLNÍ.

6 Prvotní myšlenka efektivního kódu je založena na následujícím tvrzení: A={a 1, a 2,..., a N } P(a i ) = p i, i=1,..., N, n i Pro nezávislé vysílání znaků zdrojové abecedy A={a 1, a 2,..., a N } s pravděpodobností jednotlivých znaků P(a i ) = p i, i=1,..., N, zvolme délku kódového slova n i tak, že platí: Takové číslo existuje jediné a platí pro něj:

7 Příklad: 0.22, 0.2, 0.16, 0.16, 0.1, 0.1, 0.04, Zjistěte délku kódových slov, když zdrojová abeceda A má 8 znaků s pravděpodobnostmi výskytu 0.22, 0.2, 0.16, 0.16, 0.1, 0.1, 0.04, Musí platit: Délky kódových slov jsou: 3, 3, 3, 3, 4, 4, 5, 6.

8 Konstrukce kódu je stejná jako u nerovnoměrných kódů. Je zřejmé, že tímto způsobem nejde o konstrukci nejefektivnějšího kódu. ( ve stromě se nacházejí neobsazené volné uzly) 0.úroveň 1.úroveň 2.úroveň 3.úroveň 4.úroveň 5.úroveň 6.úroveň

9 Z důvodu možnosti porovnání kódů z hlediska úspornosti, byly zavedeny tyto proměnné: Průměrná délka kódového slova: Efektivnost kódu A={a 1, a 2,..., a N } P(a i ) = p i, i=1,..., N pro zdrojovou abecedu A={a 1, a 2,..., a N } s pravděpodobností jednotlivých znaků P(a i ) = p i, i=1,..., N je:

10 Pro předcházející příklad:

11 Tato metoda je nejpoužívanější metodou pro sestrojení minimálního (efektivního) kódu. algoritmus Pro sestrojení je třeba dodržet určitý postup - algoritmus

12 3.První skupině se přiřadí kódový znak 1 a druhé znak 0. 4.Každou podskupinu opět rozdělíme na dvě podskupiny s přibližně stejným součtem pravděpodobností. 5.Prvním podskupinám se přiřadí znak 1 a druhým 0. Tak získáme druhý kódový znak. 6.V dělení na skupiny pokračujeme dokud v každé podskupině nezůstane pouze jeden zdrojový znak. 2.Zdrojové znaky se rozdělí na dvě podskupiny tak, aby součet pravděpodobností v obou skupinách byl přibližně stejný. p i 1.Zdrojové znaky se uspořádají postupně podle pravděpodobnosti p i v klesajícím pořadí.

13 Příklad: Zjistěte délku kódových slov pomocí Shannonovy – Fanovy metody na základě předcházejícího zadání. n = 2, 3, 3, 3, 3, 3, 4, 4 = 2.84  = % a) znakyP(a i ) a5 a2 a8 a1 a3 a4 a7 a6 0,16 0,10 0,02 0,04 0,16 0,22 0,10 0,20 0,58 0, ,22 0,36 0,26 0, ,20 0,16 0,10 0, ,04 0, znakyP(a i ) a1 a2 a3 a4 a5 a6 a7 a8 0,22 0,20 0,16 0,10 0,04 0,02

14 n = 2, 2, 3, 3, 3, 4, 5, 5 = 2.80  = % znakyP(a i ) a5 a2 a8 a1 a3 a4 a7 a6 0,16 0,10 0,02 0,04 0,16 0,22 0,10 0,20 0,42 0, ,22 0,20 0,32 0, ,16 0,10 0, ,04 0, znakyP(a i ) a1 a2 a3 a4 a5 a6 a7 a8 0,22 0,20 0,16 0,10 0,04 0,02 b) 0,10 0, Zde je možné ověřit a vyzkoušet Shannon-Fanovu metodu.

15 nedává jednoznačný výsledek Tato metoda tedy nedává jednoznačný výsledek, ani z hlediska délky kódových slov, ani z hlediska efektivnosti. Na řešení má vliv subjektivní rozhodnutí řešitele. V programu je možné provést také porovnání s HUFFMANOVOU metodou ukázka vhodnosti jednotlivé metody

16 Tato matematická metoda konstrukce minimálního kódu je složitější než předchozí metoda, vede ale vždy ke kódu s maximální efektivnosti. algoritmus Pro sestrojení kódu podle této metody je třeba opět dodržet určitý postup - algoritmus

17 3. Znovu sečteme dvě poslední pravděpodobnosti a výsledek opět zařadíme podle velikosti. 1 4.Sečítání pravděpodobností provádíme tak dlouho, až dojdeme k součtu Posledním dvěma znakům přiřadíme kódové znaky 0 a Zpětným postupem přiřazujeme jednotlivým sčítancům vždy kódové znaky 0 a 1, dokud nepřiřadíme kódové znaky všem zdrojovým znakům. 2.Sečteme poslední dvě pravděpodobnosti a výsledek zařadíme podle velikosti mezi ostatní pravděpodobnosti - redukce. p i 1.Zdrojové znaky se uspořádají postupně podle pravděpodobnosti p i v klesajícím pořadí.

18 Příklad: Zjistěte délku kódových slov pomocí Huffmanovy metody na základě předcházejícího zadání. znakyP(a i ) a5 a2 a8 a1 a3 a4 a7 a6 0,16 0,10 0,02 0,04 0,16 0,22 0,10 0,20 znakyP(a i ) a1 a2 a3 a4 a5 a6 a7 a8 0,22 0,20 0,16 0,10 0,04 0,02 0,22 0,20 0,16 0,10 0,06 0,22 0,20 0,16 0,10 0,26 0,22 0,20 0,16 0,32 0,26 0,22 0,20 0,42 0,32 0,26 0,58 0,

19 = 2,8 Zde je možné ověřit a vyzkoušet HUFFMANOVU metodu. Podrobnější úvahou je možné zjistit, že ani Huffmanova konstrukce není jednoznačná. Pokud má více znaků stejnou pravděpodobnost, je řešení ovlivněno tím, kam se zařadí součty pravděpodobností (redukované znaky). Další výpočty k příkladu:

20 Příklad: Navrhněte kód pro zdrojovou abecedu, která obsahuje 7 symbolů a pravděpodobnosti výskytu jednotlivých symbolů jsou dány takto: 0,4 0,2 0,1 0,1 0,1 0,06 0,04. Použijte metodu Shannon–Fanovu i metodu Huffmanovu. Určete průměrnou délku kódového slova a efektivnost pro navržený kód. Sestrojte strom navrženého kódu.

21


Stáhnout ppt "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."

Podobné prezentace


Reklamy Google