Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace.

Podobné prezentace


Prezentace na téma: "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."— Transkript prezentace:

1

2

3 1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace Základní pojmy – jednotka a zobrazení informace, informační hodnota Entropie – vlastnosti entropie Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu, způsoby boje proti šumu 4.Kódování Elementární teorie kódování Rovnoměrné kódy – telegrafní kód Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda 5.Bezpečností kódy Zabezpečující schopnosti kódů, Systematické kódy, Nesystematické kódy ZÁKLADY INFORMATIKY – Pojem informace ZÁKLADY INFORMATIKY – Pojem informace

4 INFORMACE INFORMACE pojem INFORMACE: slovo informace pochází z latiny a znamená „uvádět ve tvar”. Je to pojem velmi široký a těžko se definuje. Přesná definice neexistuje a asi nikdy existovat nebude. Rozeznáváme informace různého typu: - vědeckotechnické (odborné časopisy…) - ekonomické (ekonomické…) - normotvorné (technické formy…) - technické (napětí v rozvodné síti…) - sociální (výsledky sčítání lidu…) - politické (denní tisk…)

5 Informace na nás útočí různými FORMAMI: - verbálními (telefonní sdělení) - textovými (osobní formulář) - numerickými (účet za plyn) - obrazovými (televizní zpravodajství) V praxi existují různé DRUHY informací: (literatura je třídí do protikladných dvojic) 1. NOVÁ-STARÁ  význam zprávy časem klesá 2. ORIGINÁLNÍ–REPRODUKOVANÁ  prvotní informace-originální  dále reprodukovaná 3. POTENCIÁLNÍ–AKTUÁLNÍ  záleží na bezprostřední použitelnosti

6 4. VNITŘNÍ-VNĚJŠÍ - Vnitřní informace se vztahuje k tomu, co je stálé a souvisí s vnitřním uspořádáním – se strukturou systému ( genetické informace ). - Vnější informace je spojena s vnějším projevem každého systému, s řídícími a komunikačními funkcemi (statistická data o podniku)

7 Jedním ze základních kritérií úspěšnosti informačního systému je reprezentace informací v minimálním fyzickém objemu. - Proto se data různě komprimují a kódují. - Protikladem je informace nekondenzovaná-obsahuje vysvětlivky. 5. KONDENZOVANÁ-NEKONDENZOVANÁ

8 - SIGNÁL  fyzikální veličina, která nese informaci - ABECEDA  množina možných elementárních signálů - ZPRÁVA  vytvoříme-li z prvků abecedy nějakou sestavu symbolů, kterou použijeme k přenosu informace a bude-li tato sestava časově ohraničena, tvoří zprávu. Každá zpráva má pak: syntaxi (skladbu) - kvantitativní míra informace sémantiku (obsah) - kvalitativní stránka zprávy (nedá se měřit) důležitost – významnost a priorita zprávy Základní pojmy Základní pojmy

9 Jednotku informace nazýváme - BIT (binary digit – dvojkové číslo) - je to informace, kterou nese zpráva o stavu systému – možné stavy pouze 0 a 1 se stejnou pravděpodobností. BIT - má i význam pravdivostní hodnoty jednoho výroku tzn. jeden BIT je elementární množství informace např.: žárovka SVÍTÍ – NESVÍTÍ Jednotka a zobrazení informace Jednotka a zobrazení informace

10 Vyjádření informační hodnoty je velmi obtížné. Každý objekt může být v každém časovém okamžiku v jednom z mnoha možných stavů. Vyjádření informační hodnoty je velmi obtížné. Každý objekt může být v každém časovém okamžiku v jednom z mnoha možných stavů. Informace o systému je tím větší, čím je pravděpodobnost výskytů jednotlivých jeho stavů menší. Informace je větší, obsahuje-li zpráva něco nového, nebo co nelze snadno uhodnout (je málo pravděpodobné). Informace o systému je tím větší, čím je pravděpodobnost výskytů jednotlivých jeho stavů menší. Informace je větší, obsahuje-li zpráva něco nového, nebo co nelze snadno uhodnout (je málo pravděpodobné). Informační hodnota Informační hodnota

11 Množství informace obsažené ve zprávě X souvisí s pravděpodobností P(X) s jakou může příjemce uhodnout obsah zprávy X, neboli jaká je pravděpodobnost výskytu dané zprávy u příjemce před jejím přijetím. Platí: Zpráva, která nese informaci o stavu systému, který je jistý nenese žádnou informaci; P(X)=1 a množství informace je pak: Informační hodnota Informační hodnota

12 Pokud se zpráva X skládá ze dvou nezávislých zpráv A, B pak celková informace, kterou získá příjemce je rovna: I(X) = I(A) + I(B) přičemž pravděpodobnost zprávy X dvou nezávislých jevů je dána: P(X) = P(A). P(B) Po úpravě dostaneme: Příklad: Házíme kostkou. Jaké množství informace nese zpráva „padlo sudé číslo„? Pravděpodobnost, že padne sudé číslo je P(X)=0,5:

13 SoustavaBityVyjádření číslice ve dvojkové soustavě 1 číslice v desítkové soustavě3,32 číslice v šestnáctkové soustavě4 symbol anglické abecedy (27)4,75 karta v balíku mariášových karet5 symbol české abecedy (42)5,39 krátkodobá lidská paměť10^4 průměrná kniha10^7 paměť RAM (PC)10^8 genetická informace10^10 lidská paměť10^20 Tabulka největších informačních obsahů soustav

14 Tento vzorec je možné zobecnit. Jestliže množina M obsahuje m symbolů o stejné pravděpodobnosti výskytu (tj. p=1/m), vyslání každého symbolu nese kvantum informace podle vzorce: Harleyho formule definuje množství informace, které je nutné k charakterizaci jednoho prvku množiny E o N prvcích. Příklad: Házíme mincí. Dva možné stavy: hlava, orel. Jaké množství informace nese zpráva o výsledku náhodného pokusu? kde K je konstanta odpovídající zvolenému základu logaritmů: b=2binární jednotka – bit b=10desítková jednotka – dit (decit) b=ejednotka natural - nat.

15 Shannonova formule - pokud všechny stavy náhodného jevu nemají stejnou pravděpodobnost pak platí: pro p 1 =p 2 =…p n =1/n dostáváme Harleyho formuli

16 Příklad: Zpráva X, která nás informuje o výsledku hodu dvěma kostkami nese informaci I(X). Zpráva o výsledku hodu první kostkou nese informaci I(A) a zpráva o výsledku hodu druhou kostkou informaci I(B). Hody jsou nezávislé, tudíž je celková informace o výsledku hodu obou kostek rovna součtu informací, které nesou zprávy o výsledku jednotlivých poloh kostek. Nechť výsledkem hodu na jedné kostce je 3 a na druhé 4. Jaké množství informace nese zpráva že padlo číslo 3 a zároveň číslo 4? a protože pravděpodobnost že padne 3 na první kostce resp. pravděpodobnost že padne 4 na druhé kostce je 1/6 pak platí: Pravděpodobnost toho, že současně padne 3 a 4 je:

17 Příklad: Česká abeceda obsahuje 42 znaků (včetně diakritiky). Zamyslete se nad množstvím informace jednoho znaku!!! Za předpokladu rovnoměrného výskytu všech písmen je pravděpodobnost výskytu u všech znaků stejná: 1/42=0, Podle Shannonova vzorce je množství informace jednoho znaku : I = 5,39 bitů Ve skutečnosti neexistuje zcela rovnoměrný výskyt všech znaků v české abecedě (ani v ostatních).

18 Příklad: Zkoumejte množství informace jednoho znaku s uvažováním pravděpodobnostního výskytu znaků v daném jazyce. mezeraaá …... z z 0,166 0,054 0,022…0,019 0,009 Výsledná informační hodnota jednoho znaku je pak: I = 4,67 bitů Bez dlouhého zkoumání je nám zřejmé, že písmeno e se v českých textech vyskytuje častěji než w. Použijeme-li výsledky analýzy frekvence jednotlivých písmen české abecedy v dostatečně dlouhém textu, zjistíme, že informační hodnotu jednoho písmene musíme vypočítat podle následujícího schématu:

19 B. T = konst [c] B KdeB - šířka pásma [Hz] T T - doba přenosu [s] B [c / s]. T [s] = konst [c] Nyquistova-Kupfmůllerova časového zákona Míru informace však můžeme odvodil ještě jinou úvahou. Vyjdeme z Nyquistova-Kupfmůllerova časového zákona vyjadřujícího vztah mezi šířkou pásma a dobou přenosu, který je jedním z prvních pokusů o kvantitativní vyjádření informace Vyjádříme-li tuto rovnici graficky, dostaneme soustavu obdélníků, jejichž vrcholy leží na hyperbole. Plochy obdélníků charakterizují do jisté míry obsah informace. Dosadíme-li do předchozí rovnice příslušné rozměry, je obsah informace vyjádřen v kmitech

20 TB Informační obsah zůstane zachován, zmenšíme-li např. m-krát dobu T a naopak m-krát zvětšíme šířku pásma B. amplitudu počet amplitudových stupňů s Časový zákon doplnil Hartley o další veličinu (třetí rozměr) a to o amplitudu resp. počet amplitudových stupňů s. kde Z určuje počet stavů jednoho místa bitech čas, šířka pásma, amplituda Výraz násobíme dvěma proto, abychom mohli respektovat každou půl vlnu zvlášť a abychom dostali výsledek v bitech a nikoli v kmitech. Informace dostává takto prostorové vyjádření v souřadnicích - čas, šířka pásma, amplituda. Změnou kteréhokoli z těchto parametrů měníme informační obsah. Míra informace je pak dána rovnicí:

21 Příklad: Určete informační obsah dálnopisné značky kde B = 25 Hz a T = 100 ms (na jedno písmeno). informační tok Množství informace prošlé za jednotku času se nazývá informační tok. Platí Příklad: Přenos řeči v běžném telefonním styku vyžaduje šířku pásma B = 3000 Hz. Nahradíme-li 32 písmen abecedy odpovídajícím počtem amplitudových stupňů, je teoreticky informační tok dán:

22


Stáhnout ppt "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."

Podobné prezentace


Reklamy Google