Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace.

Podobné prezentace


Prezentace na téma: "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."— Transkript prezentace:

1

2

3 1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace Základní pojmy – jednotka a zobrazení informace, informační hodnota Entropie – vlastnosti entropie Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu, způsoby boje proti šumu 4.Kódování Elementární teorie kódování Rovnoměrné kódy – telegrafní kód Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda 5.Bezpečností kódy Zabezpečující schopnosti kódů, Systematické kódy, Nesystematické kódy ZÁKLADY INFORMATIKY – Přenos informace ZÁKLADY INFORMATIKY – Přenos informace

4 Jednou ze základních operací s informacemi je jejich - přenos. Přenos informace V 50.letech 20.století C.E.Shannon ukázal, že všechny komunikační systémy používané v minulosti, přítomnosti i později vytvořené jsou pouze zvláštní případy obecného komunikačního systému, který lze znázornit dle obrázku: zdroj informace příjemce informace vysílač(kodér)přijímač(dekodér) vedení(kanál) zdroj rušivých signálů Přenosový kanál  přenosová cesta informace jakkoli uskutečněná (nezáleží na fyzikální realizaci této cesty)  souhrn prostředků sloužících k přenosu signálu od zdroje k příjemci

5 Forma informace uvnitř kanálu bývá obvykle různá od formy vstupující do kanálu a formy informace z kanálu vystupující. Informace, či zpráva tedy bývá přeložena do řeči kanálu kódována. Informace procházející kanálem může nabýt mnoha různých forem, obsah však zůstává nezměněn.

6 Zdroj musí mít k dispozici zásobu symbolů, ze kterých zprávu sestaví. Pro přenos musí být tyto symboly převedeny na fyzikální signály, které jsou technicky schopné přenosu kódování zprávy do signálů. Po přenosu musí existovat možnost převedení signálů do původních symbolů dekódování zprávy.

7 Příklad: Uvažujme o telefonním hovoru. Účastník zjistí konkrétní informaci, zvolí si číslo účastníka, kterému chce tuto informaci předat. Do sluchátka řekne informaci ve formě akustického spektra (abecedou zdroje jsou akustické prvky řeči). Telefonní přístroj překóduje jeho řeč do elektrických signálů a vyšle je přenosovým kanálem (telefonní dráty). Přijímací telefonní přístroj dekóduje přijatý elektrický signál zpět do akustického spektra. Příjemce tedy slyší informaci přicházející od zdroje. Informace v přenosu změnila svou formu, ale obsah zůstal zachován.

8 Obecně můžeme říct, že informaci o stavu systému X získáváme zprostředkovaně pozorováním systému Y, který je se systémem X nějak spojen. Zpravidla je to způsobeno nedostupností systému X (např. systém X je tvořen textem telegramu, který je podán na poště v Brně a systém Y je tvořen textem přijatého telegramu na poště ve Zlíně).

9 Je zřejmé, že stav systému Y nemusí být totožný se stavem systému X. Rozdíly mohou být dvojího druhu: a)více některých stavů systému X se zobrazí do jednoho stavu Y - nedokáže rozlišit jemnosti b) chyby při přenosu zprávy mezi systémy - šum V ideálním sdělovacím systému, ve kterém neexistují poruchy, přijatá zpráva přesně souhlasí s vyslanou. Ve skutečných systémech, kde působí poruchy se tento případ nikdy nevyskytuje.

10 To, jak dalece souhlasí přijatý signál s vyslaným, charakterizuje spolehlivost spojení. Při šíření v prostředí s náhodně se měnícími vlastnostmi signál podléhá náhodnému zkreslení, které nelze zkorigovat. Spolehlivost závisí na poměru výkonu signálu k výkonu šumu ve sdělovacím kanálu. Platí, že spolehlivost klesá se vzdáleností. Mezní vzdálenost, ve které je ještě splněna daná spolehlivost, určuje dosah spojení. Ve sdělovacím systému má tento parametr prvořadý význam.

11 - Základem každého zdroje je ABECEDA. - Prvky abecedy zdroje se nazývají písmena abecedy. n - Obsahuje-li abeceda zdroje celkem n různých prvků, pak je tato abeceda charakterizována konečnou množinou prvků A(n)={ d 1, d 2,..., d n }. m -Vytvořené posloupnosti ze znaků abecedy se nazývají zprávy. Libovolnou zprávu danou posloupností m symbolů pak můžeme zapsat: Zdroje zpráv Zdroje zpráv

12 m délkou zprávy Počet prvků m z nichž je složena realizace zprávy nazýváme délkou zprávy. Zdroj zpráv může obecně produkovat různé zprávy, které se budou lišit jednak délkou a jednak výskytem jednotlivých prvků na tom kterém místě dané posloupnosti. m A(n) m n Celkový počet možných a navzájem různých realizací zpráv délky m, které by mohly být produkovány zdrojem s abecedou A(n) bude dán počtem všech možných variací m symbolů s opakováním, které lze vytvořit z n prvků. m A(n) Pak celkový počet možných zpráv délky m ze zdroje s abecedou A(n) je:

13 d i p i Každou dílčí zprávu si můžeme představit jako výběr prvků abecedy zdroje d i podle příslušných pravděpodobností p i. pravděpodobnostní signální pole Vzájemným uspořádáním těchto prvků a příslušných pravděpodobností obdržíme tzv. pravděpodobnostní signální pole. Přitom musí pro celou abecedu zdroje platit: zdroj informace. Následuje-li výběr písmen z abecedy zdroje za sebou nezávisle a náhodně, považujeme pravděpodobnostní pole za zdroj informace.

14 Každý zdroj informace představuje jistou neurčitost výběru jeho elementárních znaků - písmen. Tato neurčitost zaniká vždy po provedeném výběru, kdy se příslušná pravděpodobnost mění v jistotu. p i p 1 = p 2 =... = p n Stupeň neurčitosti je závislý na organizaci množiny. Neurčitost je tím větší, čím více se blíží rozložení pravděpodobností p i rozložení rovnoměrnému. Tedy případu, kdy p 1 = p 2 =... = p n. Roste-li počet elementů množiny tvořící zdroj informace - počet písmen abecedy zdroje (a rovnoměrné rozložení pravděpodobnosti je zachováno), neurčitost se rovněž zvyšuje.

15 na libovolné pozici zprávy a nezávisle na výskytu znaků na jiných pozicích zprávy. Obecně můžeme zdroje zpráv dělit na: spojité diskrétní Ekvipotencionální zdroj A(n)n A(n) je zdroj nad abecedou A(n), který produkuje všech n znaků abecedy A(n) se stejnou pravděpodobností:

16 Má-li abeceda zdroje nekonečný počet prvků, pak takový zdroj nazýváme zdrojem spojitých zpráv. Obtížné zavedení pojmů množství informace a entropie ( nekonečný počet možných hodnot ) zavedeme pravděpodobnost výskytu hodnot v elementárním intervalu dx. Pravděpodobnost toho, že se určitá konkrétní hodnota signálu  bude vyskytovat v intervalu dx i je daná výrazem : kde w(x i ) dx i vyjadřuje pravděpodobnost spojité náhodné veličiny v elementárním intervalu dx i, který se nazývá element pravděpodobnosti (diferenciální pravděpodobnost). Spojité zdroje zpráv Spojité zdroje zpráv

17 Grafické znázornění rozložení pravděpodobnosti výskytu spojitého signálu: x ∆x. ∆x 1, ∆x 2, … Interval možných hodnot proměnné x můžeme rozdělit na elementární intervaly ∆x. Tím dostaneme konečnou množinu intervalů ∆x 1, ∆x 2, … xixi w(x) x x i+1 

18  x i Množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu  x i můžeme definovat vztahem : x i  x i  0 Tato informace bude mít vždy konečnou hodnotu. Kdyby nás ale zajímala informace získaná přijetím určité konkrétní hodnoty x i tzn. hodnoty z intervalu  x i  0, bude tato informace nekonečně velká - z praktického hlediska to nemá význam. ∆x i x S každým takovým elementárním intervalem ∆x i můžeme spojit pravděpodobnost výskytu proměnné x v tomto intervalu :

19 Místo dopadu střely je ve skutečnosti spojitou náhodnou veličinou, neboť se může vyskytnout v libovolném bodě terče. Když si terč rozdělíme např. na 12 kvadrantů, tím vlastně diskretizujeme spojitou náhodnou veličinu. Příklad: Uvažujme o střelbě na terč. Zásah jednotlivých kvadrantů pokládáme za náhodný. Zajímá nás ale, který kvadrant byl zasažen. x i P(x i ). To znamená, že můžeme označit zásah i- tého kvadrantu jako jev (zprávu) x i s pravděpodobností P(x i ).  x i Můžeme tedy definovat množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu (kvadrantu)  x i.

20 Má-li abeceda zdroje konečný počet n možných prvků, pak takový zdroj nazýváme : zdrojem diskrétních zpráv - diskrétní zdroj. Pod diskrétním zdrojem zpráv rozumíme zařízení, které vyšle za časovou jednotku právě jeden z konečného počtu signálů. Jelikož v praktických podmínkách je výhodnější (někdy nutné) používat konečný počet prvků abecedy zdroje, vysvětlíme si jakým způsobem je možné ze zdroje spojitého získat zdroj diskrétní. Diskrétní zdroje zpráv Diskrétní zdroje zpráv

21 T [  C] t [min] Spojitou zprávu si můžeme znázornit jako nějakou spojitou časovou funkci. Uvažujme například snímání teploty:

22 T0T0 T [  C] T1T1 T2T2 T3T3 T4T4 T5T5 t 1 t 2 t 3 t 4 t 5 t[min]  T = T i - T i-1 Představme si nyní, že budou odečítány pouze celistvé hodnoty teplot, lišící se o  T [  C]. Takováto operace se obecně nazývá kvantování spojité veličiny podle amplitudy a  T je šířka kvantizačního intervalu.

23 T0T0 T [  C] T1T1 T2T2 T3T3 T4T4 T5T5 t1 t1 t 2 t 3 t 4 t 5 t[min] Touto operací jsme docílili toho, že počet prvků abecedy zdroje (tj. T 0, T 1,..., T 5 ) je konečný, to znamená zdroj můžeme považovat za diskrétní.

24 Volíme-li však šířku kvantizačních intervalů o něco větší než je chyba měření , pak kvantovaná zpráva bude vyjadřovat stejnou informaci jako její spojitý průběh. (používáme přístroje, které mají vždy konečnou přesnost (neboli měří s jisto chybou  ). Změny kvantované veličiny nastávají v různých časových okamžicích t 1, t 2,..., t n. Z hlediska realizace přenosu zpráv je to ale nevýhodné. Proto se obvykle provádí další operace. Zdá se, že v tomto případě ztrácíme informaci o jemných podrobnostech zprávy!!!

25 Představme si, že teplota v předchozím příkladě nebude měřena plynule, ale hodnoty teploty budou odečítány po určitých stejných časových intervalech  t. V tomto v případě bude zdroj produkovat diskrétní číselné hodnoty y 1, y 2,...y n, odpovídající okamžitým hodnotám teploty v časových okamžicích t 1, t 2,..., t n. Takováto operace se nazývá kvantování spojité veličiny v čase - vzorkování.

26 y [t] t 1 t2 t2 t 3 t 4 t 5 t[min] y 1 y 2 y 3 y 4 y 5

27 Po vzorkování zůstává ale zpráva pořád spojitým signálem tzn. počet možných amplitud je nekonečně velký. - Abychom získali vhodný diskrétní signál provedeme spojení obou předchozích operací. - Nejprve realizujeme kvantování v čase a pak kvantování podle amplitudy tj. kvantování v čase a amplitudě. Převod spojitého signálu na diskrétní dvojkový signál se nazývá …….. delta kvantování.

28 Přenosový kanál Přenosový kanál - zprostředkovává předání informace mezi zdrojem a příjemcem. kodér zdroje dekodér zdroje kodér kanálu dekodér kanálu vedení(kanál) zdroj rušivých signálů Kodér kanálu - jeho úkolem je zabezpečit spolehlivost přenosu tím, že doplňuje informační znaky o přídavné znaky podle určitého algoritmu bezpečnostního kódu. Ten může být buď-to detekční ( příjemce je schopen zjistit, že při přenosu došlo k chybě ), nebo korekční ( příjemce je navíc schopen lokalizovat místo chyby a opravit ji ). Kodér zdroje - jeho úkolem je provést kódování zprávy s maximální hospodárností tak, aby pro přenos zprávy byl použit co nejmenší počet znaků. (je třeba minimalizovat redundanci zprávy a zvýšit tak její entropii, tj. množství informace na jeden znak). Kanál - jsou do něj zahrnuty ostatní transformace signálu při přenosu (modulátor a demodulátor, přenosové médium, působení rušení atd.) Dekodér kanálu - jeho úkolem je detekovat či opravovat případné chyby při přenosu a rekonstruovat signál tak, aby odpovídal výstupnímu signálu kodéru zdroje. Dekodér příjemce - jeho úkolem je upravit dekódovanou zprávu na tvar vhodný pro příjemce. Příkladem je komprese textových souborů před jejich přenosem, častým úkolem kodéru zdroje je převést původní signál – zdroj informace na signál elektrický, případně transformovat jej do digitální podoby (AD převodník).

29 Systémy přenosu FEC Systémy přenosu FEC (Forvard Error Correction, dopředná korekce chyb) vystačíme s koncepcí podle předchozího obrázku při současném zabezpečení dat korekčním kódem. Není požadován extrémní požadavek na spolehlivost přenosu zprávy (netrváme na správném přenosu „každého bitu“, např. při přenosu řeči) nebo je-li úroveň rušení při přenosu relativně malá, Zpětnovazební systémy ARQ Zpětnovazební systémy ARQ (Automatic Request for Repetition, automatická žádost o opakování přenosu) požadavky na vysoce spolehlivý přenos dat (např. přenos binárních souborů pomocí INTERNETU) doplnění schématu na předchozím obrázku o tzv. zpětnovazební kanál data zabezpečena většinou pouze detekčním kódem kodér zdroje dekodér zdroje kodér kanálu dekodér kanálu vedení(kanál) zdroj rušivých signálů Zpětnovazební kanál

30 Zpětnovazební systémy ARQ Zpětnovazební systémy ARQ Systémy s informační zpětnou vazbou IFB (Information Feedback) – přímým kanálem jsou vysílána pouze nezabezpečená slova zprávy. Zabezpečující část je ponechána v paměti vysílače. Na základě přijatého slova (které může být narušeno) je na straně přijímače vypočtena zabezpečující část, která je vyslána zpětným kanálem k přijímači. Zde dojde k porovnání s údajem v paměti. Je-li výsledek porovnání negativní, vysílání se opakuje. V opačném případě vyšle vysílač pokyn k uvolnění dat v paměti přijímače a pokračuje ve vysílání dalšího slova. Zpráva, která se posílá zpět a která je odvozena od přijatého slova se nazývá kvitance. (v nejjednodušším případě může být kvitancí celé přijaté slovo). Rozhodnutí o případném opakování přenosu tedy vzniká na straně vysílače. Nevýhody: - zpětný kanál musí zabezpečit přenosovou rychlost srovnatelnou s přenosovou rychlostí dopředního kanálu. - zbytečné opakování vysílání, dojde-li k chybě ve zpětném kanálu. Výhoda: vysílání pouze nezabezpečených dat. Protože k rozhodování o případné chybě dochází na straně vysílače na základě porovnání atributů vyslaného a přijatého slova, tento systém je značně spolehlivý. Systémy s rozhodovací zpětnou vazbou DFB (Decision Feedback) – přijímač využívá při vyhodnocení správnosti přenosu detekčního kódu. V případě správného přenosu - vyšle přijímač zpětným kanálem vysílači tzv. poděkování ACK (Acknowledgment). V případě nesprávného přenosu - zpětnovazebním kanálem je vyslán příkaz NACK (Negative Acknowledgment – negativní poděkování) k opakování přenosu daného slova. Rozhodnutí o případném opakování přenosu tedy vzniká na straně přijímače. Zpětný kanál přenáší pouze jednoduché řídící příkazy, a proto může být pomalý. Nevýhodou je, že nejsou opraveny chyby, které daný kód není schopen detekovat. Druh kódu je proto třeba volit velmi pečlivě s ohledem na charakter rozložení chyb.

31 Podle charakteru přenášené informace dělíme přenosové kanály na: Diskrétní Diskrétní - pracují s konečným počtem symbolů Spojité diskrétním spojitým časem Spojité - pracují se spojitými veličinami, které mohou nabývat nekonečně mnoho stavů. Spojité kanály mohou také pracovat s diskrétním, či spojitým časem. Protože lze všechny typy kanálů redukovat na diskrétní kanály s diskrétním časem budeme nadále sledovat výhradně tento typ. s diskrétním časem: s diskrétním časem: na výstupu kanálu se objeví symbol v určitém časovém okamžiku, se spojitým časem: se spojitým časem: na výstupu kanálu se objeví symbol v lib. časovém okamžiku, Druhy sdělovacích kanálů Druhy sdělovacích kanálů s pamětí: s pamětí: výsledek přenosu znaku ze vstupu na výstup závisí na předchozích znacích na vstupu. (pravděpodobnost vzniku chyby v časovém okamžiku t závisí na vzniku chyby v časových okamžicích t-1, t-2). bez paměti: opak kanálu s pamětí.

32 Z hlediska teorie informace modelujeme přenosový kanál podle pravděpodobnosti příjmu vyslané zprávy. Z tohoto hlediska můžeme rozdělit kanály na: Bezhlukový (bezšumový) Bezhlukový (bezšumový) - kanál, přenášející informaci s naprostou jistotou, tj. s pravděpodobností p = 1 Bezztrátový Bezztrátový - kanál, který nezabezpečuje správný přenos informace a vyslaný symbol se může s různou pravděpodobností změnit na více symbolů na přijímací straně. Nikdy však dva symboly vyslané nepřejdou do téhož symbolu přijatého. Hlukový (šumový) Hlukový (šumový) - kanál, v němž každý vyslaný symbol může přejít s libovolnou pravděpodobností v jakýkoli symbol na přijímací straně.

33 Grafické znázornění jednotlivých typů přenosových kanálů Bezhlukový (bezšumový) BezztrátovýHlukový(šumový)

34 Vstup kanálu je množina znaků {X} spolu s jejich pravděpodobnostmi výskytu, které je třeba kanálem přenést. Výstup kanálu je množina znaků {Y} spolu s jejich pravděpodobnostmi výskytu, které získává příjemce. Nejčastěji používáme dvojkových (binárních) symbolů pro vyjádření informace. Pokud jsou tedy množiny {X} a {Y} dvouprvkové, jedná se - o binární kanál. Model diskrétního sdělovacího kanálu Model diskrétního sdělovacího kanálu Podmíněné pravděpodobnosti typu P(y j |x i ) udávají pravděpodobnost přijetí prvku y j za podmínky, že byl vyslán prvek x i. Pravděpodobnosti P(y 1 |x 1 )P(y 2 |x 2 ) popisují případy správného přenosu – spolehlivost kanálu. Pravděpodobnosti P(y 1 |x 1 ) a P(y 2 |x 2 ) jsou pravděpodobnost přijetí znaku y 1 (y 2 ), byl-li vyslán znak x 1 (x 2 ) - správně přenesený znak x 1 (x 2 )), popisují případy správného přenosu – spolehlivost kanálu. Pravděpodobnosti P(y 2 |x 1 )a P(y 1 |x 2 ) jsou pravděpodobnost přijetí znaku y 2 (y 1 ), byl-li vyslán znak x 1 (x 2 ) - chybně přenesený znak x 1 (x 2 )), popisují případy chybného přenosu – chybovost kanálu. Pravděpodobnosti P(y 2 |x 1 ) a P(y 1 |x 2 ) jsou pravděpodobnost přijetí znaku y 2 (y 1 ), byl-li vyslán znak x 1 (x 2 ) - chybně přenesený znak x 1 (x 2 )), popisují případy chybného přenosu – chybovost kanálu.

35 Pravděpodobnosti jsou vázány výrazy: P(y 1 |x 1 )+P(y 2 |x 1 )=1 (vyšleme-li x 1, pak přijmeme buď y 1 nebo y 2 ), P(y 1 |x 2 )+P(y 2 |x 2 )=1(vyšleme-li x 2, pak přijmeme buď y 1 nebo y 2 ). P(y 1 |x 2 )+P(y 2 |x 2 )=1 (vyšleme-li x 2, pak přijmeme buď y 1 nebo y 2 ). Z těchto pravděpodobností lze sestavit (přímou) matici kanálu: Pokud platí: P(y 1 |x 1 )P(y 2 |x 2 ) = p P(y 1 |x 1 ) = P(y 2 |x 2 ) = p P(y 2 |x 1 )= P(y 1 |x 2 ) = q=1-p P(y 2 |x 1 ) = P(y 1 |x 2 ) = q=1-p pak mluvíme o symetrickém binárním kanále. pravděpodobnost p označujeme jako spolehlivost kanálu pravděpodobnosti q pak označujeme jako chybovost kanálu

36 Známe-li pravděpodobnosti výskytů symbolů x 1 a x 2 na vstupu kanálu P(x 1 ) a P(x 2 ), pak můžeme určit pravděpodobnosti výskytu symbolů y 1 a y 2 na výstupu kanálu podle: Příklad: Symetrický binární kanál bez paměti má spolehlivost 95%. Binární znaky {0, 1} se na vstupu objevují s pravděpodobnostmi P(x 1 ) = P(0) = 0,4, P(x 2 ) = P(1) = 0,6. Vypočtěte pravděpodobnosti výskytu těchto znaků na výstupu kanálu. Řešení: p = 0,95, q = 0,05, 0,41 … výskyt nuly na výstupu P(y 1 )= 0,4. 0,95 + 0,6. 0,05 = 0,41 … výskyt nuly na výstupu 0,59 … výskyt jedničky na výstupu P(y 2 )= 0,6. 0,95 + 0,4. 0,05 = 0,59 … výskyt jedničky na výstupu

37 Zatím jsme popisovali kanál s orientací ze vstupu na výstup. Podobně se dá kanál popsat z pohledu příjemce informace, který je na výstupu kanálu. V tomto případě pracujeme s těmito pravděpodobnostmi: P(x 1 |y 1 ) - P(x 1 |y 1 ) - pravděpodobnost vyslání znaku x 1, byl-li přijat znak y 1 (správně přenesený znak x 1 ) P(x 2 |y 2 ) - pravděpodobnost vyslání znaku x 2, byl-li přijat znak y 2 (správně přenesený znak x 2 ) P(x 1 |y 2 ) - pravděpodobnost vyslání znaku x 1, byl-li přijat znak y 2 (chybně přenesený znak x 1 ) P(x 2 |y 1 ) - pravděpodobnost vyslání znaku x 2, byl-li přijat znak y 1 (chybně přenesený znak x 2 ). Pro výpočet těchto pravděpodobností platí: P(x i,y j )=P(x i ).P(y j |x i ) = P(y j ).P(x i |y j ) i,j = {1,2}  Pravděpodobnosti P(y 1 ) resp. P(y 2 ) se určí pomocí vzorců z předešlého slajdu. P(x i,y j ) – pravděpodobnost současného výskytu jevů x i a y j – simultánní pravděpodobnost

38 Z těchto pravděpodobností lze pak sestavit (zpětnou) matici kanálu: Prvky této matice (na rozdíl od matice K XY ) už závisí na pravděpodobnostech výskytu znaků na vstupu x 1 a x 2. Po dosazení a úpravě vyjdou konečné vzorce pro symetrický kanál:

39 Příklad: Příklad: Určete přímou a zpětnou matici symetrického binárního kanálu bez paměti o spolehlivosti 95%. Uvažujte opět P(x 1 ) = P(0) = 0,4, P(x 2 ) = P(1) = 0,6. Řešení: P(y 1 |x 1 )=P(y 2 |x 2 )=p = 0,95, P(y 1 |x 2 )=P(y 2 |x 1 )= q = 0,05 Přímá matice kanálu: Zpětná matice kanálu:

40 Příklad: Příklad: Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% z příkladu 20 je vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a nezávisí na předchozích znacích. Vypočtěte entropii zprávy na vstupu a výstupu. Řešení: p = 0,95, q = 0,05 P(x 1 )=P(x 2 )=0,5 → H(X)=1 bit Zdálo by se, že jestliže zpráva vstupuje do hlukového kanálu, část jejího informačního obsahu se „ztratí“. Z příkladu však vyplývá, že množství informace je ve vstupní i výstupní zprávě stejné: stejně vyšly entropie, tj. průměrné množství informace na znak, a obě zprávy jsou stejně dlouhé. pomocí tzv. podmíněných a simultánních entropií. Problém je v tom, že v důsledku šumu došlo sice k poklesu množství informace při přenosu, hlukový kanál však doplnil do zprávy shodou okolností stejné množství „dezinformace“. Informační obsahy vstupní a výstupní zprávy se jeví jako stejné. Uživatele však zajímá jen množství informace skutečně přenesené od zdroje k příjemci, tzv. vzájemná informace. Její výpočet si usnadníme pomocí tzv. podmíněných a simultánních entropií. P(y 1 )= P(x 1 ).p + P(x 2 ).q = 0,5. 0,95 + 0,5. 0,05 = 0,5 → H(Y) = 1 P(y 2 )= P(x 2 ).p + P(x 1 ).q = 0,5. 0,95 + 0,5. 0,05 = 0,5

41 Neurčitost příjemce na výstupu kanálu o tom, co je vysláno do vstupu, je H(X). Přečte-li si však výstupní znak a zjistí, že výstup je y j, pak tato neurčitost je zmenšena na hodnotu H(X|y j ). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu). P odmíněná entropie vstupního souboru {X} při známém výstupu y j : Podmíněné a simultánní entropie Podmíněné a simultánní entropie Zprůměrujeme-li entropie pro všechny možné výstupy y j, dostaneme tzv. podmíněnou entropii vstupu po čtení výstupu: Zprůměrujeme-li entropie pro všechny možné výstupy y j, dostaneme tzv. podmíněnou entropii vstupu po čtení výstupu: (lze chápat jako průměrné množství informace na znak zprávy, které se „ztratilo“ na cestě od vstupu kanálu k příjemci) Konkrétně pro binární kanál vede dvojitá suma na: Hovoříme ovzájemné informaci ze vstupu na výstup I(X,Y): Podmíněná entropie vstupu po čtení výstupu představuje průměrnou neurčitost pozorovatele o stavu vstupu kanálu po přečtení výstupu. Před přečtením byla jeho neurčitost H(X). Rozdíl těchto hodnot je tedy informace o vstupu, kterou pozorovatel získal čtením a která „prošla“ kanálem k příjemci. Hovoříme o vzájemné informaci ze vstupu na výstup I(X,Y):

42 Příklad: Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% je vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a nezávisí na předchozích znacích. Entropie zprávy na vstupu i výstupu je 1 bit (viz předchozí příklad). Vypočtěte průměrné množství informace na znak zprávy, které se „ztratí“ na cestě od vstupu kanálu k příjemci, a vzájemnou vstupně-výstupní informaci. Řešení: P(y 1 |x 1 )=P(y 2 |x 2 )=p = 0,95, P(y 1 |x 2 )=P(y 2 |x 1 )= q = 0,05 P(x 1 )=P(x 2 )=P(y 1 )=P(y 2 )=0,5 → H(X)=H(Y)=1 bit Pravděpodobnosti ze zpětné matice kanálu: H(X|Y). Nejprve vypočteme simultánní pravděpodobnosti P(x i,y j ), které budeme potřebovat pro výpočet H(X|Y). P(x 1,y 1 )= P(x 1 ).P(y 1 |x 1 ) = 0,5. 0,95 = 0,475 P(x 1,y 2 )= P(x 1 ).P(y 2 |x 1 ) = 0,5. 0,05 = 0,025 P(x 2,y 1 )= P(x 2 ).P(y 1 |x 2 ) = 0,5. 0,05 = 0,025 P(x 2,y 2 )= P(x 2 ).P(y 2 |x 2 ) = 0,5. 0,95 = 0,475 Podmíněná entropie vstupu po čtení výstupu: Vzájemná informace ze vstupu na výstup:

43 Pokud se díváme na problém přenosu z pozice vysílače informace na vstupu kanálu je pak neurčitost pozorovatele na vstupu kanálu o tom, co je přijato na výstupu H(Y). Zjistí-li však, že byl vyslán znak x i, pak tato neurčitost je zmenšena na hodnotu H(Y|x i ). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu). P odmíněná entropie výstupního souboru {Y} při známém vstupu x i : Zprůměrujeme-li entropie pro všechny možné vstupy x i, dostaneme tzv. podmíněnou entropii výstupu po čtení vstupu: Zprůměrujeme-li entropie pro všechny možné vstupy x i, dostaneme tzv. podmíněnou entropii výstupu po čtení vstupu: (lze chápat jako průměrné množství informace na znak zprávy, které se do výstupní zprávy dostalo rušivým působením kanálu a které nemá původ ve vstupní zprávě.) Konkrétně pro binární kanál vede dvojitá suma na: vzájemnou informací z výstupu na vstup I(Y,X): Podmíněná entropie výstupu po čtení vstupu představuje průměrnou neurčitost pozorovatele o stavu výstupu kanálu po přečtení vstupu. Před přečtením byla jeho neurčitost H(Y). Rozdíl těchto hodnot je tedy informace o výstupu, kterou pozorovatel získal čtením vstupu a která „prošla zpět“ kanálem z výstupu k příjemci. Nazvěme ji vzájemnou informací z výstupu na vstup I(Y,X):

44 Neurčitost pozorovatele, který pozoruje „nad kanálem“ zároveň vstupy i výstupy, o stavech těchto vstupů a výstupů je označována jako: Simultánní entropie vstupního a výstupního souboru: Dá se přesně určit pomocí entropií podmíněných: H(X,Y)=H(X)+H(Y|X) Neurčitost pozorovatele o stavech X a Y se dá snížit přečtením vstupu, tj. získáním informace H(X). To, co zbude, je neurčitost o stavu Y za podmínky, že jsme již přečetli vstup. H(X)-H(X|Y)=H(Y)-H(Y|X) I(X,Y)=I(Y,X) vzájemná vstupně-výstupní informace H(X,Y)=H(Y)+H(X|Y) Neurčitost pozorovatele o stavech X a Y se dá snížit přečtením výstupu, tj. získáním informace H(Y). To, co zbude, je neurčitost o stavu X za podmínky, že jsme již přečetli výstup.

45 H(X) H(Y) H(Y|X) H(X|Y) Dezinformace dodadá hlukovým kanálem Ztráta informace H(X,Y) I(X,Y) Schéma informačních poměrů v hlukovém kanálu min{H(X),H(Y)} ≤ H(X,Y) ≤ H(X)+H(Y)

46 Příklad: Příklad: Vypočtěte vzájemnou vstupně-výstupní informaci a podmíněné entropie H(Y|X) a H(X|Y) pro binární symetrický kanál bez paměti o spolehlivosti: a) 100% b) 50% c) 0% za předpokladu stejných pravděpodobností výskytu symbolů na vstupu. Řešení: P(x 1 )=P(x 2 )=P(y 1 )=P(y 2 )=0,5 → H(X)=H(Y)=1 bit P(y 1 |x 1 )=P(y 2 |x 2 )=p, P(y 1 |x 2 )=P(y 2 |x 1 )= q Z předchozího příkladu je zřejmé, že při předpokladu stejné pravděpodobnosti výskytu znaků platí: P(x 1,y 1 )= P(x 1 ).P(y 1 |x 1 ) = 0,5. p P(x 2,y 2 )= P(x 2 ).P(y 2 |x 2 ) = 0,5. P P(x 1,y 2 )= P(x 1 ).P(y 2 |x 1 ) = 0,5. q P(x 2,y 1 )= P(x 2 ).P(y 1 |x 2 ) = 0,5. q P(x 1 |y 1 )= P(y 1 |x 1 ) = p P(x 2 |y 2 )= P(y 2 |x 2 ) = P P(x 1 |y 2 )= P(y 2 |x 1 ) = q P(x 2 |y 1 )= P(y 1 |x 2 ) = q I(X,Y)=1+p.log 2 p+q.log 2 q Ad a) p=1, q=0 H(X|Y)=H(Y|X)=0 I(X,Y)=1 Ad b) p=0,5, q=0,5 H(X|Y)=H(Y|X)=1 I(X,Y)=0 Ad c) p=0, q=1 H(X|Y)=H(Y|X)=0 I(X,Y)=1

47 Totožnost informačních schémat a) a c) je zarážející jen na první pohled. Případ c) znamená, že při vyslání jedničky je vždy přijata nula a naopak. Kanál má tedy stoprocentní spolehlivost, jen je třeba uvažovat „inverzní“ kód. Pro případ b) není žádná statistická souvislost mezi vstupem a výstupem, čemuž odpovídá nulová vzájemná informace. Kanál je tedy pro přenos informace neprůchodný. Můžeme si ověřit, že nula vyjde při libovolném rozložení pravděpodobností P(x 1 ) a P(x 2 ). Informační poměry v kanálu pro předchozí příklad pro spolehlivost kanálu a) 100%, b) 50%, c) 0%.

48 Příklad: Příklad: Vypočtěte entropii na vstupu a výstupu a vzájemnou vstupně-výstupní informaci pro binární symetrický kanál bez paměti o spolehlivosti P, jestliže jedničky a nuly se objevují na vstupu s pravděpodobnostmi: a) stejnými, b) P(1) = 1, P(0) = 0. Řešení: Ad a) Ad a) P(x 1 )=P(x 2 )=P(y 1 )=P(y 2 )=0,5 → H(X)=H(Y)=1 bit P(y 1 |x 1 )=P(y 2 |x 2 )=p, P(y 1 |x 2 )=P(y 2 |x 1 )= q Z předchozího příkladu platí: H(X|Y)= H(Y|X)=-p.log 2 p - q.log 2 q I(X,Y)=H(X)+H(X|Y)=1+p.log 2 p + q.log 2 q Ad b) Ad b) P(x 1 )=1, P(x 2 )=0 → H(X)=0 bit P(y 1 )=P(x 1 ).p+P(x 2 ).q=p → P(y 2 )=P(x 2 ).p+P(x 1 ).q=q H(Y)=-p.log 2 p - q.log 2 q I(X,Y)=0

49 Schopnost kanálu přenášet informaci se popisuje veličinou nazývanou propustnost neboli kapacita kanálu. Kapacita kanálu C je maximální možná vzájemná informace, kterou můžeme „protlačit“ tímto kanálem při uvažování všech možných statistických vlastností vstupních informačních posloupností. Pro stacionární diskrétní kanál bez paměti stačí hledat maximum vzájemné informace pro různá rozložení pravděpodobnosti vstupních znaků: Vlastnosti přenosových kanálů Vlastnosti přenosových kanálů symetrického binárního kanálu K tomuto maximu dochází při rovnoměrném rozdělení pravděpodobností. V případě symetrického binárního kanálu pak musí být proto kapacita dána vzorcem:

50 Příklad: Telefonní signál je modulací PCM přenáš en symetrický m binárním kanálem. Je požadována chybovost přenosu BER < Navrhněte kapacitu kanálu. Řešení: BER (Bit Error Rate) je možné pro tento případ ztotožnit s chybovostí kanálu Q: Q = 10 -4, C’ ≥ 1 + ( ) log 2 ( ) log ≈ 0,9985 bit.

51 Minimální možná délka signálových prvků , při které lze ještě realizovat bezchybný přenos takových prvků, souvisí pouze s fyzikálními parametry kanálu. Na základě Kotelnikova teorému dostaneme pro minimální možnou délku signálových prvků  0 vztah: F m kde F m je mezní frekvence. Je-li informační znak realizován signálovým prvkem délky , je možné vyjádřit kapacitu kanálu v bit/s jako množství informace přenesené za jednotku času:

52 Maximální možná kapacita binárního kanálu je 1 bit a dochází k ní při stoprocentní spolehlivosti kanálu. Při spolehlivosti 50% je kanál nepropustný. Další snižování spolehlivosti směrem k nule však vede na růst kapacity až k maximu 1 bit v důsledku „inverzního kódování“, Závislost kapacity symetrické ho binárního kanálu na jeho spolehlivosti.

53 Propustnost je tedy rovna největší (maximální) informaci, která může být přenesena za jednotku času při nulové redundanci (nadbytečnosti) kódu. To znamená, že žádným kanálem nelze za jednotku času poslat větší informaci, než je jeho propustnost. Je-li kód redundantní, nelze využít ani celé propustnosti kanálu. Je-li kanál sestaven z několika přenosových členů, je maximální propustnost dána propustností členu s nejmenší propustnosti.

54 Úkolem teorie informace je, aby přes informační přenosový kanál byla přenesena maximální informace za co nejkratší dobu. I. V případě kanálu bez rušivých procesů pro maximální hodnotu informace I X→Y platí: H X Po dosazení za entropii H X : kde n je celkový počet možných stavů systému X Maximální množství informace, které lze takovým kanálem přenést za dobu  T pak bude: Propustnost kanálu bez rušivých procesů pak bude dána vzorcem:

55 šumporucha Rozdíl mezi informací, kterou vložíme na vstup a informací, kterou přijmeme na výstupu z kanálu se nazývá šum nebo porucha. Protože šum je statistická veličina a práce s takovou veličinou přesahuje náplň tohoto předmětu, dále pouze naznačíme postup v takovémto případu. II. V případě kanálu za přítomnosti rušivých procesů: Stanovení propustnosti kanálu za přítomnosti rušivých procesů je v obecném případě velmi složité.

56 Doposud jsme informační řetězec považovali za bezporuchový. Nic reálného však není ideální. Při přenosu se objevují různé poruchy, závady, chyby, zkreslení nebo šumy. PORUCHA – úplná nebo částečná – znamená přerušení přenosové cesty tím, že systém ztrácí schopnost pracovat v přípustných mezích Poruchy a šumy přenosu Poruchy a šumy přenosu ŠUM - je to veličina, která snižuje kvalitu kanálu a zmenšuje velikost přenesené informace za jednotku času. U přenosových zařízení proto rozlišujeme spolehlivost a bezpečnost.

57 Šumy jsou poruchy náhodné povahy, které působí při přenosu na signál, který více či méně zkreslují. Jsou to stochastické (náhodné) procesy, pro něž předpokládáme podmínku stacionárnosti. (nemění se střední hodnota náhodného procesu v čase a autokorelační je funkce závislá pouze na časovém posunutí T) nejrůznější fyzikální povahy Rozeznáváme šumy nejrůznější fyzikální povahy, např. šum tepelný – vířivý pohyb elektronů ve vodičích šum polovodičů přeslechy – nerovnováha mezi souběžnými vedeními šumy impulsové povahy – atmosférické poruchy, chvění kontaktů Šumy přenosu Šumy přenosu

58 - pohyb volných částic se záporným nábojem ve vodičích tzv. Johnsonově tepelném šumu Hovoříme o tzv. Johnsonově tepelném šumu, který je nejčastější složkou šumu pří frekvencích přibližně od 1–100kHz. Jde o šum v rezistorech vytvářející přídavná šumová napětí podle vztahu: kde k - Bolzman.konstanta T - absolutní teplota ∆f – frekvenční pásmo R i – odpor kde šum vzniká Tepelný šum Tepelný šum

59 1) tzv.Schotkyho šumu 1) teplotně závislý a je dán typem polovodičového materiálu použitého při výrobě přechodu. Hovoříme o tzv.Schotkyho šumu vznikající na přechodu polovodič – kov ve zhruba shodném frekvenčním rozsahu. Polovodičový šum Polovodičový šum 2) tzv. šum 1/f 2) tzv. šum 1/f - lze rozdělit podle pásem, v nichž se vyskytuje. SUBAKUSTICKÝ ŠUM 1/f - pro pásmo 0,01-1 Hz ŠIROKOPÁSMOVÝ ŠUM 1/f - pro frekv. pásmo 10Hz-10kHz 3) tzv.INTERFERENČNÍ ŠUM 3) tzv.INTERFERENČNÍ ŠUM – vznikající při síťovém napájení v zapojeních se spínanými pulsními zdroji. Jedná se zde o frekvence do 1 kHz. K tomuto šumu velkou měrou přispívá rovněž konstrukční uspořádání zařízení, jako je typ transformátoru (toroidní jádro nebo klasické jádro z plechů EI). Nejčastěji se jedná o rušivý šum kmitočtu 50 Hz, tedy síťového kmitočtu a jeho násobků.

60 průnik jisté části informace/signálu jednoho přenosového kanálu do jiného přenosového kanálu. dochází ke vzájemné degradaci obou přenosových cest pokud jde o kvalitu přenášeného signálu. (to je samozřejmě nežádoucí jev, kterému je nutno zabránit nebo alespoň jej pokud možno co nejvíce omezit). Přeslechy Přeslechy Jaké jsou možnosti omezení přeslechů: Nejradikálnějším řešením je důsledné oddělení všech kanálů jak elektricky tak mechanicky. V praxi to znamená, že každý kanál pracuje jako monoblok se svým zdrojem. (přirozeně nejvíce nákladné řešení bez kompromisů).

61 je nutné zjistit velikost šumového napětí v poměru k napětí výstupnímu a pak už jen dosadit do níže uvedeného vztahu a dostáváme velikost odstupu v dB /SNR – signal to noise ratio/. výstupní napětí U 1 - rozumí se maximální napětí šumové napětí U 2 - napětí při odpojeném vstupním zdroji Způsoby zjištění velikosti šumu Způsoby zjištění velikosti šumu Praktická realizace: Na vstup připojíme zdroj signálu a zvyšujeme úroveň signálu až do limitace. Na výstup řetězce připojíme měřicí zařízení na kterém odečteme velikost výstupního signálu ještě před limitací. Poté odpojíme zdroj a vstup zatížíme jmenovitou vstupní impedancí a rovněž odečteme hodnoty na výstupu. Tento způsob měření úrovně šumu má obecnou platnost jak pro elektroakustická zařízení tak i pro zařízení pro přenos obecného signálu.

62 - je analýzou o tom jak šum proniká ze vstupu na výstup zařízení, výstupní šum se pak může přepočítávat přes vstupně výstupní přenos zpět na vstup zařízení - předmětem šumové analýzy jsou výhradně vnitřní zdroje šumů a způsoby jejich šíření obvodem, vstupní obvody jsou uvažovány jako bezšumové. Pozn: Rezistory a polovodiče, které tvoří principielní základ každého zařízení jsou sami o sobě vždy zdroji vlastního šumu.. Šumová analýza Šumová analýza Pro tyto účely uvažujeme tři druhy šumu: Tepelný šum rezistorů Blikavý šum v polovodičích Blikavý šum v polovodičích Výstřelový šum v polovodičích Výstřelový šum v polovodičích Šum je signál náhodně se měnící v čase ale se stejnými statickými vlastnostmi. Popisujeme je buď časovými průběhy nebo spektrálními charakteristikami (hustota pravděpodobnosti – pravděpodobnosti rozdělení hodnot šumu).

63  ohraničuje plochu, která udává pravděpodobnost výskytu šumu v daném rozmezí hodnot.  Gaussovo rozložení  parametry této křivky jsou směrodatná odchylka šumu a disperze šumu D.  plocha pod celou křivkou je jednotková, čemuž odpovídá stoprocentní pravděpodobnost, že mezivrcholová hodnota šumu se bude nacházet někde v intervalu šumových napětí (-∞, ∞) Hustota pravděpodobnosti šumu Hustota pravděpodobnosti šumu směrodatná odchylka šumu (sigma - σ) – efektivní hodnota šumu disperze šumu D – činný výkon šumu do jednotkové zátěže

64 Nejpravděpodobnější hodnota šumu je nula, což je současně průměrná střední hodnota šumu, hodnoty šumu hodně vzdálené od nuly jsou jak patrno málo pravděpodobné. Pravděpodobnost, že šumový signál překročí hladiny ± 2,5 sigma, neboli, že jeho vrcholová hodnota nebude větší než 5 sigma je jen asi 1,2% Pro 6 sigma je pravděpodobnost jen asi 0,27 % a pro 10 sigma vychází asi 6.10 –5 % Rozložení hodnot šumu

65 V praxi je nutné zabývat se otázkou, do jaké míry je možno šum v kanálu potlačit. Šum může být rozličné fyzikální podstaty a rozličné struktury. Je třeba si uvědomit, že šum může vznikat jednak v kanále a jednak mimo kanál a do kanálu pouze pronikat. Způsoby boje proti šumu Způsoby boje proti šumu

66 Chceme-li zvětšit velikost informace u kanálů s rušivými vlivy, jsou dva hlavní způsoby: Zvětšíme propustnost – buď znásobíme kanál (zvýšíme počet jeho prvků), nebo jej technicky zdokonalíme. Snížíme počet vysílaných znaků – nejde o to, posílat např. impulsy pomalejší frekvence, musíme zpomalit přenos např. větší redundancí.

67 1. Volba technických prostředků, které realizují kanál (např. pošta-kurýr, telefon-rádiové spojení, pneumatický regulační systém-elektrický regulační systém...) v souvislosti s podmínkami, ve kterých bude kanál pracovat; tj. zároveň volba trasy kanálu. 2. Zvýšení spolehlivosti systému použitím dokonalé výrobní technologie, technologických prostředků (koaxiální vodiče, optické vedení). Několik kroků jak řešit problémy šumu: Několik kroků jak řešit problémy šumu:

68 3. Zálohování - zvýšení spolehlivosti systému vhodnou volbou struktury systému (může jít o zálohování některých poruchových součástek např. dvojí montáž kol nákladních automobilů, nebo celých obvodů např. řídicí počítač zálohován regulátory, nebo celého systému např. vojenské spojení). 4. Zvýšení spolehlivosti systému pravidelnou kontrolou a preventivní údržbou - výměna součástí při opotřebení ještě před poruchou (turbíny ve vodních elektrárnách). 5. Zvětšení odstupu signál - šum tj. zvětšením úrovně signálu (zvýšení hlasu na přednášce, zvětšení písma na tabuli, přechod od 0 na 20 mA).

69 6. Volba vhodného nosiče informace - šum s nositelem signálu nebude aditivní (volba pneumatického signálu v prostředí silného elektromagnetického rušení). 7. Vhodná volba kódu - touto otázkou se budeme zabývat v následující kapitole. 8.Filtrace signálu - oddělení frekvenčního (nebo jiného) pásma s podstatně menším šumem (rádio - přijímač). 9.Kompenzace - je-li vznik šumu vázán nějakou zákonitostí a je-li známo místo vzniku (teplotní kompenzace měřidel). 10. Stínění - je-li zdroj šumu mimo kanál a vstupuje do kanálu z vně (elektromagnetické stínění).

70


Stáhnout ppt "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."

Podobné prezentace


Reklamy Google