Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Základy informatiky přednášky Přenos informace.

Podobné prezentace


Prezentace na téma: "Základy informatiky přednášky Přenos informace."— Transkript prezentace:

1 Základy informatiky přednášky Přenos informace

2 ZÁKLADY INFORMATIKY – Přenos informace
Vznik a vývoj teorie informace Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy Informace Základní pojmy – jednotka a zobrazení informace, informační hodnota Entropie – vlastnosti entropie Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu, způsoby boje proti šumu Kódování Elementární teorie kódování Rovnoměrné kódy – telegrafní kód Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda Bezpečností kódy Zabezpečující schopnosti kódů, Systematické kódy, Nesystematické kódy

3 Přenos informace Jednou ze základních operací s informacemi je jejich - přenos. V 50.letech 20.století C.E.Shannon ukázal, že všechny komunikační systémy používané v minulosti, přítomnosti i později vytvořené jsou pouze zvláštní případy obecného komunikačního systému, který lze znázornit dle obrázku: vysílač (kodér) vedení (kanál) přijímač (dekodér) zdroj informace příjemce informace Přenosový kanál přenosová cesta informace jakkoli uskutečněná (nezáleží na fyzikální realizaci této cesty) souhrn prostředků sloužících k přenosu signálu od zdroje k příjemci zdroj rušivých signálů

4 Informace procházející kanálem může nabýt mnoha různých forem, obsah však zůstává nezměněn.
Forma informace uvnitř kanálu bývá obvykle různá od formy vstupující do kanálu a formy informace z kanálu vystupující. Informace, či zpráva tedy bývá přeložena do řeči kanálu kódována .

5 Zdroj musí mít k dispozici zásobu symbolů, ze kterých zprávu sestaví.
Pro přenos musí být tyto symboly převedeny na fyzikální signály, které jsou technicky schopné přenosu kódování zprávy do signálů. Po přenosu musí existovat možnost převedení signálů do původních symbolů dekódování zprávy.

6 Příklad: Uvažujme o telefonním hovoru.
Účastník zjistí konkrétní informaci, zvolí si číslo účastníka, kterému chce tuto informaci předat. Do sluchátka řekne informaci ve formě akustického spektra (abecedou zdroje jsou akustické prvky řeči). Telefonní přístroj překóduje jeho řeč do elektrických signálů a vyšle je přenosovým kanálem (telefonní dráty). Přijímací telefonní přístroj dekóduje přijatý elektrický signál zpět do akustického spektra. Příjemce tedy slyší informaci přicházející od zdroje. Informace v přenosu změnila svou formu, ale obsah zůstal zachován.

7 Obecně můžeme říct, že informaci o stavu systému X získáváme zprostředkovaně pozorováním systému Y, který je se systémem X nějak spojen. Zpravidla je to způsobeno nedostupností systému X (např. systém X je tvořen textem telegramu, který je podán na poště v Brně a systém Y je tvořen textem přijatého telegramu na poště ve Zlíně).

8 Je zřejmé, že stav systému Y nemusí být totožný se stavem systému X.
Rozdíly mohou být dvojího druhu: více některých stavů systému X se zobrazí do jednoho stavu Y - nedokáže rozlišit jemnosti b) chyby při přenosu zprávy mezi systémy - šum V ideálním sdělovacím systému, ve kterém neexistují poruchy, přijatá zpráva přesně souhlasí s vyslanou. Ve skutečných systémech, kde působí poruchy se tento případ nikdy nevyskytuje.

9 To, jak dalece souhlasí přijatý signál s vyslaným, charakterizuje spolehlivost spojení. Při šíření v prostředí s náhodně se měnícími vlastnostmi signál podléhá náhodnému zkreslení, které nelze zkorigovat. Spolehlivost závisí na poměru výkonu signálu k výkonu šumu ve sdělovacím kanálu. Platí, že spolehlivost klesá se vzdáleností. Mezní vzdálenost, ve které je ještě splněna daná spolehlivost, určuje dosah spojení. Ve sdělovacím systému má tento parametr prvořadý význam.

10 Zdroje zpráv - Základem každého zdroje je ABECEDA.
- Prvky abecedy zdroje se nazývají písmena abecedy. Obsahuje-li abeceda zdroje celkem n různých prvků, pak je tato abeceda charakterizována konečnou množinou prvků A(n)={ d1, d2, ... , dn }. Vytvořené posloupnosti ze znaků abecedy se nazývají zprávy. Libovolnou zprávu danou posloupností m symbolů pak můžeme zapsat:

11 Počet prvků m z nichž je složena realizace zprávy nazýváme délkou zprávy.
Zdroj zpráv může obecně produkovat různé zprávy, které se budou lišit jednak délkou a jednak výskytem jednotlivých prvků na tom kterém místě dané posloupnosti. Celkový počet možných a navzájem různých realizací zpráv délky m, které by mohly být produkovány zdrojem s abecedou A(n) bude dán počtem všech možných variací m symbolů s opakováním, které lze vytvořit z n prvků. Pak celkový počet možných zpráv délky m ze zdroje s abecedou A(n) je:

12 Každou dílčí zprávu si můžeme představit jako výběr prvků abecedy zdroje di podle příslušných pravděpodobností pi. Vzájemným uspořádáním těchto prvků a příslušných pravděpodobností obdržíme tzv. pravděpodobnostní signální pole. Přitom musí pro celou abecedu zdroje platit: Následuje-li výběr písmen z abecedy zdroje za sebou nezávisle a náhodně, považujeme pravděpodobnostní pole za zdroj informace.

13 Každý zdroj informace představuje jistou neurčitost výběru jeho elementárních znaků - písmen. Tato neurčitost zaniká vždy po provedeném výběru, kdy se příslušná pravděpodobnost mění v jistotu. Stupeň neurčitosti je závislý na organizaci množiny. Neurčitost je tím větší, čím více se blíží rozložení pravděpodobností pi rozložení rovnoměrnému. Tedy případu, kdy p1 = p2 = ... = pn. Roste-li počet elementů množiny tvořící zdroj informace - počet písmen abecedy zdroje (a rovnoměrné rozložení pravděpodobnosti je zachováno), neurčitost se rovněž zvyšuje.

14 Ekvipotencionální zdroj
je zdroj nad abecedou A(n), který produkuje všech n znaků abecedy A(n) se stejnou pravděpodobností: na libovolné pozici zprávy a nezávisle na výskytu znaků na jiných pozicích zprávy. Obecně můžeme zdroje zpráv dělit na: spojité diskrétní

15 zavedeme pravděpodobnost výskytu hodnot v elementárním intervalu dx.
Spojité zdroje zpráv Má-li abeceda zdroje nekonečný počet prvků, pak takový zdroj nazýváme zdrojem spojitých zpráv. Obtížné zavedení pojmů množství informace a entropie ( nekonečný počet možných hodnot ) zavedeme pravděpodobnost výskytu hodnot v elementárním intervalu dx. Pravděpodobnost toho, že se určitá konkrétní hodnota signálu  bude vyskytovat v intervalu dxi je daná výrazem : kde w(xi) dxi vyjadřuje pravděpodobnost spojité náhodné veličiny v elementárním intervalu dxi, který se nazývá element pravděpodobnosti (diferenciální pravděpodobnost).

16 Grafické znázornění rozložení pravděpodobnosti výskytu spojitého signálu:
Interval možných hodnot proměnné x můžeme rozdělit na elementární intervaly ∆x. Tím dostaneme konečnou množinu intervalů ∆x1, ∆x2, … xi w(x) x xi+1

17 S každým takovým elementárním intervalem ∆xi můžeme spojit pravděpodobnost výskytu proměnné x v tomto intervalu : Množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu xi můžeme definovat vztahem : Tato informace bude mít vždy konečnou hodnotu. Kdyby nás ale zajímala informace získaná přijetím určité konkrétní hodnoty xi tzn. hodnoty z intervalu xi0, bude tato informace nekonečně velká - z praktického hlediska to nemá význam.

18 Příklad: Uvažujme o střelbě na terč.
Místo dopadu střely je ve skutečnosti spojitou náhodnou veličinou, neboť se může vyskytnout v libovolném bodě terče. Když si terč rozdělíme např. na 12 kvadrantů, tím vlastně diskretizujeme spojitou náhodnou veličinu. Zásah jednotlivých kvadrantů pokládáme za náhodný. Zajímá nás ale, který kvadrant byl zasažen. To znamená, že můžeme označit zásah i-tého kvadrantu jako jev (zprávu) xi s pravděpodobností P(xi). Můžeme tedy definovat množství informace spojené s přijetím nějaké hodnoty, která se nachází v subintervalu (kvadrantu) xi.

19 Diskrétní zdroje zpráv
Má-li abeceda zdroje konečný počet n možných prvků, pak takový zdroj nazýváme : zdrojem diskrétních zpráv - diskrétní zdroj. Pod diskrétním zdrojem zpráv rozumíme zařízení, které vyšle za časovou jednotku právě jeden z konečného počtu signálů. Jelikož v praktických podmínkách je výhodnější (někdy nutné) používat konečný počet prvků abecedy zdroje, vysvětlíme si jakým způsobem je možné ze zdroje spojitého získat zdroj diskrétní.

20 Spojitou zprávu si můžeme znázornit jako nějakou spojitou časovou funkci. Uvažujme například snímání teploty: T [C] t [min]

21 Představme si nyní, že budou odečítány pouze celistvé hodnoty teplot, lišící se o T [C].
Takováto operace se obecně nazývá kvantování spojité veličiny podle amplitudy a T je šířka kvantizačního intervalu. T0 T [C] T1 T2 T3 T4 T5 t1 t2 t3 t4 t5 t[min] T = Ti - Ti-1

22 Touto operací jsme docílili toho, že počet prvků abecedy zdroje (tj
Touto operací jsme docílili toho, že počet prvků abecedy zdroje (tj. T0 , T1, ..., T5) je konečný, to znamená zdroj můžeme považovat za diskrétní. T0 T [C] T1 T2 T3 T4 T5 t1 t2 t3 t4 t5 t[min]

23 Zdá se, že v tomto případě ztrácíme informaci o jemných podrobnostech zprávy!!!
Volíme-li však šířku kvantizačních intervalů o něco větší než je chyba měření , pak kvantovaná zpráva bude vyjadřovat stejnou informaci jako její spojitý průběh. (používáme přístroje, které mají vždy konečnou přesnost (neboli měří s jisto chybou ). Změny kvantované veličiny nastávají v různých časových okamžicích t1, t2, ..., tn. Z hlediska realizace přenosu zpráv je to ale nevýhodné. Proto se obvykle provádí další operace.

24 kvantování spojité veličiny v čase - vzorkování.
Představme si, že teplota v předchozím příkladě nebude měřena plynule, ale hodnoty teploty budou odečítány po určitých stejných časových intervalech t. V tomto v případě bude zdroj produkovat diskrétní číselné hodnoty y1, y2, ...yn, odpovídající okamžitým hodnotám teploty v časových okamžicích t1, t2, ..., tn. Takováto operace se nazývá kvantování spojité veličiny v čase - vzorkování.

25 y [t] t1 t2 t3 t4 t5 t[min] y1 y2 y3 y4 y5

26 - Abychom získali vhodný diskrétní signál provedeme
Po vzorkování zůstává ale zpráva pořád spojitým signálem tzn. počet možných amplitud je nekonečně velký. - Abychom získali vhodný diskrétní signál provedeme spojení obou předchozích operací. - Nejprve realizujeme kvantování v čase a pak kvantování podle amplitudy tj. kvantování v čase a amplitudě. Převod spojitého signálu na diskrétní dvojkový signál se nazývá ……..delta kvantování.

27 zdroj rušivých signálů
Přenosový kanál - zprostředkovává předání informace mezi zdrojem a příjemcem. Kodér zdroje - jeho úkolem je provést kódování zprávy s maximální hospodárností tak, aby pro přenos zprávy byl použit co nejmenší počet znaků. (je třeba minimalizovat redundanci zprávy a zvýšit tak její entropii, tj. množství informace na jeden znak). Kodér kanálu - jeho úkolem je zabezpečit spolehlivost přenosu tím, že doplňuje informační znaky o přídavné znaky podle určitého algoritmu bezpečnostního kódu. Ten může být buď-to detekční ( příjemce je schopen zjistit, že při přenosu došlo k chybě ), nebo korekční ( příjemce je navíc schopen lokalizovat místo chyby a opravit ji ). Příkladem je komprese textových souborů před jejich přenosem, častým úkolem kodéru zdroje je převést původní signál – zdroj informace na signál elektrický, případně transformovat jej do digitální podoby (AD převodník). zdroj rušivých signálů kodér zdroje kodér kanálu vedení (kanál) dekodér kanálu dekodér zdroje Kanál - jsou do něj zahrnuty ostatní transformace signálu při přenosu (modulátor a demodulátor, přenosové médium, působení rušení atd.) Dekodér kanálu - jeho úkolem je detekovat či opravovat případné chyby při přenosu a rekonstruovat signál tak, aby odpovídal výstupnímu signálu kodéru zdroje. Dekodér příjemce - jeho úkolem je upravit dekódovanou zprávu na tvar vhodný pro příjemce.

28 zdroj rušivých signálů
Systémy přenosu FEC (Forvard Error Correction, dopředná korekce chyb) vystačíme s koncepcí podle předchozího obrázku při současném zabezpečení dat korekčním kódem. Není požadován extrémní požadavek na spolehlivost přenosu zprávy (netrváme na správném přenosu „každého bitu“, např. při přenosu řeči) nebo je-li úroveň rušení při přenosu relativně malá, Zpětnovazební systémy ARQ (Automatic Request for Repetition, automatická žádost o opakování přenosu) požadavky na vysoce spolehlivý přenos dat (např. přenos binárních souborů pomocí INTERNETU) doplnění schématu na předchozím obrázku o tzv. zpětnovazební kanál data zabezpečena většinou pouze detekčním kódem zdroj rušivých signálů kodér zdroje kodér kanálu vedení (kanál) dekodér kanálu dekodér zdroje Zpětnovazební kanál

29 Zpětnovazební systémy ARQ
Systémy s rozhodovací zpětnou vazbou DFB (Decision Feedback) – přijímač využívá při vyhodnocení správnosti přenosu detekčního kódu. V případě správného přenosu - vyšle přijímač zpětným kanálem vysílači tzv. poděkování ACK (Acknowledgment). V případě nesprávného přenosu - zpětnovazebním kanálem je vyslán příkaz NACK (Negative Acknowledgment – negativní poděkování) k opakování přenosu daného slova. Rozhodnutí o případném opakování přenosu tedy vzniká na straně přijímače. Zpětný kanál přenáší pouze jednoduché řídící příkazy, a proto může být pomalý. Nevýhodou je, že nejsou opraveny chyby, které daný kód není schopen detekovat. Druh kódu je proto třeba volit velmi pečlivě s ohledem na charakter rozložení chyb. Systémy s informační zpětnou vazbou IFB (Information Feedback) – přímým kanálem jsou vysílána pouze nezabezpečená slova zprávy. Zabezpečující část je ponechána v paměti vysílače. Na základě přijatého slova (které může být narušeno) je na straně přijímače vypočtena zabezpečující část, která je vyslána zpětným kanálem k přijímači. Zde dojde k porovnání s údajem v paměti. Je-li výsledek porovnání negativní, vysílání se opakuje. V opačném případě vyšle vysílač pokyn k uvolnění dat v paměti přijímače a pokračuje ve vysílání dalšího slova. Zpráva, která se posílá zpět a která je odvozena od přijatého slova se nazývá kvitance. (v nejjednodušším případě může být kvitancí celé přijaté slovo). Rozhodnutí o případném opakování přenosu tedy vzniká na straně vysílače. Nevýhody: - zpětný kanál musí zabezpečit přenosovou rychlost srovnatelnou s přenosovou rychlostí dopředního kanálu. - zbytečné opakování vysílání, dojde-li k chybě ve zpětném kanálu. Výhoda: vysílání pouze nezabezpečených dat. Protože k rozhodování o případné chybě dochází na straně vysílače na základě porovnání atributů vyslaného a přijatého slova, tento systém je značně spolehlivý.

30 Druhy sdělovacích kanálů
Podle charakteru přenášené informace dělíme přenosové kanály na: Diskrétní - pracují s konečným počtem symbolů s diskrétním časem: na výstupu kanálu se objeví symbol v určitém časovém okamžiku, se spojitým časem: na výstupu kanálu se objeví symbol v lib. časovém okamžiku, s pamětí: výsledek přenosu znaku ze vstupu na výstup závisí na předchozích znacích na vstupu. (pravděpodobnost vzniku chyby v časovém okamžiku t závisí na vzniku chyby v časových okamžicích t-1, t-2). bez paměti: opak kanálu s pamětí. Spojité - pracují se spojitými veličinami, které mohou nabývat nekonečně mnoho stavů. Spojité kanály mohou také pracovat s diskrétním, či spojitým časem. Protože lze všechny typy kanálů redukovat na diskrétní kanály s diskrétním časem budeme nadále sledovat výhradně tento typ.

31 Z hlediska teorie informace modelujeme přenosový kanál podle pravděpodobnosti příjmu vyslané zprávy. Z tohoto hlediska můžeme rozdělit kanály na: Bezhlukový (bezšumový) - kanál, přenášející informaci s naprostou jistotou, tj. s pravděpodobností p = 1 Bezztrátový - kanál, který nezabezpečuje správný přenos informace a vyslaný symbol se může s různou pravděpodobností změnit na více symbolů na přijímací straně. Nikdy však dva symboly vyslané nepřejdou do téhož symbolu přijatého. Hlukový (šumový) - kanál, v němž každý vyslaný symbol může přejít s libovolnou pravděpodobností v jakýkoli symbol na přijímací straně.

32 Bezhlukový (bezšumový)
Grafické znázornění jednotlivých typů přenosových kanálů Bezhlukový (bezšumový) Bezztrátový Hlukový (šumový)

33 Model diskrétního sdělovacího kanálu
Vstup kanálu je množina znaků {X} spolu s jejich pravděpodobnostmi výskytu, které je třeba kanálem přenést. Výstup kanálu je množina znaků {Y} spolu s jejich pravděpodobnostmi výskytu, které získává příjemce. Nejčastěji používáme dvojkových (binárních) symbolů pro vyjádření informace. Pokud jsou tedy množiny {X} a {Y} dvouprvkové, jedná se - o binární kanál. Podmíněné pravděpodobnosti typu P(yj|xi) udávají pravděpodobnost přijetí prvku yj za podmínky, že byl vyslán prvek xi. Pravděpodobnosti P(y1|x1) a P(y2|x2) jsou pravděpodobnost přijetí znaku y1(y2), byl-li vyslán znak x1(x2) - správně přenesený znak x1(x2)), popisují případy správného přenosu – spolehlivost kanálu. Pravděpodobnosti P(y2|x1) a P(y1|x2) jsou pravděpodobnost přijetí znaku y2(y1), byl-li vyslán znak x1(x2) - chybně přenesený znak x1(x2)), popisují případy chybného přenosu – chybovost kanálu.

34 Pravděpodobnosti jsou vázány výrazy:
P(y1|x1)+P(y2|x1)=1 (vyšleme-li x1, pak přijmeme buď y1 nebo y2), P(y1|x2)+P(y2|x2)=1 (vyšleme-li x2, pak přijmeme buď y1 nebo y2). Z těchto pravděpodobností lze sestavit (přímou) matici kanálu: Pokud platí: P(y1|x1) = P(y2|x2) = p P(y2|x1) = P(y1|x2) = q=1-p pak mluvíme o symetrickém binárním kanále. pravděpodobnost p označujeme jako spolehlivost kanálu pravděpodobnosti q pak označujeme jako chybovost kanálu

35 Známe-li pravděpodobnosti výskytů symbolů x1 a x2 na vstupu kanálu P(x1) a P(x2), pak můžeme určit pravděpodobnosti výskytu symbolů y1 a y2 na výstupu kanálu podle: Příklad: Symetrický binární kanál bez paměti má spolehlivost 95%. Binární znaky {0, 1} se na vstupu objevují s pravděpodobnostmi P(x1) = P(0) = 0,4, P(x2) = P(1) = 0,6. Vypočtěte pravděpodobnosti výskytu těchto znaků na výstupu kanálu. Řešení: p = 0,95, q = 0,05, P(y1)= 0,4 . 0,95 + 0,6 . 0,05 = 0,41 … výskyt nuly na výstupu P(y2)= 0,6 . 0,95 + 0,4 . 0,05 = 0,59 … výskyt jedničky na výstupu

36 Zatím jsme popisovali kanál s orientací ze vstupu na výstup
Zatím jsme popisovali kanál s orientací ze vstupu na výstup. Podobně se dá kanál popsat z pohledu příjemce informace, který je na výstupu kanálu. V tomto případě pracujeme s těmito pravděpodobnostmi: P(x1|y1) - pravděpodobnost vyslání znaku x1, byl-li přijat znak y1 (správně přenesený znak x1) P(x2|y2) - pravděpodobnost vyslání znaku x2, byl-li přijat znak y2 (správně přenesený znak x2) P(x1|y2) - pravděpodobnost vyslání znaku x1, byl-li přijat znak y2 (chybně přenesený znak x1) P(x2|y1) - pravděpodobnost vyslání znaku x2, byl-li přijat znak y1 (chybně přenesený znak x2). Pro výpočet těchto pravděpodobností platí: P(xi,yj)=P(xi).P(yj|xi) = P(yj).P(xi|yj) i,j = {1,2} P(xi,yj) – pravděpodobnost současného výskytu jevů xi a yj – simultánní pravděpodobnost Pravděpodobnosti P(y1) resp. P(y2) se určí pomocí vzorců z předešlého slajdu.

37 Z těchto pravděpodobností lze pak sestavit (zpětnou) matici kanálu:
Prvky této matice (na rozdíl od matice KXY) už závisí na pravděpodobnostech výskytu znaků na vstupu x1 a x2. Po dosazení a úpravě vyjdou konečné vzorce pro symetrický kanál:

38 Příklad: Určete přímou a zpětnou matici symetrického binárního kanálu bez paměti o spolehlivosti 95%. Uvažujte opět P(x1) = P(0) = 0,4, P(x2) = P(1) = 0,6. Řešení: P(y1|x1)=P(y2|x2)=p = 0,95, P(y1|x2)=P(y2|x1)= q = 0,05 Přímá matice kanálu: Zpětná matice kanálu:

39 Příklad: Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% z příkladu 20 je vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a nezávisí na předchozích znacích. Vypočtěte entropii zprávy na vstupu a výstupu. Řešení: p = 0,95, q = 0,05 P(x1)=P(x2)=0,5 → H(X)=1 bit P(y1)= P(x1).p + P(x2).q = 0,5 . 0,95 + 0,5 . 0,05 = 0,5 → H(Y) = 1 P(y2)= P(x2).p + P(x1).q = 0,5 . 0,95 + 0,5 . 0,05 = 0,5 Zdálo by se, že jestliže zpráva vstupuje do hlukového kanálu, část jejího informačního obsahu se „ztratí“. Z příkladu však vyplývá, že množství informace je ve vstupní i výstupní zprávě stejné: stejně vyšly entropie, tj. průměrné množství informace na znak, a obě zprávy jsou stejně dlouhé. Problém je v tom, že v důsledku šumu došlo sice k poklesu množství informace při přenosu, hlukový kanál však doplnil do zprávy shodou okolností stejné množství „dezinformace“. Informační obsahy vstupní a výstupní zprávy se jeví jako stejné. Uživatele však zajímá jen množství informace skutečně přenesené od zdroje k příjemci, tzv. vzájemná informace. Její výpočet si usnadníme pomocí tzv. podmíněných a simultánních entropií.

40 Podmíněné a simultánní entropie
Neurčitost příjemce na výstupu kanálu o tom, co je vysláno do vstupu, je H(X). Přečte-li si však výstupní znak a zjistí, že výstup je yj, pak tato neurčitost je zmenšena na hodnotu H(X|yj). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu). Podmíněná entropie vstupního souboru {X} při známém výstupu yj: Zprůměrujeme-li entropie pro všechny možné výstupy yj, dostaneme tzv. podmíněnou entropii vstupu po čtení výstupu: (lze chápat jako průměrné množství informace na znak zprávy, které se „ztratilo“ na cestě od vstupu kanálu k příjemci) Konkrétně pro binární kanál vede dvojitá suma na: Podmíněná entropie vstupu po čtení výstupu představuje průměrnou neurčitost pozorovatele o stavu vstupu kanálu po přečtení výstupu. Před přečtením byla jeho neurčitost H(X). Rozdíl těchto hodnot je tedy informace o vstupu, kterou pozorovatel získal čtením a která „prošla“ kanálem k příjemci. Hovoříme o vzájemné informaci ze vstupu na výstup I(X,Y):

41 Příklad: Na vstup symetrického binárního kanálu bez paměti o spolehlivosti 95% je vyslána binární zpráva. Pravděpodobnosti výskytu nul a jedniček jsou stejné a nezávisí na předchozích znacích. Entropie zprávy na vstupu i výstupu je 1 bit (viz předchozí příklad). Vypočtěte průměrné množství informace na znak zprávy, které se „ztratí“ na cestě od vstupu kanálu k příjemci, a vzájemnou vstupně-výstupní informaci. Řešení: P(y1|x1)=P(y2|x2)=p = 0,95, P(y1|x2)=P(y2|x1)= q = 0,05 P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit Nejprve vypočteme simultánní pravděpodobnosti P(xi,yj), které budeme potřebovat pro výpočet H(X|Y). P(x1,y1)= P(x1).P(y1|x1) = 0,5 . 0,95 = 0, P(x1,y2)= P(x1).P(y2|x1) = 0,5 . 0,05 = 0,025 P(x2,y1)= P(x2).P(y1|x2) = 0,5 . 0,05 = 0, P(x2,y2)= P(x2).P(y2|x2) = 0,5 . 0,95 = 0,475 Pravděpodobnosti ze zpětné matice kanálu: Podmíněná entropie vstupu po čtení výstupu: Vzájemná informace ze vstupu na výstup:

42 Konkrétně pro binární kanál vede dvojitá suma na:
Pokud se díváme na problém přenosu z pozice vysílače informace na vstupu kanálu je pak neurčitost pozorovatele na vstupu kanálu o tom, co je přijato na výstupu H(Y). Zjistí-li však, že byl vyslán znak xi, pak tato neurčitost je zmenšena na hodnotu H(Y|xi). (u bezhlukového kanálu je dokonce neurčitost zmenšena na nulovou hodnotu). Podmíněná entropie výstupního souboru {Y} při známém vstupu xi: Zprůměrujeme-li entropie pro všechny možné vstupy xi, dostaneme tzv. podmíněnou entropii výstupu po čtení vstupu: (lze chápat jako průměrné množství informace na znak zprávy, které se do výstupní zprávy dostalo rušivým působením kanálu a které nemá původ ve vstupní zprávě.) Konkrétně pro binární kanál vede dvojitá suma na: Podmíněná entropie výstupu po čtení vstupu představuje průměrnou neurčitost pozorovatele o stavu výstupu kanálu po přečtení vstupu. Před přečtením byla jeho neurčitost H(Y). Rozdíl těchto hodnot je tedy informace o výstupu, kterou pozorovatel získal čtením vstupu a která „prošla zpět“ kanálem z výstupu k příjemci. Nazvěme ji vzájemnou informací z výstupu na vstup I(Y,X):

43 H(X)-H(X|Y)=H(Y)-H(Y|X) vzájemná vstupně-výstupní informace
Neurčitost pozorovatele, který pozoruje „nad kanálem“ zároveň vstupy i výstupy, o stavech těchto vstupů a výstupů je označována jako: Simultánní entropie vstupního a výstupního souboru: Dá se přesně určit pomocí entropií podmíněných: H(X,Y)=H(X)+H(Y|X) Neurčitost pozorovatele o stavech X a Y se dá snížit přečtením vstupu, tj. získáním informace H(X). To, co zbude, je neurčitost o stavu Y za podmínky, že jsme již přečetli vstup. H(X,Y)=H(Y)+H(X|Y) Neurčitost pozorovatele o stavech X a Y se dá snížit přečtením výstupu, tj. získáním informace H(Y). To, co zbude, je neurčitost o stavu X za podmínky, že jsme již přečetli výstup. H(X)-H(X|Y)=H(Y)-H(Y|X) I(X,Y)=I(Y,X) vzájemná vstupně-výstupní informace

44 min{H(X),H(Y)} ≤ H(X,Y) ≤ H(X)+H(Y)
Ztráta informace H(X|Y) H(X) H(X,Y) I(X,Y) H(Y) H(Y|X) Dezinformace dodadá hlukovým kanálem Schéma informačních poměrů v hlukovém kanálu min{H(X),H(Y)} ≤ H(X,Y) ≤ H(X)+H(Y)

45 Příklad: Vypočtěte vzájemnou vstupně-výstupní informaci a podmíněné entropie H(Y|X) a H(X|Y) pro binární symetrický kanál bez paměti o spolehlivosti: a) 100% b) 50% c) 0% za předpokladu stejných pravděpodobností výskytu symbolů na vstupu. Řešení: P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit P(y1|x1)=P(y2|x2)=p, P(y1|x2)=P(y2|x1)= q Z předchozího příkladu je zřejmé, že při předpokladu stejné pravděpodobnosti výskytu znaků platí: P(x1|y1)= P(y1|x1) = p P(x2|y2)= P(y2|x2) = P P(x1|y2)= P(y2|x1) = q P(x2|y1)= P(y1|x2) = q P(x1,y1)= P(x1).P(y1|x1) = 0,5 . p P(x2,y2)= P(x2).P(y2|x2) = 0,5 . P P(x1,y2)= P(x1).P(y2|x1) = 0,5 . q P(x2,y1)= P(x2).P(y1|x2) = 0,5 . q I(X,Y)=1+p.log2p+q.log2q Ad a) p=1, q=0 H(X|Y)=H(Y|X)=0 I(X,Y)=1 Ad b) p=0,5, q=0,5 H(X|Y)=H(Y|X)=1 I(X,Y)=0 Ad c) p=0, q=1 H(X|Y)=H(Y|X)=0 I(X,Y)=1

46 Informační poměry v kanálu pro předchozí příklad
pro spolehlivost kanálu a) 100%, b) 50%, c) 0%. Totožnost informačních schémat a) a c) je zarážející jen na první pohled. Případ c) znamená, že při vyslání jedničky je vždy přijata nula a naopak. Kanál má tedy stoprocentní spolehlivost, jen je třeba uvažovat „inverzní“ kód. Pro případ b) není žádná statistická souvislost mezi vstupem a výstupem, čemuž odpovídá nulová vzájemná informace. Kanál je tedy pro přenos informace neprůchodný . Můžeme si ověřit, že nula vyjde při libovolném rozložení pravděpodobností P(x1) a P(x2).

47 Příklad: Vypočtěte entropii na vstupu a výstupu a vzájemnou vstupně-výstupní informaci pro binární symetrický kanál bez paměti o spolehlivosti P, jestliže jedničky a nuly se objevují na vstupu s pravděpodobnostmi: a) stejnými, b) P(1) = 1, P(0) = 0. Řešení: Ad a) P(x1)=P(x2)=P(y1)=P(y2)=0,5 → H(X)=H(Y)=1 bit P(y1|x1)=P(y2|x2)=p, P(y1|x2)=P(y2|x1)= q Z předchozího příkladu platí: H(X|Y)= H(Y|X)=-p.log2 p - q.log2 q I(X,Y)=H(X)+H(X|Y)=1+p.log2 p + q.log2 q Ad b) P(x1)=1, P(x2)=0 → H(X)=0 bit P(y1)=P(x1).p+P(x2).q=p P(y2)=P(x2).p+P(x1).q=q I(X,Y)=0 H(Y)=-p.log2 p - q.log2 q

48 Vlastnosti přenosových kanálů
Schopnost kanálu přenášet informaci se popisuje veličinou nazývanou propustnost neboli kapacita kanálu. Kapacita kanálu C je maximální možná vzájemná informace, kterou můžeme „protlačit“ tímto kanálem při uvažování všech možných statistických vlastností vstupních informačních posloupností. Pro stacionární diskrétní kanál bez paměti stačí hledat maximum vzájemné informace pro různá rozložení pravděpodobnosti vstupních znaků: K tomuto maximu dochází při rovnoměrném rozdělení pravděpodobností. V případě symetrického binárního kanálu pak musí být proto kapacita dána vzorcem:

49 Příklad: Telefonní signál je modulací PCM přenáš en symetrický m binárním kanálem. Je požadována chybovost přenosu BER < Navrhněte kapacitu kanálu. Řešení: BER (Bit Error Rate) je možné pro tento případ ztotožnit s chybovostí kanálu Q: Q = 10-4, C’ ≥ 1 + (1-10-4) log2(1-10-4) log210-4 ≈ 0,9985 bit.

50 kde Fm je mezní frekvence.
Je-li informační znak realizován signálovým prvkem délky , je možné vyjádřit kapacitu kanálu v bit/s jako množství informace přenesené za jednotku času: Minimální možná délka signálových prvků t, při které lze ještě realizovat bezchybný přenos takových prvků, souvisí pouze s fyzikálními parametry kanálu. Na základě Kotelnikova teorému dostaneme pro minimální možnou délku signálových prvků t0 vztah: kde Fm je mezní frekvence.

51 Závislost kapacity symetrické ho binárního kanálu na jeho spolehlivosti.
Maximální možná kapacita binárního kanálu je 1 bit a dochází k ní při stoprocentní spolehlivosti kanálu. Při spolehlivosti 50% je kanál nepropustný . Další snižování spolehlivosti směrem k nule však vede na růst kapacity až k maximu 1 bit v důsledku „inverzního kódování“,

52 Propustnost je tedy rovna největší (maximální) informaci, která může být přenesena za jednotku času při nulové redundanci (nadbytečnosti) kódu. To znamená, že žádným kanálem nelze za jednotku času poslat větší informaci, než je jeho propustnost. Je-li kód redundantní, nelze využít ani celé propustnosti kanálu. Je-li kanál sestaven z několika přenosových členů, je maximální propustnost dána propustností členu s nejmenší propustnosti.

53 Po dosazení za entropii HX:
Úkolem teorie informace je, aby přes informační přenosový kanál byla přenesena maximální informace za co nejkratší dobu. I. V případě kanálu bez rušivých procesů pro maximální hodnotu informace IX→Y platí: Po dosazení za entropii HX: kde n je celkový počet možných stavů systému X Propustnost kanálu bez rušivých procesů pak bude dána vzorcem: Maximální množství informace, které lze takovým kanálem přenést za dobu DT pak bude:

54 II. V případě kanálu za přítomnosti rušivých procesů:
Stanovení propustnosti kanálu za přítomnosti rušivých procesů je v obecném případě velmi složité. Rozdíl mezi informací, kterou vložíme na vstup a informací, kterou přijmeme na výstupu z kanálu se nazývá šum nebo porucha. Protože šum je statistická veličina a práce s takovou veličinou přesahuje náplň tohoto předmětu, dále pouze naznačíme postup v takovémto případu.

55 U přenosových zařízení proto rozlišujeme spolehlivost a bezpečnost.
Poruchy a šumy přenosu Doposud jsme informační řetězec považovali za bezporuchový. Nic reálného však není ideální. Při přenosu se objevují různé poruchy, závady, chyby, zkreslení nebo šumy. PORUCHA – úplná nebo částečná – znamená přerušení přenosové cesty tím, že systém ztrácí schopnost pracovat v přípustných mezích ŠUM - je to veličina, která snižuje kvalitu kanálu a zmenšuje velikost přenesené informace za jednotku času. U přenosových zařízení proto rozlišujeme spolehlivost a bezpečnost.

56 Rozeznáváme šumy nejrůznější fyzikální povahy, např.
Šumy přenosu Šumy jsou poruchy náhodné povahy, které působí při přenosu na signál, který více či méně zkreslují. Jsou to stochastické (náhodné) procesy, pro něž předpokládáme podmínku stacionárnosti. (nemění se střední hodnota náhodného procesu v čase a autokorelační je funkce závislá pouze na časovém posunutí T) Rozeznáváme šumy nejrůznější fyzikální povahy, např. šum tepelný – vířivý pohyb elektronů ve vodičích šum polovodičů přeslechy – nerovnováha mezi souběžnými vedeními šumy impulsové povahy – atmosférické poruchy, chvění kontaktů

57 Tepelný šum - pohyb volných částic se záporným nábojem ve vodičích
Hovoříme o tzv. Johnsonově tepelném šumu, který je nejčastější složkou šumu pří frekvencích přibližně od 1–100kHz. Jde o šum v rezistorech vytvářející přídavná šumová napětí podle vztahu: kde k - Bolzman.konstanta T - absolutní teplota ∆f – frekvenční pásmo Ri – odpor kde šum vzniká

58 2) tzv. šum 1/f - lze rozdělit podle pásem, v nichž se vyskytuje.
Polovodičový šum 1) teplotně závislý a je dán typem polovodičového materiálu použitého při výrobě přechodu. Hovoříme o tzv.Schotkyho šumu vznikající na přechodu polovodič – kov ve zhruba shodném frekvenčním rozsahu. 2) tzv. šum 1/f - lze rozdělit podle pásem, v nichž se vyskytuje. SUBAKUSTICKÝ ŠUM 1/f - pro pásmo 0,01-1 Hz ŠIROKOPÁSMOVÝ ŠUM 1/f - pro frekv. pásmo 10Hz-10kHz 3) tzv.INTERFERENČNÍ ŠUM – vznikající při síťovém napájení v zapojeních se spínanými pulsními zdroji. Jedná se zde o frekvence do 1 kHz. K tomuto šumu velkou měrou přispívá rovněž konstrukční uspořádání zařízení, jako je typ transformátoru (toroidní jádro nebo klasické jádro z plechů EI). Nejčastěji se jedná o rušivý šum kmitočtu 50 Hz, tedy síťového kmitočtu a jeho násobků.

59 Přeslechy průnik jisté části informace/signálu jednoho přenosového kanálu do jiného přenosového kanálu. dochází ke vzájemné degradaci obou přenosových cest pokud jde o kvalitu přenášeného signálu. (to je samozřejmě nežádoucí jev, kterému je nutno zabránit nebo alespoň jej pokud možno co nejvíce omezit). Jaké jsou možnosti omezení přeslechů: Nejradikálnějším řešením je důsledné oddělení všech kanálů jak elektricky tak mechanicky. V praxi to znamená, že každý kanál pracuje jako monoblok se svým zdrojem. (přirozeně nejvíce nákladné řešení bez kompromisů).

60 Způsoby zjištění velikosti šumu
je nutné zjistit velikost šumového napětí v poměru k napětí výstupnímu a pak už jen dosadit do níže uvedeného vztahu a dostáváme velikost odstupu v dB /SNR – signal to noise ratio/. výstupní napětí U1 - rozumí se maximální napětí šumové napětí U2 - napětí při odpojeném vstupním zdroji Praktická realizace: Na vstup připojíme zdroj signálu a zvyšujeme úroveň signálu až do limitace. Na výstup řetězce připojíme měřicí zařízení na kterém odečteme velikost výstupního signálu ještě před limitací. Poté odpojíme zdroj a vstup zatížíme jmenovitou vstupní impedancí a rovněž odečteme hodnoty na výstupu. Tento způsob měření úrovně šumu má obecnou platnost jak pro elektroakustická zařízení tak i pro zařízení pro přenos obecného signálu.

61 Šumová analýza - je analýzou o tom jak šum proniká ze vstupu na výstup zařízení, výstupní šum se pak může přepočítávat přes vstupně výstupní přenos zpět na vstup zařízení - předmětem šumové analýzy jsou výhradně vnitřní zdroje šumů a způsoby jejich šíření obvodem, vstupní obvody jsou uvažovány jako bezšumové. Pozn: Rezistory a polovodiče, které tvoří principielní základ každého zařízení jsou sami o sobě vždy zdroji vlastního šumu.. Pro tyto účely uvažujeme tři druhy šumu: Tepelný šum rezistorů Blikavý šum v polovodičích Výstřelový šum v polovodičích Šum je signál náhodně se měnící v čase ale se stejnými statickými vlastnostmi. Popisujeme je buď časovými průběhy nebo spektrálními charakteristikami (hustota pravděpodobnosti – pravděpodobnosti rozdělení hodnot šumu).

62 Hustota pravděpodobnosti šumu
ohraničuje plochu, která udává pravděpodobnost výskytu šumu v daném rozmezí hodnot. Gaussovo rozložení parametry této křivky jsou směrodatná odchylka šumu a disperze šumu D. plocha pod celou křivkou je jednotková, čemuž odpovídá stoprocentní pravděpodobnost, že mezivrcholová hodnota šumu se bude nacházet někde v intervalu šumových napětí (-∞, ∞) směrodatná odchylka šumu (sigma - σ) – efektivní hodnota šumu disperze šumu D – činný výkon šumu do jednotkové zátěže

63 Nejpravděpodobnější hodnota šumu je nula, což je současně průměrná střední hodnota šumu, hodnoty šumu hodně vzdálené od nuly jsou jak patrno málo pravděpodobné. Pravděpodobnost, že šumový signál překročí hladiny ± 2,5 sigma, neboli, že jeho vrcholová hodnota nebude větší než 5 sigma je jen asi 1,2% Pro 6 sigma je pravděpodobnost jen asi 0,27 % a pro 10 sigma vychází asi 6.10–5 % Rozložení hodnot šumu

64 Způsoby boje proti šumu
V praxi je nutné zabývat se otázkou, do jaké míry je možno šum v kanálu potlačit. Je třeba si uvědomit, že šum může vznikat jednak v kanále a jednak mimo kanál a do kanálu pouze pronikat. Šum může být rozličné fyzikální podstaty a rozličné struktury.

65 Chceme-li zvětšit velikost informace u kanálů s rušivými vlivy, jsou dva hlavní způsoby:
Zvětšíme propustnost – buď znásobíme kanál (zvýšíme počet jeho prvků), nebo jej technicky zdokonalíme. Snížíme počet vysílaných znaků – nejde o to, posílat např. impulsy pomalejší frekvence, musíme zpomalit přenos např. větší redundancí.

66 Několik kroků jak řešit problémy šumu:
1. Volba technických prostředků, které realizují kanál (např. pošta-kurýr, telefon-rádiové spojení, pneumatický regulační systém-elektrický regulační systém ...) v souvislosti s podmínkami, ve kterých bude kanál pracovat; tj. zároveň volba trasy kanálu. 2. Zvýšení spolehlivosti systému použitím dokonalé výrobní technologie, technologických prostředků (koaxiální vodiče, optické vedení).

67 3. Zálohování - zvýšení spolehlivosti systému vhodnou volbou struktury systému (může jít o zálohování některých poruchových součástek např. dvojí montáž kol nákladních automobilů, nebo celých obvodů např. řídicí počítač zálohován regulátory, nebo celého systému např. vojenské spojení). 4. Zvýšení spolehlivosti systému pravidelnou kontrolou a preventivní údržbou - výměna součástí při opotřebení ještě před poruchou (turbíny ve vodních elektrárnách). 5. Zvětšení odstupu signál - šum tj. zvětšením úrovně signálu (zvýšení hlasu na přednášce, zvětšení písma na tabuli, přechod od 0 na 20 mA).

68 6. Volba vhodného nosiče informace - šum s nositelem signálu nebude aditivní (volba pneumatického signálu v prostředí silného elektromagnetického rušení). 7. Vhodná volba kódu - touto otázkou se budeme zabývat v následující kapitole. Filtrace signálu - oddělení frekvenčního (nebo jiného) pásma s podstatně menším šumem (rádio - přijímač). Kompenzace - je-li vznik šumu vázán nějakou zákonitostí a je-li známo místo vzniku (teplotní kompenzace měřidel). 10. Stínění - je-li zdroj šumu mimo kanál a vstupuje do kanálu z vně (elektromagnetické stínění).

69 KONEC


Stáhnout ppt "Základy informatiky přednášky Přenos informace."

Podobné prezentace


Reklamy Google