Entrópia, redundancia a sci-fi príklad

Celková a priemerná hodnota informácie V predchádzajúcej kapitole sme si povedali niečo o celkovej hodnote informácie, ktorá sa vypočíta ako súčet jednotlivých hodnôt informácií na základe pravdepodobnosti javov V informatike sa používa aj takzvaná priemerná hodnota informácie, ktorú nazývame slovom entrópia

Entrópia Entrópia je teda strednou hodnotou informácie Majme i rôznych možností a , každá možnosť sa vyskytuje s pravdepodobnosťou pi, potom pod strednou hodnotou informácie rozumieme číslo:

H(p)=-[p*log2(p)+(1-p)*log2(1-p)] Príklad Najjednoduchší prípad sú dva možné, spolu súvisiace javy Ak má jeden jav pravdepodobnosť výskytu p (a vieme, že pravdepodobnosť má max. hodnotu 1), tak druhý jav bude mať túto pravdepodobnosť 1-p Entrópiu teda vypočítame: H(p)=-[p*log2(p)+(1-p)*log2(1-p)]

Graf Z predchádzajúcej funkcie po dosadení p od 0 po 1 dostaneme nasledujúci graf funkcie Z neho je jasné, že maximálnu informáciu získame, ak je pravdepodobnosť javov 0,5 a z minulej hodiny vieme, že takáto informácia má hodnotu jedného bitu

Záver z tohto príkladu ak prenášané symboly nemajú rovnakú pravdepodobnosť tak nevyužívame prenosový kanál optimálne nakoľko prenesená informácia je vždy menšia ako teoreticky maximálne možná

Bity V počítačoch využívame rôzne pamäte, ktorých veľkosť určujeme v bitoch (a ich násobkoch) Každá pamäť je zložená z tranzistorov (alebo iných prvkov), ktoré sú schopné uchovávať jeden z dvoch stavov (0 a 1) Postupnosť týchto jednotiek a núl tvorí nejaké dáta Podľa tzv. šírky zbernice (množstva údajov, ktoré môže naraz počítač preniesť) sa počítače delia na 4,8,16,32 a 64 bitové

LSB a MSB Dáta v pamäti sú podľa šírky zbernice zoskupené do skupín po 4,8,16,32 a 64 bitov Najľavejší bit tejto skupiny má označenie MSB (most significant bit) pretože je to bit, ktorého zmenou sa najvýraznejšie zmení výsledný údaj Najpravejší bit tejto skupiny má označenie LSB (least significant bit) pretože jeho zmenou sa zmení údaj len minimálne Ukážeme si to na príklade

V dekadickej sústave je to číslo 214 V dekadickej sústave je to číslo 214 1 Zmenou MSB dostaneme číslo 86 1 Zmenou LSB dostaneme číslo 215

Redundancia Redundancia obecne označuje taký stav alebo vlastnosť, kedy je použité väčšie množstvo prvkov než je obvyklé alebo nutné. Označenie môže byť použité v negatívnom slova zmysle ako zbytočnosť alebo nadbytočnosť i v pozitívnom zmysle ako označenie viacnásobného použitia kvôli väčšej stabilite systému a odolnosti voči chybám (RAID polia, záložné systémy napr. v raketopláne).

Redundancia Pri bežnom spôsobe reprezentácie dát neplatí že symboly sa vyskytujú s rovnakou pravdepodobnosťou Znamená to že správa nie je zaznamenaná s maximálnou informačnou hodnotou, ale obsahuje nadbytočnosť To je na jednej strane nepríjemné pretože by sme mohli správu ukladať či prenášať úspornejšie Na druhej strane to dovoľuje zrekonštruovať správu v prípade poškodenia pri uložení či prenose

Príklad Na jednom ostrove uprostred atlantického oceánu sa našli pozostatky dávnej civilizácie. Bližšie archeologické vykopávky ukázali že pôvodne ostrov obývali inteligentné bytosti dvoch príbuzných druhov. Inteligencia spočívala vo vysoko rozvinutej schopnosti komunikácie medzi príslušníkmi vlastného druhu. Z pozostatkov pergamenov sa dochovala abeceda používaná jednotlivými druhmi. Oba druhy používali abecedu ktorá mala 4 symboly. Keďže oba druhy mali iba jeden prst kódovali tieto symboly pomocou dvoch znakov tak ako to ukazujú nasledovné tabuľky.

Pravdepodobnosť výskytu Pravdepodobnosť výskytu Druh A používal takto kódované symboly: Druh B používal takto kódované symboly: Symbol Pravdepodobnosť výskytu 00 0,3 01 10 0,25 11 0,15 Symbol Pravdepodobnosť výskytu 0,8 10 0,1 101 0,05 110

Ako sa oba druhy vyvíjali nadobúdali nové a nové poznatky stúpala potreba pergamenu. Zdrojom pergamenu bola koža zvierat. Oba druhy preto lovili a lovili až zabili posledné zviera na ostrove. Potom sa obrátili proti sebe. Samozrejme že zvíťazili tí, ktorí zaznamenávali informáciu úspornejšie. Tu sa ale archeológovia nemôžu zhodnúť, či zvíťazil druh A alebo druh B. Skúsime im pomôcť:

Predpokladajme že zapíšeme správu dĺžky 100 symbolov, druh A nato potrebuje 200 znakov, druh B iba 130 znakov. Je to preto lebo druh A má všetky symboly zložené z dvoch znakov 2*100=200. Druh B má 80% symbolov z jedného znaku, 10% z dvoch znakov a 10% z troch znakov a teda 80*1+10*2+10*3=80+20+30=130.

Ešte ale nie je nič jasné odpoveď sa dozvieme až keď budeme poznať strednú hodnotu informácie pre abecedu druhu A a druhu B. Keď pozorne počítate zistíte že entrópia pre abecedu druhu A je 1,95 bit a druhu B je 1,02 bit. Záznamom 100 symbolov druh A uloží 195 bitov, a druh B iba 102 bitov. Ak teraz zistíme koľko informácie pripadá na jeden znak vyjde nám pre druh A 195/200=0,97 bit a pre druh B 102/130=0,78 bit. Druh A teda zapisuje informáciu úspornejšie.