Matematický aparát v teorii informace Základy teorie pravděpodobnosti Základy informatiky přednášky Matematický aparát v teorii informace Základy teorie pravděpodobnosti

ZÁKLADY INFORMATIKY – Matematický aparát v teorii informace Vznik a vývoj teorie informace Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy Informace Základní pojmy – jednotka a zobrazení informace, informační hodnota Entropie – vlastnosti entropie Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu, způsoby boje proti šumu Kódování Elementární teorie kódování Rovnoměrné kódy – telegrafní kód Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda Bezpečností kódy Zabezpečující schopnosti kódů, Systematické kódy, Nesystematické kódy

Teorie pravděpodobnosti matematická disciplína, která se zabývá studiem zákonitostí náhodných jevů. - Náhodný experiment (pokus) : - není možno dopředu určit výsledek (například: hod kostkou) - Náhodný jev (událost): - výsledek náhodného experimentu (například: padne 4) - všechny důsledky výsledku (padlo číslo sudé, dělitelné dvěma atd..)

Podmínky mezi náhodnými událostmi 1. Jistá událost (J popř. I) – událost, která nastane po každém experimentu např. padnutí nejvýše 6 teček 2. Nemožná událost (0) – událost, která nenastane nikdy např. padnutí více než 6 teček 3. Opačná událost – událost, která nastane když nenastane událost A např. A: sudé pak : liché 4. Událost A je částí události B - nastane-li událost A, nastane také událost B např. A: padne 6 teček B: padne sudý počet teček

5. Události A a B jsou rovnocenné (A=B) - nastane-li událost A, nastane také událost B a naopak např. A: padne 2,4,6 B: padne sudý počet teček 6. Průnik událostí A a B (A.B) nebo – nastane-li současně A i B např. A: padne sudý počet teček B: padne méně než 3 tečky pak průnikem událostí je padnutí 2 teček

7. Sjednocení událostí A a B (A+B) nebo - nastane-li alespoň jedna z událostí A a B např. A: padne sudé, B: padne méně jak 3 tečky sjednocením je pak padnutí : 1, 2, 4, 6 teček 8. Rozdíl událostí A a B (A-B) nebo (A\B) - nastane-li současně A a zároveň nenastane B např. A: padne sudé, B: padne 5 nebo 6 teček rozdílem událostí je pak padnutí : 2 nebo 4 teček 9. Události A a B jsou neslučitelné (disjunktní) : - nemohou-li současně nastat události A a B např. A: padnou nejvíce 3 tečky B: padne nejméně 5 teček

- pokud platí: při každém vykonaném experimentu 10. Elementární událost : - pokud platí: při každém vykonaném experimentu jeden z výsledků experimentu vždy nastane a jestli jeden z výsledků nastane, pak už jiný výsledek nemůže nastat - např. padnutí 6 teček při jednom hodu kostkou 11. Úplná soustava neslučitelných událostí (jevů) A1 + A2 + ….. An = I

Příklady: 1.8 – Vztah mezi událostmi 1.9 – Podmínky mezi událostmi 1.10 – Úplná soustava neslučitelných jevů

VENNOVY-EULEROVY DIAGRAMY B A) B) B A A A + B A) Událost A je částí události B. B) Sjednocení událostí A a B.

VENNOVY-EULEROVY DIAGRAMY C) A A B B A - B A.B C) Průnik událostí A a B. D) Rozdíl událostí A a B.

Algebraické zákony pro práci s náhodnými událostmi a) Zákon jedinečnosti: Pro každé dvě náhodné události existuje jediný průnik AB a jediné sjednocení AB. b) Zákon identity: A00 AJA A0A AJJ c) Zákon komplementu: - pro každou náhodnou událost A existuje opačná událost , pro kterou platí:

d) Komutativní zákon: - u průniku a sjednocení je možné zaměnit pořadí náhodných událostí A a B: ABBA ABBA e) Asociativní zákon: - u průniku a sjednocení náhodných událostí A a B nezáleží na pořadí provádění: (AB)CA(BC) (AB)CA(BC) f) Distributivní zákon: (AB)C(AC)(BC) (AB)C(AC)(BC)

de Morganovy zákony Důkaz de Morganových zákonů ____ A+B _ _ A.B ____ _ _ A.B ____ A.B _ _ A+B

Náhodné události posuzujeme podle toho, jak mají velkou pravděpodobnost výskytu. Klasická neboli Laplaceova definice: Může-li náhodný experiment vykázat konečný počet n různých, vzájemně se vylučujících, stejně možných výsledků a jestli m z těchto výsledků má za následek událost A, pak pravděpodobnost události A položíme rovnou číslu m/n pravděpodobnost události A je poměr počtu příznivých událostí k počtu všech možných výsledků : P(A)= m/n

Geometrická pravděpodobnost: Používáme ji v případech, které lze převést na toto schéma: V rovině (popř. na přímce nebo v prostoru) je dána určitá uzavřená oblast Ω a v ní další uzavřená oblast ∆. Má se určit pravděpodobnost jevu A, který záleží v tom, že bod zvolený namátkou v uzavřené oblasti Ω leží také v uzavřené oblasti ∆. Přitom se předpokládá, že pravděpodobnost volby bodu v libovolné části uzavřené oblasti ∆ je přímo úměrná míře této části, ale nezávisí na tvaru ani na poloze této části v uvažované uzavřené oblasti Ω. Mírou úsečky, popř. intervalu (v jednorozměrném prostoru) nazýváme délku Mírou uzavřené rovinné oblasti (v dvojrozm. prostoru) nazýváme plošný obsah Mírou uzavřené prostorové oblasti nazýváme objem. Označíme-li míry uzavřených oblastí ∆ a Ω symboly |∆|, |Ω|, definujeme pravděpodobnost uvažovaného jevu A vztahem:

Příklad: Buffonova úloha: Je dána soustava rovnoběžek v rovině o stejných vzdálenostech 2a, kde a>0. Na tuto rovinu hoďme jehlu délky 2b, kde 0<b<a. Určete pravděpodobnost, že jehla protne některou rovnoběžku (označme tento jev A). Řešení spočívá ve vyjádření základního prostoru Ω a jevu A jako dvou rovinných útvarů, přičemž pro hledanou pravděpodobnost platí                                                           kde |A| je plocha rovinné oblasti "příznivé" jevu A (označme tuto oblast D) |Ω| je plocha oblasti odpovídající jevovému poli Ω. Nechť y značí vzdálenost středu S jehly od nejbližší rovnoběžky a nechť α je úhel sevřený jehlou a uvedenou rovnoběžkou (viz obr.1). Všechny možné polohy jehly vzhledem k nejbližší rovnoběžce jsou reprezentovány všemi body (α,y) obdélníka Ω určeného intervaly α <0,π> a y<0,a>. Uvažovaná jehla pak protne některou rovnoběžku, právě když bude y ≤ b.sin α. Proto jevu A je "příznivá" oblast D (viz obr.2) ohraničená křivkou y = b.sin α a osou α. Z obr.2 pak vyplývá: |Ω| = a.π                   

Internetové odkazy: Buffonova úloha: Řešené příklady: http://e-learning.tul.cz/elearning/obr/system/matlab/266/1083/frame.html http://homen.vsb.cz/~s1m30/cdpast1/soubory/zdroje/resprik2/respr2.htm

Statistická definice pravděpodobnosti: vychází z tzv. zákona velkých čísel (základní zákon počtu pravděpodobnosti, všechny statistické úvahy jsou platné jen tehdy vyšetřujeme-li mnoho případů. Pozn: Provedeme-li n náhodných experimentů a přitom událost A nastane f-krát, pak číslo f nazýváme absolutní četností události A při n pokusech a číslo f/n poměrnou (relativní) četností události A při n pokusech. Statistickou pravděpodobností události A nazýváme číslo P(A) k němuž se blíží poměrná četnost f/n události A pro n →∞: Pro velká n Příklad: Hodíme-li 600 krát regulérní hrací kostkou zjistíme, že přibližně 100 krát padne šestka, tzn. že můžeme relativní četnost události A (padne šestka) tj. 100/600 považovat za přibližnou míru výskytu události A.

Trocha kombinatoriky… a) Variace - záleží na pořadí - výběr k prvků z n prvků Vk(n) = n!/(n-k)! b) Permutace - záleží na pořadí P(n) = n! c) Kombinace - nezáleží na pořadí Ck(n) = n!/(n-k)!k!

Příklad: De Méreův paradox

Příklad: Ze skupiny 40 studentů má 8 studentů prospěch do 1,5. Do kurzu má být náhodně vylosováno 20 studentů. Jaká je pravděpodobnost, že do kurzu budou zařazeni všichni studenti s prospěchem do 1,5 ? Všech možných 20-ti členných skupin je : C20(40)=40!/(20!*20!) Všech 8 studentů bude vybráno: hledám počet kombinací ostatních studentů: 40-8=32  C12(32)=32!/(12!*20!) P(8)= C12(32)/C20(40)= 0,0016..

Řešení: Počet všech pětic: C5(20)=20!/(5!*15!) Příklad: Máme sérii 20-ti výrobků z toho je 12 kvalitních, 8 nekvalitních. Vybereme z této série 5 výrobků tak, že vybrané výrobky nevracíme zpět. Jaká je pravděpodobnost náhodného jevu, že z takto vybrané pětice jsou 3 kvalitní a 2 zmetky. Řešení: Počet všech pětic: C5(20)=20!/(5!*15!) Počet kombinací pro trojice kvalitních: C3(12)=12!/(3!*9!) Počet kombinací dvojic zmetků : C2(8)=8!/(2!*6!) Počet všech příhodných variant jevu je : C3(12)*C2(8)  P = [C3(12)*C2(8)] / C5(20) = 0,397

P(A1+A2+…+An) = P(A1) + P(A2) + …+P(An) Pro náhodnou událost jsou definovány čtyři základní axiomy: Pravděpodobnost každé náhodné události je reálné číslo z intervalu < 0,1 > tzn. platí 0  P(A)  1 Pravděpodobnost jisté události (J) je rovna jedné, tj. P(J) = 1 Pravděpodobnost spočetně mnoha vzájemně se vylučujících (neslučitelných) událostí A1, A2, …, An je rovna součtu jejich pravděpodobností: P(A1+A2+…+An) = P(A1) + P(A2) + …+P(An) Platnost tohoto axiómu rozšiřujeme i pro n→∞

Axióm o podmíněné pravděpodobnosti Jestli pravděpodob. události A ovlivňuje nastoupení události B (nebo naopak), pak mluvíme o podmíněné pravděpodobnosti náhodné události A vzhledem k náhodné události B. značíme P(A|B) a platí:

Příklad: 1.19 – Axióm IV: podmíněná pravděpodobnost

Na základě těchto axiómů lze odvodit další základní vlastnosti pro náhodné události: Každé náhodné události A je přiřazena pravděpodobnost P(A), což je číslo, pro které platí : P(A)  0 Pravděpodobnost nemožné události (O) je rovna nule, tj. P(O) = 0 Je-li daná pravděp. P(A), pak pro pravděpodobnost opačné náhodné události platí: P( ) = 1 - P(A)

P(AB) = P(A) + P(B) - P(AB) Nechť náhodné události A, B jsou takové, že BA, pak platí: P(A\B) = P(A) - P(B) 0  P(B)  P(A) Věta o pravděpodobnosti součtu náhodných událostí Pro libovolné dvě náhodné události A, B, které se vzájemně nevylučují (slučitelné) platí: P(AB) = P(A) + P(B) - P(AB) Pro libovolné tři náhodné události A, B, C, které se vzájemně nevylučují (slučitelné) platí: P(ABC) = P(A) + P(B) + P(C) - P(AB) - P(AC) - P(BC) + P(ABC)

P(AiAj … Ak) = P(Ai) . P(Aj) . … .P(Ak) Pokud nastoupení události A neovlivňuje pravděp. nastoupení události B a naopak, pak říkáme, že náhodné události A a B jsou nezávislé náhodné události. Pro tyto události pak platí: P(AB) = P(A) . P(B) Nenulové náhodné události A1, A2, …,An jsou sdruženě nezávislé (tj. nezávislé jako celek), právě když platí pro libovolnou kombinaci událostí {Ai, Aj, …,Ak } z náhodných událostí A1, A2, …,An P(AiAj … Ak) = P(Ai) . P(Aj) . … .P(Ak)

Příklad: Zámek má 6 kotoučů po 7 písmenech a otevře se pouze v případě, že každý kotouč zaujme určitou polohu. Jaká je pravděpodobnost otevření zámku? Protože se jedná o nezávislé kotouče, můžeme použít předchozího vzorce ve tvaru: P = 1/7 . 1/7 . 1/7 . 1/7 . 1/7 . 1/7 = 0,0000085 = 0,00085%

Příklad: Do nemocnice přichází 50% pacientů s nemocí K, 30% pacientů s nemocí L, 20% pacientů s nemocí M. Pravděpodobnost vyléčení nemoci K je 0,7; L-0,8; M-0,9. Jaká je pravděpodobnost, že pacient měl chorobu K když opustil nemocnici vyléčen? pravděpodobnost, že pacient má chorobu K a bude vyléčen je: P(K)=0,5.0,7=0,35 pravděpodobnost, že pacient má chorobu L a bude vyléčen je: P(L)=0,3.0,8=0,24 pravděpodobnost, že pacient má chorobu M a bude vyléčen je: P(M)=0,2.0,9=0,18 Pravděpodobnost, že pacient přicházející do nemocnice bude vyléčen je: 0,35+0,24+0,18=0,77 77% Pravděpodobnost, že pacient, který opouští nemocnici vyléčen měl chorobu K je pak dána výrazem: 0,35/0,77 = 0,454545%

Příklady: 1.20 – Sdruženě nezávislé jevy, de Morganovy zákony, opačný jev 1.21 – Nezávislé jevy

Pravděpodobnost součinu n vzájemně závislých náhodných událostí A1, A2, …,An je dán vztahem: P(A1.A2 . … .An) = = P(A1) . P(A2|A1) . P(A3|A1.A2). … .P(An|A1.A2. … .An-1) kde P(Ak|A1.A2. … .Ak-1) značí podmíněnou pravděpodobnost události Ak za předpokladu, že se uskutečnily všechny předcházející události A1, A2, …,Ak-1

Věta o úplné pravděpodobnosti Nechť náhodné události hypotézy H1, H2, …,Hn tvoří úplnou soustavu neslučitelných událostí (tj. aspoň jedna z nich nastane) a P(Hk) > 0 pro k = 1, 2, …, n. Pak pro libovolnou náhodnou událost A, pro kterou známe podmíněnou pravděpodobnost P(A|Hk) pro každý index k = 1, 2, …, n, platí vzorec (tzv. věta pro úplnou pravděpodobnost události A)

Příklad: 1.22: Tři tanky vystřelily na cíl, přičemž pravděpodobnosti zásahu jednot1ivými tanky jsou postupně P(T1)=0,8, P(T2)=0,6, P(T3)=0,5. Cíl bude jistě zničen, zasáhnou-li jej všechny 3 tanky. Zasáhnou-li jej dva tanky, pak pravděpodobnost zničení je 0,7, kdežto při zásahu jedním tankem je pravděpodobnost zničení cíle pouze 0,2. Jaká je pravděpodobnost, že bude cíl zničen? Řešení: Zavedeme označení: A – zničení cíle; k = 0, 1, 2, 3; Hk– zasažení cíle k tanky Ze zadání pak dále platí: => jevy H0, H1, H2, H3 tvoří úplnou soustavu vzájemně neslučitelných jevů.

Příklad: Pravděpodobnost zničení cíle je 0,614 tj. 61,4%. 1.22: Tři tanky vystřelily na cíl, přičemž pravděpodobnosti zásahu jednot1ivými tanky jsou postupně P(T1)=0,8, P(T2)=0,6, P(T3)=0,5. Cíl bude jistě zničen, zasáhnou-li jej všechny 3 tanky. Zasáhnou-li jej dva tanky, pak pravděpodobnost zničení je 0,7, kdežto při zásahu jedním tankem je pravděpodobnost zničení cíle pouze 0,2. Jaká je pravděpodobnost, že bude cíl zničen? Řešení: Z předpokladů úlohy dále plyne: Podle věty o úplné pravděpodobnosti dostáváme: Pravděpodobnost zničení cíle je 0,614 tj. 61,4%.

Bayesova věta o pravděpodobnosti hypotéz Mějme úplnou soustavu vzájemně neslučitelných událostí H1, H2, …,Hn (tzv. hypotézy), takže platí: I = H1 + H2 + … + Hn Je-li A libovolná náhodná událost, pak pro k = 1, 2, …, n, platí vzorec (tzv. Bayesův vzorec)

Příklad: Řešení: Ad 1) Dle podmínek úlohy dále platí: 1.23. Do obchodu dodávají dvě továrny K, L výrobky téhož druhu v poměru 2:3. Pravděpodobnost dobrého výrobku z továrny K je 0,82, kdežto z továrny L je 0,91. Máme nejprve určit pravděpodobnost, že koupený výrobek nebude zmetek. Po koupi dobrého výrobku máme určit pravděpodobnost, že tento výrobek pochází z továrny K (popř. L) Řešení: Zavedeme označení: A – koupený výrobek je dobrý H1 – výrobek pochází z továrny K H2 – výrobek pochází z továrny L Ad 1) Dle podmínek úlohy dále platí: Podle Bayesova vzorce pro úplnou pravděpodobnost jevu A dostáváme:

Příklad: Řešení: Ad 2) Máme určit pravděpodobnosti: 1.23. Do obchodu dodávají dvě továrny K, L výrobky téhož druhu v poměru 2:3. Pravděpodobnost dobrého výrobku z továrny K je 0,82, kdežto z továrny L je 0,91. Máme nejprve určit pravděpodobnost, že koupený výrobek nebude zmetek. Po koupi dobrého výrobku máme určit pravděpodobnost, že tento výrobek pochází z továrny K (popř. L) Řešení: Ad 2) Máme určit pravděpodobnosti: Podle Bayesova vzorce platí:

a) diskrétní (nespojitá) Náhodná veličina Proměnná, jejíž hodnota je jednoznačně určena výsledkem náhodného experimentu. Rozlišujeme dva typy náhodných veličin: a) diskrétní (nespojitá) - mohou nabýt hodnot z nějaké konečné nebo spočetné množiny - jedná se zejména o náhodné veličiny celočíselné Např.: - velikost nohy u náhodné osoby - počet vadných výrobků z dodávky - součet počtu teček při hodu třemi kostkami

b) Spojitá z nějakého intervalu může nabývat všech hodnot např.: - výška osoby - náhodná chyba měření - doba životnosti zařízení - výnos pšenice na 1 hektar

Rozdělení náhodné veličiny Funkce, která každé hodnotě nebo každému intervalu hodnot přiřazuje pravděpodobnost, že náhodná veličina nabude této hodnoty nebo hodnoty z tohoto intervalu. Tato funkce bývá také označována: v případě diskrétní náhodné veličiny jako frekvenční funkce nebo pravděpodobnostní funkce. v případě spojité náhodné veličiny jako frekvenční funkce nebo hustota pravděpodobnosti. Rozdělení náhodné veličiny lze popsat také funkcí kterou nazýváme: DISTRIBUČNÍ FUNKCE.

F(x) = P(X<x) Distribuční funkce souvislost s pravděpodobností je dána vztahem: F(x) = P(X<x) (Tzn. hodnota distribuční funkce v libovolném bodě x je rovna pravděpodobnosti jevu, že náhodná veličina X nepřevýší hodnotu x) Vlastnosti distribuční funkce: F(x) <0,1> distribuční funkce je neklesající distribuční funkce je spojitá zprava jestliže možné hodnoty náhodné veličiny jsou z intervalu <-,), pak F(-) = 0 a F() = 1 P(x1  X< x2) = F(x2) - F(x1)

Popis diskrétní náhodné veličiny Tabulkou rozdělení pravděpodobnosti Frekvenčí funkcí resp. pravděpodobnostní funkcí Bodový pravděpodobnostní diagram Úsečkový pravděpodobnostní diagram Histogram Graf distribuční funkce

Příklad popisu diskrétní náhodné veličiny Náhodná veličina je dána ve tvaru tabulky pravděpodobnostního rozdělení Grafické znázornění frekvenční funkce a) Bodový pravděpodobnostní diagram

b) Úsečkový pravděpodobnostní diagram

c) Histogram

3. Graf distribuční funkce

Příklad popisu spojité náhodné veličiny Náhodná proměnná X je spojitou náhodnou veličinou, je-li její distribuční funkce F(x) definována rovnicí: Funkce f(y) je konečná nezáporná a spojitá funkce a nazýváme ji hustotou pravděpodobnosti Mezi distribuční funkcí a hustotou pravděpodobnosti platí vztah: (tzn. hustota pravděpodobnosti je derivací distribuční funkce)

Ukázka grafu distribuční funkce spojité náhodné veličiny a její graf hustoty pravděpodobnosti

Ukázky některých rozdělení náhodných veličin Normální rozdělení - N(2,4)

Logaritmicko-normální rozdělení - LN(0.1,0.5)

BETA rozdělení - B(1,2)

Rovnoměrné rozdělení - R(0,2)

Exponenciální rozdělení - E(0.05)

Chí-kvadrát rozdělení - Chi(2)

Příklad: Vygenerujte 100 hodnot náhodné veličiny s normálním rozdělením. Použijte prostředí Mathematica. Zobrazte histogram těchto hodnot. <<Statistics`ContinuousDistributions` mi=10; sigma=2; dimension=100; cisla=Table[Random[NormalDistribution[mi,sigma]],{i,dimension}] {9.70156, 9.53518, 9.39096, 10.6125, 14.2586, 9.98373, 10.3332, 7.38205, 9.47559, 11.7602, 11.3281, 13.8971, 10.6195, 9.73507, 11.5067, 7.28564, 11.1358, 10.8745, 6.48548, 8.58313, 11.4266, 10.8956, 10.2218, 7.94357, 12.2153, 8.61447, 12.1129, 14.6315, 13.5541, 12.6897, 9.345, 10.1796, 8.04232, 7.94638, 7.90822, 10.3557, 10.7824, 7.30765, 10.852, 7.03717, 9.20091, 7.29636, 11.0277, 8.09444, 6.98655, 10.762, 15.2507, 11.2299, 10.8882, 8.40638, 9.17301, 10.597, 8.59036, 8.01455, 5.6255, 12.1581, 11.326, 10.5797, 11.5178, 11.5155, 10.8135, 8.90534, 8.69826, 10.2592, 10.5223, 7.85404, 9.23083, 7.27988, 8.13467, 11.0301, 8.35045, 11.4846, 9.66612, 10.4007, 10.8578, 9.071, 10.8059, 12.7078, 9.98052, 6.09778, 10.4772, 9.28057, 11.2, 10.1975, 9.20234, 8.37033, 7.158, 10.3871, 9.42758, 10.5627, 10.8975, 10.8942, 13.0529, 10.7538, 10.3039, 5.99393, 9.63527, 11.9131, 10.8842, 9.16105}

<<Graphics`Graphics` Histogram[cisla]

KONEC