Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace.

Podobné prezentace


Prezentace na téma: "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."— Transkript prezentace:

1

2

3 1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace Základní pojmy – jednotka a zobrazení informace, informační hodnota Entropie – vlastnosti entropie Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu, způsoby boje proti šumu 4.Kódování Elementární teorie kódování Rovnoměrné kódy – telegrafní kód Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných kódů Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda 5.Bezpečností kódy Zabezpečující schopnosti kódů, Systematické kódy, Nesystematické kódy ZÁKLADY INFORMATIKY – Matematický aparát v teorii informace ZÁKLADY INFORMATIKY – Matematický aparát v teorii informace

4 Teorie pravděpodobnosti matematická disciplína, která se zabývá studiem zákonitostí náhodných jevů. - Náhodný experiment (pokus) : - není možno dopředu určit výsledek (například: hod kostkou) - Náhodný jev (událost): - výsledek náhodného experimentu (například: padne 4) - všechny důsledky výsledku (padlo číslo sudé, dělitelné dvěma atd..)

5 3. Opačná událost – událost, která nastane když nenastane událost A např. A: sudé pak : liché Podmínky mezi náhodnými událostmi Podmínky mezi náhodnými událostmi 1. Jistá událost (J popř. I) – událost, která nastane po každém experimentu např. padnutí nejvýše 6 teček 4. Událost A je částí události B - nastane-li událost A, nastane také událost B např. A: padne 6 teček B: padne sudý počet teček 2. Nemožná událost (0) – událost, která nenastane nikdy např. padnutí více než 6 teček

6 5. Události A a B jsou rovnocenné (A=B) - nastane-li událost A, nastane také událost B a naopak např. A: padne 2,4,6 B: padne sudý počet teček 6. Průnik událostí A a B (A.B) nebo – nastane-li současně A i B např. A: padne sudý počet teček B: padne méně než 3 tečky pak průnikem událostí je padnutí 2 teček

7 7. Sjednocení událostí A a B (A+B) nebo - nastane-li alespoň jedna z událostí A a B např. A: padne sudé, B: padne méně jak 3 tečky  sjednocením je pak padnutí : 1, 2, 4, 6 teček 8. Rozdíl událostí A a B (A-B) nebo (A\B) - nastane-li současně A a zároveň nenastane B např. A: padne sudé, B: padne 5 nebo 6 teček  rozdílem událostí je pak padnutí : 2 nebo 4 teček 9. Události A a B jsou neslučitelné (disjunktní) : - nemohou-li současně nastat události A a B např. A: padnou nejvíce 3 tečky B: padne nejméně 5 teček

8 10. Elementární událost : - pokud platí: při každém vykonaném experimentu jeden z výsledků experimentu vždy nastane a jestli jeden z výsledků nastane, pak už jiný výsledek nemůže nastat - např. padnutí 6 teček při jednom hodu kostkou 11. Úplná soustava neslučitelných událostí (jevů) A 1 + A 2 + ….. A n = I

9 Příklady: 1.8 – Vztah mezi událostmi 1.9 – Podmínky mezi událostmi 1.10 – Úplná soustava neslučitelných jevů

10 VENNOVY-EULEROVY DIAGRAMY A) Událost A je částí události B. B) Sjednocení událostí A a B. B A A B A + B

11 VENNOVY-EULEROVY DIAGRAMY C) Průnik událostí A a B. D) Rozdíl událostí A a B. A B A - B A B A.B

12 c) Zákon komplementu: - pro každou náhodnou událost A existuje opačná událost, pro kterou platí: a) Zákon jedinečnosti: Pro každé dvě náhodné události existuje jediný průnik A  B a jediné sjednocení A  B. b) Zákon identity: A  0  0A  J  AA  0  AA  J  J Algebraické zákony pro práci s náhodnými událostmi

13 d) Komutativní zákon: - u průniku a sjednocení je možné zaměnit pořadí náhodných událostí A a B: A  B  B  A A  B  B  A e) Asociativní zákon: - u průniku a sjednocení náhodných událostí A a B nezáleží na pořadí provádění: (A  B)  C  A  (B  C) (A  B)  C  A  (B  C) f) Distributivní zákon: (A  B)  C  (A  C)  (B  C) (A  B)  C  (A  C)  (B  C)

14 Důkaz de Morganových zákonů

15 pravděpodobnost Náhodné události posuzujeme podle toho, jak mají velkou pravděpodobnost výskytu. Může-li náhodný experiment vykázat konečný počet n různých, vzájemně se vylučujících, stejně možných výsledků a jestli m z těchto výsledků má za následek událost A, pak pravděpodobnost události A položíme rovnou číslu m/n pravděpodobnost události A je poměr počtu příznivých událostí k počtu všech možných výsledků : Klasická neboli Laplaceova definice:

16 Geometrická pravděpodobnost: Používáme ji v případech, které lze převést na toto schéma: V rovině (popř. na přímce nebo v prostoru) je dána určitá uzavřená oblast Ω a v ní další uzavřená oblast ∆. Má se určit pravděpodobnost jevu A, který záleží v tom, že bod zvolený namátkou v uzavřené oblasti Ω leží také v uzavřené oblasti ∆. Přitom se předpokládá, že pravděpodobnost volby bodu v libovolné části uzavřené oblasti ∆ je přímo úměrná míře této části, ale nezávisí na tvaru ani na poloze této části v uvažované uzavřené oblasti Ω. délku Mírou úsečky, popř. intervalu (v jednorozměrném prostoru) nazýváme délku plošný obsah Mírou uzavřené rovinné oblasti (v dvojrozm. prostoru) nazýváme plošný obsah objem. Mírou uzavřené prostorové oblasti nazýváme objem. Označíme-li míry uzavřených oblastí ∆ a Ω symboly |∆|, |Ω|, definujeme pravděpodobnost uvažovaného jevu A vztahem:

17 Příklad: Buffonova úloha: Je dána soustava rovnoběžek v rovině o stejných vzdálenostech 2a, kde a>0. Na tuto rovinu hoďme jehlu délky 2b, kde 0

18 Internetové odkazy: Buffonova úloha: Řešené příklady:

19 Pozn: n Af fabsolutní četnostíAnf/npoměrnou (relativní) četnostíA Provedeme-li n náhodných experimentů a přitom událost A nastane f-krát, pak číslo f nazýváme absolutní četností události A při n pokusech a číslo f/n poměrnou (relativní) četností události A při n pokusech. f/n Statistickou pravděpodobností události A nazýváme číslo P(A) k němuž se blíží poměrná četnost f/n události A pro n → ∞: Statistická definice pravděpodobnosti: zákona velkých čísel vychází z tzv. zákona velkých čísel (základní zákon počtu pravděpodobnosti, všechny statistické úvahy jsou platné jen tehdy vyšetřujeme-li mnoho případů. Pro velká n Příklad: Hodíme-li 600 krát regulérní hrací kostkou zjistíme, že přibližně 100 krát padne šestka, tzn. že můžeme relativní četnost události A (padne šestka) tj. 100/600 považovat za přibližnou míru výskytu události A.

20 a) Variace - záleží na pořadí - výběr k prvků z n prvků V k(n) = n!/(n-k)! b) Permutace - záleží na pořadí P (n) = n! c) Kombinace - nezáleží na pořadí C k(n) = n!/(n-k)!k!

21 Příklad: De Méreův paradox

22 Příklad: Ze skupiny 40 studentů má 8 studentů prospěch do 1,5. Do kurzu má být náhodně vylosováno 20 studentů. Jaká je pravděpodobnost, že do kurzu budou zařazeni všichni studenti s prospěchem do 1,5 ? Všech možných 20-ti členných skupin je : C 20 (40)=40!/(20!*20!) Všech 8 studentů bude vybráno:  hledám počet kombinací ostatních studentů: 40-8=32  C 12 (32)=32!/(12!*20!)  P(8)= C 12 (32)/C 20 (40)= 0,0016..

23 Příklad: Máme sérii 20-ti výrobků z toho je 12 kvalitních, 8 nekvalitních. Vybereme z této série 5 výrobků tak, že vybrané výrobky nevracíme zpět. Jaká je pravděpodobnost náhodného jevu, že z takto vybrané pětice jsou 3 kvalitní a 2 zmetky. Řešení:Počet všech pětic: C 5 (20)=20!/(5!*15!) Počet kombinací pro trojice kvalitních: C 3 (12)=12!/(3!*9!) Počet kombinací dvojic zmetků : C 2 (8)=8!/(2!*6!) Počet všech příhodných variant jevu je : C 3 (12)*C2(8)  P = [ C 3 (12)* C 2 (8)] / C 5 (20) = 0,397

24 Pro náhodnou událost jsou definovány čtyři základní axiomy: Pro náhodnou událost jsou definovány čtyři základní axiomy: I.Pravděpodobnost každé náhodné události je reálné číslo z intervalu tzn. platí 0  P(A)  1 II.Pravděpodobnost jisté události (J) je rovna jedné, tj. P(J) = 1 III.Pravděpodobnost spočetně mnoha vzájemně se vylučujících (neslučitelných) událostí A 1, A 2, …, A n je rovna součtu jejich pravděpodobností: P(A 1 +A 2 +…+A n ) = P(A 1 ) + P(A 2 ) + …+P(A n ) Platnost tohoto axiómu rozšiřujeme i pro n→∞

25 IV.Axióm o podmíněné pravděpodobnosti Jestli pravděpodob. události A ovlivňuje nastoupení události B (nebo naopak), pak mluvíme o podmíněné pravděpodobnosti náhodné události A vzhledem k náhodné události B. značíme P(A|B) a platí:

26 Příklad: 1.19 – Axióm IV: podmíněná pravděpodobnost

27 Na základě těchto axiómů lze odvodit další základní vlastnosti pro náhodné události: A.Každé náhodné události A je přiřazena pravděpodobnost P(A), což je číslo, pro které platí : P(A)  0 B.Pravděpodobnost nemožné události (O) je rovna nule, tj. P(O) = 0 C.Je-li daná pravděp. P(A), pak pro pravděpodobnost opačné náhodné události platí: P( ) = 1 - P(A)

28 E.Věta o pravděpodobnosti součtu náhodných událostí Pro libovolné dvě náhodné události A, B, které se vzájemně nevylučují (slučitelné) platí: P(A  B) = P(A) + P(B) - P(A  B) D.Nechť náhodné události A, B jsou takové, že B  A, pak platí: P(A\B) = P(A) - P(B) 0  P(B)  P(A) Pro libovolné tři náhodné události A, B, C, které se vzájemně nevylučují (slučitelné) platí: P(A  B  C) = P(A) + P(B) + P(C) - P(A  B) - P(A  C) - P(B  C) + P(A  B  C)

29 F.Pokud nastoupení události A neovlivňuje pravděp. nastoupení události B a naopak, pak říkáme, že náhodné události A a B jsou nezávislé náhodné události. Pro tyto události pak platí: P(A  B) = P(A). P(B) Nenulové náhodné události A 1, A 2, …,A n jsou sdruženě nezávislé (tj. nezávislé jako celek), právě když platí pro libovolnou kombinaci událostí {A i, A j, …,A k } z náhodných událostí A 1, A 2, …,A n P(A i  A j  …  A k ) = P(A i ). P(A j ). ….P(A k )

30 Příklad: Zámek má 6 kotoučů po 7 písmenech a otevře se pouze v případě, že každý kotouč zaujme určitou polohu. Jaká je pravděpodobnost otevření zámku? Protože se jedná o nezávislé kotouče, můžeme použít předchozího vzorce ve tvaru: 0, = 0,00085% P = 1/7. 1/7. 1/7. 1/7. 1/7. 1/7 = 0, = 0,00085%

31 Příklad: Do nemocnice přichází 50% pacientů s nemocí K, 30% pacientů s nemocí L, 20% pacientů s nemocí M. Pravděpodobnost vyléčení nemoci K je 0,7; L-0,8; M-0,9. Jaká je pravděpodobnost, že pacient měl chorobu K když opustil nemocnici vyléčen? pravděpodobnost, že pacient má chorobu K a bude vyléčen je: P(K)=0,5.0,7=0,35 pravděpodobnost, že pacient má chorobu L a bude vyléčen je: P(L)=0,3.0,8=0,24 pravděpodobnost, že pacient má chorobu M a bude vyléčen je: P(M)=0,2.0,9=0,18 Pravděpodobnost, že pacient přicházející do nemocnice bude vyléčen je: 0,35+0,24+0,18=0,77  77% Pravděpodobnost, že pacient, který opouští nemocnici vyléčen měl chorobu K je pak dána výrazem: 0,35/0,77 = 0,4545  45%

32 Příklady: 1.20 – Sdruženě nezávislé jevy, de Morganovy zákony, opačný jev 1.21 – Nezávislé jevy

33 E.Pravděpodobnost součinu n vzájemně závislých náhodných událostí A 1, A 2, …,A n je dán vztahem: P(A 1.A 2. ….A n ) = = P(A 1 ). P(A 2 |A 1 ). P(A 3 |A 1.A 2 ). ….P(A n |A 1.A 2. ….A n-1 ) kde P(A k |A 1.A 2. ….A k-1 ) značí podmíněnou pravděpodobnost události A k za předpokladu, že se uskutečnily všechny předcházející události A 1, A 2, …,A k-1

34 F.Věta o úplné pravděpodobnosti Nechť náhodné události hypotézy H 1, H 2, …,H n tvoří úplnou soustavu neslučitelných událostí (tj. aspoň jedna z nich nastane) a P(H k ) > 0 pro  k = 1, 2, …, n. Pak pro libovolnou náhodnou událost A, pro kterou známe podmíněnou pravděpodobnost P(A|H k ) pro každý index k = 1, 2, …, n, platí vzorec (tzv. věta pro úplnou pravděpodobnost události A)

35 Příklad: 1.22: Tři tanky vystřelily na cíl, přičemž pravděpodobnosti zásahu jednot1ivými tanky jsou postupně P(T 1 )=0,8, P(T 2 )=0,6, P(T 3 )=0,5. Cíl bude jistě zničen, zasáhnou-li jej všechny 3 tanky. Zasáhnou-li jej dva tanky, pak pravděpodobnost zničení je 0,7, kdežto při zásahu jedním tankem je pravděpodobnost zničení cíle pouze 0,2. Jaká je pravděpodobnost, že bude cíl zničen? Řešení: Zavedeme označení: A – zničení cíle;k = 0, 1, 2, 3; H k – zasažení cíle k tanky Ze zadání pak dále platí: => jevy H 0, H 1, H 2, H 3 tvoří úplnou soustavu vzájemně neslučitelných jevů.

36 Příklad: 1.22: Tři tanky vystřelily na cíl, přičemž pravděpodobnosti zásahu jednot1ivými tanky jsou postupně P(T 1 )=0,8, P(T 2 )=0,6, P(T 3 )=0,5. Cíl bude jistě zničen, zasáhnou-li jej všechny 3 tanky. Zasáhnou-li jej dva tanky, pak pravděpodobnost zničení je 0,7, kdežto při zásahu jedním tankem je pravděpodobnost zničení cíle pouze 0,2. Jaká je pravděpodobnost, že bude cíl zničen? Řešení: Z předpokladů úlohy dále plyne: Pravděpodobnost zničení cíle je 0,614 tj. 61,4%. Podle věty o úplné pravděpodobnosti dostáváme:

37 G.Bayesova věta o pravděpodobnosti hypotéz Mějme úplnou soustavu vzájemně neslučitelných událostí H 1, H 2, …,H n (tzv. hypotézy), takže platí: I = H 1 + H 2 + … + H n Je-li A libovolná náhodná událost, pak pro k = 1, 2, …, n, platí vzorec (tzv. Bayesův vzorec)

38 Příklad: K, L 2:3K je 0,82 L je 0, Do obchodu dodávají dvě továrny K, L výrobky téhož druhu v poměru 2:3. Pravděpodobnost dobrého výrobku z továrny K je 0,82, kdežto z továrny L je 0,91. 1)Máme nejprve určit pravděpodobnost, že koupený výrobek nebude zmetek. 2)Po koupi dobrého výrobku máme určit pravděpodobnost, že tento výrobek pochází z továrny K (popř. L) Řešení: Zavedeme označení: A – koupený výrobek je dobrý H 1 – výrobek pochází z továrny K H 2 – výrobek pochází z továrny L Ad 1) Dle podmínek úlohy dále platí: Podle Bayesova vzorce pro úplnou pravděpodobnost jevu A dostáváme:

39 Příklad: K, L 2:3K je 0,82 L je 0, Do obchodu dodávají dvě továrny K, L výrobky téhož druhu v poměru 2:3. Pravděpodobnost dobrého výrobku z továrny K je 0,82, kdežto z továrny L je 0,91. 1)Máme nejprve určit pravděpodobnost, že koupený výrobek nebude zmetek. 2)Po koupi dobrého výrobku máme určit pravděpodobnost, že tento výrobek pochází z továrny K (popř. L) Řešení: Ad 2) Máme určit pravděpodobnosti: Podle Bayesova vzorce platí:

40 Proměnná, jejíž hodnota je jednoznačně určena výsledkem náhodného experimentu. Rozlišujeme dva typy náhodných veličin: a) diskrétní (nespojitá) - mohou nabýt hodnot z nějaké konečné nebo spočetné množiny - jedná se zejména o náhodné veličiny celočíselné Např.: - velikost nohy u náhodné osoby - počet vadných výrobků z dodávky - součet počtu teček při hodu třemi kostkami

41 b) Spojitá může nabývat všech hodnot z nějakého intervalu např.: - výška osoby - náhodná chyba měření - doba životnosti zařízení - výnos pšenice na 1 hektar

42 Funkce, která každé hodnotě nebo každému intervalu hodnot přiřazuje pravděpodobnost, že náhodná veličina nabude této hodnoty nebo hodnoty z tohoto intervalu. Tato funkce bývá také označována: diskrétní v případě diskrétní náhodné veličiny jako frekvenční funkcepravděpodobnostní funkce. frekvenční funkce nebo pravděpodobnostní funkce. spojité v případě spojité náhodné veličiny jako frekvenční funkcepravděpodobnosti. frekvenční funkce nebo hustota pravděpodobnosti. Rozdělení náhodné veličiny Rozdělení náhodné veličiny DISTRIBUČNÍ FUNKCE. Rozdělení náhodné veličiny lze popsat také funkcí kterou nazýváme: DISTRIBUČNÍ FUNKCE.

43 F(x)  distribuční funkce je neklesající distribuční funkce je spojitá zprava jestliže možné hodnoty náhodné veličiny jsou z intervalu <- ,  ), pak F(-  ) = 0 a F(  ) = 1 P(x 1  X< x 2 ) = F(x 2 ) - F(x 1 ) souvislost s pravděpodobností je dána vztahem: F(x) = P(X

44 Popis diskrétní náhodné veličiny Popis diskrétní náhodné veličiny Tabulkou rozdělení pravděpodobnosti Frekvenčí funkcí resp. pravděpodobnostní funkcí Bodový pravděpodobnostní diagram Úsečkový pravděpodobnostní diagram Histogram Graf distribuční funkce

45 a) Bodový pravděpodobnostní diagram 1.Náhodná veličina je dána ve tvaru tabulky pravděpodobnostního rozdělení Příklad popisu diskrétní náhodné veličiny Příklad popisu diskrétní náhodné veličiny 2. Grafické znázornění frekvenční funkce

46 b) Úsečkový pravděpodobnostní diagram

47 c) Histogram

48 3. Graf distribuční funkce

49 Příklad popisu spojité náhodné veličiny Příklad popisu spojité náhodné veličiny distribuční funkce F(x) Náhodná proměnná X je spojitou náhodnou veličinou, je-li její distribuční funkce F(x) definována rovnicí: hustotou pravděpodobnosti Funkce f(y) je konečná nezáporná a spojitá funkce a nazýváme ji hustotou pravděpodobnosti Mezi distribuční funkcí a hustotou pravděpodobnosti platí vztah: (tzn. hustota pravděpodobnosti je derivací distribuční funkce)

50 Ukázka grafu distribuční funkce spojité náhodné veličiny a její graf hustoty pravděpodobnosti

51 Normální rozdělení - N(2,4) Ukázky některých rozdělení náhodných veličin Ukázky některých rozdělení náhodných veličin

52 Logaritmicko-normální rozdělení - LN(0.1,0.5)

53 BETA rozdělení - B(1,2)

54 Rovnoměrné rozdělení - R(0,2)

55 Exponenciální rozdělení - E(0.05)

56 Chí-kvadrát rozdělení - Chi(2)

57 Příklad: Vygenerujte 100 hodnot náhodné veličiny s normálním rozdělením. Použijte prostředí Mathematica. Zobrazte histogram těchto hodnot. <

58 <

59


Stáhnout ppt "1.Vznik a vývoj teorie informace 2.Matematický aparát v teorii informace Základy teorie pravděpodobnosti – Náhodné veličiny Číselné soustavy 3.Informace."

Podobné prezentace


Reklamy Google