Pravděpodobnost a statistika opakování základních pojmů

Prezentace na téma: "Pravděpodobnost a statistika opakování základních pojmů"— Transkript prezentace:

1 Pravděpodobnost a statistika opakování základních pojmů
Václav Hlaváč katedra kybernetiky FEL ČVUT poděkování: Martinovi Urbanovi za první verzi přednášky v říjnu 2005

2 Obsah Pravěpodobnost - Definice, základní vztahy - Koncept náhodné veličiny Statistika - Náhodný výběr - Odhad parametrů Literatura J. Novovičová, Pravděpodobnost a Matematiská Statistika. ČVUT 2002 A. Papoulis, Probability, Random Variables and Stochatic Processes, McGraw Hill, Edition 4, 2002.

3 Úvod Pravděpodobnost - abstraktní matematický model neurčitosti
- modeluje děje, v nichž hraje roli náhodnost Statistika - sběr a analýza dat - pracuje s omezenými / konečnými vzorky - odhad parametrů, testování hypotéz, atd.

4 Část 1 Pravděpodobnost

5 Pravděpodobnost: definice, základní vztahy
Definice pravděpodobnosti: Klasická: Limitní (četnostní): Axiomatická (Andreje Kolmogorova)

6 Axiomatická (Kolmogorova) definice pravděpodobnosti

7 Odvozené vztahy

8 Podmíněná pravděpodobnost
Příklad: Hod kostkou. Jaká je pravděpodobnost, že padne číslo větší než 3 za podmínky, že padlo liché číslo.

9 Sdružená pravděpodobnost
Nezávislé jevy: Příklad: Jsou jevy A a B nezavislé?

10 Pojem náhodné veličiny
Náhodná veličina přiřazuje každému elementárnímu jevu reálné číslo Proč se zavádí? Umožňuje zavést pojmy hustota pravděpodobnosti, distribuční funkce, střední hodnota atd. Dva základní typy náhodných veličin Spojité (nabývá spočetně mnoha hodnot) Diskrétní (nabývá hodnoty z nějakého intervalu R)

11 Koncept náhodné veličiny (2)
Diskrétní náhodná veličina - nabývá konečně/spočetně mnoha hodnot - příklady: hod kostkou, počet projetých aut za 1 hod. - rozdělení se popisuje pravděpodobnostní funkcí: P(X=ai) = p(ai) ~ diskrétní rozdělení pravděpodobnosti Spojitá náhodná veličina - může nabývá nespočetně mnoha hodnot - příklad: výška osob - rozdělení se popisuje hustotou pravděpodobnosti - P(X=a)=0, a 2 R

12 Distribuční funkce (Kumulativní) Distribuční funkce:
Funkce náhodné veličiny definována vztahem Příklady: a) rovnoměrné rozdělení b) normální rozdělemí

13 Hustota pravděpodobnosti
nebo Příklady: a) rovnoměrné b) normální

14 Podmíněná distribuční funkce a hustota pravděpodobnosti
Příklad: Délka vlasů. Předpokládejme, že rozložení délky vlasů u dívek má normální (gaussovské) rozdělení N(15,25) a u chlapců N(6,4) a tedy, že rozdělení u všech dětí má charakter směsi dvou normálních rozdělení. W={děti} F(X) d.f. délky vlasů všech dětí A={dívky} F(X|A) ... d.f. délky vlasů u dívek B={chlapci} F(X|B) ... d.f. délky vlasů u chlapců - náhodná veličina X ... délka vlasů fděti = wd N(15,25) + whN(6,4) = wd f(x|A) + wh f(x|B)

15 Základní charakteristiky náhodné veličiny
Střední hodnota (též očekávaná hodnota) K-tý obecný moment K-tý centrální moment

16 Rozptyl, též disperze Druhý centrální moment

17 Kovariance Kovariance dvou veličin X, Y
Kovarianční matice n veličin veličin X1,...,Xn - symetrická, positivně definitní

18 Kvantily, medián p-kvantil Qp medián je p -kvantil pro p =0.5

19 Rovnoměrné rozdělení, diskrétní
Diskrétní rovnoměrné rozdělení DU(m) - příklady: hodnota první číslice na SPZ hod kostkou

20 Binomické rozdělení, diskrétní
Binomické rozdělení B(n,p) n nezávislých pokusů, při nichž může nastat jev A s pravděp. p a nenastat s pravděp. (1-p) x udává počet, kolikrát nastal jev A při n pokusech

21 Geometrické rozdělení, diskrétní
Geometrické rozdělení G(p) - opakujeme nezávislé pokusy, při nichž může nastat jev A s pravděp. p - x udává počet neúspěšných pokusů, než poprvé nastane jev A

22 Rovnoměrné rozdělení, spojité
Rovnoměrné rozdělení U(a,b)

23 Normální rozdělení, spojité
Normální rozdělení N(m,s2) Vícerozměrné normální rozdělení N(m,å)

24 Centrální limitní věta
Mějme n nezávislých náhodných veličin Xi. Jejich součet S=X1+…+Xn je také náhodná veličina se střední hodnotou m=m1 + … + mn a rozptylem s2=s12 + … + sn2. Centrální limitní věta: S rostoucím n se distribuce F(S) blíží normálnímu rozdělení N(m,s2).

25 Pravděpodobnost: Koncept náhodné veličiny

26 Centrální limitní věta, příklad
x1 x2 x3 x4 x5 x S 13 Předpokládejme, že hodnoty číslic na SPZ jsou náhodné veličiny X1, X2, ... , X6, nabývající hodnot {0,1,…,9}. Výskyt každé číslice má rovnoměrné rozložení. Součet všech číslic na SPZ S = X1+X X6 je také náhodná veličina. Nabývá hodnot {0,1,…,54} a blíží se normálnímu rozložení. 23 16 .

27 Část 2 Statistika

28 Náhodný výběr Výběrový průměr Výběrové momenty Výběrový rozptyl
Náhodný výběr rozsahu n - n nezávislých opakování téhož pokusu - posloupnost n nezávislých náhodných veličin se stejným rozdělením X1.,..., Xn Výběrový průměr Výběrové momenty Výběrový rozptyl Poznámka

29 Odhad parametrů f(x|q) = N(m,s2), q = {m,s2} Formulace úlohy:
- mějme n nezávislých měření {x1,…,xn} - známe parametrický model hustoty f(X)= f(x|q), případně diskrétní p(xi|q), až na neznámou hodnotu parametru q Cíl: Na základě naměřených {x1,…,xn} určit hodnotu q Příklad: Předpokládejme, že rozložení výšky lidí lze popsat normálním rozdělením s neznámou střední hodnotou m a rozptylem s2. Na základě náhodného vzorku 100 lidí chceme odhadnout m,s2 f(x|q) = N(m,s2), q = {m,s2}

30 Odhad, metoda maxim. věrohodnosti
ML-odhad (Maximal Likelihood) : Hledáme takové q* , které maximalizuje P({x1,…,xn} ) Přesněji pro spojitý případ: hledámeq , které maximalizuje sdruženou hustotu L(q,x) – věrohodnost:

31 ML-odhad, možné postupy řešení
Hledá se : a) analyticky b) numericky - metody gradientního sestupu - EM algoritmus