Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Lineární model posteriorní hustota pravděpodobnosti lineární model: odhad parametrů neurčitost odhadu.

Podobné prezentace


Prezentace na téma: "Lineární model posteriorní hustota pravděpodobnosti lineární model: odhad parametrů neurčitost odhadu."— Transkript prezentace:

1 Lineární model posteriorní hustota pravděpodobnosti lineární model: odhad parametrů neurčitost odhadu

2 Newton-Raphsonův algoritmus Iterativní linearizace Taylorův rozvoj ln L v bodě x 1 pro bod x 0, kde L nabývá maxima: platí přesně pokud x 1 = x 0 nebo ln L je lineární funkce 1. zvol počáteční odhad parametrů x 1 3. Vypočítej upřesněný odhad 2. Vypočítej polož x 1 = x 2, opakuj dokud

3 Iterativní linearizace Newton-Raphsonův algoritmus zlepšení stability (c < 0 malé, E – jednotková matice) x [x0,y0][x0,y0] e1e1 e2e2 Q = k y

4 Odhad parametrů pro normální rozdělení parametry  (m = 2) posteriorní hustota pravděpodobnosti: apriorní hustota pravděpodobnosti:

5 Přiřazení apriorní pravděpodobnosti princip invariance (Keynes 1921) parametry polohy – invariance vůči posunutí škálovací parametry – invariance změně jednotek

6 Entropie entropie (Shannon 1948) princip maximální entropie: jako apriorní rozdělení bereme rozdělení s maximální entropií

7 Problém klokanů Gull & Skilling /3 klokanů jsou leváci 1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? p4p4 p3p3 p2p2 p1p1 levák ano ne ne ano modré oči (normalizace) (leváci) (modré oči)

8 Problém klokanů Gull & Skilling /3 klokanů jsou leváci 1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? levák ano ne ne ano modré oči (normalizace) (leváci) (modré oči)

9 Problém klokanů Gull & Skilling /3 klokanů jsou leváci 1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? levák ano ne ne ano modré oči (normalizace) (leváci) (modré oči) entropie maximální S

10 Entropie (opičí tým) M možných výsledků (x 1, x 2, …x M ) každou možnost reprezentujeme krabicí a náhodně do krabic rozházíme N mincí jak přiřadit pravděpodobnosti jednotlivým výsledkům? pokud to zopakujeme dostaneme jinou M-tici pravděpodobností výsledkem je M-tice pravděpodobností: (p 1, p 2,... p M ) pravděpodobnost i-tého výsledku:(n i – počet v mincí v i-té krabici) frekvence výskytu M-tice (p 1, p 2,... p M ): (Stirlingův vzorec: )

11 M možných výsledků (x 1, x 2, …x M ) jak přiřadit pravděpodobnosti jednotlivým výsledkům? pokud víme, že jednotlivé možnosti nejsou stejně pravděpodobné, zvolíme různě velké krabice každou možnost reprezentujeme krabicí a náhodně do krabic rozházíme N mincí Entropie (opičí tým) pravděpodobnost, že mince padne do i-té krabice: m i (multinomické rozdělění) frekvence výskytu M-tice (p 1, p 2,... p M ): (Stirlingův vzorec: ) pravděpodobnost i-tého výsledku:(n i – počet v mincí v i-té krabici)

12 Princip maximální entropie entropie (Shannon 1948) zobecněná entropie (Jaynes 1963) princip maximální entropie: jako apriorní rozdělení bereme rozdělení s maximální entropií m(x) Lebesqueova míra zaručuje invarianci entropie při transformaci

13 Princip maximální entropie normalizační podmínka Lagrangeovy multiplikátory pokud jsou všechny výsledky stejně pravděpodobné

14 Princip maximální entropie známe odhad střední hodnoty  Lagrangeovy multiplikátory

15 Princip maximální entropie známe odhad střední hodnoty  a rozptylu  2 Lagrangeovy multiplikátory

16 Princip maximální entropie entropie vazby princip maximální entropieprocedura aktualizace informace: pokud získáme novou hodnotu 2. renormalizovat p(x) 1. přenásobit p(x) faktorem

17 Princip maximální entropie je známo  a  měřené veličiny apriorní hustota pravděpodobnosti je Gaussián jsou známy chyby  i naměřených hodnot věrohodnost je Gaussián

18 Metoda nejmenších čtverců bylo provedeno N měření veličiny  s různou přesností jaký je nejlepší odhad veličiny  ? princip maximální entropie Gaussián (  je parametr polohy)


Stáhnout ppt "Lineární model posteriorní hustota pravděpodobnosti lineární model: odhad parametrů neurčitost odhadu."

Podobné prezentace


Reklamy Google