Lineární model posteriorní hustota pravděpodobnosti lineární model:

Prezentace na téma: "Lineární model posteriorní hustota pravděpodobnosti lineární model:"— Transkript prezentace:

1 Lineární model posteriorní hustota pravděpodobnosti lineární model:
odhad parametrů neurčitost odhadu

2 Iterativní linearizace
Taylorův rozvoj ln L v bodě x1 pro bod x0, kde L nabývá maxima: platí přesně pokud x1= x0 nebo ln L je lineární funkce Newton-Raphsonův algoritmus 1. zvol počáteční odhad parametrů x1 polož x1= x2, opakuj dokud 2. Vypočítej 3. Vypočítej upřesněný odhad

3 Iterativní linearizace
Newton-Raphsonův algoritmus zlepšení stability (c < 0 malé, E – jednotková matice) [x0,y0] e1 e2 Q = k y x

4 Odhad parametrů pro normální rozdělení
parametry m, s (m = 2) posteriorní hustota pravděpodobnosti: apriorní hustota pravděpodobnosti:

5 Přiřazení apriorní pravděpodobnosti
princip invariance (Keynes 1921) parametry polohy – invariance vůči posunutí škálovací parametry – invariance změně jednotek

6 Entropie entropie (Shannon 1948) princip maximální entropie:
jako apriorní rozdělení bereme rozdělení s maximální entropií

7 Problém klokanů Gull & Skilling 1980 1/3 klokanů jsou leváci
1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? p4 p3 p2 p1 levák ano ne ne ano modré oči (normalizace) (leváci) (modré oči)

8 Problém klokanů Gull & Skilling 1980 1/3 klokanů jsou leváci
1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? levák (normalizace) ano ne (leváci) modré oči ne ano (modré oči)

9 Problém klokanů Gull & Skilling 1980 1/3 klokanů jsou leváci
1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? levák (normalizace) ano ne (leváci) modré oči ne ano (modré oči) entropie maximální S

10 Entropie (opičí tým) M možných výsledků (x1, x2, …xM)
jak přiřadit pravděpodobnosti jednotlivým výsledkům? každou možnost reprezentujeme krabicí a náhodně do krabic rozházíme N mincí pravděpodobnost i-tého výsledku: (ni – počet v mincí v i-té krabici) výsledkem je M-tice pravděpodobností: (p1, p2, ... pM) pokud to zopakujeme dostaneme jinou M-tici pravděpodobností frekvence výskytu M-tice (p1, p2, ... pM): (Stirlingův vzorec: )

11 Entropie (opičí tým) M možných výsledků (x1, x2, …xM)
jak přiřadit pravděpodobnosti jednotlivým výsledkům? každou možnost reprezentujeme krabicí a náhodně do krabic rozházíme N mincí pravděpodobnost i-tého výsledku: (ni – počet v mincí v i-té krabici) pokud víme, že jednotlivé možnosti nejsou stejně pravděpodobné, zvolíme různě velké krabice pravděpodobnost, že mince padne do i-té krabice: mi (multinomické rozdělění) frekvence výskytu M-tice (p1, p2, ... pM): (Stirlingův vzorec: )

12 Princip maximální entropie
zobecněná entropie (Jaynes 1963) entropie (Shannon 1948) princip maximální entropie: jako apriorní rozdělení bereme rozdělení s maximální entropií m(x) Lebesqueova míra zaručuje invarianci entropie při transformaci

13 Princip maximální entropie
normalizační podmínka Lagrangeovy multiplikátory pokud jsou všechny výsledky stejně pravděpodobné

14 Princip maximální entropie
známe odhad střední hodnoty m Lagrangeovy multiplikátory

15 Princip maximální entropie
známe odhad střední hodnoty m a rozptylu s2 Lagrangeovy multiplikátory

16 Princip maximální entropie
procedura aktualizace informace: pokud získáme novou hodnotu vazby 1. přenásobit p(x) faktorem 2. renormalizovat p(x) princip maximální entropie

17 Princip maximální entropie
je známo m a s měřené veličiny apriorní hustota pravděpodobnosti je Gaussián jsou známy chyby si naměřených hodnot věrohodnost je Gaussián

18 Metoda nejmenších čtverců
bylo provedeno N měření veličiny m s různou přesností jaký je nejlepší odhad veličiny m? princip maximální entropie Gaussián (m je parametr polohy)