Lineární model posteriorní hustota pravděpodobnosti lineární model: odhad parametrů neurčitost odhadu

Iterativní linearizace Taylorův rozvoj ln L v bodě x1 pro bod x0, kde L nabývá maxima: platí přesně pokud x1= x0 nebo ln L je lineární funkce Newton-Raphsonův algoritmus 1. zvol počáteční odhad parametrů x1 polož x1= x2, opakuj dokud 2. Vypočítej 3. Vypočítej upřesněný odhad

Iterativní linearizace Newton-Raphsonův algoritmus zlepšení stability (c < 0 malé, E – jednotková matice) [x0,y0] e1 e2 Q = k y x

Odhad parametrů pro normální rozdělení parametry m, s (m = 2) posteriorní hustota pravděpodobnosti: apriorní hustota pravděpodobnosti:

Přiřazení apriorní pravděpodobnosti princip invariance (Keynes 1921) parametry polohy – invariance vůči posunutí škálovací parametry – invariance změně jednotek

Entropie entropie (Shannon 1948) princip maximální entropie: jako apriorní rozdělení bereme rozdělení s maximální entropií

Problém klokanů Gull & Skilling 1980 1/3 klokanů jsou leváci 1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? p4 p3 p2 p1 levák ano ne ne ano modré oči (normalizace) (leváci) (modré oči)

Problém klokanů Gull & Skilling 1980 1/3 klokanů jsou leváci 1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? levák (normalizace) ano ne (leváci) modré oči ne ano (modré oči)

Problém klokanů Gull & Skilling 1980 1/3 klokanů jsou leváci 1/3 klokanů mají modré oči jaké je procento klokanů leváků s modrýma očima? levák (normalizace) ano ne (leváci) modré oči ne ano (modré oči) entropie maximální S

Entropie (opičí tým) M možných výsledků (x1, x2, …xM) jak přiřadit pravděpodobnosti jednotlivým výsledkům? každou možnost reprezentujeme krabicí a náhodně do krabic rozházíme N mincí pravděpodobnost i-tého výsledku: (ni – počet v mincí v i-té krabici) výsledkem je M-tice pravděpodobností: (p1, p2, ... pM) pokud to zopakujeme dostaneme jinou M-tici pravděpodobností frekvence výskytu M-tice (p1, p2, ... pM): (Stirlingův vzorec: )

Entropie (opičí tým) M možných výsledků (x1, x2, …xM) jak přiřadit pravděpodobnosti jednotlivým výsledkům? každou možnost reprezentujeme krabicí a náhodně do krabic rozházíme N mincí pravděpodobnost i-tého výsledku: (ni – počet v mincí v i-té krabici) pokud víme, že jednotlivé možnosti nejsou stejně pravděpodobné, zvolíme různě velké krabice pravděpodobnost, že mince padne do i-té krabice: mi (multinomické rozdělění) frekvence výskytu M-tice (p1, p2, ... pM): (Stirlingův vzorec: )

Princip maximální entropie zobecněná entropie (Jaynes 1963) entropie (Shannon 1948) princip maximální entropie: jako apriorní rozdělení bereme rozdělení s maximální entropií m(x) Lebesqueova míra zaručuje invarianci entropie při transformaci

Princip maximální entropie normalizační podmínka Lagrangeovy multiplikátory pokud jsou všechny výsledky stejně pravděpodobné

Princip maximální entropie známe odhad střední hodnoty m Lagrangeovy multiplikátory

Princip maximální entropie známe odhad střední hodnoty m a rozptylu s2 Lagrangeovy multiplikátory

Princip maximální entropie procedura aktualizace informace: pokud získáme novou hodnotu vazby 1. přenásobit p(x) faktorem 2. renormalizovat p(x) princip maximální entropie

Princip maximální entropie je známo m a s měřené veličiny apriorní hustota pravděpodobnosti je Gaussián jsou známy chyby si naměřených hodnot věrohodnost je Gaussián

Metoda nejmenších čtverců bylo provedeno N měření veličiny m s různou přesností jaký je nejlepší odhad veličiny m? princip maximální entropie Gaussián (m je parametr polohy)