Odhad metodou maximální věrohodnost J.Hendl

Odhad metodou maximální věrohodnost Podmíněné rozložení a věrohodnost Odhad metodou maximální věrohodnosti Test poměrem věrohodností

Chceme znát vlastnosti této funkce t. Úvod Chceme odhadnout parametry, provedeme měření a získáme tak informace o sledovaném rozložení (x1,…,xn). Metoda maximalizace věrohodnost je jednou z metod odhadu, mezi ně patří také metoda nejmenších čtverců, metoda momentů, bayesovská metoda atd. Výsledkem je funkce pozorování – t(x1,…,xn). Jedná se tedy o náhodnou proměnnou. Chceme znát vlastnosti této funkce t.

Požadované vlastnosti Nestrannost. Vychýlení (Bias) je definováno jako průměrný rozdíl mezi odhadem (t) a správnou hodnotou parametru (). Efficience. Má malý rozptyl (var(t)). Konsistence. Jak se n blíží k nekonečnu, odhad t se blíží ke správné hodnotě . Minimální průměrná kvadratická odchylka: očekávaná hodnota čtverce odchylek. Odhad má být eficientní a nestranný. Je těžké dosáhnout všech těchto vlastností. ML odhady mají dobré asymptotické vlastnosti. Například t je asymptoticky normální.

Podmíněné rozložení resp. pravděpodobnost, věrohodnostní funkce Známe tvar rozložení, které závisí na parametru (parametrech) . Jedno pozorování má hustotu f(x|). Jedná se podmíněné rozložení f(x|), za podmínky že známe parametr  . Pro nezávislá pozorování je společné rozložení násobkem jednotlivých hustot nebo pravděpodobnostních funkcí: Můžeme interpretovat f(x1,x2,,,xn|) jako pravděpodobnost dané konfigurace pozorování, jestliže známe parametr . Věrohodnostní funkce je úměrná společnému rozložení:

Podmíněně rozložení a věrohodnost (pokr.) Když mluvíme o rozložení, považujeme parametr za fixní a pozorování se mění. Jestliže mluvíme o věrohodnosti, pak jsou pozorování fixní a parametr se může měnit : Princip maximální věrohodnosti říká, že máme zvolit jako odhad parametr, který maximalizuje věrohodnost toho, že napozorujeme danou konfiguraci pozorování:

Metoda maximální věrohodnosti (Maximum likelihood) Jestliže maximalizujeme funkci, která ma derivaci, pak lze derivaci položit rovnou nule: Řešení této rovnice dává kandidáty na odhad. Místo věrohodnostní funkce často derivujeme logaritmus věrohodnostní funkce, protože ten je rostoucí funkcí a nic se v podstatě nemění: Práce se součtem je výhodnější než s násobky.

Maximum likelihood: příklad – úspěch a neúspěch Uvažujme případ diskrétního rozložení. Provádíme pokus na úspěch a neúspěch, pravděpodobnost úspěchu je  a pravděpodobnost neúspěchu je 1- . Neznámá hodnota . Provedli jsme n pokusů, k z nich bylo úspěšných k a n-k neúspěšných. Náhodná proměnná Y má hodnoty - 0 (neúspěch) nebo - 1 (úspěch).

Maximum likelihood: příklad – úspěch a neúspěch Uvažujme případ diskrétního rozložení. Pozorování jsou y=(y1,y2,…,yn). Pravděpodobnost úspěchu yi v i-tém pokusu: Jelikož pokusy jsou nezávislé ze pro n pokusů psát:

Maximum likelihood: příklad – úspěch a neúspěch (pokr.) Pro log této funkce lze psát: Po derivaci podle parametru a položením rovno nule dostaneme: Vyřešením vzniklé rovnice získáme odhad ve formě:

Maximum likelihood: příklad – úspěch a neúspěch Zajímavější je situace, jestliže  je funkcí nějakých parametrů: máme např.: Nalezení maxima věrohodnostní funkce je pak složitější a musí se hledat iterativně, jedná se o nelineární optimalizaci funkce ve tvaru: To je případ logistické regrese

Pro normální rozložení hledáme odhady parametrů (spojité rozložení) Věrohodnostní funkce má tvar pro n pozorování y=(y1,y2,,,yn), jestliže logaritmujeme: Derivujeme parciálně podle průměru a směrodatné odchylky: První lze získat nezávisle na druhém řešení:

Test poměrem maximální věrohodnosti Předpokládejme výběr o rozsahu n (x=(x1,,,,xn)) a chceme odhadnout vektor parametrů =( 1,2). Obě části jsou vektory 1 a 2 . Testujeme nulovou hypotézu proti alternativě: Předpokládejme, že věrohodnostní funkce má tvar L(x| ). Pak test sestrojíme takto: 1) Maximalizujeme věrohodnostní funkci za platnosti nulové hypotézy 10 , 2) Maximalizujeme věrohodnostní funkci bez omezení: w je testovací statistika. Jestliže je malá hypotézu zamítáme.