Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Odhad metodou maximální věrohodnost J.Hendl. Odhad metodou maximální věrohodnost Podmíněné rozložení a věrohodnost Odhad metodou maximální věrohodnosti.

Podobné prezentace


Prezentace na téma: "Odhad metodou maximální věrohodnost J.Hendl. Odhad metodou maximální věrohodnost Podmíněné rozložení a věrohodnost Odhad metodou maximální věrohodnosti."— Transkript prezentace:

1 Odhad metodou maximální věrohodnost J.Hendl

2 Odhad metodou maximální věrohodnost Podmíněné rozložení a věrohodnost Odhad metodou maximální věrohodnosti Test poměrem věrohodností

3 Úvod Chceme odhadnout parametry, provedeme měření a získáme tak informace o sledovaném rozložení (x 1,…,x n ). Metoda maximalizace věrohodnost je jednou z metod odhadu, mezi ně patří také metoda nejmenších čtverců, metoda momentů, bayesovská metoda atd. Výsledkem je funkce pozorování – t(x 1,…,x n ). Jedná se tedy o náhodnou proměnnou. Chceme znát vlastnosti této funkce t.

4 Požadované vlastnosti Nestrannost. Vychýlení (Bias) je definováno jako průměrný rozdíl mezi odhadem (t) a správnou hodnotou parametru (  ). Efficience. Má malý rozptyl (var(t)). Konsistence. Jak se n blíží k nekonečnu, odhad t se blíží ke správné hodnotě . Minimální průměrná kvadratická odchylka: očekávaná hodnota čtverce odchylek. Odhad má být eficientní a nestranný. Je těžké dosáhnout všech těchto vlastností. ML odhady mají dobré asymptotické vlastnosti. Například t je asymptoticky normální.

5 Podmíněné rozložení resp. pravděpodobnost, věrohodnostní funkce Známe tvar rozložení, které závisí na parametru (parametrech) . Jedno pozorování má hustotu f(x|  ). Jedná se podmíněné rozložení f(x|  ), za podmínky že známe parametr . Pro nezávislá pozorování je společné rozložení násobkem jednotlivých hustot nebo pravděpodobnostních funkcí: Můžeme interpretovat f(x 1,x 2,,,x n |  ) jako pravděpodobnost dané konfigurace pozorování, jestliže známe parametr . Věrohodnostní funkce je úměrná společnému rozložení:

6 Podmíněně rozložení a věrohodnost (pokr.) Když mluvíme o rozložení, považujeme parametr za fixní a pozorování se mění. Jestliže mluvíme o věrohodnosti, pak jsou pozorování fixní a parametr se může měnit : Princip maximální věrohodnosti říká, že máme zvolit jako odhad parametr, který maximalizuje věrohodnost toho, že napozorujeme danou konfiguraci pozorování:

7 Metoda maximální věrohodnosti (Maximum likelihood) Jestliže maximalizujeme funkci, která ma derivaci, pak lze derivaci položit rovnou nule: Řešení této rovnice dává kandidáty na odhad. Místo věrohodnostní funkce často derivujeme logaritmus věrohodnostní funkce, protože ten je rostoucí funkcí a nic se v podstatě nemění: Práce se součtem je výhodnější než s násobky.

8 Maximum likelihood: příklad – úspěch a neúspěch Uvažujme případ diskrétního rozložení. Provádíme pokus na úspěch a neúspěch, pravděpodobnost úspěchu je  a pravděpodobnost neúspěchu je 1- . Neznámá hodnota . Provedli jsme n pokusů, k z nich bylo úspěšných k a n-k neúspěšných. Náhodná proměnná Y má hodnoty - 0 (neúspěch) nebo - 1 (úspěch).

9 Maximum likelihood: příklad – úspěch a neúspěch Uvažujme případ diskrétního rozložení. Pozorování jsou y=(y 1,y 2,…,y n ). Pravděpodobnost úspěchu y i v i-tém pokusu: Jelikož pokusy jsou nezávislé ze pro n pokusů psát:

10 Maximum likelihood: příklad – úspěch a neúspěch (pokr.) Pro log této funkce lze psát: Po derivaci podle parametru a položením rovno nule dostaneme: Vyřešením vzniklé rovnice získáme odhad ve formě:

11 Maximum likelihood: příklad – úspěch a neúspěch Zajímavější je situace, jestliže  je funkcí nějakých parametrů: máme např.: Nalezení maxima věrohodnostní funkce je pak složitější a musí se hledat iterativně, jedná se o nelineární optimalizaci funkce ve tvaru: To je případ logistické regrese

12 Pro normální rozložení hledáme odhady parametrů (spojité rozložení) Věrohodnostní funkce má tvar pro n pozorování y=(y 1,y 2,,,y n ), jestliže logaritmujeme: Derivujeme parciálně podle průměru a směrodatné odchylky: První lze získat nezávisle na druhém řešení:

13 Test poměrem maximální věrohodnosti Předpokládejme výběr o rozsahu n (x=(x 1,,,,x n )) a chceme odhadnout vektor parametrů  =(  1,  2 ). Obě části jsou vektory  1 a  2. Testujeme nulovou hypotézu proti alternativě: Předpokládejme, že věrohodnostní funkce má tvar L(x|  ). Pak test sestrojíme takto: 1) Maximalizujeme věrohodnostní funkci za platnosti nulové hypotézy  10, 2) Maximalizujeme věrohodnostní funkci bez omezení: w je testovací statistika. Jestliže je malá hypotézu zamítáme.


Stáhnout ppt "Odhad metodou maximální věrohodnost J.Hendl. Odhad metodou maximální věrohodnost Podmíněné rozložení a věrohodnost Odhad metodou maximální věrohodnosti."

Podobné prezentace


Reklamy Google