Testování statistických hypotéz
Co je to statistická hypotéza? Hypotéza o základním souboru (populaci).
Typy stat. hypotéz Parametrické hypotézy Neparametrické hypotézy - hypotézy o parametrech populace a) Hypotézy o parametru jedné populace (o střední hodnotě, mediánu, rozptylu, relativní četnosti…) b) Hypotézy o parametrech dvou populací (srovnávací testy) c) Hypotézy o parametrech více než dvou populací (ANOVA …) Neparametrické hypotézy - hypotézy o jiných vlastnostech populace (tvar rozdělení, závislost proměnných…)
Zdroje hypotéz Hypotéza je založena na předchozí zkušenosti Hypotéza vychází z teorie, kterou je třeba doložit Hypotéza vychází z požadavku na kvalitu produktu Hypotéza je pouhým dohadem založeným na náhodném pozorování
Co to je testování hypotéz? Egon Sharpe Pearson (1895-1980) Jerzy Neymann (1894-1981) Rozhodovací proces, v němž proti sobě stojí 2 tvrzení - nulová a alternativní hypotéza.
Alternativní hypotéza Nulová hypotéza takové tvrzení o populaci, které je bráno jak předpoklad při testování představuje určitý rovnovážný stav a bývá vyjádřena rovnosti „=“ např. μ = 100, μ1 = μ2 = μ3 … Alternativní hypotéza - představuje porušení rovnovážného stavu a zapisujeme ji tedy jedním ze tří možných zápisů nerovnosti ( ≠ , <, >)
Výběr vhodné alternativní hypotézy jednostranná vs. oboustranná alternativa alternativní hypotéza musí být v souladu s výběrovým souborem
Princip testování hypotéz
Chyby při testování hypotéz jsou nevyhnutelnou součásti testování Rozhodnutí Nezamítáme H0 Zamítáme H0 Platí H0 Správné rozhodnutí Pravděpodobnost: 1 – α (spolehlivost) Chyba I. druhu Pravděpodobnost: α (hladina významnosti) Platí HA Chyba II. druhu Pravděpodobnost: β Pravděpodobnost: 1 – β (síla testu) Skutečnost
- nulová hypotéza platí, ale my ji zamítneme Chyba I. druhu - nulová hypotéza platí, ale my ji zamítneme - maximální přípustná pravděpodobnost chyby I. druhu (hladina významnosti) se volí ještě před pořízením výběrového souboru) Chyba II. druhu - nulová hypotéza neplatí, ale my ji nezamítneme (nepoznáme, že neplatí) - síla testu závisí na zvolené testové metodě (zejména na skutečném rozdělení dat)
Grafický zápis chyby II. druhu (pro konkrétní alternativu) Operativní charakteristika Křivka síly testu (Power Curve)
Příklad Standardním výrobním způsobem lze vyrobit monitory se střední životnosti 1200 hodin a směrodatnou odchylkou 300 hodin. Novou technologií, kterou navrhuje vývojové centrum bylo zkušebně vyrobeno 100 obrazovek, jejichž průměrná životnost byla 1265 hodin. Předpokládejme, že výběr pocházel z normálního rozdělení. Jde o kvalitnější technologii, nejde pouze o náhodný rozdíl?
Nakolik průměr odpovídá nulové hypotéze?
β α (volíme) H0 HA Výsledek testu OK Chyba I. druhu Chyba II.druhu Skutečnost Jestliže platí konkrétní HA μA = 1240 Jestliže platí H0 µ0 =1200 β Nezamítáme H0 Zamítáme H0 α (volíme)
Jak snížit pravděpodobnost obou chyb?
Vliv rostoucího rozsahu výběru na pravděpodobnost chyb I. a II. druhu Jestliže platí H0 µ0 =1200 Jestliže platí konkrétní HA μA = 1240 Zamítáme H0 Nezamítáme H0 α β
Přístupy k testování hypotéz Testování pomocí intervalových odhadů Klasický test Čistý test významnosti (testování pomocí p-value (p-hodnoty))
Testování pomocí intervalových odhadů Lze použít pouze pro testování parametrických hypotéz Formulace nulové a alternativní hypotézy Nalezení příslušného intervalového odhadu (POZOR! Umíme zatím nalézt pouze int. odhady parametrů normálního rozdělení!!!) Ověření toho, zda testovaná hodnota parametru leží v nalezeném intervalovém odhadu Formulace závěru testu
Klasický test Formulace nulové a alternativní hypotézy Volba testové statistiky (testového kritéria) T(X), musíme znát (nulové rozdělení) Ověření předpokladů testu Sestrojení kritického oboru a oboru přijetí Výpočet pozorované hodnoty testové statistiky T(X) - xOBS Formulace závěru testu
Konstrukce kritického oboru - C Alternativní hypotéza ve tvaru „<“ (ve prospěch alternativy svědčí nízké hodnoty testové statistiky) C ≤ Tα Alternativní hypotéza ve tvaru „>“ (ve prospěch alternativy svědčí vysoké hodnoty testové statistiky), pak je kritický obor vymezen jako: C ≥ T1-α Alternativní hypotéza ve tvaru „≠“ (ve prospěch alternativy svědčí extrémně nízké nebo extrémně vysoké hodnoty testové statistiky) – POZOR! Lze použít pouze při symetrickém nulovém rozdělení!!!! (C ≤ Tα/2) nebo (C ≥ T1-α/2)
Příklad 1. Formulace nulové a alternativní hypotézy: 2. Volba testového kritéria: 3. Ověření předpokladu testu: Viz. předpoklad v zadání úlohy. 4. Výpočet pozorované hodnoty:
5. Konstrukce kritického oboru: Jestliže platí H0 µ0 =1200 Zamítáme H0 Nezamítáme H0 α z0,95=1,64 T(X), jestliže platí H0 µ =0 Zamítáme H0 Nezamítáme H0 α C
6. Rozhodnutí: 1,64 T(X), jestliže platí H0 µ =0 Zamítáme H0 Nezamítáme H0 α C xOBS=2,17 Zamítáme H0 ve prospěch HA, tj. s 95% ní pravděpodobnosti lze tvrdit, že došlo ke zlepšení střední životnosti monitorů.
Vliv volby α na rozhodnutí 1,64 T(X), jestliže platí H0 µ =0 Zamítáme H0 Nezamítáme H0 α C xOBS=2,17
Čistý test významnosti Formulace nulové a alternativní hypotézy Volba testové statistiky (testového kritéria) T(X), musíme znát (nulové rozdělení) Ověření předpokladů testu Výpočet pozorované hodnoty testové statistiky T(X) – xOBS Určení p-value Formulace závěru testu
Co je to p-value? 1,64 T(X), jestliže platí H0 µ =0 Zamítáme H0 Nezamítáme H0 α C xOBS=2,17 p-value p-value je pravděpodobnost, že testová statistika bude alespoň tak „extrémní“ jako pozorovaná hodnota.
p-value = 2.min{F0(xOBS) ;1-F0(xOBS)} Jak určujeme p-value? Alternativní hypotéza ve tvaru „<“ (ve prospěch alternativy svědčí nízké hodnoty testové statistiky) p-value = F0(xOBS) Alternativní hypotéza ve tvaru „>“ (ve prospěch alternativy svědčí vysoké hodnoty testové statistiky), pak je kritický obor vymezen jako: p-value = 1-F0(xOBS) Alternativní hypotéza ve tvaru „≠“ (ve prospěch alternativy svědčí extrémně nízké nebo extrémně vysoké hodnoty testové statistiky) – POZOR! Lze použít pouze při symetrickém nulovém rozdělení!!!! p-value = 2.min{F0(xOBS) ;1-F0(xOBS)}
Jak rozhodujeme pomocí p-value? 1,64 T(X), jestliže platí H0 µ =0 Zamítáme H0 Nezamítáme H0 α C xOBS=2,17 p-value α>p-value zamítáme H0 α<p-value nezamítáme H0
α>p-value zamítáme H0 α<p-value nezamítáme H0 P-value je nejvyšší hladina významnosti na níž nezamítáme nulovou hypotézu. P-value je nejnižší hladina významnosti na níž zamítáme nulovou hypotézu.
Rozhodování na klasických hladinách významnosti (0,05 a 0,01) p-value Nezamítáme H0 Zamítáme H0 Nerozhodná oblast