Testování statistických hypotéz

Prezentace na téma: "Testování statistických hypotéz"— Transkript prezentace:

1 Testování statistických hypotéz
Statistická indukce Testování statistických hypotéz

2 Testování hypotéz je forma statistického usuzování, která hledá doporučení ve formě „ano“ nebo „ne“ na určitým způsobem formulované otázky. Např. se můžeme zeptat, zda průměrný krevní tlak v celé populaci nebo zda určitá forma výuky zlepšuje úspěšnost žáků v pedagogickém testu. V těchto případech se požaduje odpověď „ano“ nebo „ne“ a testuje se určité hypotetické tvrzení pomocí dat, jež máme k dispozici. Hypotetické tvrzení, které jsme vyslovili a jehož platnost chceme pomocí testování ověřit, se nazývá statistická hypotéza.

3 Statistická hypotéza jakýkoliv předpoklad týkající se neznámého rozdělení ZS, každé tvrzení o tvaru nebo charakteristikách rozdělení jednoho či několika statistických znaků, určitý předpoklad o parametrech či tvaru rozdělení zkoumaného znaku. Na základě náhodného výběru, pořízeného ze zkoumaného ZS, budeme chtít posoudit, zda vytýčená statistická hypotéza je pravdivá či nikoliv. Úkolem teorie testování (ověřování) statistických hypotéz je konstrukce adekvátních matematických metod, pomocí nichž budeme posuzovat platnost nebo neplatnost zkoumané statistické hypotézy.

4 Testování hypotéz – proces ověřování správnosti nebo nesprávnosti hypotézy pomocí výsledků získaných náhodným výběrem. Statistické hypotézy se týkají: druhu rozdělení ZS, parametrů rozdělení ZS, náhodného uspořádání hodnot souboru, extrémních hodnot souboru, rozdílu dvou a více výběrových charakteristik stejného druhu apod.

5 H0:  = 0 Nulová hypotéza (testovaná hypotéza) H0
předpoklad, který jsme vyslovili o určité charakteristice či tvaru rozdělení v ZS tvrdí, že neexistuje rozdíl mezi dvěma nebo větším počtem rozdělení, resp. mezi charakteristikami rozdělení – parametr ZS odhadovaný na základě náhodného výběru 0 – hypotetická hodnota tohoto parametru H0:  = 0

6 nulová hypotéza tvrdí, že parametr ZS  se statisticky významně neliší od hypotetické hodnoty 0
tvrdí, že parametr  je roven určité pevné hodnotě 0 tvrdí, že mezi sledovanými objekty neexistuje rozdíl Nulová hypotéza může být také formulována např. pro ověření shody empirického a teoretického pravděpodobnostního rozdělení. H0: F(x) = F0(x)

7 Alternativní hypotéza H1
popírá platnost nulové hypotézy přijímáme ji v případě zamítnutí nulové hypotézy obvykle se vyjadřuje jako „existence diference“ mezi skupinami nebo „existence závislosti“ mezi proměnnými nemusí jít o přesný logický opak nulové hypotézy, pokud např. pracujeme s jednostrannou alternativou

8 H1: F(x)  F0(x). H1:   0  Oboustranná alternativa
H1:   0  Pravostranná alternativa H1:   0  Levostranná alternativa jednostranná alternativa – buď pravostranná nebo levostranná alternativní hypotéza V případě testování pravděpodobnostního rozdělení se uplatňuje pouze oboustranná alternativa H1: F(x)  F0(x).

9 Test Postup, kterým – na základě náhodného výběru, který máme k dispozici – ověřujeme, zda hypotéza platí či nikoliv. Rozlišuje testy: parametrické – vyžadují znalost typu rozdělení a parametrů ZS (hypotézy se týkají hodnot parametrů rozdělení), neparametrické – neznáme typ ani parametry rozdělení ZS.

10 Podle počtu výběrových souborů rozlišujeme testy:
jednovýběrové – jeden výběrový soubor, dvouvýběrové – dva výběrové soubory, vícevýběrové – více jak dva výběrové soubory. Podle stanovení alternativní hypotézy: testy oboustranné H1:   0 testy jednostranné testy pravostranné H1:   0 testy levostranné H1:   0

11 Testové (testovací) kritérium (testovací statistika)
Rozhodnutí o platnosti H0 či H1 zakládáme na nějakém náhodném výběru X = (x1, x2, …, xn)´. Postupujeme dále tak, že informaci, obsaženou v tomto výběru, shrneme pomocí nějaké statistiky T = T (x1, x2, …, xn). Statistika T je funkcí výběrových hodnot x1, x2, …, xn, jejíž konkrétní tvar volíme podle toho, jak je formulována nulová hypotéza. Statistiku T lze chápat i jako míru nesouhlasu výsledků pokusu s testovanou hypotézou.

12 Jestliže výběrová data zcela přesně odpovídají H0, je testové kritérium obvykle rovno nule a odchyluje se od ní (od nuly) tím více, čím více se výběrové hodnoty odklánějí od H0 k H1. Vyjdeme z předpokladu, že H0 platí a za tohoto předpokladu určíme pravděpodobnostní rozdělení statistiky T. Obor možných hodnot testovacího kritéria T pak rozdělíme na dvě disjunktní množiny: kritický obor K (obor zamítnutí H0), obor přijetí R.

13 Kritický obor je tvořen těmi možnými hodnotami testové statistiky T, jejichž výskyt je za předpokladu platnosti H0 málo pravděpodobný. Je tedy tvořen těmi možnými hodnotami testového kritéria T, jimž je přiřazeno rozhodnutí „zamítnout nulovou hypotézu H0“. Obor přijetí je tvořen těmi možnými hodnotami statistiky T, které nejsou v rozporu s H0. Hodnoty, jimiž jsou tyto dva obory odděleny, se nazývají kritické hodnoty (pro praktické potřeby jsou tabelovány).

14 Základní princip testování statistických hypotéz je možno zformulovat takto:
Padne-li vypočtená hodnota testovacího kritéria T do kritického oboru K, zamítáme H0 a přijímáme alternativní hypotézu (TK / H0). Padne-li vypočtená hodnota testovacího kritéria T do oboru přijetí, nebyla H0 vyvrácena (H0 nezamítáme). Potom platí TK / H0.

15 Zdůvodnění: Padnutí vypočtené hodnoty statistiky T do kritického oboru K znamená realizaci jevu, který se za platnosti H0 prakticky neměl uskutečnit, neboť měl – za platnosti H0 – velmi nízkou (téměř nulovou) pravděpodobnost. Protože však nastal, je tím platnost H0 – z níž jsme při odvození zákonitostí chování veličiny T vyšli – zpochybněna, a proto ji zamítáme. Test hypotézy H0 proti H1 je tedy jednoznačně určen vymezením kritického oboru a úlohu testu H0 lze pak interpretovat jako úlohu nalezení kritického oboru, který by měl určité vhodné vlastnosti.

16 Chyby testování Chyba I. druhu Chyba II. druhu
Spočívá v zamítnutí H0, i když je tato správná. Padnutí hodnoty T do kritického oboru K může být totiž způsobeno ne tím, že H0 je nesprávná, ale jinými příčinami, např. malým rozsahem výběru, nedostatky metodiky experimentu atd. (vliv náhody). Riziko tohoto mylného rozhodnutí je však zanedbatelně malé. Chyba II. druhu Spočívá v přijetí H0, která je ve skutečnosti nesprávná (ve skutečnosti platí hypotéza alternativní).

17 přijímá se H0, která je ve skutečnosti správná,
Je přirozené, že ke správnému rozhodnutí při testování můžeme dospět také dvěma způsoby: přijímá se H0, která je ve skutečnosti správná, zamítá se H0, která je ve skutečnosti nesprávná. Z definice kritického oboru K vyplývá, že pro pravděpodobnost chyby 1. druhu platí: P (TK / H0) = . Tato pravděpodobnost se nazývá hladina významnosti  a udává výši rizika, s jakým se H0 zamítá, i když platí. Pozn.: zápis vyjadřuje podmíněnou pravděpodobnost, že vypočtená hodnota testového kritéria T padne do kritického oboru K za podmínky, že H0 je správná.

18 Pravděpodobnost chyby 2
Pravděpodobnost chyby 2. druhu značíme symbolem  a lze ji symbolicky zapsat: P (TK / H1) = . Místo pravděpodobnosti 2. druhu se může uvažovat i pravděpodobnost P (TK / H1) = 1 - , tzn. pravděpodobnost zamítnutí H0, jestliže je správná hypotéza H1. Tato pravděpodobnost 1 -  se nazývá síla testu (schopnost testu odhalit neplatnost H0, tzn. pravděpodobnost, že se nedopustíme chyby 2. druhu).

19 Vztah chyb 1. a 2. druhu a odpovídajících pravděpodobností můžeme schematicky vyjádřit v tabulce:
Nulová hypotéza pravdivá nepravdivá přijetí správné rozhodnutí p1 = 1 –  chyba 2. druhu p2 =  zamítnutí chyba 1. druhu p3 =  p4 = 1 – 

20 Postup testování statických hypotéz
formulace nulové a alternativní hypotézy (H0 má být jednoduchá, tzn. jednoznačně specifikovat rozdělení studovaného znaku), volba hladiny významnosti , volba testového kritéria (a testu), určení kritického oboru K (vyhledání tabulkové hodnoty podle zvoleného testu), výpočet hodnoty testového kritéria T z výběrových hodnot,

21 formulace výsledků testu (rozhodnutí):
Jestliže vypočtená hodnota testového kritéria T padne do kritického oboru K, zamítáme H0. Jestliže vypočtená hodnota testového kritéria T padne do oboru přijetí R, H0 se nezamítá. Je vhodné na konci celého postupu formulovat slovní odpověď, tzn. k jakému výsledku jsme dospěli. Obecně lze výsledek testu interpretovat takto: „Zamítneme-li nebo nezamítneme-li H0, neznamená to ještě, že hypotéza neplatí nebo platí, nýbrž jen, že výsledek pokusu její platnosti buď nenasvědčuje nebo je v mezích přirozeného náhodného kolísání, které by se dalo očekávat, kdyby hypotéza platila“.

22 Jednovýběrové testy (testy hypotéz o parametru jednoho rozdělení)
Parametrické testy Jednovýběrové testy (testy hypotéz o parametru jednoho rozdělení) Máme k dispozici pouze jeden výběrový soubor a jeho základní charakteristiky porovnáváme s předem známou hodnotou, předpokladem, normou apod. Test hypotézy o rozptylu normálního rozdělení Předpokládejme, že X = (x1, x2, …, xn)´ je náhodný výběr z normálního rozdělení N(; 2), kde střední hodnota  i rozptyl 2 jsou neznámé parametry.

23 Na základě tohoto výběru je třeba testovat nulovou hypotézu
kde je předpokládaná (hypotetická) hodnota rozptylu 2. Neznámý rozptyl 2 odhadneme výběrovým rozptylem s2, který určíme ze zjištěných výběrových hodnot x1, x2, …, xn. Je zřejmé, že vypočtená a předpokládaná hodnota rozptylu se budou od sebe lišit. Rozdíl může být pouze nevýznamný a lze ho přičíst účinku náhodných vlivů, působících při výběru.

24 Tento rozdíl však může být i nenáhodný – nazýváme ho pak statisticky významný (signifikantní).
Test H0 tedy představuje ověření, zda výběrový rozptyl s2 a předpokládaný rozptyl 2 se liší statisticky významně nebo pouze náhodně. Test je založen na testovém kritériu Statistika má 2 – rozdělení o (n-1) stupni volnosti.

25 Kritické obory jsou vymezeny následovně:

26 Příklad Z velké zásilky součástek jsme jich náhodným výběrem vybrali 40 a zjistili pro některý jejich rozměr průměr 116 mm a výběrovou směrodatnou odchylku 4,081 mm. Podle technické normy však nemá kolísání tohoto rozměru vyjádřené směrodatnou odchylkou být větší než 3,8 mm. Ověřte na hladině významnosti 0,05, zda uvedená zásilka splňuje danou normu. n = 40 s = 4,081 0 = 3,8

27 Závěr: nulová hypotéza se nezamítá, tzn
Závěr: nulová hypotéza se nezamítá, tzn. že z hlediska kolísání sledovaného rozměru dosahuje zásilka potřebné normy.

28 Test hypotézy o průměru normálního rozdělení
Test při známém rozptylu ZS 2 Na základě náhodného výběru o rozsahu n, provedeného ze ZS s normálním rozdělením, máme ověřit hypotézu, že průměr  v ZS je roven určité konstantní hodnotě 0, tzn. že H0 můžeme zapsat takto: H0:  = 0. Jde nám o ověření, zda výběrový průměr a průměr ZS se liší statisticky významně nebo pouze náhodně.

29 Je-li znám rozptyl ZS 2, má náhodná veličina U rozdělení N(0; 1).
Jelikož známe rozdělení náhodné veličiny U, můžeme snadno určit kritický obor pro test H0. Pro zvolenou hladinu významnosti  odečteme z tabulky kritickou hodnotu normovaného normálního rozdělení u, která má vlastnost (při H1:   0): P (U > u / H0) = .

30 Jestliže vypočtená hodnota U padne do kritického oboru K = U> u, zamítáme nulovou hypotézu na hladině významnosti . Zápis značí, že kritický obor K je tvořen množinou hodnot U, které v absolutní hodnotě překračují u. Kritické obory pro tento test Alternativa Kritický obor H1:   0 K = u> u H1:   0 K = u > u2 H1:   0 K = u < -u2

31 Test při neznámém rozptylu ZS 2
H0:  = 0 Testové kritérium má tvar Za platnosti H0 má statistika t Studentovo t-rozdělení o (n-1) stupních volnosti.

32 Kritický obor je vymezen následovně:
Alternativa Kritický obor H1:   0 K = t> t (n-1) H1:   0 K = t > t2 (n-1) H1:   0 K = t < -t2 (n-1)

33 Příklad Z velké zásilky součástek jsme jich náhodným výběrem vybrali 40 a zjistili pro některý jejich rozměr průměr 116 mm a výběrovou směrodatnou odchylku 4,081 mm. Podle technické normy má tento rozměr dosahovat úrovně 118 mm. Ověřte na hladině významnosti 0,05, zda uvedená zásilka splňuje danou normu. n = 40 s = 4,081  = 118

34 H0:  = 0 H1:   0 t (n-1) = t0,05 (40-1) = 2,021
 t  > t (n-1)  H0 se zamítá Závěr: nulová hypotéza se zamítá, tzn. že z hlediska sledovaného rozměru nesplňuje zásilka požadovanou normu (skutečný průměr je odlišný od normy).

35 Test hypotézy o parametru p alternativního rozdělení
Předpokládejme, že v sérii n nezávislých opakováních pokusu se nějaký náhodný jev A, který má stálou, ale neznámou pravděpodobnost p, vyskytl m-krát. Výsledek takové skupiny n opakování pokusu lze považovat za náhodný výběr o rozsahu n ze ZS, který má alternativní rozdělení s parametrem p. Na základě takového náhodného výběru je třeba testovat nulovou hypotézu H0: p = p0, kde p0 je daná (předpokládaná) hodnota. Neznámou pravděpodobnost p odhadujeme výběrovou relativní četností výskytu jevu A, tzn. podílem m/n.

36 Test uvedené hypotézy H0 lze tedy chápat jako test významnosti rozdílu výběrové relativní četnosti m/n a hypotetické pravděpodobnosti p. Pro provedení tohoto testu je potřeba zjistit, zda výběrový soubor má dostatečný rozsah a to pomocí Testové kritérium hypotézy H0: p = p0 má tvar:

37 Jestliže máme k dispozici absolutní četnosti (a nikoliv relativní četnosti), lze testové kritérium u uvést ve tvaru: Kritické obory: Alternativa Kritický obor H1: p  p0 K = u> u H1: p  p0 K = u > u2 H1: p  p0 K = u < -u2

38 Příklad U 100 pojištěných aut bylo zjištěno, že 18 aut je starších než 7 let. Podle předpokladů a odhadů pojišťovny má podíl aut starších 7 let dosahovat podílu 25 %. Ověřte, zda podíl aut starších než 7 let je skutečně nižší než uvedený předpoklad o 25% podílu. fi = 0,18 p0 = 0,25 H0: p = p0 H1: p  p0

39 u2 = 1,6448  jde o levostrannou alternativu
u < -u2  H0 se zamítá Závěr: nulová hypotéza se zamítá, tzn. že podíl aut starších 7 let nedosahuje úrovně 25 %, lze potvrdit nižší, 18% podíl aut starších 7 let (platí hypotéza alternativní).