Princip testování hypotéz, c2 testy.

Slides:



Advertisements
Podobné prezentace
VÝPOČET OC.
Advertisements

Statistické testy z náhodného výběru vyvozuji závěry ohledně základního souboru často potřebuji porovnat dva výběry mezi sebou, porovnat průměr náhodného.
Testování parametrických hypotéz
Testování hypotéz Jana Zvárová
Testování neparametrických hypotéz
A5M33IZS – Informační a znalostní systémy Testování modelů.
Testování hypotéz Distribuce náhodných proměnných
Testování statistických hypotéz
Odhady parametrů základního souboru
Test dobré shody 2 test.
Diskrétní rozdělení a jejich použití
Testování hypotéz přednáška.
Princip testování hypotéz, c2 testy.
Náhodná proměnná Rozdělení.
Testování hypotéz vymezení důležitých pojmů
Testování statistických hypotéz
8. listopadu 2004Statistika (D360P03Z) 6. předn.1 chování výběrového průměru nechť X 1, X 2,…,X n jsou nezávislé náhodné veličiny s libovolným rozdělením.
T - testy. Předpokládejme, že data mají normální rozdělení (pocházejí z normálního rozdělení N(m, s2)). Předpokládejme, že parametr s rozdělení je znám.
Odhady parametrů základního souboru. A) GNR B) neznámé r. ZS (přesné parametry) : ,   VS (odhady parametrů): x, s x.
Kontingenční tabulky Závislost dvou kvalitativních proměnných.
Diskrétní rozdělení Karel Zvára 1.
Data s diskrétním rozdělením
Ringier ČR - Výzkumné oddělení
Testy významnosti Karel Mach. Princip (podstata): Potvrzení H O Vyvrácení H O →přijmutí H 1 (H A ) Ptáme se:  1.) Pochází zkoumaný výběr (jeho x, s 2.
Biostatistika 5. přednáška Aneta Hybšová
Lineární regresní model Statistická inference Tomáš Cahlík 4. týden.
Další spojitá rozdělení pravděpodobnosti
Test dobré shody Fisherův přesný test McNemar test
Analýza variance (ANOVA).
Ekonometrie „ … ekonometrie je kvantitativní ekonomická disciplína, která se zabývá především měřením v ekonomice na základě analýzy reálných statistických.
Odhad metodou maximální věrohodnost
Pohled z ptačí perspektivy
MATEMATICKÁ STATISTIKA
Fitování Konstrukce křivky (funkce), která co nejlépe odpovídá naměřeným hodnotám. - může podléhat dodatečným podmínkám Lineární vs. nelineární regrese.
Základy matematické statistiky. Nechť je dána náhodná veličina X (“věk žadatele o hypotéku“) X je definována rozdělením pravděpodobností, s nimiž nastanou.
8. Kontingenční tabulky a χ2 test
Pearsonův test dobré shody chí kvadrát
T - testy Párový t - test Má se zjistit, zda se sjíždějí přední pravé pneumatiky stejně jako přední levé pneumatiky. Bylo vybráno 6 vozů stejné značky:
Normální rozdělení. U 65 náhodně vybraných živě narozených dětí byla zkoumána jejich porodní hmotnost [g] a délka [cm].
PSY717 – statistická analýza dat
Jak statistika dokazuje závislost
ADDS cviceni Pavlina Kuranova. Testy pro dva nezávislé výběry Mannův Whitneyho test - Založen na Wilcoxnově statistice W - založen na pořadí jednotlivých.
Analýza variance (ANOVA). ANOVA slouží k porovnávání středních hodnot 2 a více náhodných proměnných. Tam, kde se používal dvouvýběrový t-test, je možno.
HYPOTÉZY „Hypotéza není ničím jiným než podmíněným výrokem o vztazích mezi dvěma nebo více proměnnými. Na rozdíl od problému, který je formulován v.
TESTY א 2 (CHÍ-kvadrát) TEST DOBRÉ SHODY TEST DOBRÉ SHODY TEST NEZÁVISLOSTI TEST NEZÁVISLOSTI Testy pro kategoriální veličiny Testy pro kategoriální veličiny.
Testování hypotéz Testování hypotéz o rozdílu průměrů  t-test pro nezávislé výběry  t-test pro závislé výběry.
Princip testování hypotéz,  2 testy. Příklad. V dané populaci nejsme schopni v daném okamžiku zjistit počet samců a samic. Předpokládá se (= je teoreticky.
Ústav lékařské informatiky, 2. LF UK 2008 STATISTIKA II.
TESTY א 2 (CHÍ-kvadrát) TEST DOBRÉ SHODY TEST DOBRÉ SHODY TEST NEZÁVISLOSTI TEST NEZÁVISLOSTI Testy pro kategoriální veličiny Testy pro kategoriální veličiny.
Testování hypotéz Otestujte,… Ověřte,… Prokažte,… že střední věk (tj.  ) …činí 40 let (= 40) …je alespoň 40 let (≥ 40)
Odhady odhady bodové a intervalové odhady
INDUKTIVNÍ STATISTIKA
Test dobré shody Fisherův přesný test McNemar test
Základy statistické indukce
Induktivní statistika
Induktivní statistika
Neparametrické testy parametrické a neparametrické testy
TESTOVÁNÍ STATISTICKÝCH HYPOTÉZ
Úvod do statistického testování
Hodnocení závislosti STAT metody pro posouzení závislosti – jiné pro:
ORDINÁLNÍ VELIČINY Měření variability ordinálních proměnných
Neparametrické testy pro porovnání polohy
Úvod do induktivní statistiky
příklad: hody hrací kostkou
Lineární regrese.
7. Kontingenční tabulky a χ2 test
Základy statistiky.
Testování hypotéz - pojmy
Princip max. věrohodnosti - odhad parametrů
NOMINÁLNÍ VELIČINY Odhad hodnoty pravděpodobnosti určitého jevu v základním souboru Test hodnoty pravděpodobnosti určitého jevu v základním souboru Srovnání.
Transkript prezentace:

Princip testování hypotéz, c2 testy. Příklad. Předpokládá se (= je dokázáno), že poměr pohlaví v dané populaci je 1:1. Ve snaze popřít tento fakt jsme náhodně vybrali 100 jedinců populace. Ve vzorku 55 samců a 45 samic. 55:45 = 11: 9  1:1. Je náš výsledek důsledkem “špatného výběru“ jedinců, tj. vzorek je malý, nebo nebyla dodržena náhodnost a nezávislot výběru, NEBO neplatí v populaci poměr 1:1? Z příkladu je patrné: to, co testujeme je výsledkem předchozího poznání cílem našeho šetření je popřít tuto hypotézu (nikoliv ji potvrdit). Nulová hypotéza H0: to, co by mělo platit (v našem případě 1:1). Často je ve tvaru rovnosti, platnosti nějakého tvrzení. Alternativní hypotéza H1: to, co platí, když neplatí H0 (v našem případě jiný poměr pohlaví než 1:1) Často je ve tvaru nerovnosti, neplatnosti tvrzení.

Za platnosti nulové hypotézy náhodná veličina “zastoupení pohlaví (počet) v náhodné populaci 100 jedinců“ má binomické rozdělení. Pravděpodobnost, že náhodně vybraný jedinec je samec, je p = 0.5. Rozdělení pravděpodobností jednotlivých počtů samců je znázorněno v následujícím grafu: S nenulovou pravděpodobností nastane případ 100 samců, nebo 100 samic. Pravděpodobnost takového případu je však malá, P = 7.88E-31. Četnost s maximální pravděpodobností je 50 samců mezi 100 jedinci, P = 0.0796.

Při opakování (1000 x) výběru tedy například můžeme dostat následující výsledky: Pro platnost nulové hypotézy je ideální stav 1:1, který by měl nastat v nejvyšším počtu případů. Náhodná veličina “zastoupení pohlaví (počet) v náhodné populaci 100 jedinců“ má binomické rozdělení. Střední hodnota tohoto rozdělení je rovna m = np = 50. Realizací náhodné veličiny X1: „počet samců“ je konkrétní počet samců (x1), realizací náhodné veličiny X2: „počet samic“ je konkrétní počet samix (x2) v populaci 100 jedinců. Platí, že náhodná veličina má c2 rozdělení s (2-1) = 1 stupněm volnosti.

náhodné veličiny je multinomické. V tomto případě má náhodná veličina Poznámka. V případě více než 2 možností v každém nezávislém pokusu, je k > 2 a rozdělení náhodné veličiny je multinomické. V tomto případě má náhodná veličina má c2 rozdělení s (k-1) stupni volnosti. Princip statistického testování: Ideální pro platnost H0 je pozorovat střední hodnotu, tj Xi = npi, neboli =0. Jestliže je výraz “daleko od nuly“, pak řekneme, že H0 neplatí. Jestliže výraz není “daleko od nuly“, pak H0 nezamítáme. Plocha pod křivkou je rovna 1. Zamítám pouze málo pravděpodobné případy. nezamítám H0 zamítám H0 plocha P < 0.05

Při tomto postupu se mohu dopustit 2 chyb: chyba 1. druhu a : zamítám H0, ona ale platí. (zamítám málo pravděpodobné případy. To neznamená, že i při platnosti H0 takový případ nemůže nastat. chyba 2. druhu b : nezamítám H0, ona ale neplatí. (i když jsem “blízko“ optimální hodnotě pro platnost H0, přesto může platit H1.) Za prioritní se považuje snižování chyby 1. druhu. Při tom ale snižování a vede Ke zvyšování b. Testy jsou konstruovány tak, aby oba typy chyb byly “nízké“. Příklad (pokračování). npi = 50, x1 = 55, x2 = 45. Vypočítáme testovou charakteristiku: (55 – 50)2/50 + (45 – 50)2/50 = 1 Závěr: Nezamítám nulovou hypotézu: poměr pohlaví v populaci je 1:1, (c2 (1) = 1, P = 0.683) P se nazývá dosažená hladina významnosti P = 0.683 > 0.05

b

Příklady. Při 120 opakovaných nezávislých hodech kostkou jsme obdrželi následující výsledky: padne1 : padne2 : padne3 : padne4 : padne5 : padne6 = 15 : 5 : 30 : 20 : 40 : 10 . Testujte, zda je hrací kostka v pořádku. Řetězec cukráren, který nabízí 4 druhy zmrzliny otevřel provozovnu v nové lokalitě. Ve stávajících provozovnách řetězce byla dosud struktura prodeje podle druhů zmrzliny následující: vanilková 62%, čokoládová 18%, jahodová 12%, pistáciová 8%. Po otevření provozovny v nové lokalitě máme záznam o následujícím prodeji: vanilková 120, čokoládová 40 jahodová 18, pistáciová 22. Vyjádřete se pomocí statistického testu ke shodě či odlišnosti struktury prodeje v nové lokalitě oproti dosavadním prodejům řetězce.

Test shody dat s rozdělením. Nejčastěji se používá pro testování shody s normálním rozdělením N(m, s2). Měřené hodnoty se rozdělí do n tříd (xi). H0: data mají normální rozdělení N(m, s2). Parametry rozdělení jsou známy předem. Vytvořím náhodnou veličinu , která má c2 (n-1) rozdělení. Příklad. Hmotnost novorozenců pochází z N(3400, 5602). Můžeme tuto skutečnost popřít na základě 60 měření?

Velmi záleží na šířce třídy. Na obrázku je šířka třídy 200g. Na dalším obrázku je šířka třídy 400g. Sloučení tříd programem C2 (5) = 2.71871, P = 0.742 > 0.05  nelze zamítnout shodu s rozdělením.

Poznámky. Test shody s rozdělením se v praxi neprovádí, protože Máme-li dostatek dat, shodu zamítneme (c2 je velmi citlivý test) nezamítneme-li shodu, pak je to spíše důsledek malého počtu tříd (dat), než shody s rozdělením. Pokud neznáme předem parametry rozdělení, ale odhadujeme je z dat pak se stupně volnosti snižují o počet takto odhadovaných parametrů. Pro data z předchozího příkladu odhadneme m, s z dat: C2 (3) = 2.71871, P = 0.435 > 0.05  nelze zamítnout shodu s rozdělením.

Kontingenční tabulky. X = (Y, Z)T je 2-rozměrný náhodný vektor. Y může nabývat hodnot 1, 2, …, r, Z může nabývat hodnot 1, 2, …, c. Pravděpodobnosti pij = P(Y= i, Z = j). Označme nij počet případů, kdy Y = i, Z = j. Příklad. V parlamentu se projednává zákon. Zaznamenáváme volbu koaličních a nekoaličních poslanců do tabulky. Y … náhodně zvolený poslanec patří ke koalici Z … náhodně zvolený poslanec hlasuje pro zákon. r = c = 2 Platí: Veličiny Y a Z jsou nezávislé právě, když pij = pi. p.j, kde pi. je příslušnost řádku i, p.j je příslušnost sloupci j v tabulce.

Testujeme H0: Y a Z jsou nezávislé náhodné vektory proti H1: Y a Z nejsou nezávislé náhodné vektory Za předpokladu H0 je tabulka četností (očekávaná tabulka) následující: P(ano,koalice) = P(ano)P(koalice) = 13/25 *14/25 = 0.2912 P(ano,nekoalice) = P(ano)P(nekoalice) = 13/25 *11/25 = 0.2288 P(ne,koalice) = P(ne)P(koalice) = 12/25 *14/25 = 0.2688 P(ne,nekoalice) = P(ne)P(nekoalice) = 13/25 *14/25 = 0.2112 Očekávané četnosti tedy jsou:

Použije se c2 test s počtem stupňů volnosti (počet řádků – 1) Použije se c2 test s počtem stupňů volnosti (počet řádků – 1)*(počet sloupců -1): V našem příkladě: , P = 0.1654 Závěr: nezamítám nulovou hypotézu, že hlasování a příslušnost koalici na sobě nezávisí. Pro malý počet pozorování se provádí Fisherův faktoriálový test. Provádí se pro četnosti menší než 5.

Korekce na malý počet pozorování. c2 test je velmi citlivý ve smyslu, že odhalí i “malé“ závislosti. Často je neprůkazný test spíše následkem malého počtu pozorování, než nezávislosti. Proto se provádějí korekce na malý počet pozorování: V-square, φ-square, Yatesova korekce c2, … McNemarův test. Příklad. Byla vybrána skupina 100 řidičů, kteří měli projet tutéž trať střízliví a po požití alkoholu. Otázka je, zda alkohol ovlivňuje správné projetí trati. H0: alkohol a projetí trati nejsou závislé. Titíž řidiči však projeli trať střízliví i pod vlivem alkoholu. Každý, byť náhodně vybraný řidič byl testován 2x, před a po. K řešení podobných úloh se používá McNemarův test. Používá se pouze pro tabulky 2x2, tzv. čtyřpolní.

Tabulku dat si lze představit takto: McNemarův test testuje 2 nulové hypotézy: c2(A/D) testuje, zda očekávané a sledované frekvence v buňkách A a D jsou stejné c2(A/D) = 30.42, P = 0, zamítám nulovou hypotézu c2(B/C) testuje, zda očekávané a sledované frekvence v buňkách B a C jsou stejné c2(B/C) = 7.22, P = 0.0072, zamítám nulovou hypotézu Pozorované a očekávané (v závorce) frekvence. Závěr: zamítám hypotézu, že alkohol a správné projetí trati jsou nezávislé znaky ve smyslu, že alkohol tuto schopnost zhoršuje.

Cvičení. U 27 náhodně vybraných pacientů trpících určitou chorobou bylo zjišťováno, zda byli proti ní očkováni a jaký průběh choroba měla. Očkování + těžký průběh 2, očkování + lehký průběh 10, neočkování + těžký průběh 11, neočkování + lehký průběh 4. Bylo vybráno náhodně 200 obyvatel ČR, 300 obyvatel Norska a 150 obyvatel. Turecka. Z toho kouří 50 Čechů, 70 Norů a 80 Turků. Závisí kouření na státu? Bylo vybráno 200 obyvatel Ostravy, 150 obyvatel Českých Budějovic a 500 obyvatel Prahy. Zjistilo se, že 20 Ostraváků, 20 obyvatel Budějovic a 100 obyvatel Prahy trpí onemocněním ledvin. Závisí onemocnění ledvin na místě bydliště? 200 lidí byl změřen krevní tlak. 80 z nich mělo tlak vyšší. Pak byl všem lidem podán přípravek na snížení tlaku. Poté jim byl tlak znovu změřen. 70 z původních 80 mělo tlak vyšší. Ze zbylých 120 mělo po požití léku 20 tlak vyšší. Je lék účinný?