Neparametrické metody

Slides:



Advertisements
Podobné prezentace
Statistické testy z náhodného výběru vyvozuji závěry ohledně základního souboru často potřebuji porovnat dva výběry mezi sebou, porovnat průměr náhodného.
Advertisements

Statistická indukce Teorie odhadu.
Úvod do analýzy rozptylu
Testování parametrických hypotéz
Jednovýběrové testy parametrickch hypotéz
Testování neparametrických hypotéz
Ideový závěr Co si mám z přednášky odnést (+ komentáře k užití statistiky v biologii)
Testování statistických hypotéz
Statistické metody v ochraně kulturního dědictví
F-test a dvouvýběrový t-test (oba testy předpokládají normalitu dat)
Chováme králíčky Liší se tato tři králičí plemena hmotností?
Cvičení 6 – 25. října 2010 Heteroskedasticita
Analýza variance (Analysis of variance)
Diskrétní rozdělení a jejich použití
t-rozdělení, jeho použití
Testování hypotéz (ordinální data)
Obecný postup při testování souborů
Testování hypotéz přednáška.
Náhodná proměnná Rozdělení.
také Gaussovo rozdělení (normal or Gaussian distribution)
T - testy. Předpokládejme, že data mají normální rozdělení (pocházejí z normálního rozdělení N(m, s2)). Předpokládejme, že parametr s rozdělení je znám.
Kontingenční tabulky Závislost dvou kvalitativních proměnných.
Lineární regresní model Statistická inference Tomáš Cahlík 4. týden.
základní principy a použití
Transformace v Anově. Předpoklady Anovy: normalita dat
Lineární regrese.
Lineární regresní analýza
Závislost dvou kvantitativních proměnných
Biostatistika 6. přednáška
Další spojitá rozdělení pravděpodobnosti
Ekonometrie „ … ekonometrie je kvantitativní ekonomická disciplína, která se zabývá především měřením v ekonomice na základě analýzy reálných statistických.
Dvouvýběrové testy parametrickch hypotéz
Fitování Konstrukce křivky (funkce), která co nejlépe odpovídá naměřeným hodnotám. - může podléhat dodatečným podmínkám Lineární vs. nelineární regrese.
Dvouvýběrový t-test 11 stejně starých selat bylo náhodně rozděleno do 2 skupin. První skupina byla krmena krmivem A, druhá krmivem B. Po 6 měsících byly.
Základy matematické statistiky. Nechť je dána náhodná veličina X (“věk žadatele o hypotéku“) X je definována rozdělením pravděpodobností, s nimiž nastanou.
8. Kontingenční tabulky a χ2 test
Pearsonův test dobré shody chí kvadrát
Biostatistika 8. přednáška
T - testy Párový t - test Má se zjistit, zda se sjíždějí přední pravé pneumatiky stejně jako přední levé pneumatiky. Bylo vybráno 6 vozů stejné značky:
Korelace.
ADDS cviceni Pavlina Kuranova. Testy pro dva nezávislé výběry Mannův Whitneyho test - Založen na Wilcoxnově statistice W - založen na pořadí jednotlivých.
Analýza variance (ANOVA). ANOVA slouží k porovnávání středních hodnot 2 a více náhodných proměnných. Tam, kde se používal dvouvýběrový t-test, je možno.
Inferenční statistika - úvod
Vícerozměrné statistické metody Vícerozměrné statistické rozdělení a testy, operace s vektory a maticemi Jiří Jarkovský, Simona Littnerová.
Mann-Whitney U-test Wilcoxonův test Znaménkový test
Testování hypotéz Testování hypotéz o rozdílu průměrů  t-test pro nezávislé výběry  t-test pro závislé výběry.
Ústav lékařské informatiky, 2. LF UK 2008 STATISTIKA II.
Testování hypotéz Otestujte,… Ověřte,… Prokažte,… že střední věk (tj.  ) …činí 40 let (= 40) …je alespoň 40 let (≥ 40)
Korelace. Určuje míru lineární vazby mezi proměnnými. r < 0
INDUKTIVNÍ STATISTIKA
Statistické testování – základní pojmy
Přednáška č. – 4 Extrémní hodnoty a analýza výběrových souborů
Neparametrické testy parametrické a neparametrické testy
Přednáška č. 3 – Posouzení nahodilosti výběrového souboru
Neparametrické testy parametrické a neparametrické testy
Popisná statistika: přehled
Induktivní statistika
Základy zpracování geologických dat Rozdělení pravděpodobnosti
Regresní analýza výsledkem regresní analýzy je matematický model vztahu mezi dvěma nebo více proměnnými snažíme se z jedné proměnné nebo lineární kombinace.
Úvod do statistického testování
ORDINÁLNÍ VELIČINY Měření variability ordinálních proměnných
Parametrické testy Vytvořil Institut biostatistiky a analýz, Masarykova univerzita J. Jarkovský, L. Dušek.
Neparametrické testy pro porovnání polohy
příklad: hody hrací kostkou
T-testy, neparametrické metody a analýza rozptylu (lekce 5-6)
7. Kontingenční tabulky a χ2 test
Induktivní statistika
T - testy Párový t - test Existuje podezření, že u daného typu auta se přední pneumatiky nesjíždějí stejně. H0: střední hodnota sjetí vpravo (m1) = střední.
Základy statistiky.
NOMINÁLNÍ VELIČINY Odhad hodnoty pravděpodobnosti určitého jevu v základním souboru Test hodnoty pravděpodobnosti určitého jevu v základním souboru Srovnání.
Transkript prezentace:

Neparametrické metody t-testem (a řadou dalších) testuji hypotézy o parametrech rozdělení (v t-testu o μ jako parametru normálního rozdělení); jsou ale i jiné přístupy

Co dělat, když data nemají normální rozdělení Co dělat, když data nemají normální rozdělení? a narušení normality ja tak velké, že nemohu spoléhat na robustnost testu exitují transformace, které data přiblíží k normalitě (to improve the normality a homoscedascity) [bude probráno později] Pokud mají data rozdělení, které lze rozumně aproximovat vybranými typy rozdělení, pak lze použít speciální metody pro ně vyvinuté (zobecněné lineární modely) [Šmilauerova přednáška Moderní regresní metody] Použijeme neparametrické testy

Neparametrické metody Nejčastěji: Permutační [obecně randomizační] testy Testy založené na pořadí

Permutační testy Základní myšlenka (pro t-test): Dosažená hladina významnosti je pravděpodobnost, že takhle rozdílné výběry dostanu náhodou, pokud vybírám z jednoho základního souboru. No tak si to vyzkouším - hodím všechna pozorování z obou skupin do klobouku, a budu si skupiny tahat:

A tak dále, aspoň tisíckrát Koukám, kolikrát je |t| z náhodně generova-ných skupin větší než to z dat. Tak si to tady zkouším nasimulovat Tomuhle P nevěřím, protože nevím, jestli jsou splněny předpoklady

Dosažená hladina významnosti (P) se pak vypočítá Počet náhodných permutací, kde “to vyšlo lépe než nebo stejně jako” v datech (tedy kde |tpermut | > |tdata |

Pozor Testuji vlastně hypotézu, že oba výběry pocházejí z téhož (ze stejného) základního souboru. Pokud chci test interpretovat jako test o poloze, pak musím přidat podmínku, že oba soubory mají stejný tvar rozdělení. Pokud se potom liší, mohou se lišit jen v parametru polohy.

Testy založené na pořadí Základní myšlenka - nevíme, jaké je rozdělení, tak zapomeneme na skutečné hodnoty, a nahradíme je pořadím Řada parametrických metod má své neparametrické protějšky

Mann-Whitney(ův) test neparametrická obdoba dvouvýběrového t-testu Všechny hodnoty obou výběrů seřadíme (a tím dostanou čísla od 1 do n, kde n=n1+n2) Je jedno, jestli řadím odzdola nebo odshora, jen si na to musím dát pozor, když bych užíval jednostranné testy

spočtu dá zvlášť vysokou hodnotu, pokud jsou pořadí v první skupině nízká nebo dá zvlášť vysokou hodnotu, pokud jsou pořadí v druhé skupině nízká R – součet pořadí v první resp. druhé skupině Platí U + U' = n1n2,

Pozor Bývají tabelovány různé hodnoty, dejte si pozor na to, co je vlastně tabelováno a jak Statistika tiskne 2*1sided exact p (kdybych chtěl jednostranný test, pokud jde odchylka správným směrem, vydělím dvěma)

Normální aproximace - když je velký počet pozorování, platí Z = (U-U)/ U má tedy přibližně normované normální rozdělení. K tomu lehce dohledám příslušné p - tiskne Statistica. - Pozor - pokud mám přesné p, je tato hodnota už nezajímavá.

Podobně jako permutační test i M-W má svoje předpoklady: Buď je testem nulové hypotézy, že se jedná o výběry z téhož základního souboru Pokud je formulován jako test o poloze, pak je předpokladem, že se jedná s soubory se stejným tvarem rozdělení (ale je podstatně méně citlivý na „ulítlé“ hodnoty než parametrické testy)

Je tedy ošidné psát protože jsme neměli homogenitu variance, museli jsme použít neparametrický test. 1. testovat, že se jedná o tentýž základní soubor, když jsem předtím prokázal nehomogenitu variance nedává smysl 2. pro test o poloze teopreticky vadí nehomogenita stejně pro MW jako pro t. (I když možná ne tak úplně moc, nehomogenita variancí původních dat bývá větší než nehomogenita variancí pořadí.)

Další předpoklad - data lze seřadit Shody průměrujeme - odchylka od původního předpokladu, může činit problém, některé testy používají korekce na shody “ties”

Mediánový test Spočítám, společný medián, a kolik je ve které skupině pozorování nad, a kolik pod mediánem. To pak vyhodnotím klasickou čtyřpolní tabulkou. Tady je to test o společném mediánu, a nemá žádné další předpoklady, ale je hodně slabý.

Wilcoxonův test Obdoba párového t-testu Pozor, někdy se Wilcoxonovým nazývá více testů, proto se někdy píše Wilcoxonův pro párová pozorování

Wilcoxonův test spočteme nejprve diference mezi pozorováními, potom je seřadíme podle velikosti jejich absolutní hodnoty od nejmenšího k největšímu. (Předpokládáme tedy, že jsou data odečitatelná, tj. rozdíl dat dává smysl – často se nedodržuje.) Poté spočteme součet pořadí kladných a součet pořadí záporných rozdílů (označujeme je T+ a T-). (Protože součet řady čísel 1 až n je n(n+1)/2, lze snadno dopočítat T+={n(n+1)/2}-T-) Test tedy odráží jak počet, tak velikost kladných a záporných rozdílů.

Opět lze užít normální aproximaci (pro velké výběry) a z toho spočítat Z. Pozor, Statistica uvádí pouze normální aproximaci, netiskne přesné p -nutno dohledat v tabulkách. tabulky jsou třeba na http://fsweb.berry.edu/academic/education/vbissonnette/tables/wilcox_t.pdf Test má předpoklad symetričnosti rozdělení rozdílů (a samozřejmě, že rozdíly můžeme spočítat, tj. že hodnoty jsou odečitatelné, nebo že rozdíl hodnot dává smysl) .

V praktiku mám příklad, kdy se používá na ordinální data (míra naštvanosti psů). Nicméně, tím říkám, že rozdíl mezi naštvaností 1 a 3 je stejný jako mezi naštvaností 2 a 4.

Znaménkový test Porovnává počet kladných a záporných rozdílů Nemá prakticky žádné předpoklady, ale je velmi slabý

Neparametrické testy jsou-li splněny předpoklady pro parametrický test bývají slabší než odpovídající parametrický test. Není ale pravdivá obecná představa, že nemají žádné předpoklady Obecně - čím více pozorování mám, tím jsou obvykle parametrické testy robustnější k narušení předpokladů Čím silnější předpoklady mám splněné, tím silnější test si obvykle mohu dovolit použít