Statistická významnost a její problémy

Osnova Test znalostí a vysvětlení statistické významnosti Statistická významnost-meze použití „Nedostatky“ statistické významnosti

Hypotézy a statistické testy Nulová a alternativní hypotéza Statistický test a testové kritérium Rozhodnutí na základě statistických testů Běžné testy-t-testy, analýza rozptylu, regrese, korelace apod.

Co je to statistická významnost? Rozhodnutí Platí H0 H1 OK (P=1- α) Chyba prvního druhu (P= α) Chyba druhého druhu (P= β) OK (P= 1-β) Síla testu Definice: Statistická významnost je pravděpodobnost, že náš výběrový soubor pochází ze základního souboru, ve kterém platí nulová hypotéza. P(D/H0) ne P(H0/D)

Předpoklady použití statistické významnosti Základní vymezení: Velký náhodný výběr z velkých základních souborů Velký (nekonečný) základní soubor (min.100krát větší než výběr) Výběr proveden pravděpodobnostně (všechny jednotky stejná P vybrání) Výběr dostatečně velký (cca 30-50)

Specifické situace pro statistickou významnost (limity) úplná zjišťování, nenáhodné výběry, malé výběry, výběry z malých populací a velké výběry, agregace dat, mezinárodní datové soubory

Základní „nedostatky“ statistické významnosti a) nedostatečná výpověď o základním souboru, b) nereálnost nulových hypotéz, c) mechanická práce s klasickou 5% hladinou (hvězdičky, stepwise, nejlepší modely apod.), d) statisticky významné neznamená důležité, e) nepublikování statisticky nevýznamných výsledků

Více o problémech statistické významnosti Harlow, L., L., S. A. Mulaik, M., L. Steiger. 1997. What if there were no significance tests? Mahwah (NJ): Erlbaum Morisson, D. E., R., E. Henkel. 1970. The significance test controversy – a reader 1970 Chicago: Aldine a mnoho článků

Možné alternativy statistické významnosti a) Intervaly spolehlivosti, b) Síla testu, c) Odhad minimální velikosti výběrového souboru, what if strategie, d) Porovnání více modelů pomocí informačních kritérií, e) Slovní řešení problémů

Jiné než statistické významnosti Věcná významnost b) Klinická významnost c) Ekonomická významnost

Věcná významnost Cohenovo d- srovnání 2 skupin (Cohen 1969,88) b) Eta2-vysvětlený rozptyl za pomoci jednoho faktoru (Fisher 1925)

Věcná významnost Cohenovo d: kde s2= (n1*s12+n2*s22)/(n1+n2) d=(x1-x2)/√s2 (Cohen 1969, 88), kde s2= (n1*s12+n2*s22)/(n1+n2) b) Eta2: η2=SSb/SST, kde SSb je meziskupinový součet čtverců a SST je celkový součet čtverců (Fisher 1925)

Více o věcné významnosti Blahuš, P. Statistická významnost proti vědecké průkaznosti výsledků výzkumu. Česká kinantropologie 4, 2000, 2: 53-72. Hendl, J. 2004. Přehled statistických metod zpracování dat: analýza a metaanalýza dat. Praha : Portál. A kdekoliv na webu substantive nebo practical significance

Použitá literatura Cohen, J. 1988. Statistical Power Analysis for the Behavioral Science (2nd ed.). Hillsdale (NJ): Erlbaum. Fisher, R. A. 1925. Statistical methods for research workers. Edinburgh: Oliver and Boyd. Soukup, P., L. Rabušic. 2007. Několik poznámek k jedné obsesi českých sociálních věd – statistické významnosti. Sociologický časopis (v tisku) Soukup, P. 2007. P nebo d? Sociologický časopis (v recenzním řízení) a všechna literatura v obou článcích uvedená

Díky za pozornost i případné otázky