Analýza kvantitativních dat II. UK FHS Historická sociologie (LS 2012) Analýza kvantitativních dat II. Standardní chyby a intervaly spolehlivosti (2.) Jiří Šafr jiri.safr(AT)seznam.cz Poslední aktualizace 29/3/2013

Obsah Logika měření ve výběrových šetřeních: chyby měření Principy inferenční statistiky a intervalového odhadu Co předchází výpočtu intervalu spolehlivosti: 1. Standardní (směrodatná) chyba K čemu je standardní chyba (SE)? SE pro kardinální znaky (průměr) a pro nominální (P resp. %) 2. koeficient spolehlivosti (z-values) Využití CfI Výpočet CfI pro kvalitativní – nominální proměnnou (tj. pro %) (Ne)možnosti výpočtu CfI v SPSS a alternativy Simultánní intervaly spolehlivosti Standardní chyba a intervaly spolehlivosti pro další parametry (korelační koeficient, medián, rozdíl podílů)

Přesnost → chyby měření S výběrovými šetřeními jsou v sociálních vědách spjaty tzv. výběrové a nevýběrové chyby. Nevýběrové chyby: odmítnutí odpovědi, chyby při pořizování dotazníku. → nelze kvantifikovat vychýlení odhadu. Výběrové chyby: vznikající vztažením charakteristik výběrového souboru na celý základní soubor, lze je interpretovat pomocí tzv. intervalů spolehlivosti, což jsou intervaly zkonstruované kolem odhadu tak, že s určitou pravděpodobností skutečná hodnota odhadované charakteristiky leží právě v tomto intervalu. Nejčastěji se u odhadů konstruuje 95% interval spolehlivosti (vynásobením příslušného kvantilu normovaného normálního rozdělení a směrodatné odchylky odhadu), tedy interval, v němž s 95% pravděpodobností leží skutečná hodnota odhadované charakteristiky

Intervaly spolehlivosti Tolerance chyb (margin of error) suma všech možných výběrových chyb, která kvantifikuje nejistotu výsledků měření → pravděpodobnostní interval ± (např. 95% interval spolehlivosti určuje rozpětí kolem naměřené hodnoty) ovlivněno: velikostí výběru, metoda výběru, velikost populace 95 % (konfidenční) interval spolehlivosti → jsme si jistí, že naše výběrová data z 95 % (tj. námi zvolená spolehlivost) budou obsahovat skutečnou hodnotu v celé populaci

Intervaly spolehlivosti (CI) → princip intervalového odhadu Odhadujeme parametry základního souboru (populace) jsou-li nám známy pouze charakteristiky výběru Při intervalovém odhadování se charakteristika základního souboru popisuje pomocí intervalu, k níž se přidává pravděpodobnost, že odhad bude správný → spolehlivost odhadu (1-α). Použití pro průměr, podíl (%), rozptyl, korelační koeficient … Obecně CfI lze vyjádřit: Bodový odhad ± Koeficient spolehlivosti pro zvolenou hladinu x Směrodatná chyba odhadu Např. pro 95 % CfI a procentní údaj ohledně účasti ve volbách: Se spolehlivostí 95 % můžeme tvrdit, že podle zjištění výzkumu půjde volit 62,8 % (± 2,7 %) občanů, tj. v rozmezí 60,1 až 65,5 %.

Výsledky výběrových šetření jsou vždy jen odhadem skutečného parametru (v populaci). Jejich přesnost je závislá především na velikosti výběrového souboru a podílu hodnot daného znaku. Orientační pomůcka: pro vzorek z velké (národní) populace cca N=1000 se skutečné (populační) relativní četnosti (procenta) pohybují v těchto intervalech: Zdroj: [Special Eurobarometer 337] My si ale dále ukážeme, jak to spočítat přesně a navíc pro jakoukoliv hodnotu a míru (%, průměr, rozdíl %, korelace, …)

Interval spolehlivosti Interval spolehlivosti volíme. Například zvolíme-li 95 %, znamená to, že parametr naměřený ve výběrovém souboru (např. průměr) se bude v celé populaci nacházet v daném intervalu. Nebo obráceně: Zvolená chyba (alpha) např. 5%, je pravděpodobnost, že průměr (nebo jiná míra) nebude v celé populaci (jejíž vlastnosti z výběru zjišťujeme) mezi spočítaným intervalem a to díky náhodě. → 5% pravděpodobnost (type I error), znamená že naměřený rozdíl existuje (např., že lidé budou volit kandidáta X) oproti tomu, že naměřený rozdíl je ve skutečnosti způsoben tím, že vzorek je nereprezentativní.

Nejprve ujasnění pojmů (pro jistotu) Rozptyl je variance v hodnotách proměnné Směrodatná odchylka je odmocnina z rozptylu Standardní chyba (např. průměru) je vyjádřením nepřesnosti měření odhadu

Princip inferenční statistiky - kardinální/číselné znaky distribuce průměru v náhodném výběru z populace Zdroj: [De Vaus 1986: 116] Ze vzorku víme, že průměrný příjem je 18tis$ (→ bodový odhad), jaký je ale skutečný populační průměr (tj. v celém základním souboru)? Protože víme, že výběrový průměr je zatížen výběrovou chybou, nemůžeme se na tento bodový odhad spolehnout. Potřebujeme zjistit, „jak přesně náš vzorek měří“. Pokud máme náhodný výběr, odpověď nám dá teorie pravděpodobnosti. Pokud bychom provedli velké množství náhodných výběrů, budeme se postupně blížit ke skutečné populační hodnotě průměrného příjmu. Rozložení hodnot ve vzorku se bude blížit tzv. normálnímu rozložení (Gaussově křivce).

Princip inferenční statistiky – kategoriální znaky distribuce pravděpodobnosti (tj. %) v náhodném výběru z populace Zdroj: [De Vaus (1986) 2002: 304] Dtto ale pro podíl (procenta). Na ose X je podíl (relativní počet výskytu) odpovědí pro volbu konzervativní strany v mnoha náhodných výběrech. S rostoucím počtem opakovaných náhodných výběrů se odhadovaná hodnota % blíží skutečné hodnotě v populaci.

Co předchází výpočtu intervalu spolehlivosti: 1. Standardní (směrodatná) chyba a té předchází výpočet rozptylu 2. koeficient spolehlivosti → z-values

Standardní/směrodatná chyba odhadu parametru (např. průměru) Neboli obecně standardní chyba vzorku Kvantifikuje nepřesnost našeho měření pro průměr: StD Error (of mean) SE = pro podíl (%): StD Error (of proportion) SE = Pozn. Pravděpodobnost, tj. podíl (%) je vlastně průměrem počtu pozorování, takže SE pro pravděpodobnost počítáme v podstatě stejně jako SE pro průměr (Směrodatná odchylka podílu děleného odmocninou z velikosti výběru).

Standardní/směrodatná chyba Je menší pokud roste velikost výběrového souboru (roste přesnost odhadu parametru) Zvětšením výběru 2x se interval zmenší jen 1,41krát (√k-násobně), proto pro dvojnásobnou přesnost potřebujme čtyřnásobný rozsah výběru Obvykle stačí pokud je pravděpodobnost, že cca 2/3 naměřených hodnot leží v rozsahu hranice průměru nebo +/- 1 jejich vlastní standardní chyby (SE)

K čemu je standardní chyba (SE)? ukazuje, jak (ne)přesné jsou naše výsledky pro výpočet intervalu spolehlivosti k testování, zda se dva parametry liší k testu, zda se výběrová charakteristika statisticky významně liší od nuly v základním souboru (dělíme-li např. korelační koeficient r jeho SE a dostaneme-li číslo větší než 2, pak je s 95% pravděpodobností korelace nenulová, tj. existuje i v celé populaci)

Malý exkurz do rozložení pravděpodobnosti nejen k tomu abychom odvodili Z-hodnoty pro koeficient spolehlivosti (vlastnosti normálního rozložení využijeme ještě při testování hypotéz)

Procenta plochy pod křivkou Násobky Směrodatné odchylky Normální rozložení – rozsah oblastí pod křivkou Pravděpodobnosti pozorování náhodné proměnné Procenta plochy pod křivkou Pravděpodobnosti pozorování hodnot, odpovídají oblastem pod křivkou Násobky Směrodatné odchylky Rozdíl mezi 2 až 3 StD odpovídá 5 % plochy pod křivkou normálního rozložení. Pravděpodobnost, že se (hodnota) pozorování vyskytne: nad bodem E je 0,025 mezi body A a E je 0,95 → 95 % interval spolehlivosti Tato vlastnost normálního rozložení nám umožňuje činit odhad parametrů základního souboru, známe-li pouze charakteristiky výběru.

Směrodatná odchylka a (konfidenční) interval spolehlivosti Normální rozložení Násobky Směrodatné odchylky http://www.stat.tamu.edu/~west/applets/ci.html

Násobky Směrodatné odchylky z-values → koeficient spolehlivosti (C) pro danou hladinu významnosti (α) → tu si zvolíme, podle toho, jak přesně výsledky chceme prezentovat (nejčastěji 5 %) α = 5 % α = 1 % 2,5 % 2,5 % Násobky Směrodatné odchylky α   10% 5% 1% z α/2 z.1 z.05 z.025 z.01 z.005 z.001 z.0005 C 1.282 1.645 1.960 2.326 2.576 3.090 3.291 http://www.stat.tamu.edu/~west/applets/ci.html

a zpět do výpočtu intervalu spolehlivosti

Interval spolehlivosti (předpoklady) Dále budeme uvažovat pouze dvoustranný interval spolehlivosti (existuje také jednostranný CfI, kdy určujeme buď jen horní nebo dolní hranici) pro prostý náhodný výběr a pro velké výběrové soubory (kde n > 30) Předpokládáme alespoň přibližně normální rozložení hodnot zkoumaného jevu (což dost často z principu nemusí být)

Intervaly spolehlivosti Připomenutí z AKD I. Intervaly spolehlivosti pro spojitou – kardinální proměnnou → průměr

Odhad parametru (např. průměru) v populaci na základě výběrového vzorku Standardní chyba průměru StD Error (of mean) SE = nebo kde s2 je rozptyl (ve výběrovém vzorku) nebo s je směrodatná odchylka 95 % konfidenční interval CI pro výběrový průměr X = X ± C * SE kde C = 1,96 (pro 95 % CI) → z-hodnota Prezentujeme buď dvě čísla: průměr ± konfidenční interval nebo tři čísla: dolní mez - průměr - horní mez.

Výpočet konfidenčního intervalu výběrového průměru Hypotetická populace Průměr v celé populaci μ = 8 Náhodný výběr 2 jednotek (např. dětí v ulici) A (=2) a D (=10) Průměr ve výběru X = (2+10)/2 = 6 Rozptyl (s2) je ve výběru 32 → směrodatná odchylka (s) CI = X ± 1,96 * 4 = 6 ± 7,84 → -1,84 až 13,84 To znamená, že z námi vypočteného bodového odhadu průměrného věku ve výběru (6 let) můžeme usuzovat, že v celé populaci se jeho hodnota s přesností 95 % pohybuje v rozmezí -1,8 až 13,8. (Což je zde jistě neproduktivní informace.) jednotky A B C D E F hodnoty 2 6 8 10 12 Např. věk dětí v ulici

Rozdíl: populace / výběr, StD a SE → Vek_AKD2_130305.xls

Využití CfI Deskriptivní pro popis (odhad) určitého parametru v populaci měřeného pomocí výběru s použitím intervalového odhadu (např. průměr, podíl kategorie) → EXPLORE Porovnání rozdílů hodnot dvou či více proměnných – testování hypotézy pomocí principu statistické indukce (→ překrývají se hranice intervalů?), např. v grafech Error-Bar: A) vzájemné porovnání rozdílů hodnot (průměrů) u sady několika proměnných měřených na stejné škále (např. obliba 8 TV žánrů) B) Hodnoty průměrů jedné proměnné v podskupinách – kategoriích vysvětlujícího znaku (např. průměr příjmu v kategoriích vzdělání). C) porovnání hodnoty s výsledky z jiného výzkumu (např. časově nebo z jiné země)

Porovnání rozdílů hodnot (průměrů) pomocí „překryvu“ intervalů spolehlivosti A) Obliba TV žánrů B) Příjem v podskupinách podle vzdělání Zdroj: Kultura 2011 Zdroj: CVVM 2011-11 GRAPH ERROR (CI) k31_a TO k31_h. GRAPH ERROR (CI) prijem BY vzd4.

V SPSS: interval spolehlivosti pro spojitou proměnnou → průměr Např. EXPLORE EXAMINE VARIABLES=proměnná /PLOT NONE /STATISTICS DESCRIPTIVES /CINTERVAL 95 /NOTOTAL. Poněkud nepřehledné, ve výstupu nejprve za celek, pak teprve podskupiny. Nebo graf pro průměry v kategoriích další proměnné: GRAPH /ERRORBAR (CI 95)=prijem BY vzd4. ONEWAY prijem BY vzd4 / STATISTICS=DESCRIPTIVES.

Graf pro průměr s CI v SPSS GRAPH /ERRORBAR(CI 95)=Var1 BY Var2. Var1 je spojitá (pro ní počítáme průměr) Var 2 je kategoriální (podskupiny)

CfI pro průměry v podskupinách ONEWAY prijemOs by t_vzd/ STATISTICS=DESCRIPTIVES. GRAPH ERROR (CI 95) prijemOs BY t_vzd.

Intervaly spolehlivosti pro kvalitativní - nominální proměnnou → četnosti (pravděpodobnost / procenta) pro jistotu: Procento je stým násobkem pravděpodobnosti, tj. p 0,1 = 10 % (takže p = 0,8 → 1 - p = 0,2)

Interval spolehlivosti pro relativní četnost tj. pravděpodobnost (tj Interval spolehlivosti pro relativní četnost tj. pravděpodobnost (tj. % /100), binomický podíl Bodový odhad ± Koeficient spolehlivosti pro zvolenou hladinu (C) x Směrodatná chyba odhadu Pravděpodobnost jevu (bodový odhad) p = x/n Směrodatná chyba pravděpodobnosti SE = √ p(1 − p)/n Interval spolehlivosti p ± zα/2(SE) C pro 95 % spolehlivost α = 0,05; zα/2 = 1,96 → Existuje 95 % spolehlivost, že naměřená hodnota ve výběru bude (v populaci) mezi hodnotami horní a dolní hranice. Máme-li proměnnou s více kategoriemi, pak počítáme p vždy jako dichotomii té které kategorie oproti součtu ostatních (např. vzdělání: VŠ / ostatní stupně (ZŠ+VY+SŠ).

Příklad: volební účast v r. 2006

Příklad: volební účast v r. 2006 Máme výběrový odhad pro proměnnou Volil2006 (katg. Volil / Nevolil) Směrodatná chyba pravděpodobnosti SE pro Volil: Pravděpodobnost Volil = 750/1196 = 0,628 Pravděpodobnost Nevolil = 446/1196 = 0,373 SE = √ 0,628(1 − 0,628)/1196 = 0,9998 Odhad Volil bude ležet mezi 0,628 ± 1,96 √ (0,628)(0,373)/1196 0,628 ± 0,0274 nebo (0,6006; 0,6554) nebo 62,8 (± 2,7)% Zdroj: ISSP 2007

Příklad: volební účast v r. 2006 Voleb do Poslanecké sněmovny konaných ve dnech 2.-3.6. 2006 se účastnilo 64,47 % občanů (oficiální údaj z ČSÚ). Náš výběrový odhad (data ISSP 2007) pro 95 % CfI: 60,06 ← 62,8 → 65,54 Pro 99 % CfI (kdy zα/2 = 2,326) 59,60 ← 62,8 → 66,05 Pro 90 % CfI (kdy zα/2 = 1,645) 60,05 ← 62,8 → 65,01

v SPSS CfI pro % standardně pouze v grafu BARCHART GRAPH /BAR(SIMPLE)=PCT BY q34 /INTERVAL CI(95.0).

BARCHART pro % s CfI, klikací postup

Třídění druhého st. v BARCHARTu (s CI pro %) GRAPH /BAR(SIMPLE)=PCT BY q34 BY q38 /INTERVAL CI(95.0). Pro porovnání % „volil v 2006“ v podskupinách (zde dle členství v odborech) Zdroj: data ISSP 2007

Na tabulku lze aplikovat skript Nebo jobem přes syntax http://www.spsstools.net/Syntax/Distributions/ProportionTestsAndCI.txt Je to ten druhý Large-Sample Confidence Interval for a Single Population Proportion. Přepíšeme jen hodnotu n a p, můžeme volit CI a počet deset. míst.

Pro kontingenční tabulku CROSS s31 BY s21. A dosadíme do vzorce (jobíku) Pro kategorii „menší město“: CROSS s31 BY s21 /cel col. GRAPH /BAR(SIMPLE)=PCT BY s31 by s21/INTERVAL CI(95.0).

Kalkulátory intervalů spolehlivosti pro nominální znaky (%) http://ncalculators.com/statistics/confidence-interval-calculator.htm http://www.surveysystem.com/sscalc.htm http://vassarstats.net/prop1.html

Úkol Spočítejte interval spolehlivosti pro podíl vysokoškolsky vzdělaných v ČR Porovnejte se skutečnou hodnotou v populaci (úsaje ČSÚ pro 2007) → promítnout řešení z AKD2_1_CfI_RESENI

Simultánní intervaly spolehlivosti pro četnosti Dosud jsme činili samostatné závěry, ale chceme-li zhodnotit několik četností zároveň, musíme zajistit, aby všechny parametry byly pokryty předem požadovanou spolehlivostí. Pro souběžný závěr o několika četnostech proto zpřísníme celkovou spolehlivost C na z α / S kde S = počet četnostní pro něž chceme simultánní intervaly spolehlivosti Např. pro 4 četnosti, při požadované α = 0,05: z α / 4 = z α / 0,0125 = 0,02497 tj. přibližně 2,5 Viz tabulky kritických hodnot standardního normálního testu pro simultánní testování. [Řehák, Řeháková 1986: 64-65]

CfI a Průměry: simultání test (Bonferroni) pro rozdíly mezi kategoriemi Zdroj: [Šafr 2008]

Intervaly spolehlivosti (CfI) v SPSS ? SPSS umí pouze interval spolehlivosti pro spojitou proměnnou tj. průměr (např. EXPLORE) v OLS regresi pro regresní koeficient B, v logistické regresi pro exp(B) nicméně spočítáním standardní chyby odhadu (např. pro procento či korelační koeficient) a dosazením do příslušných vzorců, lze CfI snadno spočítat (viz dále) Alternativně lze použít jobíků nebo skripty pro úpravu výstupů - pro % v třídění 1.st. viz http://www.acrea.cz/skripty-interval-spolehlivosti-cetnosti.htm Anebo spočítat si to mimo SPSS …

Standardní chyba a CI korelačního koeficientu (v SPSS) SE sice není v proceduře CORRELATION ale je v CROSSTABS CROSSTABS OC2011 BY PrijmD /FORMAT=NOTABLES /STATISTICS=CORR . CI (95%) pro R = 0,072 ± 1,96*0,023 = 0,072 ± 0,045 nebo 0,027 ← 0,072 → 0,117 CI pro korelační koeficient lze spočítat na http://vassarstats.net/rho.html

Výpočet standardní chyby pro průměr pro směrodatnou odchylku pro medián pro korelační koeficient nebo

Výpočet standardní chyby pro relativní četnost pro rozdíl dvou podílů p1- p2 SE = √ p(1 − p) / n Více viz http://davidmlane.com/hyperstat/A111955.html http://www.miislita.com/information-retrieval-tutorial/a-tutorial-on-standard-errors.pdf

Standardizace na z-skóre odstranění původní metriky u kardinálních-číselných znaků Z – skóry: průměr X=0 a StD =1 V transformované proměnné je aritmetický průměr roven nule a směrodatná odchylka je jedna. Odchylka od průměru / směrodatnou odchylkou: Od každého pozorování odečteme průměr a vydělíme směrodatnou odchylkou. z-skóre = kolik standardních odchylek je danná hodnota vzdálena od střední hodnoty (aritmetického průměru) Většina nově transformovaných hodnot je v rozmezí od -3 do 3. → umožňuje porovnat znaky s odlišnou metrikou.

Standardizace na z-skóre V SPSS jednoduše pomocí Descriptives přidáním SAVE: DESCRIPTIVES var1 /SAVE. V datech vznikne proměnná automaticky pojmenovaná Zvar1 (v Labelu je uvedeno „Zscore:“ a původní pojmenování) Pozor: Proměnná musí mít přibližně normální rozložení! (kontrolujeme aspoň vizuálně pomocí Histogramu) Pokud ne, pak lze transformovat na percentily. Existují i jiné principy standardizace dat, např. přímá standardizace.

Standardizace na z-skóre Původní hodnoty – odlišné metriky (hodiny, počet knih) Transformované hodnoty na z-skóre DESCRIPTIVES TV knihy_odbor knihy_zabava /SAVE. GRAPH ERRORBAR (CI) ZTV Zknihy_odbor Zknihy_zabava by POHLAVI. GRAPH ERRORBAR (CI) TV knihy_odbor knihy_zabava by POHLAVI. Zdroj: Studenti FHS 2013 TV&Knihy

Jobíky pro Intervaly spolehlivosti v syntaxu SPSS pro relativní četnost (pravděpodobnost) http://www.spsstools.net/Syntax/Distributions/ProportionTestsAndCI.txt pro medián http://www.spsstools.net/Syntax/Distributions/Calculate95PercCIforTheMedian.txt

Reference De Vaus, D. A. 1986. Surveys in Social Research. London: George Allen & Unwin (Publishers) Ltd. Řehák, J., B. Řeháková. 1986. Analýza kategorizovaných dat v sociologii. Praha: Academia.