Otázky kvality výběrových šetření Jindřich Krejčí Sociologický ústav AV ČR Doktorandský seminář Katedry sociologie FF UK 31. října 2012, Sociologický ústav AV ČR Český sociálněvědní datový archiv Sociologického ústavu AV ČR, v.v.i. Jilská 1, Praha 1, Česká republika;

Obsah Otázky kvality výběrových šetření Přesnost Chyby reprezentativity ► chyba pokrytí cílové populace ► chyba výběrová ► chyba non-response Otázky kvality dat výběrových šetření Snímek 2

Literatura Groves, R "Research on Survey Data Quality". The Public Opinion Quarterly 51(2): S156 - S172. JSTORJSTOR Krejčí, J „Approaching Quality in Survey Research: Towards a Comprehensive Perspective“. Sociologický časopis/Czech Sociological Review 46 (6): 1011–1033.Sociologický časopis/Czech Sociological Review 46 (6): 1011–1033 Soukup, P. & L. Rabušic „Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): Sociologický časopis/Czech Sociological Review 43 (2): ► Soukup, P “Nesprávná užívání statistické významnosti a jejich možná řešení”. Data a výzkum - SDA Info 4(2): Otázky kvality dat výběrových šetření Snímek 3

Groves, R Survey Errors and Survey Costs. Wiley. Biemer, P. P. and L. E. Lyberg Introduction to Survey Quality. Wiley. Anderson, R., J. Kasper, M. Frankel et al Total Survey Error. Jossey- Bass. Biemer, P. P Measurement Errors in Surveys. Wiley. Kaase, Max (ed.) Qualitätskrieterien der Umfrageforschung - Quality Criteria for Survey Research. Denkschrift Memorandum. Akad. Verlag. Lessler, J. T., W. D. Kalsbeek Nonsampling Errors in Surveys. Wiley. Lyberg, L., P. Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwarz, and D. Trewin (eds.) Survey Measurement and Process Quality. Wiley. ► Jeřábek - měření v soc. vědách ► Řehák et al. Sociologický čas. 1998: Kvalita dat I... III... ► Kreidl - SČ/CSR, Kvalita vol. výzkumů ► Krejčí - Kvalita výběrových šetření ► Vinopal ►.... Otázky kvality dat výběrových šetření Snímek 4

Výběrová šetření v sociologii - dva zdroje matematická statistika ► výběr ► přesnost dvě dimenze: accuracy, precision dvě perspektivy: bias, variable variance ► výběrová chyba a nevýběrové chyby psychometrie ► výzkumný nástroj ► validita a reliabilita validita = schopnost měřit koncept, který chceme měřit (koncept) reliabilita = přesnost, konzistentnost měření (nástroj) reliabilita je jednou z podmínek validity Otázky kvality dat výběrových šetření Snímek 5

Různá využití metody = různá očekávání výběrové šetření v různých oborech (sociologie, psychometrie, ekonometrie...) bodové odhady vs. testování modelů realizátoři šetření vs. analytici proces šetření vs. odhad chyby ► matematická statistika  spočitatelná výběrová chyba, nevýběrové chyby jako nevyjádřený zbytek ► v sociologii jiná data, než v příkladech počtu pravděpodobnosti  provedení hraje velkou roli  výběr jen zřídka prostý náhodný  spočítat celkovou chybu je nereálný cíl problém přeceňování statistické signifikance přeceňování, chybné používání (viz Rabušic a Soukup) Otázky kvality dat výběrových šetření Snímek 6

Způsob provedení šetření má velkou roli Otázky kvality dat výběrových šetření Snímek 7 "kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tématického záběru nebo důležitosti, ale podle toho, jak mnoho pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat" Motto definic nejlepší praxe ASA & AAPOR  komplexní přístup ke kvalitě  vyvážená alokace zdrojů s ohledem na existenci nevýběrových chyb

Současné přístupy ke kvalitě vícedimenzionalita - přesnost je jen jednou z dimenzí problémům je třeba předcházet - kvalita produkce se dosahuje pomocí kvality procesu kvalita = „fit to use“ efektivita: chyby vs. náklady (viz Groves) ► přesnost je náročné a drahé měřit, v praxi se to moc nedělá ► změření chyby po skončení šetření má omezené dopady ► mechanický přístup ke kvalitě nevede ke zlepšování kvality ► koncentrace na odhady přesnosti vede k neefektivitě ► celkový management kvality (TQM) vývoj: model U.S. Census Bureau (Hansen et al., 50. léta) ; institucionalizace: statistické úřady, normy a standardy, výzkumné asociace  výzk. agentury, akademický výzkum Otázky kvality dat výběrových šetření Snímek 8

Dimenze kvality v Eurostatu Otázky kvality dat výběrových šetření Snímek 9 Relevance: jak statistika splňuje aktuální a potenciální požadavky uživatelů. Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě. Načasování a časová přesnost: časový rozdíl mezi událostí a informací o ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba. Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k datům, a úroveň dokumentace a doplňujících informací včetně informací o kvalitě a dostupnosti odborné asistence. Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na možnosti srovnání v čase, mezi geografickými oblastmi, mezi významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích. Koherence: adekvátnost a hodnověrnost různých kombinací statistik a jejich využívání pro různé účely.

zásadní pro statistické testy a verifikaci výsledků přesnost se zjišťuje pomocí svého negativu, tj. chyby chyby specifické pro jednotl. statistiky, tj. chyba šetření = průměrná (kvadratická) chyba proces realizace šetření  různé druhy chyb ► reprezentativita cílová populace opora výběru výběr respondent - spolupráce úpravy reprez. po sběru dat (imputace, vážení,...) ► měření konstrukt měření (otázka, pozorování) respondent - odpověď záznam, editace odpovědi chyby měření chyby zpracování chyby reprezentativity chyby pokrytí populace chyby výběru chyby non-response chyby úprav souboru Přesnost vs. chyby šetření

Otázky kvality dat výběrových šetření Snímek 11

Tábor, 15-16/11/2011 Snímek 12

REPREZENTATIVITA Otázky kvality dat výběrových šetření Snímek 13

Otázky kvality dat výběrových šetření Snímek 14 Chyba pokrytí populace jednotky výběru cílová populace: populace, ke které vztahujeme dokazování populace šetření: populace, ke které se výzkum vztahuje reálně (nezahrnuje některé skupiny; např. určíme, že nezkoumáme institucionální populace, bezdomovce...) opora výběru: seznam(-y) nebo sada materiálů a procedur (např. mapa, kartotéka...) použitých k identifikaci jednotek cílové populace populace opory: populace skutečně zachycená v opoře nezachycené jednotky, nežádoucí jednotky, duplikace, klastry DOSTUPNOST VHODNÉ OPORY ! Cílová populace Populace opory nezahrnutá část populace nežádoucí jednotky populace zachycená ve výzkumu

Otázky kvality dat výběrových šetření Snímek 15 příklady opory ► telefonní seznam ► seznam oblastí, seznam adres domácností, seznam členů domácnosti -> komplexní design výběru chyby pokrytí na všech úrovních ► systematické chyby (problém mladých, znevýhodněné skupiny...) ► pravidlo rezidence de facto/de jure nežádoucí jednotky ► identifikace až při pokusu o kontakt: problém s výběrem - odhad a navýšení výběru?; snížení efektivity jednotky, u nichž nevíme, zda do výzkumu patří klastry - podvýběr RDD - random digit dialing výběr v průběhu sběru dat (počítač, Kish grid, datum narození...) kompenzační váhy (klastry, duplicity - identifikace v průběhu sběru dat)

Snímek 16 obecná populace v ČR - domácnosti a jednotlivci ► databáze adres budov, výběr oblastí - soupis domácností, databáze adres plátců (INKASO), náhodná procházka zákazníci, zaměstnanci, členové organizací ► seznamy (aktuálnost; různé charakteristiky - prozkoumat, zjistit kontext), ochrana osobních údajů, někdy problém vymezit populaci (zaměstnání na DPČ, faktury...) firmy, organizace ► různé velikosti, různé struktury, problém geografické lokace, formální/ administrativní vs reálný stav, dynamický vývoj události (narození, zakoup. něčeho, výskyt něčeho, nezaměstnanost, kriminální čin...) ► různé opory (časová škála, seznam jiných jednotek - osob,.. př. time use survey) specifické populace ► špatně identifikovatelné populace, malé, řídké, rozptýlené chyba pokrytí populace: rozdíl mezi hodnotou cílové populace a populace opory

Str. 17 kombinace více opor v jednom kroku ► různé výb. pravděpodobnosti, konstrukce design. vah ► překryv opor (výběr tazatelem v terénu / zahrnutí všech vybraných jedn.) - zpřesnění odhadů pomocí překryvu napůl otevřený interval (half-open interval) ► uspořádaný seznam s chybějícími jednotkami - prozkoumá se oblast od vybrané jednotky k nejbližší další jednotce v seznamu ► zahrnou se všechny jednotky a přiřadí se jim pravděpodobnost vybrané jednotky / provede se podvýběr / nové jednotky konstituují nové stratum (překvapení) a v něm se samostatně provede výběr vícenásobný výběr (multiplicity sampling) ► obdoba snow-ball ► z opory se vyberou jednotky, s každou jednotkou se vybere celá síť jednotek ► nutnost přesné definice vymezení sítě, nesmí se překrývat ► váhy podle velikosti sítě ► nepřesnosti při stanovení sítě (respondenti ji často přesně neurčí) Redukce počtu chybějících jednotek

Str. 18 Chyba výběrová Kish, L Survey Sampling. NY: John Wiley. velikost výběru a výběrový design: podmínka statistického dokazování velký výběr, velikost základní populace pravděpodobnostní výběr ► známá nenulová šance pro každou jednotku v populaci opory ► pravděpodobnosti nemusí být stejné různé realizace výběru, výběrový rozptyl, standardní chyba, konfidenční interval realizace pravděpodobnostního výběru: odhad neznámých charakteristik populace opory se známou velikostí standardní chyby design výběru - postup výběru ► jak velký je výběr? ► jaké jsou pravděpodobnosti výběru? ► jsou jednotky vybírány navzájem nezávisle nebo ve skupinách? ► je kontrolováno zastoupení některých skupin (stratifikace)?

Management dat Jindřich Krejčí, Str. 19 prostý náhodný výběr ► pravděpodobnosti výběru všechny stejné ► (pokud populace dost velká ve srovnání s výběrem) std. chyba závisí na 1) velikosti výběru a 2) rozptylu hodnot ► obvyklé východisko pro statistické dokazování realita: minimum prostých náhodných výběrů ► více výběrových kroků, kombinace technik = komplexní design výběru; primární jednotky výběru, sekundární jednotky... (sídlo - ulice - adresa domácnosti - respondent) efekt designu: poměr výběrového rozptylu statistiky získané určitým konkrétním výběrovým postupem a rozptylu, který bychom pro danou statistiku získali za použití prostého náhodného výběru efektivní velikost výběru ► velikost prostého náhodného výběru s jakou by se dosáhlo stejného výběrového rozptylu jako je u aktuálního designu (n eff = 200 / 3,13 = 64) ► cíl dosáhnout urč, přesnost: jak má být za daného výběrového postupu velký výběr, abychom dosáhly stejného výběrového rozptylu jako u prostého náhodnéh výpočet chyby ve stat. software předpokládá prostý náhodný výběr (lze upravit designovou váhou)

Management dat Jindřich Krejčí, Str. 20 skupinový výběr (cluster sampling) ► opora zákl. jednotek není k dispozici nebo redukce nákladů (cestovních) ► předpokl. větší homogenity uvnitř skupinek => větší std. chyba ► efekt skupinového výběru: čím větší heterogenita mezi skupinkami, tím větší homogenita uvnitř co nového se dozvíme, když přidáme další jednotku ze skupiny? průměrná vnitroskupinová korelace (intraclass correlation; tendence hodnot proměnné korelovat uvnitř skupiny ve srovnání s ostatními skupinami) -> poměr homogenity -> designový efekt stratifikovaný výběr ► zajištění reprezentace zvolených podskupin (exkluzivita strat, znalost členství jednotek a váhy strata) ► pravděpodobnosti v rámci strat - designové váhy ► různé velikosti strat, různý rozptyl v rámci strat, různé výsledné hodnoty ► designový efekt závisí na velikosti výběru v rámci strat, pokud jsou dost velká zpravidla se designový efekt a std. chyba sníží systematický výběr ► jednodušší implementace stratifikace ► seřazená opora, náhodný počátek, interval

Návratnost: ISSP 2007 Pracovní orientace zdroj (a) odchylek a rozptylu a (b) nespolehlivosti odhadů přesnosti nepříznivý vývoj - důvěryhodnost kvantitativního výzkumu Chyba výpadků návratnosti (non-response error)

Otázky kvality dat výběrových šetření Snímek 22 unit nonresponse / item nonresponse dotazníky nezařazené do zpracování ► nekontaktování ► odmítnutí ► neschopnost odpovídat na šetření (nemoc, mentální úroveň, jazyk...) ► jiné důvody (organizace, administrace šetření) podíl participujících jednotek z platných jednotek ve výběru = podíl dostatečně kompletních interview se zpravodajskými jednotkami zařazených do zpracování a počtu platných zpravodajských jednotek ve výběru ► platnost je vztažena ke členství jednotek v populaci opory výběru ► vyloučeny např. chybné adresy, jednotky mimo výběr atp. (chyby opory) sledování - pravděpodobnostní/nepravděpodobnostní výběry standardní definice: AAPOR /CM/ContentDisplay.cfm&ContentID= /CM/ContentDisplay.cfm&ContentID=3156

23 Míra nekontaktování (non-contact rate)

Statistické dokazování Dopad návratnosti na chybu? Babbie: „Věřím, že návratnost 50 % je adekvátní pro analýzu a interpretaci. Návratnost 60 % je dobrá, návratnost 70 % velmi dobrá,“ => pro zvyšování návratnosti dělat vše

25 dopad na odchylku odhadů hodnot od reálné hodnoty (nonresponse bias) a na rozptyl odhadů (variable variance) nespolehlivost odhadů přesnosti měření pouze teoretická možnost stanovit velikost chyby odmítání participace není stabilní vlastnost - neexistuje skupina permanentních nerespondentů náchylnost/pravděpodobnost stát/nestát se respondentem různé druhy neparticipace jsou rlůzně korelovány s různými proměnnými - chyba není stabilní pro celé šetření jsou-li zjišťované hodnoty stejné u respondentů a nerespondentů, míra návratnosti nehraje roli nízká návratnost neznamená automaticky velkou chybu; zvýšení návratnosti neznamená snížení chyby (chybná metodika zvětší chybu) analýza vztahů k různým prom., závislost na tématu, nelze generalizovat

26 nekontaktování, pravděpodobnost kontaktu ► sociální prostředí ► sociodemografické charakteristiky ► počet pokusů o kontakt ► načasování pokusů o kontakt ► způsob bydlení - přístup; události; specifické skupiny (studenti na kolejích...)... odmítnutí, pravděpodobnost odmítnutí ► frekvence zkušennosti, přezkoumanost populace, ochrana soukromí ► úroveň znalosti ► pobídky ► téma výzkumu, povaha dotazu ► perzistence při kontaktu (konverze %) ► přínosy / náklady respondenta na interview

Management dat Jindřich Krejčí, Str. 27 imputace, vážení techniky zvyšování návratnosti: strategie vysvětlení účelu a prospěšnosti výzkumu, rozesílání kontaktních dopisů předem, zajištění maximální důvěryhodnosti výzkumné agentury a jejích tazatelů, techniky odvracení odmítnutí, peněžní a nepeněžní odměny respondentům (pobídky, incentivy), vhodně zvolená náročnost tazatelských úkolů, vyšší počet pokusů o kontakt, strategie v načasování, sběru dat a pokusů o kontakt s ohledem na životní styly potenciálních respondentů, konstrukce dotazníků s ohledem na zatížení respondentů a předpokládanou zajímavost jednotlivých témat výzkumu, výběr tazatelů a způsoby jejich vyškolení, použití více modů dotazování, vhodné strategie odměňování tazatelů, průběžné vyhodnocování úspěšnosti sběru dat a následná opatření, jako je zadávání méně striktních odmítnutí k dotazování jiným tazatelům, použití vhodných metod sběru dat, případně jejich kombinací atp. teorie racionální volby, teorie sociální směny, teorie sociálního vyloučení... pákový efekt - leverage-salience theory (Groves, Singer, Corning) ► různé osoby - různou (pozitivní/negativní) váhu různým charakteristikám šetření (délka rozhovoru, pobídky, sponzor, účel výzkumu...) ► lidé mají různé (různě strukturované) důvody pro souhlas/odmítnutí, které nejsou jednoduše postihnutelné -> postup tazatelů, jak odhalit priority respondentů -> různý důraz na různé charakteristiky výzkumu komplexní strategie - snižování celkové chyby !!!

Str. 28 Trendy návratnosti všeobecně nepříznivý vývoj návratnosti ► přezkoumanost populace ► změny životního stylu propad v minulosti nebo kontinuální snižování? zvyšování nákladů na šetření nejednoznačný vývoj, různé nepříznivé trendy

Str. 29 V ČR? non-response: akademická šetření

Str. 30

Str. 31

Str. 32

Str. 33 ESS II.