Jak přistupovat ke kvalitě výběrových šetření Jindřich Krejčí Sociologický datový archiv Sociologický ústav AV ČR, v.v.i. Jilská 1, 110 00 Praha 1 Vybrané kapitoly z výzkumu veřejného mínění Kurz FSV UK, 16. 12. 2009 Jak přistupovat ke kvalitě výběrových šetření Jindřich Krejčí krejci@soc.cas.cz; SDA: http://archiv.soc.cas.cz; SOU: http://www.soc.cas.cz

Obsah Kvalita výběrových šetření Přesnost vs. chyby šetření Standardy výzkumu Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Kvalita - literatura Biemer, P. P, L. E. Lyberg. 2003. Introduction to Survey Quality. Hoboken: John Wiley & Sons. Groves, R. M. 1989. Survey Errors and Survey Costs. Hoboken: John Wiley & Sons. Anderson, R., J. Kasper, M. Frankel (eds.) 1979. Total Survey Error. San Francisco: Jossey-Bass. Lessler, J. T. and W. D. Kalsbeek. 1992. Nonsampling Errors in Surveys. New York: John Wiley & Sons. Lyberg, Lars, Paul Biemer, Martin Collins, Edith de Leeuw, Cathryn Dippo, Norbert Schwarz, and Dennis Trewin (eds.) 1997. Survey Measurement and Process Quality. New York: John Wiley & S. Kaase, Max (ed.) 1999. Qualitätskrieterien der Umfrageforschung - Quality Criteria for Survey Research. Denkschrift Memorandum. Berlin: Akademie Verlag. Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Groves, Robert 1987. "Research on Survey Data Quality" Groves, Robert 1987. "Research on Survey Data Quality". The Public Opinion Quarterly 51(2): S156 - S172. JSTOR Soukup, Petr & Ladislav Rabušic. 2007. „Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): 379-395. Krejčí, Jindřich. 2008. Kvalita sociálněvědních výběrových šetření v České republice. Praha: SLON. Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Kvalita výběrových šetření metoda výběrových šetření - mnoho oborů, mnoho účelů důraz na různé složky, mnoho přístupů, různé nároky matematická statistika: přesnost - chyba; chyba výběrová (statistická) a nevýběrová psychometrie: reliabilita a validita realizátoři šetření vs. analytici selektivní přístupy, komunikační bariéry (Blalock Jr.) přeceňování statistické signifikance (Soukup, Rabušic) statistické dokazování vs. realizace šetření Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Kvalita provedení šetření hraje zásadní roli "kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tématického záběru nebo důležitosti, ale podle toho, jak mnoho pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat" Motto definic nejlepší praxe: ASA & AAPOR komplexní přístupy ke kvalitě vyvážená alokace zdrojů s ohledem na existenci nevýběrových chyb Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Komplexní přístup ke kvalitě východisko: „fit to use“ přesnost je náročné a drahé měřit, v praxi se to moc nedělá změření chyby po skončení šetření má omezené dopady mechanický přístup ke kvalitě nevede ke zlepšování kvality koncentrace na odhady přesnosti vede k neefektivitě vícedimenzionalita, přesnost jen jednou z dimenzí problémům je třeba předcházet kvalita produkce se dosahuje pomocí kvality procesu celkový management kvality (TQM) efektivita: chyby vs. náklady vývoj přístupu: model U.S. Census Bureau (Hansen a kol., 50. léta); institucionalizace: statistické úřady, normy a standardy, výzk. organizace Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Např. Eurostat EFEKTIVITA ! Relevance: jak statistika splňuje aktuální a potenciální požadavky uživatelů. Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě. Načasování a časová přesnost: časový rozdíl mezi událostí a informací o ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba. Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k datům, a úroveň dokumentace a doplňujících informací včetně informací o kvalitě a dostupnosti odborné asistence. Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na možnosti srovnání v čase, mezi geografickými oblastmi, mezi významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích. Koherence: adekvátnost a hodnověrnost různých kombinací statistik a jejich využívání pro různé účely. EFEKTIVITA ! Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Přesnost - opak chyby - chyby měření vs. chyby reprezentativity měření konstrukt měření (otázka, pozorování) odpověď záznam, editace odpovědi reprezentativita cílová populace opora výběru výběr respondent úpravy reprez. po sběru dat (imputace, vážení,...) chyby měření chyby zpracování chyby reprezentativity chyby pokrytí populace chyby výběru chyby non-response chyby úprav souboru Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Chyba pokrytí populace nežádoucí jednotky Populace opory Cílová populace populace zachycená ve výzkumu cílová populace: populace, ke které vztahujeme dokazování populace šetření: populace, ke které se výzkum vztahuje reálně (nezahrnuje některé skupiny; např. určíme, že nezkoumáme institucionální populace, bezdomovce...) opora výběru: seznam(-y) nebo sada materiálů a procedur (např. mapa, kartotéka...) použitých k identifikaci jednotek cílové populace populace opory: populace skutečně zachycená v opoře nezachycené jednotky, nežádoucí jednotky, duplikace, klastry DOSTUPNOST VHODNÉ OPORY ! nezahrnutá část populace Krejčí: Kvalita výběrových šetření, 16. 12. 2009

obecná populace v ČR - domácnosti a jednotlivci př. opory: seznam oblastí, seznam adres domácností, seznam členů domácnosti -> komplexní design výběru chyby pokrytí na všech úrovních, systematické chyby (problém mladých, znevýhodněné skupiny...) nežádoucí jednotky identifikace až při pokusu o kontakt: problém s výběrem - odhad a navýšení výběru?; snížení efektivity chyba pokrytí populace: rozdíl mezi hodnotou cílové populace a populace opory obecná populace v ČR - domácnosti a jednotlivci databáze adres plátců (INKASO) výběr oblastí - soupis domácností databáze adres budov náhodná procházka Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Chyba výběrová Kish, L. 1965. Survey Sampling. NY: John Wiley. výběrový design: podmínka statistického dokazování pravděpodobnostní výběr známá nenulová šance pro každou jednotku v populaci opory pravděpodobnosti nemusí být stejné odhad charakteristik populace opory se známou velikostí standardní chyby různé realizace výběru, výběrový rozptyl, standardní chyba, konfidenční interval design výběru - postup výběru jak velký je výběr? jaké jsou pravděpodobnosti výběru? jsou jednotky vybírány navzájem nezávisle nebo ve skupinách? je kontrolováno zastoupení některých skupin (stratifikace)? Krejčí: Kvalita výběrových šetření, 16. 12. 2009

realita: minimum prostých náhodných výběrů prostý náhodný výběr pravděpodobnosti výběru všechny stejné (pokud je populace dost velká ve srovnání s výběrem) std. chyba závisí na 1) velikosti výběru a 2) rozptylu hodnot obv. východisko pro statistické dokazování realita: minimum prostých náhodných výběrů efekt designu: poměr výběrového rozptylu statistiky získané určitým konkrétním výběrovým postupem a rozptylu, který bychom pro danou statistiku získali za použití prostého náhodného výběru skupinový výběr (cluster sampling) opora zákl. jednotek není k dispozici nebo redukce nákladů (cestovních) předpokl. větší homogenity uvnitř skupinek => větší std. chyba efekt skupinového výběru: čím větší heterogenita mezi skupinkami, tím větší homogenita uvnitř co se nového dozvíme, když přidáme do výběru další jednotku ze skupiny? průměrná vnitroskupinová korelace (intraclass correlation; tendence hodnot proměnné korelovat uvnitř skupiny ve srovnání s ostatními skupinami) -> poměr homogenity -> designový efekt Krejčí: Kvalita výběrových šetření, 16. 12. 2009

efektivní velikost výběru stratifikovaný výběr zajištění reprezentace zvolených podskupin (exkluzivita strat, znalost členství jednotek a váhy strata) pravděpodobnosti v rámci strat - designové váhy různé velikosti strat, různý rozptyl v rámci strat, různé výsledné hodnoty designový efekt závisí na velikosti výběru v rámci strat, pokud jsou dost velká zpravidla se designový efekt a std. chyba sníží systematický výběr jednodušší implementace stratifikace seřazená opora, náhodný počátek, interval efektivní velikost výběru cíl dosáhnout urč, přesnost - std. chyba nepřekročí určitou hodnotu designový efekt ef. vel. výb. = velikost prostého náhodného výběru s jakou by se dosáhlo stejného výběrového rozptylu jako je u aktuálního designu (neff = 200 / 3,13 = 64) jak má být za daného výběrového postupu velký výběr, abychom dosáhly stejného výběrového rozptylu jako u prostého náhodného výběru Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Chyba výpadků návratnosti (non-response error) unit nonresponse / item nonresponse dotazníky nezařazené do zpracování nekontaktování odmítnutí neschopnost odpovídat na šetření (nemoc, mentální úroveň, jazyk...) jiné důvody (organizace, administrace šetření) podíl participujících jednotek z platných jednotek ve výběru = podíl dostatečně kompletních interview se zpravodajskými jednotkami zařazených do zpracování a počtu platných zpravodajských jednotek ve výběru platnost je vztažena ke členství jednotek v populaci opory výběru, vyloučeny např. chybné adresy, jednot. mimo výběr (chyby opory) sledování - standardy (AAPOR) Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Nonresponse error a statistické dokazování dopad na odchylky a na rozptyl odhadů nespolehlivost odhadů přesnosti měření pouze teoretická možnost stanovit velikost chyby odmítání participace není stabilní vlastnost - neexistuje skupina permanentních nerespondentů náchylnost/pravděpodobnost stát/nestát se respondentem různé druhy neparticipace jsou různě korelovány s různými proměnnými - chyba není stabilní pro celé šetření jsou-li zjišťované hodnoty stejné u respondentů a nerespondentů, míra návratnosti nehraje roli nízká návratnost neznamená automaticky velkou chybu; zvýšení návratnosti neznamená snížení chyby (chybná metodika zvětší chybu) analýza vztahů k různým prom., závislost na tématu, nelze generalizovat Krejčí: Kvalita výběrových šetření, 16. 12. 2009

komplexní strategie - snižování celkové chyby imputace, vážení techniky zvyšování návratnosti: strategie vysvětlení účelu a prospěšnosti výzkumu, rozesílání kontaktních dopisů předem, zajištění maximální důvěryhodnosti výzkumné agentury a jejích tazatelů, techniky odvracení odmítnutí, peněžní a nepeněžní odměny respondentům (pobídky, incentivy), vhodně zvolená náročnost tazatelských úkolů, vyšší počet pokusů o kontakt, strategie v načasování, sběru dat a pokusů o kontakt s ohledem na životní styly potenciálních respondentů, konstrukce dotazníků s ohledem na zatížení respondentů a předpokládanou zajímavost jednotlivých témat výzkumu, výběr tazatelů a způsoby jejich vyškolení, použití více modů dotazování, vhodné strategie odměňování tazatelů, průběžné vyhodnocování úspěšnosti sběru dat a následná opatření, jako je zadávání méně striktních odmítnutí k dotazování jiným tazatelům, použití vhodných metod sběru dat, případně jejich kombinací atp. teorie racionální volby, teorie sociální směny, teorie sociálního vyloučení... Leverage-salience theory (Groves, Singer, Corning) různé osoby - různou (pozitivní/negativní) váhu různým charakteristikám šetření (délka rozhovoru, pobídky, sponzor, účel výzkumu...) lidé mají různé (různě strukturované) důvody pro souhlas/odmítnutí, které nejsou jednoduše postihnutelné -> postup tazatelů, jak odhalit priority respondentů -> různý důraz na různé charakteristiky výzkumu komplexní strategie - snižování celkové chyby Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Trendy Krejčí: Kvalita výběrových šetření, 16. 12. 2009

non-response v ČR: akademická šetření 1991-2007 Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Krejčí: Kvalita výběrových šetření, 16. 12. 2009

ESS II. Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Metody sběru dat face-to-face self-administration (SAQ) telefon Web CAPI - computer-assisted personal interviewing self-administration (SAQ) CASI - computer assisted self-interviewing (disk by mail, email, Web) ACASI - audio computer-assisted self-interviewing telefon CATI - computer-assisted telephone interview IVR (T-ACASI) - interactive voice responce (ACASI po telefonu) Web stupeň zapojení tazatele stupeň zajištění důvěrnosti komunikační kanály technologie Krejčí: Kvalita výběrových šetření, 16. 12. 2009

analýzy dopadů metody na chyby - marginální efekt metody výběr metody dopad na různé druhy chyb - kompromis cena analýzy dopadů metody na chyby - marginální efekt metody srovnání dvou možných metod - sada charakteristik - posouzení vzájemného efektu face-to-face vs. telefon je stejná opora? pokud ne, jak se liší pokrytí? stejní tazatelé? pokud ne, jak se liší zkušenost, výcvik, zatížení...? supervize? zpětné kontroly? výběr respondenta? stejný dotazník? vizuální pomůcky? předpokl. návratnost? dostupné metody zvyšování návratnosti? dostupné technologie? ... cena? Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Chyba respondenta: otázky a odpovědi v šetření různé typy respondentů - různý vztah k formulaci odpovědí standardizované interview (různé typy šetření)... ...záznamy v databázích (též je někdo pořídil, někdo musí umožnit přístup, poskytnout asistenci při získávání dat...) kognitivní proces odpovídání na otázky interpretace a pochopení otázky (Q: jednoduchost, jednoznačnost...) vyhledání relevantní informace v paměti (Q: různá námaha; podněty) posouzení a odhad - doplnění vyhledané i. sdělení odpovědi (nastavení formátu odpovědi, přiřazení odpovědi) kognitivní proces nemusí být úplný, pořadí není fixní, různé motivace zkratky, tendence souhlasit/nesouhlasit, různé sebeprezentace kontext dotazníku kognitivní proces před interview - zakódování zkušenosti v paměti zkušenosti s odpovídáním otázek (i v různých jiných kontextech) Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Problémy odpovědí problémy zakódování info v resp. paměti (uložená info neodp. realitě) dezinterpretace otázky čemu se v otázce vyhnout: gramatická nejednoznačnost, přílišná komplexnost, chybné předpoklady, vágní koncepty, vágní kvantifikace, neobvyklé/neznámé termíny, nesprávné vztahy zapomínání, problémy paměti termíny otázky neodpovídají termínům info zakódované v paměti, postupné zapomínání - postupné doplňování/reinterpretace události, neschopnost vyhledat včas informaci, chybná rekonstrukce informace chybné soudy a odhady typy ohadů: recall-and-count (pamatuje si hlavní události a jejich počet, doplňuje zbytek); rate-based (má představu o poměru v jakém se událost pobvykle vyskytuje); impression-based (vágní představa je převedena do čísla) problémy formátu odpovědi (otevřená/uspořádaná škála/kategorie; problém vyčíslení odhadu - kategorizace, problém pozitivních odchylek, problém pořadí kategorií) záměrná zkreslení (senzitivita otázky...) neschopnost řídit se instrukcemi Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Chyba tazatele různé role tazatele konstrukce opory (oblastní výběry...) realizace výběrové procedury (kvóta...) výběr respondenta (domácnosti...) získávání spolupráce interakce - definuje, co se od respondenta očekává - pomáhá mu osvojit si roli management dotazovacího procesu záznam odpovědi / editace přítomnost tazatele zdrojem odchýlení omezené sociálně nežádoucí výpovědi díky přítomnosti tazatele (vs. vyplnění dotazníku resp.) odlišnost odpovědí vzhledem k pozorovatelným charakteristikám respondenta ve vztahu k tématu odlišnost odpovědí ve vztahu ke zkušenosti tazatele Krejčí: Kvalita výběrových šetření, 16. 12. 2009

sociální charakteristiky - složení tazatelské sítě zkušenost tazatele vyšší návratnost vs. rutina ovlivnění otázek - nejasné dopady dopad odměňování tazatelů (návratnost vs. kvalita dotazování) rozptyl výkonů tazatelů (interviewer variance) - clusters měření - překryv vymezených oblastí tazatelských úkolů, náhodné přiřazování zásady profesionální jednání tazatele orientované na úkol, nikoliv osobní přesné čtení otázek; bez dodané vlastní interpretace vysvětlení výzkumu a procesu dotazování respondentovi povzbuzování pouze nepřímé záznam odpovědí bez interpretace, doplnění, změn... promyšlená formulace otázek s ohledem na tazatele minimalizace otázek, které vyžadují nestandardní chování tazatele Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Standardy kvality etika výzkumu standardy výzkumné struktury falzifikace, plagiátorství, vymyšlený výzkum, záměna výzkumu a ankety ... standardy výzkumné struktury tazatelská síť, vybavení... standardy metodiky minimální standard, dobrá/nejlepší praxe standardy vztahu výzkumník - klient na co má klient nárok standardy vztahu výzkumník - veřejnost push polls, prodej, fund raising, ..., standardy vztahu výzkumník - respondent informovaný souhlas, ochrana osobních údajů (statistical disclosure), obtěžování, ... Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Standardy kvality administrativní normy standardy profesních asociací ISO 9000/9001 ISO 20252 standardy profesních asociací SIMAR, www.simar.cz ESOMAR, www.esomar.org EFAMRO, www.efamro.org WAPOR, www.wapor.org AAPOR, www.aapor.org výzkumná komunita: metodologický výzkum, výzkum kvality Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Administrativní normy ISO 20252:2006 pro výzkum trhu, veřejného mínění a sociální výzkum co je zadavatel výzkumu oprávněn žádat od realizátora; co přesahuje pravidla vzájemných vztahů, etiky v jednotlivých etapách přípravy, realizace a prezentace výsledků výzkumu; co musí jednoznačně výzkum splnit; co musí zadavatel výzkumu poskytnout zpracovateli neřeší podrobnosti metodiky skupina ISO 9000: management kvality, resp. řízení jakosti (ČSN) v obchodních vztazích (business-to-business) TQM atest struktury řízení - schopnost dosahovat kvalitu, aplikace regulačních mechanismů, kontinuální zdokonalování definice dimenzí kvality, rozfázování procesu, pravidla, kontrolní body, ... opora zákazníkům na trhu pro posouzení kvality opora pro reklamace samoregulace oboru Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Klient má nárok na následující informace: Kodex ICC/ESOMAR, pravidlo 25: Výzkumník musí poskytnout klientovi všechny odpovídající technické podrobnosti o každém výzkumném projektu realizovaném pro klienta. Poznámky k aplikaci: Klient má nárok na následující informace: Pozadí výzkumu: pro koho je výzkum organizován; účel výzkumu; jména smluvních partnerů a konzultantů, kteří se výzkumu významně podíleli. Výběr: popis pokrytí populace (zamýšlené a dosažené); velikost, povaha a geografická distribuce vzorku (zamýšleného a dosaženého), informace pokud některá data byla získána jen od časti vzorku; podrobnosti o metodách výběru a vážení; pokud je to relevantní, údaje o návratnosti a diskuse mžných odchylek (bias). Sběr dat: popis metody sběru dat; popis tazatelské sítě, popis metod školení a kvalitativních kontrol při terénním sběru; metody rekrutace respondentů a charakter pobídek pro zajištění jejich spolupráce; kdy byl sběr dat proveden; případné zdroje informací mimo šetření a jejich předpokládaná reliabilita. Prezentace výsledků: relevantní faktická zjištění; základy výpočtu procent (vážených i nevážených); obecné indikace předpokládaných statistických chyb a úrovně statistické významnosti u hlavních výsledků; dotazník a další relevantní použité materiály. Krejčí: Kvalita výběrových šetření, 16. 12. 2009 Zdroj: ICC/ESOMAR [ESOMAR 1995, 2001].

Výzkumy a média největší uplatnění VVM je v médiích Ideál zprávy vs. výzkumná informace: téma: události  dopady, předpovědi pořádání permanentních kvazivoleb aktuálnost (jednoduchá metodika, rychlá analýza) limitovaný rozsah, široká srozumitelnost - jednoduchost objektivita zprávy: fakta (čísla) dopady: tabulka s procenty a komentářem na přední straně záměny aktuálních preferencí za předpovědi analýza občas uvnitř listu žurnalistika dostihových závodů Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Dva zdroje chyb výsledků šetření: metodiky a jejich implementace: producenti interpretace a použití dat (procenta nejsou žádný výzkum - nezbytná teorie - znalostní zázemí problematiky): producenti a sekundární zpracovatelé (novináři) Publikace v médiích - nejrozšířenější chyby jsou úplně banální Procenta nelze srovnávat jako absolutní četnosti. Je důležité jaká skupina tvoří celek 100 %. Preference automaticky nepředstavují volební prognózu. Zpětný dopad na kvalitu výzkumu: kvalitu v tržních podmínkách nelze trvale dosahovat, pokud na straně odběratelů chybí kompetence kvalitu rozlišit => nevzniká tlak na dosahování kvality produkce ESOMAR, WAPOR: publikace VVM v médiích problém pro celý obor sociálního výzkumu Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Co s tím? soutěž na trhu a informovaní odběratelé informací standardy: ESOMAR - specifický standard pro VVM pro producenty i novináře - odpovědný producent, ale i klient minimální standardy pro publikaci včetně publikace v médiích ESOMAR/WAPOR guide to opinion polls VVM a demokracie FAQ (jak poznat (ne-)kvalitu a manipulaci ve výzkumu) Pravidla pro publikaci výsledků Praktické aspekty realizace předvolebních výzkumů a exit-pollů Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Pravidla pro publikaci výsledků VVM (ESOMAR) - příklad Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Specifikace ustanovení Krejčí: Kvalita výběrových šetření, 16. 12. 2009

Příklady dalších ustanovení pro publikaci VVM Příklad ustanovení pro realizaci předvolebních VVM Krejčí: Kvalita výběrových šetření, 16. 12. 2009