Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Jak přistupovat ke kvalitě výběrových šetření Jindřich Krejčí Vybrané kapitoly z výzkumu veřejného mínění Kurz FSV UK, 16. 12. 2009 Sociologický datový.

Podobné prezentace


Prezentace na téma: "Jak přistupovat ke kvalitě výběrových šetření Jindřich Krejčí Vybrané kapitoly z výzkumu veřejného mínění Kurz FSV UK, 16. 12. 2009 Sociologický datový."— Transkript prezentace:

1 Jak přistupovat ke kvalitě výběrových šetření Jindřich Krejčí Vybrané kapitoly z výzkumu veřejného mínění Kurz FSV UK, Sociologický datový archiv Sociologický ústav AV ČR, v.v.i. Jilská 1, Praha 1 SDA: SOU:

2 Krejčí: Kvalita výběrových šetření, Obsah  Kvalita výběrových šetření  Přesnost vs. chyby šetření  Standardy výzkumu

3 Krejčí: Kvalita výběrových šetření, Kvalita - literatura  Biemer, P. P, L. E. Lyberg Introduction to Survey Quality. Hoboken: John Wiley & Sons.  Groves, R. M Survey Errors and Survey Costs. Hoboken: John Wiley & Sons.  Anderson, R., J. Kasper, M. Frankel (eds.) Total Survey Error. San Francisco: Jossey-Bass.  Lessler, J. T. and W. D. Kalsbeek Nonsampling Errors in Surveys. New York: John Wiley & Sons.  Lyberg, Lars, Paul Biemer, Martin Collins, Edith de Leeuw, Cathryn Dippo, Norbert Schwarz, and Dennis Trewin (eds.) Survey Measurement and Process Quality. New York: John Wiley & S.  Kaase, Max (ed.) Qualitätskrieterien der Umfrageforschung - Quality Criteria for Survey Research. Denkschrift Memorandum. Berlin: Akademie Verlag.

4 Krejčí: Kvalita výběrových šetření,  Groves, Robert "Research on Survey Data Quality". The Public Opinion Quarterly 51(2): S156 - S172. JSTORJSTOR  Soukup, Petr & Ladislav Rabušic „Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): Sociologický časopis/Czech Sociological Review 43 (2):  Krejčí, Jindřich Kvalita sociálněvědních výběrových šetření v České republice. Praha: SLON.

5 Krejčí: Kvalita výběrových šetření, Kvalita výběrových šetření  metoda výběrových šetření - mnoho oborů, mnoho účelů důraz na různé složky, mnoho přístupů, různé nároky  matematická statistika: přesnost - chyba; chyba výběrová (statistická) a nevýběrová  psychometrie: reliabilita a validita  realizátoři šetření vs. analytici  selektivní přístupy, komunikační bariéry (Blalock Jr.)  přeceňování statistické signifikance (Soukup, Rabušic) statistické dokazování vs. realizace šetření

6 Krejčí: Kvalita výběrových šetření, Kvalita provedení šetření hraje zásadní roli "kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tématického záběru nebo důležitosti, ale podle toho, jak mnoho pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat" Motto definic nejlepší praxe: ASA & AAPOR  komplexní přístupy ke kvalitě  vyvážená alokace zdrojů s ohledem na existenci nevýběrových chyb

7 Krejčí: Kvalita výběrových šetření, Komplexní přístup ke kvalitě  východisko: „fit to use“ přesnost je náročné a drahé měřit, v praxi se to moc nedělá změření chyby po skončení šetření má omezené dopady mechanický přístup ke kvalitě nevede ke zlepšování kvality koncentrace na odhady přesnosti vede k neefektivitě  vícedimenzionalita, přesnost jen jednou z dimenzí  problémům je třeba předcházet  kvalita produkce se dosahuje pomocí kvality procesu celkový management kvality (TQM)  efektivita: chyby vs. náklady  vývoj přístupu: model U.S. Census Bureau (Hansen a kol., 50. léta); institucionalizace: statistické úřady, normy a standardy, výzk. organizace

8 Krejčí: Kvalita výběrových šetření, Např. Eurostat  Relevance: jak statistika splňuje aktuální a potenciální požadavky uživatelů.  Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě.  Načasování a časová přesnost: časový rozdíl mezi událostí a informací o ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba.  Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k datům, a úroveň dokumentace a doplňujících informací včetně informací o kvalitě a dostupnosti odborné asistence.  Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na možnosti srovnání v čase, mezi geografickými oblastmi, mezi významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích.  Koherence: adekvátnost a hodnověrnost různých kombinací statistik a jejich využívání pro různé účely. EFEKTIVITA !

9 Krejčí: Kvalita výběrových šetření, Přesnost - opak chyby - chyby měření vs. chyby reprezentativity  měření konstrukt měření (otázka, pozorování) odpověď záznam, editace odpovědi  reprezentativita cílová populace opora výběru výběr respondent úpravy reprez. po sběru dat (imputace, vážení,...) chyby měření chyby zpracování chyby reprezentativity chyby pokrytí populace chyby výběru chyby non-response chyby úprav souboru

10 Krejčí: Kvalita výběrových šetření,

11 11

12 12 Chyba pokrytí populace  cílová populace: populace, ke které vztahujeme dokazování  populace šetření: populace, ke které se výzkum vztahuje reálně (nezahrnuje některé skupiny; např. určíme, že nezkoumáme institucionální populace, bezdomovce...)  opora výběru: seznam(-y) nebo sada materiálů a procedur (např. mapa, kartotéka...) použitých k identifikaci jednotek cílové populace  populace opory: populace skutečně zachycená v opoře  nezachycené jednotky, nežádoucí jednotky, duplikace, klastry  DOSTUPNOST VHODNÉ OPORY ! Cílová populace Populace opory nezahrnutá část populace nežádoucí jednotky populace zachycená ve výzkumu

13 Krejčí: Kvalita výběrových šetření,  př. opory: seznam oblastí, seznam adres domácností, seznam členů domácnosti -> komplexní design výběru  chyby pokrytí na všech úrovních, systematické chyby (problém mladých, znevýhodněné skupiny...)  nežádoucí jednotky identifikace až při pokusu o kontakt: problém s výběrem - odhad a navýšení výběru?; snížení efektivity  chyba pokrytí populace: rozdíl mezi hodnotou cílové populace a populace opory  obecná populace v ČR - domácnosti a jednotlivci databáze adres plátců (INKASO) výběr oblastí - soupis domácností databáze adres budov náhodná procházka

14 Krejčí: Kvalita výběrových šetření, Chyba výběrová  Kish, L Survey Sampling. NY: John Wiley.  výběrový design: podmínka statistického dokazování  pravděpodobnostní výběr známá nenulová šance pro každou jednotku v populaci opory pravděpodobnosti nemusí být stejné odhad charakteristik populace opory se známou velikostí standardní chyby  různé realizace výběru, výběrový rozptyl, standardní chyba, konfidenční interval  design výběru - postup výběru jak velký je výběr? jaké jsou pravděpodobnosti výběru? jsou jednotky vybírány navzájem nezávisle nebo ve skupinách? je kontrolováno zastoupení některých skupin (stratifikace)?

15 Krejčí: Kvalita výběrových šetření,  prostý náhodný výběr pravděpodobnosti výběru všechny stejné (pokud je populace dost velká ve srovnání s výběrem) std. chyba závisí na 1) velikosti výběru a 2) rozptylu hodnot obv. východisko pro statistické dokazování  realita: minimum prostých náhodných výběrů  efekt designu: poměr výběrového rozptylu statistiky získané určitým konkrétním výběrovým postupem a rozptylu, který bychom pro danou statistiku získali za použití prostého náhodného výběru  skupinový výběr (cluster sampling) opora zákl. jednotek není k dispozici nebo redukce nákladů (cestovních) předpokl. větší homogenity uvnitř skupinek => větší std. chyba efekt skupinového výběru: čím větší heterogenita mezi skupinkami, tím větší homogenita uvnitř co se nového dozvíme, když přidáme do výběru další jednotku ze skupiny? průměrná vnitroskupinová korelace (intraclass correlation; tendence hodnot proměnné korelovat uvnitř skupiny ve srovnání s ostatními skupinami) -> poměr homogenity -> designový efekt

16 Krejčí: Kvalita výběrových šetření,  stratifikovaný výběr zajištění reprezentace zvolených podskupin (exkluzivita strat, znalost členství jednotek a váhy strata) pravděpodobnosti v rámci strat - designové váhy různé velikosti strat, různý rozptyl v rámci strat, různé výsledné hodnoty designový efekt závisí na velikosti výběru v rámci strat, pokud jsou dost velká zpravidla se designový efekt a std. chyba sníží  systematický výběr jednodušší implementace stratifikace seřazená opora, náhodný počátek, interval  efektivní velikost výběru cíl dosáhnout urč, přesnost - std. chyba nepřekročí určitou hodnotu designový efekt ef. vel. výb. = velikost prostého náhodného výběru s jakou by se dosáhlo stejného výběrového rozptylu jako je u aktuálního designu (n eff = 200 / 3,13 = 64) jak má být za daného výběrového postupu velký výběr, abychom dosáhly stejného výběrového rozptylu jako u prostého náhodného výběru

17 Krejčí: Kvalita výběrových šetření, Chyba výpadků návratnosti (non-response error)  unit nonresponse / item nonresponse  dotazníky nezařazené do zpracování nekontaktování odmítnutí neschopnost odpovídat na šetření (nemoc, mentální úroveň, jazyk...) jiné důvody (organizace, administrace šetření)  podíl participujících jednotek z platných jednotek ve výběru = podíl dostatečně kompletních interview se zpravodajskými jednotkami zařazených do zpracování a počtu platných zpravodajských jednotek ve výběru platnost je vztažena ke členství jednotek v populaci opory výběru, vyloučeny např. chybné adresy, jednot. mimo výběr (chyby opory)  sledování - standardy (AAPOR)

18 Krejčí: Kvalita výběrových šetření,

19 19 Nonresponse error a statistické dokazování  dopad na odchylky a na rozptyl odhadů  nespolehlivost odhadů přesnosti měření  pouze teoretická možnost stanovit velikost chyby  odmítání participace není stabilní vlastnost - neexistuje skupina permanentních nerespondentů  náchylnost/pravděpodobnost stát/nestát se respondentem  různé druhy neparticipace jsou různě korelovány s různými proměnnými - chyba není stabilní pro celé šetření  jsou-li zjišťované hodnoty stejné u respondentů a nerespondentů, míra návratnosti nehraje roli  nízká návratnost neznamená automaticky velkou chybu; zvýšení návratnosti neznamená snížení chyby (chybná metodika zvětší chybu)  analýza vztahů k různým prom., závislost na tématu, nelze generalizovat

20 Krejčí: Kvalita výběrových šetření,  imputace, vážení  techniky zvyšování návratnosti: strategie vysvětlení účelu a prospěšnosti výzkumu, rozesílání kontaktních dopisů předem, zajištění maximální důvěryhodnosti výzkumné agentury a jejích tazatelů, techniky odvracení odmítnutí, peněžní a nepeněžní odměny respondentům (pobídky, incentivy), vhodně zvolená náročnost tazatelských úkolů, vyšší počet pokusů o kontakt, strategie v načasování, sběru dat a pokusů o kontakt s ohledem na životní styly potenciálních respondentů, konstrukce dotazníků s ohledem na zatížení respondentů a předpokládanou zajímavost jednotlivých témat výzkumu, výběr tazatelů a způsoby jejich vyškolení, použití více modů dotazování, vhodné strategie odměňování tazatelů, průběžné vyhodnocování úspěšnosti sběru dat a následná opatření, jako je zadávání méně striktních odmítnutí k dotazování jiným tazatelům, použití vhodných metod sběru dat, případně jejich kombinací atp.  teorie racionální volby, teorie sociální směny, teorie sociálního vyloučení...  Leverage-salience theory (Groves, Singer, Corning) různé osoby - různou (pozitivní/negativní) váhu různým charakteristikám šetření (délka rozhovoru, pobídky, sponzor, účel výzkumu...) lidé mají různé (různě strukturované) důvody pro souhlas/odmítnutí, které nejsou jednoduše postihnutelné -> postup tazatelů, jak odhalit priority respondentů -> různý důraz na různé charakteristiky výzkumu  komplexní strategie - snižování celkové chyby

21 Krejčí: Kvalita výběrových šetření, Trendy

22 Krejčí: Kvalita výběrových šetření, non-response v ČR: akademická šetření

23 Krejčí: Kvalita výběrových šetření,

24 24

25 25

26 26 ESS II.

27 Krejčí: Kvalita výběrových šetření, Metody sběru dat  face-to-face CAPI - computer-assisted personal interviewing  self-administration (SAQ) CASI - computer assisted self-interviewing (disk by mail, , Web) ACASI - audio computer-assisted self-interviewing  telefon CATI - computer-assisted telephone interview IVR (T-ACASI) - interactive voice responce (ACASI po telefonu)  Web  stupeň zapojení tazatele  stupeň zajištění důvěrnosti  komunikační kanály  technologie

28 Krejčí: Kvalita výběrových šetření,  výběr metody dopad na různé druhy chyb - kompromis cena  analýzy dopadů metody na chyby - marginální efekt metody srovnání dvou možných metod - sada charakteristik - posouzení vzájemného efektu face-to-face vs. telefon je stejná opora? pokud ne, jak se liší pokrytí? stejní tazatelé? pokud ne, jak se liší zkušenost, výcvik, zatížení...? supervize? zpětné kontroly? výběr respondenta? stejný dotazník? vizuální pomůcky? předpokl. návratnost? dostupné metody zvyšování návratnosti? dostupné technologie?... cena?

29 Krejčí: Kvalita výběrových šetření, Chyba respondenta: otázky a odpovědi v šetření  různé typy respondentů - různý vztah k formulaci odpovědí standardizované interview (různé typy šetření)......záznamy v databázích (též je někdo pořídil, někdo musí umožnit přístup, poskytnout asistenci při získávání dat...)  kognitivní proces odpovídání na otázky interpretace a pochopení otázky (Q: jednoduchost, jednoznačnost...) vyhledání relevantní informace v paměti (Q: různá námaha; podněty) posouzení a odhad - doplnění vyhledané i. sdělení odpovědi (nastavení formátu odpovědi, přiřazení odpovědi)  kognitivní proces nemusí být úplný, pořadí není fixní, různé motivace zkratky, tendence souhlasit/nesouhlasit, různé sebeprezentace  kontext dotazníku  kognitivní proces před interview - zakódování zkušenosti v paměti  zkušenosti s odpovídáním otázek (i v různých jiných kontextech)

30 Krejčí: Kvalita výběrových šetření, Problémy odpovědí  problémy zakódování info v resp. paměti (uložená info neodp. realitě)  dezinterpretace otázky čemu se v otázce vyhnout: gramatická nejednoznačnost, přílišná komplexnost, chybné předpoklady, vágní koncepty, vágní kvantifikace, neobvyklé/neznámé termíny, nesprávné vztahy  zapomínání, problémy paměti termíny otázky neodpovídají termínům info zakódované v paměti, postupné zapomínání - postupné doplňování/reinterpretace události, neschopnost vyhledat včas informaci, chybná rekonstrukce informace  chybné soudy a odhady typy ohadů: recall-and-count (pamatuje si hlavní události a jejich počet, doplňuje zbytek); rate-based (má představu o poměru v jakém se událost pobvykle vyskytuje); impression-based (vágní představa je převedena do čísla)  problémy formátu odpovědi (otevřená/uspořádaná škála/kategorie; problém vyčíslení odhadu - kategorizace, problém pozitivních odchylek, problém pořadí kategorií)  záměrná zkreslení (senzitivita otázky...)  neschopnost řídit se instrukcemi

31 Krejčí: Kvalita výběrových šetření, Chyba tazatele  různé role tazatele konstrukce opory (oblastní výběry...) realizace výběrové procedury (kvóta...) výběr respondenta (domácnosti...) získávání spolupráce interakce - definuje, co se od respondenta očekává - pomáhá mu osvojit si roli management dotazovacího procesu záznam odpovědi / editace  přítomnost tazatele zdrojem odchýlení omezené sociálně nežádoucí výpovědi díky přítomnosti tazatele (vs. vyplnění dotazníku resp.) odlišnost odpovědí vzhledem k pozorovatelným charakteristikám respondenta ve vztahu k tématu odlišnost odpovědí ve vztahu ke zkušenosti tazatele

32 Krejčí: Kvalita výběrových šetření,  sociální charakteristiky - složení tazatelské sítě  zkušenost tazatele vyšší návratnost vs. rutina ovlivnění otázek - nejasné dopady  dopad odměňování tazatelů (návratnost vs. kvalita dotazování)  rozptyl výkonů tazatelů (interviewer variance) - clusters měření - překryv vymezených oblastí tazatelských úkolů, náhodné přiřazování  zásady profesionální jednání tazatele orientované na úkol, nikoliv osobní přesné čtení otázek; bez dodané vlastní interpretace vysvětlení výzkumu a procesu dotazování respondentovi povzbuzování pouze nepřímé záznam odpovědí bez interpretace, doplnění, změn... promyšlená formulace otázek s ohledem na tazatele minimalizace otázek, které vyžadují nestandardní chování tazatele

33 Krejčí: Kvalita výběrových šetření, Standardy kvality  etika výzkumu falzifikace, plagiátorství, vymyšlený výzkum, záměna výzkumu a ankety...  standardy výzkumné struktury tazatelská síť, vybavení...  standardy metodiky minimální standard, dobrá/nejlepší praxe  standardy vztahu výzkumník - klient na co má klient nárok  standardy vztahu výzkumník - veřejnost push polls, prodej, fund raising,...,  standardy vztahu výzkumník - respondent informovaný souhlas, ochrana osobních údajů (statistical disclosure), obtěžování,...

34 Krejčí: Kvalita výběrových šetření, Standardy kvality  administrativní normy ISO 9000/9001 ISO  standardy profesních asociací SIMAR, ESOMAR, EFAMRO, WAPOR, AAPOR,  výzkumná komunita: metodologický výzkum, výzkum kvality

35 Krejčí: Kvalita výběrových šetření, Administrativní normy  ISO 20252:2006 pro výzkum trhu, veřejného mínění a sociální výzkum co je zadavatel výzkumu oprávněn žádat od realizátora; co přesahuje pravidla vzájemných vztahů, etiky v jednotlivých etapách přípravy, realizace a prezentace výsledků výzkumu; co musí jednoznačně výzkum splnit; co musí zadavatel výzkumu poskytnout zpracovateli neřeší podrobnosti metodiky  skupina ISO 9000: management kvality, resp. řízení jakosti (ČSN) v obchodních vztazích (business-to-business) TQM atest struktury řízení - schopnost dosahovat kvalitu, aplikace regulačních mechanismů, kontinuální zdokonalování definice dimenzí kvality, rozfázování procesu, pravidla, kontrolní body,...  opora zákazníkům na trhu pro posouzení kvality  opora pro reklamace  samoregulace oboru

36 Krejčí: Kvalita výběrových šetření, Kodex ICC/ESOMAR, pravidlo 25: Výzkumník musí poskytnout klientovi všechny odpovídající technické podrobnosti o každém výzkumném projektu realizovaném pro klienta. Poznámky k aplikaci: Klient má nárok na následující informace: 1)Pozadí výzkumu: pro koho je výzkum organizován; účel výzkumu; jména smluvních partnerů a konzultantů, kteří se výzkumu významně podíleli. 2)Výběr: popis pokrytí populace (zamýšlené a dosažené); velikost, povaha a geografická distribuce vzorku (zamýšleného a dosaženého), informace pokud některá data byla získána jen od časti vzorku; podrobnosti o metodách výběru a vážení; pokud je to relevantní, údaje o návratnosti a diskuse mžných odchylek (bias). 3)Sběr dat: popis metody sběru dat; popis tazatelské sítě, popis metod školení a kvalitativních kontrol při terénním sběru; metody rekrutace respondentů a charakter pobídek pro zajištění jejich spolupráce; kdy byl sběr dat proveden; případné zdroje informací mimo šetření a jejich předpokládaná reliabilita. 4)Prezentace výsledků: relevantní faktická zjištění; základy výpočtu procent (vážených i nevážených); obecné indikace předpokládaných statistických chyb a úrovně statistické významnosti u hlavních výsledků; dotazník a další relevantní použité materiály. Zdroj: ICC/ESOMAR [ESOMAR 1995, 2001].

37 Krejčí: Kvalita výběrových šetření, Výzkumy a média  největší uplatnění VVM je v médiích Ideál zprávy vs. výzkumná informace:  téma: události  dopady, předpovědi pořádání permanentních kvazivoleb  aktuálnost (jednoduchá metodika, rychlá analýza)  limitovaný rozsah, široká srozumitelnost - jednoduchost  objektivita zprávy: fakta (čísla)  dopady: tabulka s procenty a komentářem na přední straně záměny aktuálních preferencí za předpovědi analýza občas uvnitř listu  žurnalistika dostihových závodů

38 Krejčí: Kvalita výběrových šetření,  Dva zdroje chyb výsledků šetření: metodiky a jejich implementace: producenti interpretace a použití dat (procenta nejsou žádný výzkum - nezbytná teorie - znalostní zázemí problematiky): producenti a sekundární zpracovatelé (novináři)  Publikace v médiích - nejrozšířenější chyby jsou úplně banální Procenta nelze srovnávat jako absolutní četnosti. Je důležité jaká skupina tvoří celek 100 %. Preference automaticky nepředstavují volební prognózu.  Zpětný dopad na kvalitu výzkumu: kvalitu v tržních podmínkách nelze trvale dosahovat, pokud na straně odběratelů chybí kompetence kvalitu rozlišit => nevzniká tlak na dosahování kvality produkce  ESOMAR, WAPOR: publikace VVM v médiích problém pro celý obor sociálního výzkumu

39 Krejčí: Kvalita výběrových šetření, Co s tím?  soutěž na trhu a informovaní odběratelé informací  standardy: ESOMAR - specifický standard pro VVM pro producenty i novináře - odpovědný producent, ale i klient  minimální standardy pro publikaci včetně publikace v médiích ESOMAR/WAPOR guide to opinion polls  VVM a demokracie  FAQ (jak poznat (ne-)kvalitu a manipulaci ve výzkumu)  Pravidla pro publikaci výsledků  Praktické aspekty realizace předvolebních výzkumů a exit-pollů

40 Krejčí: Kvalita výběrových šetření, Pravidla pro publikaci výsledků VVM (ESOMAR) - příklad

41 Krejčí: Kvalita výběrových šetření, Specifikace ustanovení

42 Krejčí: Kvalita výběrových šetření, Příklady dalších ustanovení pro publikaci VVM Příklad ustanovení pro realizaci předvolebních VVM


Stáhnout ppt "Jak přistupovat ke kvalitě výběrových šetření Jindřich Krejčí Vybrané kapitoly z výzkumu veřejného mínění Kurz FSV UK, 16. 12. 2009 Sociologický datový."

Podobné prezentace


Reklamy Google