ISS Chyby měření Management sociálních dat a datové archivy Jindřich Krejčí.

Prezentace na téma: "ISS Chyby měření Management sociálních dat a datové archivy Jindřich Krejčí."— Transkript prezentace:

1 ISS Chyby měření Management sociálních dat a datové archivy Jindřich Krejčí

2 ISS Management dat Str. 2 Metody sběru dat  stupeň zapojení tazatele  stupeň zajištění důvěrnosti  komunikační kanály  technologie  náklady  face-to-face CAPI - computer-assisted personal interviewing  self-administration (SAQ) CASI - computer assisted self-interviewing (disk by mail, email, Web) ACASI - audio computer-assisted self-interviewing  telefon CATI - computer-assisted telephone interview IVR (T-ACASI) - interactive voice responce (ACASI po telefonu)  Web

3 ISS Management dat Str. 3  výběr metody dopad na různé druhy chyb - kompromis cena  analýzy dopadů metody na chyby - literatura  marginální efekt metody srovnání dvou možných metod - sada charakteristik - posouzení vzájemného efektu face-to-face vs. telefon je stejná opora? pokud ne, jak se liší pokrytí? stejní tazatelé? pokud ne, jak se liší zkušenost, výcvik, zatížení...? supervize? zpětné kontroly? výběr respondenta? stejný dotazník? vizuální pomůcky? předpokl. návratnost? dostupné metody zvyšování návratnosti? dostupné technologie?... cena?

4 ISS Management dat Str. 4  opora metoda (dostupnost opor, cena) face-to-face: oblastní výběr - clustry (designový efekt) telefon: tel. seznamy, RDD (chyba pokrytí, návratnost...)  pokrytí face-to-face - zlatý standard (?) telefon? (skoro celá populace vs. vhodná opora) internet? (pokrytí? opora? seznamy adres/emailů nejsou a nejsou standardizované,...)  návratnost (unit, item) role tazatele (též porozumění otázkám), kredibilita, unit n-r.: face-to-face obecně vyšší než self-adm. (unit, item) / senzitivita tématu a otázek telefon - nejednozn. u odmítnutí (způsob); nekontaktování a jiné druhy výpadků - nejednoznačné výsledky pro item non-response internet - schopnost odpovídat  kombinace metod různí respondenti různě/různé kroky šetření různě/různé komponenty různě snížení ceny (první pokus poštou, pak telefonem, pak přijde tazatel) snížení náročnosti šetření maximalizace návratnosti (resp. si vybere, co mu vyhovuje - různí resp. různě) dostupnost opor náročnost otázek

5 ISS Management dat Str. 5 Chyba respondenta: otázky a odpovědi v šetření  různé typy respondentů - různý vztah k formulaci odpovědí standardizované interview (různé typy šetření)......záznamy v databázích (též je někdo pořídil, někdo musí umožnit přístup, poskytnout asistenci při získávání dat...)  kognitivní proces odpovídání na otázky interpretace a pochopení otázky (Q: jednoduchost, jednoznačnost...) vyhledání relevantní informace v paměti (Q: různá námaha; podněty) posouzení a odhad - doplnění vyhledané i. sdělení odpovědi (nastavení formátu odpovědi, přiřazení odpovědi)  kognitivní proces nemusí být úplný, pořadí není fixní, různé motivace zkratky, tendence souhlasit/nesouhlasit, různé sebeprezentace uspokojivá / optimální odpověď (Krosnick & Alwin: low road/high road)  kontext dotazníku  kognitivní proces před interview - zakódování zkušenosti v paměti  zkušenosti s odpovídáním otázek (i v různých jiných kontextech)

6 ISS Management dat Str. 6 Problémy odpovědí  problémy zakódování info v resp. paměti (uložená info neodp. realitě)  dezinterpretace otázky čemu se v otázce vyhnout: gramatická nejednoznačnost, přílišná komplexnost, chybné předpoklady, vágní koncepty, vágní kvantifikace, neobvyklé/neznámé termíny, nesprávné vztahy  zapomínání, problémy paměti termíny otázky neodpovídají termínům info zakódované v paměti, postupné zapomínání - postupné doplňování/reinterpretace události, neschopnost vyhledat včas informaci, chybná rekonstrukce informace  chybné soudy a odhady typy ohadů: recall-and-count (pamatuje si hlavní události a jejich počet, doplňuje zbytek); rate-based (má představu o poměru v jakém se událost pobvykle vyskytuje); impression-based (vágní představa je převedena do čísla)  problémy formátu odpovědi (otevřená/uspořádaná škála/kategorie; problém vyčíslení odhadu - kategorizace, problém pozitivních odchylek, problém pořadí kategorií)  záměrná zkreslení (senzitivita otázky...)  neschopnost řídit se instrukcemi

7 ISS Management dat Str. 7 Umění ptát se - rady podle Grovese et al.  otázky o chování v uzavřených otázkách vyjmenujte maximum relevantních odpovědí otázky mají být konkrétní používejte termíny, kterým rozumí „všichni“ respondenti doplňujte otázky pobídkami, které podpoří vzpomínání pokud předpokládáte problém se zapomínáním, dotazujte pomocí více otázek na podkategorie pokud se ptáte na časté události, pro resp. málo významné, nechte resp. sestavit časový snímek pokud dotazujete dlouhá období, nechte resp. sestavit historii pokud potřebujete přesně datovat (panelové šetř.) - odkažte resp. na jeho rodinné záznamy/připomeňte odpovědi z předchozí vlny zvažte jiné zdroje informace

8 ISS Management dat Str. 8  senzitivní otázky o chování otevřené otázky pro zjišťování frekvence spíše dlouhé než krátké otázky senzitivní chování popisujte běžnými výrazy (nikoliv odborné) směřujte formulaci k sociálně problematické verzi odpovědi (všichni to dělají, odborníci předpokládají, jsou důvody k...) zařaďte senzitivní otázku mezi jiné senzitivní (ještě horší) dotazujte dlouhá časová období upřednostněte „self-administration“ (též metody náhodně zvol. otázky - tazatel neví, na co resp. odpovídá) zvažte shromáždění dat pomocí deníčku na konci dotazníku zkuste změřit jak senzitivní je téma pro respondenta shromažďujte data pro validizaci odpovědí

9 ISS Management dat Str. 9  postojové otázky přesně specifikovat objekt postoje vyvarovat se dvojitých otázek měřit sílu postoje, třeba i více položkami pokud nedojde ke ztrátě informace používejte bipolární položky alternativy zmíněné v otázce mají velký dopad na odpověď - opatrnost pro časové srovnání opakujte přesná znění otázek obecnější otázky k tématu řaďte před konkrétní sada položek: méně populární položky řaďte napřed používejte raději uzavřené otázky upřednostněte 5 až 7 odp. škály a označte všechny odpovědi odp. škály začínejte méně populární odpovědí pro delší odp. škály používejte analogie (teploměr 1-100 0 C), zakotvit škálu nechte respondenta řadit položky, jen když může vidět všechny najednou, jinak používejte párová srovnání nechte zhodnotit všechny položky, nepoužívejte „check-all-that-apply“

10 ISS Management dat Str. 10 Evaluace otázek  standardy otázek: obsah: ptáme se na to, co je potřeba? kognitivní aspekty: mají resp. k dispozici všechny informace pro porozumění?, je porozumění konzistentní?, jsou schopni a ochotni formulovat odpovědi? použitelnost: odpovídající náročnost, koherence se záměry  metody expertní posouzení focus groups (identifikace problémů s porozuměním, nekonzistence, nejednoznačnost konceptů, (ne)schopnost odpovídat) kognitivní rozhovory psych. metody - přemýšlet nahlas, retrospektivní rekonstrukce procesu odpovídání, klasifikace důvěry ve vlastní odpovědi, prafráze odpovědi, definice termínů v odpovědích, zodpovídání následných otázek pretest v terénu kvantitativní informace - analýza, zhodnocení chování... kódování-klasifikace interakce mezi tazatelem a resp.=> kvantitativní info (5 interview s přesným zněním otázky, % interview s požadavkem upřesnění, % interv., kde resp. napoprvé odpověděl chybně...) experimenty => validita, reliabilita

11 ISS Management dat Str. 11 Chyba tazatele  různé role tazatele konstrukce opory (oblastní výběry...) realizace výběrové procedury (kvóta...) výběr respondenta (domácnosti...) získávání spolupráce interakce - definuje, co se od respondenta očekává - pomáhá mu osvojit si roli management dotazovacího procesu záznam odpovědi / editace  přítomnost tazatele zdrojem odchýlení omezené sociálně nežádoucí výpovědi díky přítomnosti tazatele (vs. vyplnění dotazníku resp.) odlišnost odpovědí vzhledem k pozorovatelným charakteristikám respondenta ve vztahu k tématu odlišnost odpovědí ve vztahu ke zkušenosti tazatele

12 ISS Management dat Str. 12  sociální charakteristiky - složení tazatelské sítě  zkušenost tazatele vyšší návratnost vs. rutina ovlivnění otázek - nejasné dopady  dopad odměňování tazatelů (návratnost vs. kvalita dotazování)  rozptyl výkonů tazatelů (interviewer variance) - clusters měření - překryv vymezených oblastí tazatelských úkolů, náhodné přiřazování  zásady profesionální jednání tazatele orientované na úkol, nikoliv osobní přesné čtení otázek; bez dodané vlastní interpretace vysvětlení výzkumu a procesu dotazování respondentovi povzbuzování pouze nepřímé záznam odpovědí bez interpretace, doplnění, změn... promyšlená formulace otázek s ohledem na tazatele minimalizace otázek, které vyžadují nestandardní chování tazatele

13 ISS Management dat Str. 13  rozdíly ve statusu resp. a tazatele - rozdílné reakce  response rate vs. bias motivace respondenta osobní vs. formální přístup  zásady tazatel nemá vyjadřovat vlastní názory tazatel nemá uvádět osobní informace, které ukazují na jeho možné postoje navázání osobního kontaktu krátkými diskusemi o neutrálních tématech  klíčová role pochopení role respondentem standardizace otázek a procesů flexibilita tazatele školení tazatelů, jak reagovat  management tazatelské sítě výběr tazatelů školení tazatelů kontrola tazatelů vymezení tazatelských úkolů