Management sociálních dat a datové archivy Jindřich Krejčí Chyby měření

Metody sběru dat stupeň zapojení tazatele stupeň zajištění důvěrnosti komunikační kanály technologie náklady face-to-face CAPI - computer-assisted personal interviewing self-administration (SAQ) CASI - computer assisted self-interviewing (disk by mail, email, Web) ACASI - audio computer-assisted self-interviewing telefon CATI - computer-assisted telephone interview IVR (T-ACASI) - interactive voice responce (ACASI po telefonu) Web Management dat

analýzy dopadů metody na chyby - literatura marginální efekt metody výběr metody dopad na různé druhy chyb - kompromis cena analýzy dopadů metody na chyby - literatura marginální efekt metody srovnání dvou možných metod - sada charakteristik - posouzení vzájemného efektu face-to-face vs. telefon je stejná opora? pokud ne, jak se liší pokrytí? stejní tazatelé? pokud ne, jak se liší zkušenost, výcvik, zatížení...? supervize? zpětné kontroly? výběr respondenta? stejný dotazník? vizuální pomůcky? předpokl. návratnost? dostupné metody zvyšování návratnosti? dostupné technologie? ... cena? Management dat

opora <-> metoda (dostupnost opor, cena) face-to-face: oblastní výběr - clustry (designový efekt) telefon: tel. seznamy, RDD (chyba pokrytí, návratnost...) pokrytí face-to-face - zlatý standard (?) telefon? (skoro celá populace vs. vhodná opora) internet? (pokrytí? opora? seznamy adres/emailů nejsou a nejsou standardizované,...) návratnost (unit, item) role tazatele (též porozumění otázkám), kredibilita, unit n-r.: face-to-face obecně vyšší než self-adm. (unit, item) / senzitivita tématu a otázek telefon - nejednozn. u odmítnutí (způsob); nekontaktování a jiné druhy výpadků - nejednoznačné výsledky pro item non-response internet - schopnost odpovídat kombinace metod různí respondenti různě/různé kroky šetření různě/různé komponenty různě snížení ceny (první pokus poštou, pak telefonem, pak přijde tazatel) snížení náročnosti šetření maximalizace návratnosti (resp. si vybere, co mu vyhovuje - různí resp. různě) dostupnost opor náročnost otázek Management dat

Chyba tazatele standardy (ESOMAR, SIMAR...) různé role tazatele konstrukce opory (oblastní výběry...) realizace výběrové procedury (výběr resp. v domácnosti, kvóta...) získávání spolupráce interakce - definuje, co se od respondenta očekává - pomáhá mu osvojit si roli management dotazovacího procesu záznam odpovědi / editace přítomnost tazatele zdrojem odchýlení omezené sociálně nežádoucí výpovědi díky přítomnosti tazatele (vs. vyplnění dotazníku resp.) odlišnost odpovědí vzhledem k pozorovatelným charakteristikám respondenta ve vztahu k tématu odlišnost odpovědí ve vztahu ke zkušenosti tazatele Management dat

interviewer effect (analýza) rozptyl výkonů tazatelů (interviewer variance) - clusters měření - překryv vymezených oblastí tazatelských úkolů, náhodné přiřazování sociální charakteristiky - složení tazatelské sítě zatížení tazatelské sítě školení tazatelské sítě zkušenost tazatele vyšší návratnost vs. rutina ovlivnění otázek - nejasné dopady rozmístění tazatelské sítě, kapacita dopad odměňování tazatelů (návratnost vs. kvalita dotazování) kontrola Management dat

zásady profesionální jednání tazatele orientované na úkol, nikoliv osobní přesné čtení otázek; bez dodané vlastní interpretace vysvětlení výzkumu a procesu dotazování respondentovi povzbuzování pouze nepřímé záznam odpovědí bez interpretace, doplnění, změn... promyšlená formulace otázek s ohledem na tazatele minimalizace otázek, které vyžadují nestandardní chování tazatele Management dat

rozdíly ve statusu resp. a tazatele - rozdílné reakce response rate vs. bias motivace respondenta osobní vs. formální přístup zásady tazatel nemá vyjadřovat vlastní názory tazatel nemá uvádět osobní informace, které ukazují na jeho možné postoje navázání osobního kontaktu krátkými diskusemi o neutrálních tématech klíčová role pochopení role respondentem standardizace otázek a procesů flexibilita tazatele školení tazatelů, jak reagovat management tazatelské sítě výběr tazatelů školení tazatelů kontrola tazatelů vymezení tazatelských úkolů Management dat

Chyba respondenta: otázky a odpovědi v šetření různé typy respondentů - různý vztah k formulaci odpovědí standardizované interview (různé typy šetření)... ...záznamy v databázích (též je někdo pořídil, někdo musí umožnit přístup, poskytnout asistenci při získávání dat...) kognitivní proces odpovídání na otázky interpretace a pochopení otázky (Q: jednoduchost, jednoznačnost...) vyhledání relevantní informace v paměti (Q: různá námaha; podněty) posouzení a odhad - doplnění vyhledané i. sdělení odpovědi (nastavení formátu odpovědi, přiřazení odpovědi) kognitivní proces nemusí být úplný, pořadí není fixní, různé motivace zkratky, tendence souhlasit/nesouhlasit, různé sebeprezentace uspokojivá / optimální odpověď (Krosnick & Alwin: low road/high road) kontext dotazníku kognitivní proces před interview - zakódování zkušenosti v paměti zkušenosti s odpovídáním otázek (i v různých jiných kontextech) Management dat

Problémy odpovědí problémy zakódování info v resp. paměti (uložená info neodp. realitě) dezinterpretace otázky čemu se v otázce vyhnout: gramatická nejednoznačnost, přílišná komplexnost, chybné předpoklady, vágní koncepty, vágní kvantifikace, neobvyklé/neznámé termíny, nesprávné vztahy zapomínání, problémy paměti termíny otázky neodpovídají termínům info zakódované v paměti, postupné zapomínání - postupné doplňování/reinterpretace události, neschopnost vyhledat včas informaci, chybná rekonstrukce informace chybné soudy a odhady typy ohadů: recall-and-count (pamatuje si hlavní události a jejich počet, doplňuje zbytek); rate-based (má představu o poměru v jakém se událost pobvykle vyskytuje); impression-based (vágní představa je převedena do čísla) problémy formátu odpovědi (otevřená/uspořádaná škála/kategorie; problém vyčíslení odhadu - kategorizace, problém pozitivních odchylek, problém pořadí kategorií) záměrná zkreslení (senzitivita otázky...) neschopnost řídit se instrukcemi Management dat

Umění ptát se - rady podle Grovese et al. otázky o chování v uzavřených otázkách vyjmenujte maximum relevantních odpovědí otázky mají být konkrétní používejte termíny, kterým rozumí „všichni“ respondenti doplňujte otázky pobídkami, které podpoří vzpomínání pokud předpokládáte problém se zapomínáním, dotazujte pomocí více otázek na podkategorie pokud se ptáte na časté události, pro resp. málo významné, nechte resp. sestavit časový snímek pokud dotazujete dlouhá období, nechte resp. sestavit historii pokud potřebujete přesně datovat (panelové šetř.) - odkažte resp. na jeho rodinné záznamy/připomeňte odpovědi z předchozí vlny zvažte jiné zdroje informace Management dat

senzitivní otázky o chování otevřené otázky pro zjišťování frekvence spíše dlouhé než krátké otázky senzitivní chování popisujte běžnými výrazy (nikoliv odborné) směřujte formulaci k sociálně problematické verzi odpovědi (všichni to dělají, odborníci předpokládají, jsou důvody k...) zařaďte senzitivní otázku mezi jiné senzitivní (ještě horší) dotazujte dlouhá časová období upřednostněte „self-administration“ (též metody náhodně zvol. otázky - tazatel neví, na co resp. odpovídá) zvažte shromáždění dat pomocí deníčku na konci dotazníku zkuste změřit jak senzitivní je téma pro respondenta shromažďujte data pro validizaci odpovědí Management dat

postojové otázky přesně specifikovat objekt postoje vyvarovat se dvojitých otázek měřit sílu postoje, třeba i více položkami pokud nedojde ke ztrátě informace používejte bipolární položky alternativy zmíněné v otázce mají velký dopad na odpověď - opatrnost pro časové srovnání opakujte přesná znění otázek obecnější otázky k tématu řaďte před konkrétní sada položek: méně populární položky řaďte napřed používejte raději uzavřené otázky upřednostněte 5 až 7 odp. škály a označte všechny odpovědi odp. škály začínejte méně populární odpovědí pro delší odp. škály používejte analogie (teploměr 1-1000C), zakotvit škálu nechte respondenta řadit položky, jen když může vidět všechny najednou, jinak používejte párová srovnání nechte zhodnotit všechny položky, nepoužívejte „check-all-that-apply“ Management dat

Evaluace otázek standardy otázek: metody => validita, reliabilita obsah: ptáme se na to, co je potřeba? kognitivní aspekty: mají resp. k dispozici všechny informace pro porozumění?, je porozumění konzistentní?, jsou schopni a ochotni formulovat odpovědi? použitelnost: odpovídající náročnost, koherence se záměry metody expertní posouzení focus groups (identifikace problémů s porozuměním, nekonzistence, nejednoznačnost konceptů, (ne)schopnost odpovídat) kognitivní rozhovory psych. metody - přemýšlet nahlas, retrospektivní rekonstrukce procesu odpovídání, klasifikace důvěry ve vlastní odpovědi, prafráze odpovědi, definice termínů v odpovědích, zodpovídání následných otázek pretest v terénu kvantitativní informace - analýza, zhodnocení chování... kódování-klasifikace interakce mezi tazatelem a resp.=> kvantitativní info (5 interview s přesným zněním otázky, % interview s požadavkem upřesnění, % interv., kde resp. napoprvé odpověděl chybně...) experimenty => validita, reliabilita Management dat