Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí

Prezentace na téma: "Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí"— Transkript prezentace:

1 Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí
Management sociálních dat a datové archivy Kurz ISS FSV UK Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí

2 Doporučená literatura
Krejčí, J „Non-Response in Probability Sample Surveys in the Czech Republic“. Sociologický časopis/Czech Soiciological Review 43 (3): 561–587. Groves, Robert M ‘Nonresponse Rates and Nonresponse Bias in Household Surveys.’ Public Opinion Quarterly 70 (5): 646–675. Nonresponse Rates and Nonresponse Bias in Household Surveys. JSTOR Stable URL: Groves, Robert M. & M. Couper Nonresponse in Household Interview Surveys. New York: John Wiley & Sons.

3 nepříznivý vývoj - důvěryhodnost kvantitativního výzkumu
Nonresponse error jeden z hlavních zdrojů (a) odchylek a rozptylu a (b) nespolehlivosti odhadů přesnosti nepříznivý vývoj - důvěryhodnost kvantitativního výzkumu Návratnost: ISSP 2007 Pracovní orientace

4 unit nonresponse / item nonresponse dotazníky nezařazené do zpracování
nekontaktování odmítnutí neschopnost odpovídat na šetření (nemoc, mentální úroveň, jazyk...) jiné důvody (organizace, administrace šetření) podíl participujících jednotek z platných jednotek ve výběru = podíl dostatečně kompletních interview se zpravodajskými jednotkami zařazených do zpracování a počtu platných zpravodajských jednotek ve výběru platnost je vztažena ke členství jednotek v populaci opory výběru vyloučeny např. chybné adresy, jednotky mimo výběr atp. (chyby opory) sledování - pravděpodobnostní/nepravděpodobnostní výběry standardy - AAPOR/WAPOR/ESOMAR

5 Míra nekontaktování (non-contact rate)

6 Statistické dokazování
Dopad návratnosti na chybu? Babbie: „Věřím, že návratnost 50 % je adekvátní pro analýzu a interpretaci. Návratnost 60 % je dobrá, návratnost 70 % velmi dobrá,“ => pro zvyšování návratnosti dělat vše

7 dopad na odchylku odhadů hodnot od reálné hodnoty (nonresponse bias) a na rozptyl odhadů (variable variance) nespolehlivost odhadů přesnosti měření pouze teoretická možnost stanovit velikost chyby odmítání participace není stabilní vlastnost - neexistuje skupina permanentních nerespondentů náchylnost/pravděpodobnost stát/nestát se respondentem různé druhy neparticipace jsou různě korelovány s různými proměnnými - chyba není stabilní pro celé šetření jsou-li zjišťované hodnoty stejné u respondentů a nerespondentů, míra návratnosti nehraje roli nízká návratnost neznamená automaticky velkou chybu; zvýšení návratnosti neznamená snížení chyby (chybná metodika zvětší chybu) analýza vztahů k různým prom., závislost na tématu, nelze generalizovat

8 nekontaktování, pravděpodobnost kontaktu
sociální prostředí sociodemografické charakteristiky počet pokusů o kontakt načasování pokusů o kontakt způsob bydlení - přístup; události; specifické skupiny (studenti na kolejích...)... odmítnutí, pravděpodobnost odmítnutí frekvence zkušennosti, přezkoumanost populace, ochrana soukromí úroveň znalosti povaha a téma výzkumu, povaha dotazu pobídky perzistence při kontaktu (konverze %) přínosy / náklady respondenta na interview

9 pákový efekt - leverage-salience theory (Groves, Singer, Corning)
imputace, vážení techniky zvyšování návratnosti: strategie vysvětlení účelu a prospěšnosti výzkumu, rozesílání kontaktních dopisů předem, zajištění maximální důvěryhodnosti výzkumné agentury a jejích tazatelů, techniky odvracení odmítnutí, peněžní a nepeněžní odměny respondentům (pobídky, incentivy), vhodně zvolená náročnost tazatelských úkolů, vyšší počet pokusů o kontakt, strategie v načasování, sběru dat a pokusů o kontakt s ohledem na životní styly potenciálních respondentů, konstrukce dotazníků s ohledem na zatížení respondentů a předpokládanou zajímavost jednotlivých témat výzkumu, výběr tazatelů a způsoby jejich vyškolení, použití více modů dotazování, vhodné strategie odměňování tazatelů, průběžné vyhodnocování úspěšnosti sběru dat a následná opatření, jako je zadávání méně striktních odmítnutí k dotazování jiným tazatelům, použití vhodných metod sběru dat, případně jejich kombinací atp. teorie racionální volby, teorie sociální směny, teorie sociálního vyloučení... pákový efekt - leverage-salience theory (Groves, Singer, Corning) různé osoby - různou (pozitivní/negativní) váhu různým charakteristikám šetření (délka rozhovoru, pobídky, sponzor, účel výzkumu...) lidé mají různé (různě strukturované) důvody pro souhlas/odmítnutí, které nejsou jednoduše postihnutelné -> postup tazatelů, jak odhalit priority respondentů -> různý důraz na různé charakteristiky výzkumu komplexní strategie - snižování celkové chyby !!!

10 Trendy návratnosti všeobecně nepříznivý vývoj návratnosti
přezkoumanost populace změny životního stylu propad v minulosti nebo kontinuální snižování? zvyšování nákladů na šetření nejednoznačný vývoj, různé nepříznivé trendy

11 V ČR? non-response: akademická šetření

12

13

14

15 ESS II.