Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí

Doporučená literatura Krejčí, J. 2007. „Non-Response in Probability Sample Surveys in the Czech Republic“. Sociologický časopis/Czech Soiciological Review 43 (3): 561–587. http://sreview.soc.cas.cz/uploads/7c2ca3a94c916dfcb55663e9280f017ee725e2e8_512_3-07%20krejci.pdf Groves, Robert M. 2006. ‘Nonresponse Rates and Nonresponse Bias in Household Surveys.’ Public Opinion Quarterly 70 (5): 646–675. Nonresponse Rates and Nonresponse Bias in Household Surveys. JSTOR Stable URL: http://www.jstor.org/stable/4124220 Groves, Robert M. & M. Couper. 1998. Nonresponse in Household Interview Surveys. New York: John Wiley & Sons.

nepříznivý vývoj - důvěryhodnost kvantitativního výzkumu Nonresponse error jeden z hlavních zdrojů (a) odchylek a rozptylu a (b) nespolehlivosti odhadů přesnosti nepříznivý vývoj - důvěryhodnost kvantitativního výzkumu Návratnost: ISSP 2007 Pracovní orientace

unit nonresponse / item nonresponse dotazníky nezařazené do zpracování nekontaktování odmítnutí neschopnost odpovídat na šetření (nemoc, mentální úroveň, jazyk...) jiné důvody (organizace, administrace šetření) podíl participujících jednotek z platných jednotek ve výběru = podíl dostatečně kompletních interview se zpravodajskými jednotkami zařazených do zpracování a počtu platných zpravodajských jednotek ve výběru platnost je vztažena ke členství jednotek v populaci opory výběru vyloučeny např. chybné adresy, jednotky mimo výběr atp. (chyby opory) sledování - pravděpodobnostní/nepravděpodobnostní výběry standardy - AAPOR/WAPOR/ESOMAR https://www.esomar.org/knowledge-and-standards/research-resources/aapor-standard-definitions.php

Míra nekontaktování (non-contact rate)

Statistické dokazování Dopad návratnosti na chybu? Babbie: „Věřím, že návratnost 50 % je adekvátní pro analýzu a interpretaci. Návratnost 60 % je dobrá, návratnost 70 % velmi dobrá,“ => pro zvyšování návratnosti dělat vše

dopad na odchylku odhadů hodnot od reálné hodnoty (nonresponse bias) a na rozptyl odhadů (variable variance) nespolehlivost odhadů přesnosti měření pouze teoretická možnost stanovit velikost chyby odmítání participace není stabilní vlastnost - neexistuje skupina permanentních nerespondentů náchylnost/pravděpodobnost stát/nestát se respondentem různé druhy neparticipace jsou různě korelovány s různými proměnnými - chyba není stabilní pro celé šetření jsou-li zjišťované hodnoty stejné u respondentů a nerespondentů, míra návratnosti nehraje roli nízká návratnost neznamená automaticky velkou chybu; zvýšení návratnosti neznamená snížení chyby (chybná metodika zvětší chybu) analýza vztahů k různým prom., závislost na tématu, nelze generalizovat

nekontaktování, pravděpodobnost kontaktu sociální prostředí sociodemografické charakteristiky počet pokusů o kontakt načasování pokusů o kontakt způsob bydlení - přístup; události; specifické skupiny (studenti na kolejích...)... odmítnutí, pravděpodobnost odmítnutí frekvence zkušennosti, přezkoumanost populace, ochrana soukromí úroveň znalosti povaha a téma výzkumu, povaha dotazu pobídky perzistence při kontaktu (konverze 25 - 40 %) přínosy / náklady respondenta na interview

pákový efekt - leverage-salience theory (Groves, Singer, Corning) imputace, vážení techniky zvyšování návratnosti: strategie vysvětlení účelu a prospěšnosti výzkumu, rozesílání kontaktních dopisů předem, zajištění maximální důvěryhodnosti výzkumné agentury a jejích tazatelů, techniky odvracení odmítnutí, peněžní a nepeněžní odměny respondentům (pobídky, incentivy), vhodně zvolená náročnost tazatelských úkolů, vyšší počet pokusů o kontakt, strategie v načasování, sběru dat a pokusů o kontakt s ohledem na životní styly potenciálních respondentů, konstrukce dotazníků s ohledem na zatížení respondentů a předpokládanou zajímavost jednotlivých témat výzkumu, výběr tazatelů a způsoby jejich vyškolení, použití více modů dotazování, vhodné strategie odměňování tazatelů, průběžné vyhodnocování úspěšnosti sběru dat a následná opatření, jako je zadávání méně striktních odmítnutí k dotazování jiným tazatelům, použití vhodných metod sběru dat, případně jejich kombinací atp. teorie racionální volby, teorie sociální směny, teorie sociálního vyloučení... pákový efekt - leverage-salience theory (Groves, Singer, Corning) různé osoby - různou (pozitivní/negativní) váhu různým charakteristikám šetření (délka rozhovoru, pobídky, sponzor, účel výzkumu...) lidé mají různé (různě strukturované) důvody pro souhlas/odmítnutí, které nejsou jednoduše postihnutelné -> postup tazatelů, jak odhalit priority respondentů -> různý důraz na různé charakteristiky výzkumu komplexní strategie - snižování celkové chyby !!!

Trendy návratnosti všeobecně nepříznivý vývoj návratnosti přezkoumanost populace změny životního stylu propad v minulosti nebo kontinuální snižování? zvyšování nákladů na šetření nejednoznačný vývoj, různé nepříznivé trendy

V ČR? non-response: akademická šetření 1991-2007

ESS II.