Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK.

Prezentace na téma: "Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK."— Transkript prezentace:

1 Reprezentativita: chyba plynoucí z výpadků návratnosti Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK

2 Str. 2 Krejčí, J. 2007. „Non-Response in Probability Sample Surveys in the Czech Republic“. Sociologický časopis/Czech Soiciological Review 43 (3): 561–587. http://sreview.soc.cas.cz/uploads/7c2ca3a94c916dfcb55663e9280f 017ee725e2e8_512_3-07%20krejci.pdf http://sreview.soc.cas.cz/uploads/7c2ca3a94c916dfcb55663e9280f 017ee725e2e8_512_3-07%20krejci.pdf Groves, Robert M. 2006. ‘Nonresponse Rates and Nonresponse Bias in Household Surveys.’ Public Opinion Quarterly 70 (5): 646– 675. Nonresponse Rates and Nonresponse Bias in Household Surveys. JSTOR Stable URL: http://www.jstor.org/stable/4124220http://www.jstor.org/stable/4124220 Groves, Robert M. & M. Couper. 1998. Nonresponse in Household Interview Surveys. New York: John Wiley & Sons. Doporučená literatura

3 Str. 3 Návratnost: ISSP 2007 Pracovní orientace Nonresponse error jeden z hlavních zdrojů (a) odchylek a rozptylu a (b) nespolehlivosti odhadů přesnosti nepříznivý vývoj - důvěryhodnost kvantitativního výzkumu

4 Str. 4 unit nonresponse / item nonresponse dotazníky nezařazené do zpracování ► nekontaktování ► odmítnutí ► neschopnost odpovídat na šetření (nemoc, mentální úroveň, jazyk...) ► jiné důvody (organizace, administrace šetření) podíl participujících jednotek z platných jednotek ve výběru = podíl dostatečně kompletních interview se zpravodajskými jednotkami zařazených do zpracování a počtu platných zpravodajských jednotek ve výběru ► platnost je vztažena ke členství jednotek v populaci opory výběru ► vyloučeny např. chybné adresy, jednotky mimo výběr atp. (chyby opory) sledování - pravděpodobnostní/nepravděpodobnostní výběry standardy - AAPOR http://www.aapor.org/AM/Template.cfm?Section=Standard_Definitions2&Template= /CM/ContentDisplay.cfm&ContentID=3156 http://www.aapor.org/AM/Template.cfm?Section=Standard_Definitions2&Template= /CM/ContentDisplay.cfm&ContentID=3156

5 Str. 5 Míra nekontaktování (non-contact rate)

6 Str. 6 Statistické dokazování Dopad návratnosti na chybu? Babbie: „Věřím, že návratnost 50 % je adekvátní pro analýzu a interpretaci. Návratnost 60 % je dobrá, návratnost 70 % velmi dobrá,“ => pro zvyšování návratnosti dělat vše

7 Str. 7 dopad na odchylku odhadů hodnot od reálné hodnoty (nonresponse bias) a na rozptyl odhadů (variable variance) nespolehlivost odhadů přesnosti měření pouze teoretická možnost stanovit velikost chyby odmítání participace není stabilní vlastnost - neexistuje skupina permanentních nerespondentů náchylnost/pravděpodobnost stát/nestát se respondentem různé druhy neparticipace jsou různě korelovány s různými proměnnými - chyba není stabilní pro celé šetření jsou-li zjišťované hodnoty stejné u respondentů a nerespondentů, míra návratnosti nehraje roli nízká návratnost neznamená automaticky velkou chybu; zvýšení návratnosti neznamená snížení chyby (chybná metodika zvětší chybu) analýza vztahů k různým prom., závislost na tématu, nelze generalizovat

8 Str. 8 nekontaktování, pravděpodobnost kontaktu ► sociální prostředí ► sociodemografické charakteristiky ► počet pokusů o kontakt ► načasování pokusů o kontakt ► způsob bydlení - přístup; události; specifické skupiny (studenti na kolejích...)... odmítnutí, pravděpodobnost odmítnutí ► frekvence zkušennosti, přezkoumanost populace, ochrana soukromí ► úroveň znalosti ► povaha a téma výzkumu, povaha dotazu ► pobídky ► perzistence při kontaktu (konverze 25 - 40 %) ► přínosy / náklady respondenta na interview

9 Str. 9 imputace, vážení techniky zvyšování návratnosti: strategie vysvětlení účelu a prospěšnosti výzkumu, rozesílání kontaktních dopisů předem, zajištění maximální důvěryhodnosti výzkumné agentury a jejích tazatelů, techniky odvracení odmítnutí, peněžní a nepeněžní odměny respondentům (pobídky, incentivy), vhodně zvolená náročnost tazatelských úkolů, vyšší počet pokusů o kontakt, strategie v načasování, sběru dat a pokusů o kontakt s ohledem na životní styly potenciálních respondentů, konstrukce dotazníků s ohledem na zatížení respondentů a předpokládanou zajímavost jednotlivých témat výzkumu, výběr tazatelů a způsoby jejich vyškolení, použití více modů dotazování, vhodné strategie odměňování tazatelů, průběžné vyhodnocování úspěšnosti sběru dat a následná opatření, jako je zadávání méně striktních odmítnutí k dotazování jiným tazatelům, použití vhodných metod sběru dat, případně jejich kombinací atp. teorie racionální volby, teorie sociální směny, teorie sociálního vyloučení... pákový efekt - leverage-salience theory (Groves, Singer, Corning) ► různé osoby - různou (pozitivní/negativní) váhu různým charakteristikám šetření (délka rozhovoru, pobídky, sponzor, účel výzkumu...) ► lidé mají různé (různě strukturované) důvody pro souhlas/odmítnutí, které nejsou jednoduše postihnutelné -> postup tazatelů, jak odhalit priority respondentů -> různý důraz na různé charakteristiky výzkumu komplexní strategie - snižování celkové chyby !!!

10 Str. 10 Trendy návratnosti všeobecně nepříznivý vývoj návratnosti ► přezkoumanost populace ► změny životního stylu propad v minulosti nebo kontinuální snižování? zvyšování nákladů na šetření nejednoznačný vývoj, různé nepříznivé trendy

11 Str. 11 V ČR? non-response: akademická šetření 1991-2007

12 Str. 12

13 Str. 13

14 Str. 14

15 Str. 15 ESS II.