Koncept kvality výběrových šetření Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK Koncept kvality výběrových šetření Jindřich Krejčí

Literatura Groves, R. 1987. "Research on Survey Data Quality". The Public Opinion Quarterly 51(2): S156 - S172. JSTOR Krejčí, J. 2010. „Approaching Quality in Survey Research: Towards a Comprehensive Perspective“. Sociologický časopis/Czech Sociological Review 46 (6): 1011–1033. Soukup, P. & L. Rabušic. 2007. „Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): 379-395. Soukup, P. 2010. “Nesprávná užívání statistické významnosti a jejich možná řešení”. Data a výzkum - SDA Info 4(2): 77-104. http://archiv.soc.cas.cz/download/1082/DaV10_2_s77_104.pdf Otázky kvality dat výběrových šetření

Groves, R. 1989. Survey Errors and Survey Costs. Wiley. Biemer, P. P. and L. E. Lyberg 2003. Introduction to Survey Quality. Wiley. Anderson, R., J. Kasper, M. Frankel et al. 1979. Total Survey Error. Jossey- Bass. Biemer, P. P. 2004. Measurement Errors in Surveys. Wiley. Kaase, Max (ed.) 1999. Qualitätskrieterien der Umfrageforschung - Quality Criteria for Survey Research. Denkschrift Memorandum. Akad. Verlag. Lessler, J. T., W. D. Kalsbeek 1992. Nonsampling Errors in Surveys. Wiley. Lyberg, L., P. Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwarz, and D. Trewin (eds.) 1997. Survey Measurement and Process Quality. Wiley. Jeřábek - měření v soc. vědách Řehák et al. Sociologický čas. 1998: Kvalita dat I... III... Kreidl - SČ/CSR, Kvalita vol. výzkumů Krejčí - Kvalita výběrových šetření Vinopal .... Otázky kvality dat výběrových šetření

Výběrová šetření v sociologii - dva zdroje matematická statistika výběr přesnost dvě dimenze: accuracy, precision dvě perspektivy: bias, variable variance výběrová chyba a nevýběrové chyby psychometrie výzkumný nástroj validita a reliabilita validita = schopnost měřit koncept, který chceme měřit (koncept) reliabilita = přesnost, konzistentnost měření (nástroj) reliabilita je jednou z podmínek validity Otázky kvality dat výběrových šetření

Různá využití metody = různá očekávání výběrové šetření v různých oborech (sociologie, psychometrie, ekonometrie...) bodové odhady vs. testování modelů realizátoři šetření vs. analytici proces šetření vs. odhad chyby matematická statistika g spočitatelná výběrová chyba, nevýběrové chyby jako nevyjádřený zbytek v sociologii jiná data, než v příkladech počtu pravděpodobnosti g provedení hraje velkou roli g výběr jen zřídka prostý náhodný g spočítat celkovou chybu je nereálný cíl problém přeceňování statistické signifikance přeceňování, chybné používání (viz Rabušic a Soukup) Otázky kvality dat výběrových šetření

Způsob provedení šetření má velkou roli "kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tématického záběru nebo důležitosti, ale podle toho, jak mnoho pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat" Motto definic nejlepší praxe ASA & AAPOR g komplexní přístup ke kvalitě g vyvážená alokace zdrojů s ohledem na existenci nevýběrových chyb Otázky kvality dat výběrových šetření

Současné přístupy ke kvalitě vícedimenzionalita - přesnost je jen jednou z dimenzí problémům je třeba předcházet - kvalita produkce se dosahuje pomocí kvality procesu kvalita = „fit to use“ efektivita: chyby vs. náklady (viz Groves) přesnost je náročné a drahé měřit, v praxi se to moc nedělá změření chyby po skončení šetření má omezené dopady mechanický přístup ke kvalitě nevede ke zlepšování kvality koncentrace na odhady přesnosti vede k neefektivitě celkový management kvality (TQM) vývoj: model U.S. Census Bureau (Hansen et al., 50. léta); institucionalizace: statistické úřady, normy a standardy, výzkumné asociace g výzk. agentury, akademický výzkum Otázky kvality dat výběrových šetření

Dimenze kvality v Eurostatu Relevance: jak statistika splňuje aktuální a potenciální požadavky uživatelů. Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě. Načasování a časová přesnost: časový rozdíl mezi událostí a informací o ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba. Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k datům, a úroveň dokumentace a doplňujících informací včetně informací o kvalitě a dostupnosti odborné asistence. Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na možnosti srovnání v čase, mezi geografickými oblastmi, mezi významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích. Koherence: adekvátnost a hodnověrnost různých kombinací statistik a jejich využívání pro různé účely. Otázky kvality dat výběrových šetření

Přesnost vs. chyby šetření zásadní pro statistické testy a verifikaci výsledků přesnost se zjišťuje pomocí svého negativu, tj. chyby chyby specifické pro jednotl. statistiky, tj. chyba šetření = průměrná (kvadratická) chyba proces realizace šetření g různé druhy chyb reprezentativita cílová populace opora výběru výběr respondent - spolupráce úpravy reprez. po sběru dat (imputace, vážení,...) měření konstrukt měření (otázka, pozorování) respondent - odpověď záznam, editace odpovědi chyby reprezentativity chyby pokrytí populace chyby výběru chyby non-response chyby zpracování chyby měření chyby úprav souboru

Otázky kvality dat výběrových šetření

Tábor, 15-16/11/2011