Koncept kvality výběrových šetření Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK Koncept kvality výběrových šetření Jindřich Krejčí

Literatura - kvalita dat PŘIPRAVTE SE PODLE: Krejčí, J. 2010. „Approaching Quality in Survey Research: Towards a Comprehensive Perspective“. Sociologický časopis/Czech Sociological Review 46 (6): 1011–1033. DALŠÍ LITERATURA Groves, R. 1987. "Research on Survey Data Quality". The Public Opinion Quarterly 51(2): S156 - S172. JSTOR Soukup, P. & L. Rabušic. 2007. „Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): 379-395. Soukup, P. 2010. “Nesprávná užívání statistické významnosti a jejich možná řešení”. Data a výzkum - SDA Info 4(2): 77-104. http://archiv.soc.cas.cz/download/1082/DaV10_2_s77_104.pdf

Groves, R. 1989. Survey Errors and Survey Costs. Wiley. Biemer, P. P. and L. E. Lyberg 2003. Introduction to Survey Quality. Wiley. Anderson, R., J. Kasper, M. Frankel et al. 1979. Total Survey Error. Jossey- Bass. Biemer, P. P. 2004. Measurement Errors in Surveys. Wiley. Kaase, Max (ed.) 1999. Qualitätskrieterien der Umfrageforschung - Quality Criteria for Survey Research. Denkschrift Memorandum. Akad. Verlag. Lessler, J. T., W. D. Kalsbeek 1992. Nonsampling Errors in Surveys. Wiley. Lyberg, L., P. Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwarz, and D. Trewin (eds.) 1997. Survey Measurement and Process Quality. Wiley. Jeřábek - měření v soc. vědách Řehák et al. Sociologický čas. 1998: Kvalita dat I... III... Kreidl - SČ/CSR, Kvalita vol. výzkumů Krejčí - Kvalita výběrových šetření Vinopal .... Otázky kvality dat výběrových šetření

Výběrová šetření v sociologii - dva zdroje matematická statistika výběr přesnost dvě dimenze: accuracy, precision dvě perspektivy: bias, variable variance výběrová chyba a nevýběrové chyby psychometrie výzkumný nástroj validita a reliabilita validita = schopnost měřit koncept, který chceme měřit (koncept) reliabilita = přesnost, konzistentnost měření (nástroj) reliabilita je jednou z podmínek validity Otázky kvality dat výběrových šetření

Různá využití metody = různá očekávání výběrové šetření v různých oborech (sociologie, psychometrie, ekonometrie, medicínský výzkum...) odhady hodnot vs. testování modelů realizátoři šetření vs. analytici proces šetření vs. odhad chyby matematická statistika g spočitatelná výběrová chyba, nevýběrové chyby jako nevyjádřený zbytek v sociologii jiná data, než v příkladech počtu pravděpodobnosti g provedení hraje velkou roli g výběr jen zřídka prostý náhodný g spočítat celkovou chybu je nereálný cíl problém přeceňování statistické signifikance přeceňování, chybné používání (viz Rabušic a Soukup) Otázky kvality dat výběrových šetření

Způsob provedení šetření má velkou roli "kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tématického záběru nebo důležitosti, ale podle toho, jak mnoho pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat" Motto definic nejlepší praxe ASA & AAPOR g komplexní přístup ke kvalitě g proces šetření g vyvážená alokace zdrojů s ohledem na existenci nevýběrových chyb Otázky kvality dat výběrových šetření

Současné přístupy ke kvalitě vícedimenzionalita - přesnost je jen jednou z dimenzí problémům je třeba předcházet - kvalita produkce se dosahuje pomocí kvality procesu kvalita = „fit to use“ efektivita: chyby vs. náklady (viz Groves) přesnost je náročné a drahé měřit, v praxi se to moc nedělá změření chyby po skončení šetření má omezené dopady mechanický přístup ke kvalitě nevede ke zlepšování kvality koncentrace na odhady přesnosti vede k neefektivitě celkový management kvality (TQM) vývoj: model U.S. Census Bureau (Hansen et al., 50. léta); institucionalizace: statistické úřady, normy a standardy, výzkumné asociace g výzk. agentury, akademický výzkum Otázky kvality dat výběrových šetření

Dimenze kvality podle Eurostatu Relevance: jak statistika splňuje aktuální a potenciální požadavky uživatelů. Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě. Načasování a časová přesnost: časový rozdíl mezi událostí a informací o ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba. Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k datům, a úroveň dokumentace a doplňujících informací včetně informací o kvalitě a dostupnosti odborné asistence. Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na možnosti srovnání v čase, mezi geografickými oblastmi, mezi významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích. Koherence: adekvátnost a hodnověrnost různých kombinací statistik a jejich využívání pro různé účely. Otázky kvality dat výběrových šetření

Přesnost vs. chyby šetření zásadní pro statistické testy a verifikaci výsledků přesnost se zjišťuje pomocí svého negativu, tj. chyby chyby specifické pro jednotl. statistiky, tj. chyba šetření je teoretický konstrukt, průměrná chyba proces realizace šetření g různé druhy chyb reprezentativita cílová populace opora výběru výběr respondent - spolupráce úpravy reprez. po sběru dat (imputace, vážení,...) měření konstrukt měření (otázka, pozorování) respondent - odpověď záznam, editace odpovědi chyby reprezentativity chyby pokrytí populace chyby výběru chyby non-response chyby zpracování chyby měření chyby úprav souboru

Otázky kvality dat výběrových šetření

Tábor, 15-16/11/2011

Standardy - kvalitativní a etické etika výzkumu falzifikace, plagiátorství, vymyšlený výzkum, záměna výzkumu a ankety ... standardy výzkumné struktury tazatelská síť, vybavení... standardy metodiky minimální standard, dobrá/nejlepší praxe standardy vztahu výzkumník - klient na co má klient nárok standardy vztahu výzkumník - veřejnost push polls, prodej, fund raising, ..., standardy vztahu výzkumník - respondent informovaný souhlas, ochrana osobních údajů, obtěžování, ...

Autority určující standardy administrativní normy ISO 9000/9001 ISO 20252 standardy profesních asociací SIMAR, www.simar.cz ESOMAR, www.esomar.org EFAMRO, www.efamro.org WAPOR, www.wapor.org AAPOR, www.aapor.org výzkumná komunita: metodologický výzkum, výzkum kvality

Administrativní normy - certifikace/atest ISO 20252 - výzkum trhu, veřejného mínění a soc. výzkum co je zadavatel výzkumu oprávněn žádat od realizátora; co přesahuje pravidla vzájemných vztahů, etiky v jednotlivých etapách přípravy, realizace a prezentace výsledků výzkumu; co musí jednoznačně výzkum splnit; co musí zadavatel výzkumu poskytnout zpracovateli neřeší podrobnosti metodiky skupina ISO 9000: management kvality, resp. řízení jakosti v obchodních vztazích (business-to-business) TQM atest struktury řízení - schopnost dosahovat kvalitu, aplikace regulačních mechanismů, kontinuální zdokonalování definice dimenzí kvality, rozfázování procesu, pravidla, kontrolní body, ... opora zákazníkům na trhu pro posouzení kvality opora pro reklamace samoregulace oboru

Standardy asociací etické normy co je / co není výzkum kvalita - technická kritéria: minimální standard, good/best practice ESOMAR https://www.esomar.org/knowledge-and-standards/codes-and-guidelines.php WAPOR, http://wapor.org/ ESOMAR/WAPOR Guideline on Opinion Polls and Published Surveys ESOMAR and WAPOR Key Requirements for Opinion Polls and Published Surveys Outcome Rates SIMAR, http://simar.cz/standardy/kvalitativni-standardy/ EFAMRO, http://www.efamro.com/ International Statistical Institute (ISI) http://www.isi-web.org/component/content/article/43-about/about/150-ethics-intro OECD, IMF, ILO, UN...