Koncept kvality výběrových šetření Standardy Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK.

Prezentace na téma: "Koncept kvality výběrových šetření Standardy Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK."— Transkript prezentace:

1 Koncept kvality výběrových šetření Standardy Jindřich Krejčí Management sociálních dat a datové archivy Kurz ISS FSV UK

2 K předchozím tématům - oficiální statistiky CIMES (Centralising and Integrating Metadata from European Statistics) https://cimes.casd.eu/ https://cimes.casd.eu/ MISSY (Microdata Information System) http://www.gesis.org/missy/entrypage/ http://www.gesis.org/missy/entrypage/ IPUMS - Integrated Public Use Microdata Series https://www.ipums.org/ https://www.ipums.org/ Snímek 2

3 Literatura Groves, R. 1987. "Research on Survey Data Quality". The Public Opinion Quarterly 51(2): S156 - S172. JSTORJSTOR Krejčí, J. 2010. „Approaching Quality in Survey Research: Towards a Comprehensive Perspective“. Sociologický časopis/Czech Sociological Review 46 (6): 1011–1033.Sociologický časopis/Czech Sociological Review 46 (6): 1011–1033 Soukup, P. & L. Rabušic. 2007. „Několik poznámek k jedné obsesi českých sociálních věd - statistické významnosti.“ Sociologický časopis/Czech Sociological Review 43 (2): 379-395.Sociologický časopis/Czech Sociological Review 43 (2): 379-395 ► Soukup, P. 2010. “Nesprávná užívání statistické významnosti a jejich možná řešení”. Data a výzkum - SDA Info 4(2): 77-104. http://archiv.soc.cas.cz/download/1082/DaV10_2_s77_104.pdf http://archiv.soc.cas.cz/download/1082/DaV10_2_s77_104.pdf Otázky kvality dat výběrových šetření Snímek 3

4 Groves, R. 1989. Survey Errors and Survey Costs. Wiley. Biemer, P. P. and L. E. Lyberg 2003. Introduction to Survey Quality. Wiley. Anderson, R., J. Kasper, M. Frankel et al. 1979. Total Survey Error. Jossey- Bass. Biemer, P. P. 2004. Measurement Errors in Surveys. Wiley. Kaase, Max (ed.) 1999. Qualitätskrieterien der Umfrageforschung - Quality Criteria for Survey Research. Denkschrift Memorandum. Akad. Verlag. Lessler, J. T., W. D. Kalsbeek 1992. Nonsampling Errors in Surveys. Wiley. Lyberg, L., P. Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwarz, and D. Trewin (eds.) 1997. Survey Measurement and Process Quality. Wiley. ► Jeřábek - měření v soc. vědách ► Řehák et al. Sociologický čas. 1998: Kvalita dat I... III... ► Kreidl - SČ/CSR, Kvalita vol. výzkumů ► Krejčí - Kvalita výběrových šetření ► Vinopal ►.... Otázky kvality dat výběrových šetření Snímek 4

5 Výběrová šetření v sociologii - dva zdroje matematická statistika ► výběr ► přesnost dvě dimenze: accuracy, precision dvě perspektivy: bias, variable variance ► výběrová chyba a nevýběrové chyby psychometrie ► výzkumný nástroj ► validita a reliabilita validita = schopnost měřit koncept, který chceme měřit (koncept) reliabilita = přesnost, konzistentnost měření (nástroj) reliabilita je jednou z podmínek validity Otázky kvality dat výběrových šetření Snímek 5

6 Různá využití metody = různá očekávání výběrové šetření v různých oborech (sociologie, psychometrie, ekonometrie...) odhady hodnot vs. testování modelů realizátoři šetření vs. analytici proces šetření vs. odhad chyby ► matematická statistika  spočitatelná výběrová chyba, nevýběrové chyby jako nevyjádřený zbytek ► v sociologii jiná data, než v příkladech počtu pravděpodobnosti  provedení hraje velkou roli  výběr jen zřídka prostý náhodný  spočítat celkovou chybu je nereálný cíl problém přeceňování statistické signifikance přeceňování, chybné používání (viz Rabušic a Soukup) Otázky kvality dat výběrových šetření Snímek 6

7 Způsob provedení šetření má velkou roli Otázky kvality dat výběrových šetření Snímek 7 "kvalita šetření se nejlépe posoudí nikoliv podle velikosti vzorku, tématického záběru nebo důležitosti, ale podle toho, jak mnoho pozornosti je věnováno řešení všech mnoha důležitých problémů (prevence, měření), které mohou nastat" Motto definic nejlepší praxe ASA & AAPOR  komplexní přístup ke kvalitě  vyvážená alokace zdrojů s ohledem na existenci nevýběrových chyb

8 Současné přístupy ke kvalitě vícedimenzionalita - přesnost je jen jednou z dimenzí problémům je třeba předcházet - kvalita produkce se dosahuje pomocí kvality procesu kvalita = „fit to use“ efektivita: chyby vs. náklady (viz Groves) ► přesnost je náročné a drahé měřit, v praxi se to moc nedělá ► změření chyby po skončení šetření má omezené dopady ► mechanický přístup ke kvalitě nevede ke zlepšování kvality ► koncentrace na odhady přesnosti vede k neefektivitě ► celkový management kvality (TQM) vývoj: model U.S. Census Bureau (Hansen et al., 50. léta) ; institucionalizace: statistické úřady, normy a standardy, výzkumné asociace  výzk. agentury, akademický výzkum Otázky kvality dat výběrových šetření Snímek 8

9 Dimenze kvality v Eurostatu Otázky kvality dat výběrových šetření Snímek 9 Relevance: jak statistika splňuje aktuální a potenciální požadavky uživatelů. Přesnost: blízkost výpočtů a odhadů pravdivé hodnotě. Načasování a časová přesnost: časový rozdíl mezi událostí a informací o ní a časový rozdíl mezi publikováním dat a časem, kdy jsou potřeba. Dostupnost a srozumitelnost: podmínky, za nichž se uživatel dostane k datům, a úroveň dokumentace a doplňujících informací včetně informací o kvalitě a dostupnosti odborné asistence. Srovnatelnost: dopad aplikovaných konceptů a nástrojů měření na možnosti srovnání v čase, mezi geografickými oblastmi, mezi významovými oblastmi. Tj. míra, ve které rozdíly mezi statistikami reflektují reálné rozdíly mezi oblastmi v uvedených třech dimenzích. Koherence: adekvátnost a hodnověrnost různých kombinací statistik a jejich využívání pro různé účely.

10 zásadní pro statistické testy a verifikaci výsledků přesnost se zjišťuje pomocí svého negativu, tj. chyby chyby specifické pro jednotl. statistiky, tj. chyba šetření = průměrná (kvadratická) chyba proces realizace šetření  různé druhy chyb ► reprezentativita cílová populace opora výběru výběr respondent - spolupráce úpravy reprez. po sběru dat (imputace, vážení,...) ► měření konstrukt měření (otázka, pozorování) respondent - odpověď záznam, editace odpovědi chyby měření chyby zpracování chyby reprezentativity chyby pokrytí populace chyby výběru chyby non-response chyby úprav souboru Přesnost vs. chyby šetření

11 Otázky kvality dat výběrových šetření Snímek 11

12 Tábor, 15-16/11/2011 Snímek 12

13 Standardy - kvalitativní a etické etika výzkumu ► falzifikace, plagiátorství, vymyšlený výzkum, záměna výzkumu a ankety... standardy výzkumné struktury ► tazatelská síť, vybavení... standardy metodiky ► minimální standard, dobrá/nejlepší praxe standardy vztahu výzkumník - klient ► na co má klient nárok standardy vztahu výzkumník - veřejnost ► push polls, prodej, fund raising,..., standardy vztahu výzkumník - respondent ► informovaný souhlas, ochrana osobních údajů, obtěžování,... Snímek 13

14 Autority určující standardy administrativní normy ► ISO 9000/9001 ► ISO 20252 standardy profesních asociací ► SIMAR, www.simar.czwww.simar.cz ► ESOMAR, www.esomar.orgwww.esomar.org ► EFAMRO, www.efamro.orgwww.efamro.org ► WAPOR, www.wapor.orgwww.wapor.org ► AAPOR, www.aapor.orgwww.aapor.org výzkumná komunita: metodologický výzkum, výzkum kvality Snímek 14

15 Administrativní normy - certifikace/atest ISO 20252 - výzkum trhu, veřejného mínění a soc. výzkum ► co je zadavatel výzkumu oprávněn žádat od realizátora; ► co přesahuje pravidla vzájemných vztahů, etiky v jednotlivých etapách přípravy, realizace a prezentace výsledků výzkumu; ► co musí jednoznačně výzkum splnit; ► co musí zadavatel výzkumu poskytnout zpracovateli ► neřeší podrobnosti metodiky skupina ISO 9000: management kvality, resp. řízení jakosti v obchodních vztazích (business-to-business) ► TQM ► atest struktury řízení - schopnost dosahovat kvalitu, aplikace regulačních mechanismů, kontinuální zdokonalování ► definice dimenzí kvality, rozfázování procesu, pravidla, kontrolní body,... opora zákazníkům na trhu pro posouzení kvality opora pro reklamace samoregulace oboru Snímek 15

16 Standardy asociací etické normy co je / co není výzkum kvalita - technická kritéria: minimální standard, good/best practice ESOMAR https://www.esomar.org/knowledge-and-standards/codes-and-guidelines.php https://www.esomar.org/knowledge-and-standards/codes-and-guidelines.php WAPOR, http://wapor.org/http://wapor.org/ ► ESOMAR/WAPOR Guideline on Opinion Polls and Published Surveys ESOMAR/WAPOR Guideline on Opinion Polls and Published Surveys ► ESOMAR and WAPOR Key Requirements for Opinion Polls and Published Surveys ESOMAR and WAPOR Key Requirements for Opinion Polls and Published Surveys ► Outcome RatesOutcome Rates SIMAR, http://simar.cz/standardy/kvalitativni-standardy/http://simar.cz/standardy/kvalitativni-standardy/ EFAMRO, http://www.efamro.com/http://www.efamro.com/ International Statistical Institute (ISI) http://www.isi-web.org/component/content/article/43-about/about/150-ethics-intro http://www.isi-web.org/component/content/article/43-about/about/150-ethics-intro OECD, IMF, ILO, UN... Snímek 16