KMVP část 31 Kvantitativní metody výzkumu v praxi 3. část ZS 2008 (2/11/08) Jiří Šafr

KMVP část 32 Obsah Problém zkreslení Vlastnosti kvality dat (proměnných) Validita, Reliabilita

KMVP část 33 Problém zkreslení

KMVP část 34 otázka → odpověď odpovídat na otázku představuje celou řadu transformací: může tak vzniknout zkreslení

KMVP část 35 Typy zkreslení 1. respondent musí otázce porozumět → srovnatelnost dat Příklad: zamyslete se Jaký je nyní Váš příjem?

KMVP část 36 Typy zkreslení 2. ochota na otázky vůbec odpovědět (nepříjemné, nevhodné otázky) 3. pravdivost odpovědi – zná respondent vůbec pravdivou odpověď?

KMVP část 37 Typy zkreslení 4. může být nepříjemné vyslovit určitou alternativu 5. záznam odpovědi

KMVP část 38 Riziko zkreslení Nejkritičtější operace ve výzkumu - nalezení spolehlivého indikátoru. Pokud dojde k chybě v této fázi, pak následující operace budou neplatné. Nezachycené omyly při konstrukci indikátoru jsou fatální.

KMVP část 39 Interference se zkoumaným systémem - zkreslení vyvolané výzkumnými stimuly

KMVP část 310 Zkreslení vyvolané výzkumnými stimuly 1. Efekt morčete 2. Výběr role 3. Měření jako zdroj změny 4. Stereotyp ve volbě odpovědí (response sets) „Přitakání“ volba střední (neutrální) kategorie

KMVP část 311 Problémy při měření postojů pomocí dotazníků : otázka v dotazníku = odpověď na standardizovaný podnět → není to spontánní projev v přirozené interakci! Nikdy neznáme „skutečné“ postoje, ale pouze odpovědi v dotaznících nebo výsledky experimentů. Berou respondenti výzkum vážně? →Neodpovídají na otázky náhodně? Nelze se spoléhat na to, že respondenti chápou naše otázky stejně jako výzkumník [Vávra 2006]

KMVP část 312 Vlastnosti kvality dat (proměnných) Informace o vlastnostech vzniká ve třech rovinách: 1.Konstrukce znaku 2.Sběru dat – konkrétního měření 3.Zpracování dat – interpretace

KMVP část 313 Vlastnosti kvality dat: Validita & reliabilita Validita = obsahová platnost → Validní je takové měření, které skutečně měří to, co jsme zamýšleli měřit. Reliabilita = spolehlivost měření → Reliabilní je takové měření, které nám při opakované aplikaci dává shodné výsledky, pokud se stav pozorovaného objektu nemění.

KMVP část 314 Kvalita dat: Proměnná je … validní, když při měření nedojde k systematickému zkreslení obsahu způsobeného např. chybnou formulací otázky, jiným chápáním pojmu u respondentů výzkumníka, chybnými instrukcemi, systematickou chybou v kódování. reliabilní, pokud se při nezávislém opakovaném měření (nezmění-li se vlastnost a za stejných podmínek) hodnota nezmění. V dotazníku bývá nespolehlivost způsobena nevhodným předpisem možných odpovědí – jsou neurčité, příliš obecné, obsahují respondentům neznámá slova, jsou významově příliš příbuzné. Taktéž ji způsobuje nekonkrétnost otázek, když otázky nemají k respondentovi vztah, ptají se na postoje, které respondent/ka sám/a nevytváří. [Řehák, Řeháková 1986: 38]

KMVP část 315 Příklady příklad narušené validity s kobercem v muzeu [Disman1993: 62] příklad narušené reliability Chodíte do kina – často, - ne tak často, - občas, - zřídka, - vůbec ne [Disman1993: 63]

KMVP část 316 Vztah reliability a validity Může nereliabilní měření být validní? Ne Může nevalidní měření být reliabilní? Ano

KMVP část 317 Validita & reliabilita [Babbie 1995: 128]

KMVP část 318 Techniky kontroly validity, testování validity 1.Založená na členství ve známé skupině → zkusit na skupině, která vlastnost má a porovnat s vzorkem obecné populace 2. Kriteriální validita: a. Prediktivní – porovnání se skutečnými výsledky (např. úspěšnost v testech ve škole dalšího stupně) b. Souběžná – měříme více způsoby a porovnáme 4. Konstruovaná/ konstruktová validita → pokud je v datech zjištěn vztah mezi indikátorem a dalšími (jinými) znaky, jaký bychom a priori očekávali na základě teorie ↑1, 2, 3, 4 objektivně měřitelné přístupy k validitě 5. Na mínění skupiny soudců – experti z oblasti (nezávisle na sobě!) 6. Obsahová - testovaná výčtem obsahu → úplnost významové domény jevu, který zkoumáme (7.) Zjevná → Intuitivní předpoklad, že výsledek měření skutečně odráží náš koncept. → v podstatě eufemismus pro neprovedené ověření validity ↑ 5, 6, 7 pouze odkaz na existující literaturu, teorii jevu, předchozí empirický výzkum a mínění expertů.

KMVP část 319 Validita, reliabilita = kvalita dat neexistuje universálně validní měření určitého konceptu, validita prokázaná v určitém kontextu je nepřenositelná(!). validita jednoho měření prokázaná v jednom sociálním prostředí může být nevalidní na jiné populaci. Kontrola kvality dat patří k analýze dat v každé její fázi!

KMVP část 320 Přesnost měření Systematické vychýlení: výpadek v procesu výběru, ve výběrovém souboru je výrazně podhodnocena či vynechána důležitá část populace Výběrový soubor je reprezentativní, když se svou strukturou dobře shoduje se strukturou cílové populace. Závěry na výběrovém souboru můžeme zobecnit na cílovou populaci.

KMVP část 321 Přesnost měření je funkcí celkové chyby měření = jak se rozchází naměřené a skutečné výsledky, má dvě složky a) Nevýběrová chyba (nonsampling error) faktory uvnitř i vně metodiky výzkumu obtížně zjistitelné: chybně formulované otázky, nezastihneme všechny vybrané respondenty doma, lidé nechtějí odpovídat, neříkají pravdu,…. b) Výběrová chyba (sampling error) výsledky ve vzorku se lišší od cílové populace, lze statisticky vyčíslit Tolerance chyb (margin of error) suma všech možných výběrových chyb, která kvantifikuje nejistotu výsledků měření → pravděpodobnostní interval -/+ (např. 95% interval spolehlivosti určuje rozpětí kolem naměřené hodnoty) ovlivněno: velikostí výběru, metoda výběru, velikost populace

KMVP část 322 Literatura Babbie, E. (1995). The Practice of social Research. 7th Edition. Belmont: Wadsworth Disman, M. (1993): Jak se vyrábí sociologická znalost. Praha: Karolinum Jeřábek, H. (1993): Úvod do sociologického výzkumu. Praha: Karolinum Kreidl, M. (2004). „Přehled základních přístupů k empirickému hodnocení kvality měření v sociálních vědách.“ Pp in: Krejčí, J. (ed.) Kvalita výzkumů volebních preferencí. Praha: SoÚ AV ČR. Řehák, J. Řeháková, B. (1986). Analýza kategorizovaných dat v sociologii. Praha: Academia. Vávra M. (2006). Nesnáze s měřením postojů. SDA Info, Vol. 8. No. 1.: 9-12.