Analytické metody výzkumu

Prezentace na téma: "Analytické metody výzkumu"— Transkript prezentace:

1 Analytické metody výzkumu
Semináře ke kurzu Analytické metody výzkumu Jindřich Krejčí Reliabilita škály

2 Měření reliability a validity - literatura
Ferjenčík J Úvod do metodologie psychologického výzkumu. Praha: Portál. (kap. 16) Soukup, P „Čím větší, tím lepší“. Socioweb 2006/7: Kreidl, M „Přehled základních přístupů k empirickému hodnocení kvality měření v sociálních vědách“. Pp in Kvalita výzkumů volebních preferencí, ed. by J. Krejčí. Praha: Sociologický ústav AV ČR. Řehák, J „Kvalita dat I. Klasický model měření reliability a jeho praktický aplikační výzkum“ Sociologický časopis 34: Řehák, J „Kvalita dat II. Přístupy ohodnocování výzkumných instrumentů založené na modelování kovariančních struktur“. Sociologický časopis 34: Řehák, J., I. Bártová, J. Hamanová „Kvalita dat III. Empirické výsledky měření reliability pro vybrané míry a stupnice“. Sociologický časopis 34: Jeřábek, Disman,... Analytické metody výzkumu, semináře - reliabilita

3 Koncept validity a reliability
psychometrie, 60. léta, Lord a Novick, Campbel a Stanley... viz Jeřábek, Disman...; validita - koncept, reliabilita - nástroj validita = schopnost měřit koncept, který chceme měřit reliabilita = přesnost, konzistentnost měření reliabilita je jednou z podmínek validity chyby měření (instrument... škály) Analytické metody výzkumu, semináře - reliabilita

4 Měření validity obsahová validita: úplnost významové domény jevu v koncepci a postupu měření kriteriální (empirická) validita: soulad s již existujícím kritériem (např. volební prognóza a výsledek voleb) souběžná (concurrent), prediktivní konstruktová (teoretická) validita: soulad vztahů očekávaných v teorii a mezi naměřenými hodnotami indikátorů konvergentní, diskriminační (korelace, faktorová analýza) modelování - MIMIC, kovarianční - zachycení reliability i validity pomocí opakovaní měření modelů (RMM, MTMM) externí validita: přesahuje sadu měřených proměnných Analytické metody výzkumu, semináře - reliabilita

5 Měření reliability paralelní měření: dvě nebo více měření stejného konceptu různými otázkami v různých podmínkách opakování v čase testování nástroje (účast v minulých volbách) u hodnot a postojů problém časové vzdálenosti - blízkost kvůli možné změně postoje, vzdálenost alternativní formy jedné otázky (zařazení nevím, střední kategorie, použití karet, alternativní formulace atp.) více pozorovatelů, jeden postup hodnocení mezipoložkové reliability: crobachovo alfa, split-half Analytické metody výzkumu, semináře - reliabilita

6 Reliabilita škály konstrukce výzkumného nástroje: korelace mezi nástrojem a realitou (pravdivým měřením), protože realitu neznáme: test vnitřní konzistence škály (internal consistency) split-half test-retest paralelní měření (inter-rater r.) kalibrace - zvyšování reliability pomocí zvyšování homogenity triangulace - zvyšování reliability pomocí redukce systematické chyby (chyby metody) - např. vícenásobné měření SPSS: analýza vícepoložkový aditivních škál - hledání nejvhodnější škály z dané množiny položek Cronbachovo alfa Split-half Guttman (alternativní split-half) Parallel Strict parallel Analytické metody výzkumu, semináře - reliabilita

7 Reliabilita škály v SPSS
ANALYZE - SCALE - RELIABILITY ANALYSIS ... hodnoty - odpovědi na otázky/položky škály reliabilita: pozorovaná hodnota = pravdivá hodnota + chyba; (chyba = systematický chyba + náhodná chyba); čím menší chyba, tím lepší škála jak škála diskriminuje? jak položky zapadají do škály? celková hodnota testu pro škálu relace hodnoty každé položky a celkové hodnoty relace hodnot položek jednotlivé položky - deskriptivní statistiky: hodnoty, průměry, standardní odchylky, vztahy mezi položkami vztahy mezi položkami a celkovým skóre škály: Item - Total Statistics Analytické metody výzkumu, semináře - reliabilita

8 Cronbachovo alfa (1) míra vnitřní konzistence škály (měříci jednu dimenzi) průměrná korelace položek v rámci jedné škály, jestliže položky standardizovány (st.dev. = 1) nebo průměrná kovariance, když nejsou standardizovány interpretace jako korelace (hodnoty (nežádoucí -1 až) 0 až 1): mezi testovanou škálou a jinými možnými škálami měřícími stejnou věc sestavitelnými z hypotetické množiny položek mezi pozorovaným skóre (skóre obdrženým v testu) a pravdivým skóre (skóre za všech možných položek) 0, tzn. žádná shoda => pouze chybová položka; 1, tzn. úplná schoda => pouze pravdivá hodnota Cut-off criteria - běžná konvence: 0,6 použitelná, 0,7 adekvátní, 0,8 dobrá Analytické metody výzkumu, semináře - reliabilita

9 Cronbachovo alfa (2) negativní hodnoty (mezipoložkové korelace) - nekonzistentní kódování nebo více různých dimenzí hodnota závislá na početu položek: čím větší počet, tím větší reliabilita (obvyklý cíl: přiměřeně položek!, vysoká reliabilita) alpha if deleted: dopad jednotlivých položek na reliabilitu škály - odebrání položky z testu a sledování změny item - total: korelace položky s celkovou škálou - malá (<0,3/nevýznamná) => asi vyhodit R2: R2 položky predikované ze všech ostatních položek škály; čím větší, tím víc položka přispívá ke konzistenci škály (malé hodnoty - uvažovat o vyhození) KR20: koeficient alfa pro dichotomické položky (Kuder-Richardson) standardizované alfa pro položky (Spearman-Brown Coef., ne S-B split half): míra nepodobnosti rozptylu mezi položkami Raykovo rho: alternativní míra reliability Spearmanovo rho: alternativní míra spočítaná na základě pořadí (ordinální data) Analytické metody výzkumu, semináře - reliabilita

10 Split Half podstata: rozdělit škálu na dvě části a posouzení ekvivalence (korelací) mezi jednotlivými částmi SPSS: rozdělí test na dvě části podle pořadí, pokud lichý počet, první část je delší Cronbachovo alfa pro bě části & korelace mezi oběma částmi equal-length Spearman-Brown koef.: korelace mezi oběma částmi testu - odhad celkového koeficientu reliability equal/ unequal-length nevýhoda 1: závisí jak jsou rozděleny položky do částí (náhodně) nevýhoda 2: vyžaduje podobný rozptyl v obou částech testu nevýhoda 3: hledání problematické položky (nevíme, v které půlce) nepléct se Spearman-Brown standardizovaným alfa koef. Guttman split-half koef. modifikace S-B koef. - nevyžaduje shodu rozptylů Guttman split-half test: šest koeficientů doporučeno experimentovat pro dosažení rozdělení na dvě části s nejvyšší reliabilitou: nejlepší rozdělení to, kde jsou nejvíce zkorelované položky v obou částech Analytické metody výzkumu, semináře Jindřich Krejčí,

11 Test - retest: Inter-rater
stabilita v čase, stejný test ve dvo časových bodech klasický - Spearman-Brown split-half Inter-rater měření homogenity hodnocení různých hodnotitelů stejný test na stejné objekty, různí hodnotitelé Cohen’s Kappa: pokud jen dva různí hodnotitelé ICC (intraclass correlations): pro dva a více Analytické metody výzkumu, semináře - reliabilita

12 Další předpoklady aditivita:každá položka by měla mít lineární vztah k celkovému skóre - Tukey’s test of aditivity nezávislost pozorování nezkorelované chyby konzistentní kódování podobná obtížnost odpovídání na položky Analytické metody výzkumu, semináře - reliabilita