Analytické metody výzkumu Semináře ke kurzu Analytické metody výzkumu Jindřich Krejčí Reliabilita škály

Měření reliability a validity - literatura Ferjenčík J. 2000. Úvod do metodologie psychologického výzkumu. Praha: Portál. (kap. 16) Soukup, P. 2006. „Čím větší, tím lepší“. Socioweb 2006/7: 11-12. http://www.socioweb.cz/ Kreidl, M. 2004. „Přehled základních přístupů k empirickému hodnocení kvality měření v sociálních vědách“. Pp.87-96 in Kvalita výzkumů volebních preferencí, ed. by J. Krejčí. Praha: Sociologický ústav AV ČR. Řehák, J. 1998. „Kvalita dat I. Klasický model měření reliability a jeho praktický aplikační výzkum“ Sociologický časopis 34: 51-60. Řehák, J. 1998. „Kvalita dat II. Přístupy ohodnocování výzkumných instrumentů založené na modelování kovariančních struktur“. Sociologický časopis 34: 195-204. Řehák, J., I. Bártová, J. Hamanová. 1998. „Kvalita dat III. Empirické výsledky měření reliability pro vybrané míry a stupnice“. Sociologický časopis 34: 363-372. Jeřábek, Disman,... Analytické metody výzkumu, semináře - reliabilita

Koncept validity a reliability psychometrie, 60. léta, Lord a Novick, Campbel a Stanley... viz Jeřábek, Disman...; validita - koncept, reliabilita - nástroj validita = schopnost měřit koncept, který chceme měřit reliabilita = přesnost, konzistentnost měření reliabilita je jednou z podmínek validity chyby měření (instrument... škály) Analytické metody výzkumu, semináře - reliabilita

Měření validity obsahová validita: úplnost významové domény jevu v koncepci a postupu měření kriteriální (empirická) validita: soulad s již existujícím kritériem (např. volební prognóza a výsledek voleb) souběžná (concurrent), prediktivní konstruktová (teoretická) validita: soulad vztahů očekávaných v teorii a mezi naměřenými hodnotami indikátorů konvergentní, diskriminační (korelace, faktorová analýza) modelování - MIMIC, kovarianční - zachycení reliability i validity pomocí opakovaní měření modelů (RMM, MTMM) externí validita: přesahuje sadu měřených proměnných Analytické metody výzkumu, semináře - reliabilita

Měření reliability paralelní měření: dvě nebo více měření stejného konceptu různými otázkami v různých podmínkách opakování v čase testování nástroje (účast v minulých volbách) u hodnot a postojů problém časové vzdálenosti - blízkost kvůli možné změně postoje, vzdálenost alternativní formy jedné otázky (zařazení nevím, střední kategorie, použití karet, alternativní formulace atp.) více pozorovatelů, jeden postup hodnocení mezipoložkové reliability: crobachovo alfa, split-half Analytické metody výzkumu, semináře - reliabilita

Reliabilita škály konstrukce výzkumného nástroje: korelace mezi nástrojem a realitou (pravdivým měřením), protože realitu neznáme: test vnitřní konzistence škály (internal consistency) split-half test-retest paralelní měření (inter-rater r.) kalibrace - zvyšování reliability pomocí zvyšování homogenity triangulace - zvyšování reliability pomocí redukce systematické chyby (chyby metody) - např. vícenásobné měření SPSS: analýza vícepoložkový aditivních škál - hledání nejvhodnější škály z dané množiny položek Cronbachovo alfa Split-half Guttman (alternativní split-half) Parallel Strict parallel Analytické metody výzkumu, semináře - reliabilita

Reliabilita škály v SPSS ANALYZE - SCALE - RELIABILITY ANALYSIS ... hodnoty - odpovědi na otázky/položky škály reliabilita: pozorovaná hodnota = pravdivá hodnota + chyba; (chyba = systematický chyba + náhodná chyba); čím menší chyba, tím lepší škála jak škála diskriminuje? jak položky zapadají do škály? celková hodnota testu pro škálu relace hodnoty každé položky a celkové hodnoty relace hodnot položek jednotlivé položky - deskriptivní statistiky: hodnoty, průměry, standardní odchylky, vztahy mezi položkami vztahy mezi položkami a celkovým skóre škály: Item - Total Statistics Analytické metody výzkumu, semináře - reliabilita

Cronbachovo alfa (1) míra vnitřní konzistence škály (měříci jednu dimenzi) průměrná korelace položek v rámci jedné škály, jestliže položky standardizovány (st.dev. = 1) nebo průměrná kovariance, když nejsou standardizovány interpretace jako korelace (hodnoty (nežádoucí -1 až) 0 až 1): mezi testovanou škálou a jinými možnými škálami měřícími stejnou věc sestavitelnými z hypotetické množiny položek mezi pozorovaným skóre (skóre obdrženým v testu) a pravdivým skóre (skóre za všech možných položek) 0, tzn. žádná shoda => pouze chybová položka; 1, tzn. úplná schoda => pouze pravdivá hodnota Cut-off criteria - běžná konvence: 0,6 použitelná, 0,7 adekvátní, 0,8 dobrá Analytické metody výzkumu, semináře - reliabilita

Cronbachovo alfa (2) negativní hodnoty (mezipoložkové korelace) - nekonzistentní kódování nebo více různých dimenzí hodnota závislá na početu položek: čím větší počet, tím větší reliabilita (obvyklý cíl: přiměřeně položek!, vysoká reliabilita) alpha if deleted: dopad jednotlivých položek na reliabilitu škály - odebrání položky z testu a sledování změny item - total: korelace položky s celkovou škálou - malá (<0,3/nevýznamná) => asi vyhodit R2: R2 položky predikované ze všech ostatních položek škály; čím větší, tím víc položka přispívá ke konzistenci škály (malé hodnoty - uvažovat o vyhození) KR20: koeficient alfa pro dichotomické položky (Kuder-Richardson) standardizované alfa pro položky (Spearman-Brown Coef., ne S-B split half): míra nepodobnosti rozptylu mezi položkami Raykovo rho: alternativní míra reliability Spearmanovo rho: alternativní míra spočítaná na základě pořadí (ordinální data) Analytické metody výzkumu, semináře - reliabilita

Split Half podstata: rozdělit škálu na dvě části a posouzení ekvivalence (korelací) mezi jednotlivými částmi SPSS: rozdělí test na dvě části podle pořadí, pokud lichý počet, první část je delší Cronbachovo alfa pro bě části & korelace mezi oběma částmi equal-length Spearman-Brown koef.: korelace mezi oběma částmi testu - odhad celkového koeficientu reliability equal/ unequal-length nevýhoda 1: závisí jak jsou rozděleny položky do částí (náhodně) nevýhoda 2: vyžaduje podobný rozptyl v obou částech testu nevýhoda 3: hledání problematické položky (nevíme, v které půlce) nepléct se Spearman-Brown standardizovaným alfa koef. Guttman split-half koef. modifikace S-B koef. - nevyžaduje shodu rozptylů Guttman split-half test: šest koeficientů doporučeno experimentovat pro dosažení rozdělení na dvě části s nejvyšší reliabilitou: nejlepší rozdělení to, kde jsou nejvíce zkorelované položky v obou částech Analytické metody výzkumu, semináře Jindřich Krejčí, 1. 11. 2011

Test - retest: Inter-rater stabilita v čase, stejný test ve dvo časových bodech klasický - Spearman-Brown split-half Inter-rater měření homogenity hodnocení různých hodnotitelů stejný test na stejné objekty, různí hodnotitelé Cohen’s Kappa: pokud jen dva různí hodnotitelé ICC (intraclass correlations): pro dva a více Analytické metody výzkumu, semináře - reliabilita

Další předpoklady aditivita:každá položka by měla mít lineární vztah k celkovému skóre - Tukey’s test of aditivity nezávislost pozorování nezkorelované chyby konzistentní kódování podobná obtížnost odpovídání na položky Analytické metody výzkumu, semináře - reliabilita