Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

ISS Reliabilita škály Semináře ke kurzu Analytické metody výzkumu Jindřich Krejčí.

Podobné prezentace


Prezentace na téma: "ISS Reliabilita škály Semináře ke kurzu Analytické metody výzkumu Jindřich Krejčí."— Transkript prezentace:

1 ISS Reliabilita škály Semináře ke kurzu Analytické metody výzkumu Jindřich Krejčí

2 ISS Analytické metody výzkumu, semináře - reliabilita Str. 2 Měření reliability a validity - literatura  Ferjenčík J Úvod do metodologie psychologického výzkumu. Praha: Portál. (kap. 16)  Soukup, P „Čím větší, tím lepší“. Socioweb 2006/7:  Kreidl, M „Přehled základních přístupů k empirickému hodnocení kvality měření v sociálních vědách“. Pp in Kvalita výzkumů volebních preferencí, ed. by J. Krejčí. Praha: Sociologický ústav AV ČR.  Řehák, J „Kvalita dat I. Klasický model měření reliability a jeho praktický aplikační výzkum“ Sociologický časopis 34:  Řehák, J „Kvalita dat II. Přístupy ohodnocování výzkumných instrumentů založené na modelování kovariančních struktur“. Sociologický časopis 34:  Řehák, J., I. Bártová, J. Hamanová „Kvalita dat III. Empirické výsledky měření reliability pro vybrané míry a stupnice“. Sociologický časopis 34:  Jeřábek, Disman,...

3 ISS Analytické metody výzkumu, semináře - reliabilita Str. 3 Koncept validity a reliability  psychometrie, 60. léta, Lord a Novick, Campbel a Stanley...  viz Jeřábek, Disman...; validita - koncept, reliabilita - nástroj validita = schopnost měřit koncept, který chceme měřit reliabilita = přesnost, konzistentnost měření reliabilita je jednou z podmínek validity  chyby měření (instrument... škály)

4 ISS Analytické metody výzkumu, semináře - reliabilita Str. 4 Měření validity  obsahová validita: úplnost významové domény jevu v koncepci a postupu měření  kriteriální (empirická) validita: soulad s již existujícím kritériem (např. volební prognóza a výsledek voleb) souběžná (concurrent), prediktivní  konstruktová (teoretická) validita: soulad vztahů očekávaných v teorii a mezi naměřenými hodnotami indikátorů konvergentní, diskriminační (korelace, faktorová analýza) modelování - MIMIC, kovarianční - zachycení reliability i validity pomocí opakovaní měření modelů (RMM, MTMM)  externí validita: přesahuje sadu měřených proměnných

5 ISS Analytické metody výzkumu, semináře - reliabilita Str. 5 Měření reliability  paralelní měření: dvě nebo více měření stejného konceptu různými otázkami v různých podmínkách  opakování v čase  testování nástroje (účast v minulých volbách)  u hodnot a postojů problém časové vzdálenosti - blízkost kvůli možné změně postoje, vzdálenost  alternativní formy jedné otázky (zařazení nevím, střední kategorie, použití karet, alternativní formulace atp.)  více pozorovatelů, jeden postup  hodnocení mezipoložkové reliability: crobachovo alfa, split-half

6 ISS Analytické metody výzkumu, semináře - reliabilita Str. 6 Reliabilita škály  konstrukce výzkumného nástroje: korelace mezi nástrojem a realitou (pravdivým měřením), protože realitu neznáme: test vnitřní konzistence škály (internal consistency) split-half test-retest paralelní měření (inter-rater r.)  kalibrace - zvyšování reliability pomocí zvyšování homogenity  triangulace - zvyšování reliability pomocí redukce systematické chyby (chyby metody) - např. vícenásobné měření  SPSS: analýza vícepoložkový aditivních škál - hledání nejvhodnější škály z dané množiny položek Cronbachovo alfa Split-half Guttman (alternativní split-half) Parallel Strict parallel

7 ISS Analytické metody výzkumu, semináře - reliabilita Str. 7 Reliabilita škály v SPSS  ANALYZE - SCALE - RELIABILITY ANALYSIS...  hodnoty - odpovědi na otázky/položky škály  reliabilita: pozorovaná hodnota = pravdivá hodnota + chyba; (chyba = systematický chyba + náhodná chyba); čím menší chyba, tím lepší škála  jak škála diskriminuje? jak položky zapadají do škály? celková hodnota testu pro škálu relace hodnoty každé položky a celkové hodnoty relace hodnot položek  jednotlivé položky - deskriptivní statistiky: hodnoty, průměry, standardní odchylky, vztahy mezi položkami  vztahy mezi položkami a celkovým skóre škály: Item - Total Statistics

8 ISS Analytické metody výzkumu, semináře - reliabilita Str. 8 Cronbachovo alfa (1)  míra vnitřní konzistence škály (měříci jednu dimenzi)  průměrná korelace položek v rámci jedné škály, jestliže položky standardizovány (st.dev. = 1) nebo průměrná kovariance, když nejsou standardizovány  interpretace jako korelace (hodnoty (nežádoucí -1 až) 0 až 1): mezi testovanou škálou a jinými možnými škálami měřícími stejnou věc sestavitelnými z hypotetické množiny položek mezi pozorovaným skóre (skóre obdrženým v testu) a pravdivým skóre (skóre za všech možných položek)  0, tzn. žádná shoda => pouze chybová položka; 1, tzn. úplná schoda => pouze pravdivá hodnota  Cut-off criteria - běžná konvence: 0,6 použitelná, 0,7 adekvátní, 0,8 dobrá

9 ISS Analytické metody výzkumu, semináře - reliabilita Str. 9 Cronbachovo alfa (2)  negativní hodnoty (mezipoložkové korelace) - nekonzistentní kódování nebo více různých dimenzí  hodnota závislá na početu položek: čím větší počet, tím větší reliabilita (obvyklý cíl: přiměřeně položek!, vysoká reliabilita)  alpha if deleted: dopad jednotlivých položek na reliabilitu škály - odebrání položky z testu a sledování změny  item - total: korelace položky s celkovou škálou - malá ( asi vyhodit  R 2 : R 2 položky predikované ze všech ostatních položek škály; čím větší, tím víc položka přispívá ke konzistenci škály (malé hodnoty - uvažovat o vyhození)  KR20: koeficient alfa pro dichotomické položky (Kuder-Richardson)  standardizované alfa pro položky (Spearman-Brown Coef., ne S-B split half): míra nepodobnosti rozptylu mezi položkami  Raykovo rho: alternativní míra reliability  Spearmanovo rho: alternativní míra spočítaná na základě pořadí (ordinální data)

10 ISS Analytické metody výzkumu, semináře Jindřich Krejčí, Str. 10 Split Half  podstata: rozdělit škálu na dvě části a posouzení ekvivalence (korelací) mezi jednotlivými částmi  SPSS: rozdělí test na dvě části podle pořadí, pokud lichý počet, první část je delší Cronbachovo alfa pro bě části & korelace mezi oběma částmi equal-length Spearman-Brown koef.: korelace mezi oběma částmi testu - odhad celkového koeficientu reliability equal/ unequal-length nevýhoda 1: závisí jak jsou rozděleny položky do částí (náhodně) nevýhoda 2: vyžaduje podobný rozptyl v obou částech testu nevýhoda 3: hledání problematické položky (nevíme, v které půlce) nepléct se Spearman-Brown standardizovaným alfa koef. Guttman split-half koef. modifikace S-B koef. - nevyžaduje shodu rozptylů Guttman split-half test: šest koeficientů doporučeno experimentovat pro dosažení rozdělení na dvě části s nejvyšší reliabilitou: nejlepší rozdělení to, kde jsou nejvíce zkorelované položky v obou částech

11 ISS Analytické metody výzkumu, semináře - reliabilita Str. 11  Test - retest: stabilita v čase, stejný test ve dvo časových bodech klasický - Spearman-Brown split-half  Inter-rater měření homogenity hodnocení různých hodnotitelů stejný test na stejné objekty, různí hodnotitelé Cohen’s Kappa: pokud jen dva různí hodnotitelé ICC (intraclass correlations): pro dva a více

12 ISS Analytické metody výzkumu, semináře - reliabilita Str. 12 Další předpoklady  aditivita:každá položka by měla mít lineární vztah k celkovému skóre - Tukey’s test of aditivity  nezávislost pozorování  nezkorelované chyby  konzistentní kódování  podobná obtížnost odpovídání na položky


Stáhnout ppt "ISS Reliabilita škály Semináře ke kurzu Analytické metody výzkumu Jindřich Krejčí."

Podobné prezentace


Reklamy Google