Principy testování a měření

Prezentace na téma: "Principy testování a měření"— Transkript prezentace:

1 Principy testování a měření
Tento projekt je spolufinancován Evropským sociálním fondem, státním rozpočtem České republiky a rozpočtem Hlavního města Prahy.

2 - diagnostické metodiky ne-nutně-vědecké,
Diagnostické metodiky – nutno rozlišovat: - diagnostické metodiky ne-nutně-vědecké, pro praxi klinickou a pedagogickou - diagnostické metodiky vědecko-výzkumné pro zjišťování dat v empirickém výzkumu = prostředky vědecké metody „pozorování“

3 přímo pozorovatelná proměnná
Druhy proměnných: přímo pozorovatelná proměnná Příklady - měření systolického krevního tlaku, - otázka v dotazníku, - čas na 110 m překážek - teoreticko-konceptuální proměnná, slangově tzv. “teoretický konstrukt” Příklady - pohybové schopnosti - extroverze, sebepojetí, kvalita života, IQ - množství tuku v těle

4 Příklad z klinické lékařské oblasti:
- inidikátor: symptom, příznak : horečka, zvětšená játra, nález v krvi, ... - koncept: syndrom, “obraz” nemoci : tyfus (salmonely či rickettsie a jejich toxiny jsou příčinou i symptomem tyfu, nikoli však chorobou samou, “celkovým onemocněním zvaným tyfus”)

5 Jakákoli výzkumná diagnostická metodika je “test”
Jak k problému přistupuje klasická teorie testů ? Jakákoli výzkumná diagnostická metodika je “test” Cíl teorie testů: zkvalitnění diagnostiky pomocí modelových vztahů mezi vlastnostmi testu

6 “Psychometrické” vlastnosti testu:
reliabilita, validita objektivita, homogenita, obtížnost, konzistence, délka, ekvivalence, čas, specifičnost, rychlost, generalizabilita dimenzionalita,

7 Postup při konstrukci testů
Vytvoření 1. verze testu na základě konzultací s experty Ověření srozumitelnosti testu a struktury testu na základě pilotní studie Upravení testu (redukce položek nebo naopak přidání položek) Standardizace testu – ověření validity a reliability, stanovení norem

8 Příklady obvyklých praktických úkolů: a selekci uchazečů
 maximalizace predikční validity pro přijímání a selekci uchazečů  optimální redukce a úspornost diagnostiky “test equating” - zajištění srovnatelnosti výsledků různých verzí testu atd.

9 změřená hodnota = přesná hodnota + chyba
Indikátor = “test” Koncept = “to, co má test měřit” .. laická „definice“ validity Jak matematicky tento problém modeluje klasická teorie testů? Analogie Gaussova modelu chyb měření: změřená hodnota = přesná hodnota + chyba

10 x   observed score x = true score  + discrepancy 
Terminologie teorie testů: pozorovaná hodnota = skutečná hodnota + diskrepance observed score x = true score  + discrepancy  x =   x   Empirický indikátor Nepozorovatelný koncept Diskrepance známá neznámá neznámá Ve výzkumné diagnostické praxi se případ absolutně nulové diagnostické diskrepance  téměř nikdy nevyskytuje.

11 Koeficient diagnostické reliability
(“spolehlivosti”) Rel x = S2 / Sx2 tj. podíl, proporce neznámého rozptylu skutečných hodnot ku rozptylu pozorovaných možno jen zhruba odhadnout jako korelaci dvou paralelních x , x´, - buď různých paralelních testů x , x´ - nebo paralelních měření x , x´ týmž testem

12 - metodou “stability, test-retest” (u paralelních testů)
Odhad reliability pro testy paralelně a tau-ekvivalentní - metodou “stability, test-retest” (u paralelních testů) - dělením, “split-half “ (paralelně - ekvivalentní části, “metoda konzistence”, nezaměňovat s konzistencí testu!!) - metodou “obsahové ekvivalence”- dva různé testy paralelně - ekvivalentní - metodou “dolní meze” (u tau-ekvivalentních testů): - přímo: Cronbachův koeficient ALFA - z faktorového modelu: McDonaldův OMEGA - vnitrotřídní korelací z ANOVA s nejméně dvojrozměrným designem a modelem typu „mixed s replikacemi“

13 Validita: ne-psychometrická - expertízně posuzovaná - obsahová (logická, věcná) teoreticko-konceptuální čili “konstruktová” a homogenita - “zřejmá” neboli “face” psychometrická - formálně vyčíslená - tradiční statistické metody: korelace, regrese - netradiční: stochastické modely, teorie informace aj.

14 Druhy psychometrické validity
faktorová (Strukturální modely) diskriminační síla (v modelech IRT), konvergentní / diskriminantní (MTMM) vnitřní - vnější jednoduchá - složená přímá - “čistá” - inkrementální souběžná - predikční …………………..atd.