Principy testování a měření Tento projekt je spolufinancován Evropským sociálním fondem, státním rozpočtem České republiky a rozpočtem Hlavního města Prahy.

- diagnostické metodiky ne-nutně-vědecké, Diagnostické metodiky – nutno rozlišovat: - diagnostické metodiky ne-nutně-vědecké, pro praxi klinickou a pedagogickou - diagnostické metodiky vědecko-výzkumné pro zjišťování dat v empirickém výzkumu = prostředky vědecké metody „pozorování“

přímo pozorovatelná proměnná Druhy proměnných: přímo pozorovatelná proměnná Příklady - měření systolického krevního tlaku, - otázka v dotazníku, - čas na 110 m překážek - teoreticko-konceptuální proměnná, slangově tzv. “teoretický konstrukt” Příklady - pohybové schopnosti - extroverze, sebepojetí, kvalita života, IQ - množství tuku v těle

Příklad z klinické lékařské oblasti: - inidikátor: symptom, příznak : horečka, zvětšená játra, nález v krvi, ... - koncept: syndrom, “obraz” nemoci : tyfus (salmonely či rickettsie a jejich toxiny jsou příčinou i symptomem tyfu, nikoli však chorobou samou, “celkovým onemocněním zvaným tyfus”)

Jakákoli výzkumná diagnostická metodika je “test” Jak k problému přistupuje klasická teorie testů ? Jakákoli výzkumná diagnostická metodika je “test” Cíl teorie testů: zkvalitnění diagnostiky pomocí modelových vztahů mezi vlastnostmi testu

“Psychometrické” vlastnosti testu: reliabilita, validita objektivita, homogenita, obtížnost, konzistence, délka, ekvivalence, čas, specifičnost, rychlost, generalizabilita dimenzionalita,

Postup při konstrukci testů Vytvoření 1. verze testu na základě konzultací s experty Ověření srozumitelnosti testu a struktury testu na základě pilotní studie Upravení testu (redukce položek nebo naopak přidání položek) Standardizace testu – ověření validity a reliability, stanovení norem

Příklady obvyklých praktických úkolů: a selekci uchazečů  maximalizace predikční validity pro přijímání a selekci uchazečů  optimální redukce a úspornost diagnostiky “test equating” - zajištění srovnatelnosti výsledků různých verzí testu atd.

změřená hodnota = přesná hodnota + chyba Indikátor = “test” Koncept = “to, co má test měřit” .. laická „definice“ validity Jak matematicky tento problém modeluje klasická teorie testů? Analogie Gaussova modelu chyb měření: změřená hodnota = přesná hodnota + chyba

x   observed score x = true score  + discrepancy  Terminologie teorie testů: pozorovaná hodnota = skutečná hodnota + diskrepance observed score x = true score  + discrepancy  x =  +  x   Empirický indikátor Nepozorovatelný koncept Diskrepance známá neznámá neznámá Ve výzkumné diagnostické praxi se případ absolutně nulové diagnostické diskrepance  téměř nikdy nevyskytuje.

Koeficient diagnostické reliability (“spolehlivosti”) Rel x = S2 / Sx2 tj. podíl, proporce neznámého rozptylu skutečných hodnot ku rozptylu pozorovaných možno jen zhruba odhadnout jako korelaci dvou paralelních x , x´, - buď různých paralelních testů x , x´ - nebo paralelních měření x , x´ týmž testem

- metodou “stability, test-retest” (u paralelních testů) Odhad reliability pro testy paralelně a tau-ekvivalentní - metodou “stability, test-retest” (u paralelních testů) - dělením, “split-half “ (paralelně - ekvivalentní části, “metoda konzistence”, nezaměňovat s konzistencí testu!!) - metodou “obsahové ekvivalence”- dva různé testy paralelně - ekvivalentní - metodou “dolní meze” (u tau-ekvivalentních testů): - přímo: Cronbachův koeficient ALFA - z faktorového modelu: McDonaldův OMEGA - vnitrotřídní korelací z ANOVA s nejméně dvojrozměrným designem a modelem typu „mixed s replikacemi“

Validita: ne-psychometrická - expertízně posuzovaná - obsahová (logická, věcná) teoreticko-konceptuální čili “konstruktová” a homogenita - “zřejmá” neboli “face” psychometrická - formálně vyčíslená - tradiční statistické metody: korelace, regrese - netradiční: stochastické modely, teorie informace aj.

Druhy psychometrické validity faktorová (Strukturální modely) diskriminační síla (v modelech IRT), konvergentní / diskriminantní (MTMM) vnitřní - vnější jednoduchá - složená přímá - “čistá” - inkrementální souběžná - predikční …………………..atd.