Teorie psychodiagnostiky a psychometrie Položková analýza Teorie psychodiagnostiky a psychometrie Radvan Bahbouh, Eva Rozehnalová

Obsah Položky Výběr odpovědi Volná odpověď Položková analýza Obtížnost položky Diskriminace položky Item response theory Položková analýza a vývoj testu

Položky Nejmenší jednotky, které tvoří test a skrze které je testovaná osoba posuzována. Kvalita samotného testu závisí především: na kvalitě jeho položek na počtu položek na způsobu jejich řazení Dva základní druhy položek: Výběr odpovědi ze dvou či více variant (selected-response, fixed-response items) Volná odpověď (constructed-response, free-response items)

Výběr odpovědi Výhody: Nevýhody: Limitovaný počet alternativních odpovědí, ze kterých si testovaná osoba musí vybrat. Dichotomické: dvě alternativy (správně/špatně, ano/ne, souhlasím/nesouhlasím) Polynomické: tři a více alternativ, většinou lichý počet, nejčastěji škály Výhody: Jednoduchost a objektivita skórování Vyšší reliabilita testu Úspornější čas testování Nevýhody: Umožňují hádání (výkonnostní testy) Sociální desirabilita (osobnostní testy) Korekce na hádání: x – počet položek, které věděl N – celkový počet položek v testu k – počet alternativních odpovědí

Volná odpověď Výhody: Nevýhody: Mohou být nejrůznějších forem (psaná, ústní, výkon či produkt jakéhokoli druhu…) Nejčastěji u projektivních testů a u testů znalostních (při administraci je třeba stanovit časový limit, rozsah odpovědi, možné pomůcky, atd.) Výhody: Rozmanitější a hlubší informace Možnost kreativního přístupu Autentické odpovědi Nevýhody: Obtížné skórování Nižší reliabilita a potažmo i validita Větší časová náročnost

Položková analýza Kvantitativní Metoda užívaná ke zkoumání charakteristik položek v průběhu vytváření testu a jeho dalšího vývoje. Zahrnuje dva druhy analýz: Kvalitativní Přiměřenost obsahu a formátu položky účelu testu a populaci, pro kterou je určen Srozumitelnost a jasnost Gramatická správnost Kvantitativní Obtížnost položky Korelace položky s HS Korelace položky s vnějším kritériem Časová náročnost položky aj.

Obtížnost položky Výkonnostní testy: Poměr počtu respondentů, kteří odpověděli na danou otázku správně ku celkovému počtu respondentů. Osobnostní testy: Pravděpodobnost kladného skórování dané položky. Položky, u kterých skórují všichni nebo nikdo, nemají žádnou informační hodnotu, proto z testu vyřazujeme položky, jejichž p je menší než 0,1 a větší než 0,9 Variabilita položky = p * (1 - p) Usilujeme o co největší variabilitu, ideální průměrná obtížnost položek v testu by tedy měla být 0,5. Obtížnost jednotlivých položek by však měla být různá, nejlépe podobná normálnímu rozdělení, tak aby v testu byly jak obtížné, tak jednoduché položky a lépe tak diskriminovaly.

Diskriminace (validita) položky Korelace položky s HS Nejlépe HS bez započtení skóru dané položky Neměla by být nižší než 0,2 Ekonomie položky - používáme koeficient determinace, odpovídá tomu o kolik se zvýši kvalita našeho odhadu výsledku. Porovnání obtížností u jedinců, kteří v testu skórují vysoko a nízko D index = ph – pl (hodnoty od 1.00 do -1.00) Korelace položky s externím kritériem

Item response theory

Položková analýza a vývoj testu Vytvoření většího souboru položek, navržení způsobu administrace a skórování Kvalitativní položková analýza, pilotáž položek na malém vzorku lidí Zadání testu pokud možno reprezentativnímu vzorku populace, které je test určen Vyhodnocení kvantitativní položkové analýzy, přídavná kvalitativní analýza, předběžné údaje o reliabilitě, atd. Přidání, upravení či odstranění položek podle zjištěných výsledků Cross-validizace, zadání testu dvěma vzorkům a porovnání výsledků Zafixování délky testu, pořadí položek, administrace a skórování Zadání testu novému reprezentativnímu vzorku z populace, pro níž je test určen, za účelem získání norem, reliability, finální položkové analýzy, popř. validity Publikace testu