Úvod do psychometriky Validita psychodiagnostických metod Jiří Čeněk

Validita Otázka – měří test skutečně to, co měřit má? (měření v psychologii je nepřímé) Způsoby zjišťování – mnoho – 3 základní přístupy zaměřené na 3 hlavní komponenty testové situace Základní typy validity obsahová validita – obsah testové situace a chování osoby v testové situaci empirická validita – posouzení vztahu mezi testovým skórem a vnějším kritériem konstruktová validita – teoretické otázky existence nějakého rysu V současnosti neuvažuje se o typech validity, ale o typech důkazů o validitě

I. Obsahové zdroje validity

Obsahové důkazy o validitě Obsah metody a situace testování a chování testované osoby v této situaci. Obsahové důkazy: Argumenty svědčící pro to, že obsah psychodiagnostické metody, situace testování a chování požadované od probanda jsou ve shodě s účelem metody.

Obsahové důkazy o validitě Zjevná validita Výběrová validita Faktorová validita

Zjevná (zdánlivá, face) validita U zdánlivě validního testu se zdá, že měří to, o čem se tvrdí (předpokládá), že měří. = Posouzení, do jaké míry tvůrci metody zatajili pravý účel testování. U jakých testů je zjevná validita žádoucí, u jakých testů by zjevná validita narušovala měření? Nevadí u testu schopností, vadí například u obedience, zimbardo.

Zjevná (zdánlivá, face) validita Neexistuje logický vztah mezi zdánlivou a skutečnou validitou ZV ovlivňuje přístup probanda k testování Žádoucí z důvodu: Motivace osob: Testování má smysl Může pomoci probandovi nebo „vyššímu dobru“ = Tendence podávat dobrý výkon/odpovídat pravdivě Př.: Testy schopností (inteligence, apod.) Nežádoucí u: Některých dotazníků či experimentů Předpoklad zkreslení odpovědí Př.: Přijetí do školy/zaměstnání Test úzkosti u pilotů Příklad: Výzkum poslušnosti (S. Milgram), Konformita (S. Asch) (I když zde se nejedná o dotazníky)

Výběrová (sample) validita Vlastní obsahová validita, validita na základě definice, Adekvátnost výběru obsahu položek vzhledem k atributu, který má být touto metodou měřen Použití – výkonové testy a testy vědomostí a schopností Postup – expertní posouzení pečlivá definice rysu nebo obsahové oblasti v pojmech chování rozdělení celé oblasti do kategorií představující hlavní aspekty oblasti posouzení počtu položek v každé kategorii

Výběrová (sample) validita Př.: Státní maturita z češtiny: čtenářská gramotnost

Faktorová validita Obsah testu na základě faktorové analýzy různých obsahů Příklad: Původně 7 faktorů inteligence podle Thurstonea (porozumění slovům, slovní fluence, čísla, prostorové vztahy, asociační paměť, percepční rychlost, obecné usuzování) později FA odhalovala další a další faktory Guilford na základě svých výzkumů přes 40 faktorů intelektu, po roce 1956 systematizace: 120 faktorů I. operace: kognice, paměť, produktivní myšlení (konvergentní a divergentní myšlení), hodnocení II. obsahy: sémantický, symbolický, figurální, behaviorální III. produkty: jednotky, třídy, vztahy, systémy, transformace, implikace

Faktorová validita

II. Empirické zdroje validity

Empirické důkazy o validitě Prokázání vztahu mezi výsledkem testu a nějakým kritériem Př.: Dotazník schopnosti zatlouci hřebík Vnější kritérium: Zatlučení hřebíku.

Empirické důkazy o validitě Prokázání vztahu mezi výsledkem testu a nějakým kritériem Důkaz Korelace, regresní analýza Rozdíl v definovaných skupinách (t-testy), procenta správně klasifikovaných osob vzhledem k jasně definovaným skupinám Problém – nalezení vhodného kritéria – kritérium by mělo být vysoce reliabilní a validní, u některých ukazatelů vhodné kritérium neexistuje Omezení – omezení rozsahu hodnot v důsledku předvýběru osob (heterogenita výzkumného souboru)

Empirické důkazy o validitě Prediktivní validita Souběžná validita Inkrementální validita Diferenciální validita

Prediktivní validita Test vyznačující se prediktivní validitou bude predikovat nějaké kritérium Příklad: vztah inteligence a akademického úspěchu korelace skórů inteligenčního testu dětí v 5 letech s jejich následnými akademickými úspěchy problémem je index akademického úspěchu (problém srovnatelnosti známek z různých předmětů, škol atd.) očekávaná korelace IQ a kritéria významná, ale nepříliš těsná (0,3-0,4)

Souběžná (concurrent) validita Souběžně validní testy navzájem vysoce korelují Způsob, jak nahradit prediktivní validitu Nemusí se jednat nutně o test (rozhovor, textová data) Vnějším kritériem je nějaký jiný validní test Př.: Dotazníky IND/COL Koreluje spolu dotazník IND/COL a IISS? (v různých kulturách, při testování v rámci jedné populace?) Rozdíl prediktivní a souběžná validita: U prediktivní validity počítáme s určitým časovým odstupem testování.

Inkrementální validita Definice – inkrementální validitu má test, který přináší informaci, kterou nelze získat z jiných zdrojů Vždy vzhledem k nějakému účelu Nulová korelace reliabilního testu s některým testem použitým v baterii může znamenat novou informaci De facto: Míra překrývání se dvou testů Kritérium – výsledky mnohonásobné regrese, parciální korelace mezi položkami, subškálami (matematické vysvětlení (Urbánek, 2011, str. 140-142) Položky – měly by korelovat s kritériem, ale nulově mezi sebou Tzn. měly by mít inkrementální validitu To je v rozporu s požadavkem vnitřní konsistence

Inkrementální validita Příklad (individuální vyšetření): Zajímá nás školní prospěch daného žáka. Administrovali jsme test inteligence, v něm žákova inteligence vyšla na průměrné úrovni Z hlediska školního prospěchu by administrace dalšího testu inteligence nepřinesla žádnou přidanou informaci (inkrement informace). Budeme administrovat inventář zájmů (zda nemá čas na školu díky jiným zájmům) Příklad: WAIS Vysoká korelace jednotlivých subtestů s inteligencí, nízká korelace subtestů mezi sebou = znamení vysoké inkrementální validity subtestů

Diferenciální validita Definice: validita pro odlišení daného rysu od rysů ostatních Použití – posouzení konstruktové validity Příklad: u mnoha testů osobnostních rysů je prvním úkolem validizace dokázat, že test neměří extraverzi nebo neuroticismus (nebo další příbuzné rysy)

III. Konstruktové důkazy validity

Konstruktové důkazy o validitě pojem – Cronbach a Meehl (1955) Nutnost dobrého teoretického ukotvení testu ~ Teoretická validita Logický postup (Cronbach a Meehl, 1955): předpoklad, že test měří rys A posouzení současné teorie o rysu A formulace hypotéz, s čím bude a s čím nebude mít rys A vztah empirické ověření hypotéz

Konstruktové důkazy o validitě Příklad: Závislé a nezávislé sebepojetí Teorie: Nezávislé sebepojetí je typické pro severoamerické a západoevropské kultury. NS je charakteristické pro kultury, kde je normativním imperativem stát se nezávislým na druhých . Kulturní cíl dosáhnout nezávislosti na druhých podporuje tvorbu sebepojetí takového charakteru, že chování a prožívání jedince je organizováno a řízeno na základě vnitřního repertoáru myšlenek, pocitů, motivů a chování, který je nezávislý na myšlenkách, pocitech, motivech a chování ostatních. Základním aspektem tohoto sebepojetí je autonomie a nezávislost. (Markus & Kitayama, 1991). Naopak v případě vzájemně závislého sebepojetí, které je typické pro oblast Afriky, Jihovýchodní Asie, Latinské Ameriky či Jižní Evropy , je kulturním normativním imperativem udržení vzájemné závislosti mezi jedinci (zpravidla příslušníky vztažné skupiny). Jedinci se vzájemně závislým sebepojetím se vnímají jako součást vše obklopujících sociálních vztahů; chápou, že jejich chování je determinováno myšlenkami, pocity, motivy a chováním ostatních lidí, se kterými mají navázané blízké vztahy.

Konstruktové důkazy o validitě Příklad: Závislé a nezávislé sebepojetí Nový test: Lu a Gilmour (2007): IISS Analýza teorie: 2*7 facet NS/VZS. NS: být nezávislý, jedinečný a konzistentní, sebevyjádření, naplnění vnitřních rysů, sledování vlastních cílů, přímost a upřímnost, spoléhání se na sebe sama a hédonismus, separace od vztažné skupiny. VZS: příslušnost ke skupině a zapadání do skupiny, být na místě, které jedinci přísluší, zabývat se tím, čím je vhodné se zabývat, sledování cílů skupiny, nepřímá komunikace, integrovaná rodina, vzájemná závislost a sociabilita.

Typy hypotéz Příklad pro test IISS skóry testu budou korelovat se skóry jiných testů NS/VZS administrovaných nyní a v budoucnosti (souběžná a prediktivní validita) skóry testu nebudou korelovat s testy, které nejsou považovány za testy daného rysu, například s testy osobnosti (tzn. definice pomocí vyloučení – souběžná a diskriminační validita) skóry testu budou korelovat s testy analytického a holistiského myšlení (prediktivní validita) skóry testu budou na vysoké hladině významnosti diskriminovat mezi různými kulturami (Východ vs. Západ, diskriminační validita) ve faktorové studii budou položky testu vysoce sytit první nebo druhý faktor (21 a 21 položek)

Vyvrácení hypotéz V případě vyvrácení hypotéz (Cronbach a Meehl, 1955): test neměří danou proměnnou (konstrukt) teoretická síť generující hypotézu je nesprávná testování hypotézy selhalo (chyba ve výzkumu, zde například priming)

Poznámky ke konstruktovým důkazům o validitě někdy se zjistí, že kritérium používané v raných stadiích vývoje testu je méně validní než test Příklad: IQ testy byly původně vytvořeny tak, aby korelovaly s hodnocením od učitelů, dnes se IQ považuje za přesnější uživatel testu potřebuje znát i teorii a důkazy její platnosti dokud není teorie „pochopena“, není možné ji validizovat konstruktovou validitu testu lze hodnotit pouze tehdy, když je zveřejněn je na místě opatrnost při používání testů, jejichž principy jsou tajné každý výsledek ve shodě s teorií postupně podporuje validitu ale dobře zakotvený negativní nález může vše najednou vyvrátit otázka po validitě testu je v konečném důsledku naivní, protože test nelze nikdy zcela validizovat (Cronbach a Meehl, 1955) test může být validní pouze vzhledem k nějakému účelu

Přístup MTMM (multitrait-multimethod) princip: 2 míry stejného rysu by měly vysoce korelovat, ale vysoká korelace s irelevantním rysem je v rozporu s validitou postupy: korelační a faktorová analýza přístup MTMM: (Campbell a Fiske, 1959) – konvergentní a diskriminační princip uplatněný při analýze aspoň 2 rysů měřených aspoň 2 metodami tzv. MTMM matice diagonály reliability diagonály validity heterorysové-monometodové trojúhelníky heterorysové-heterometodové trojúhelníky

Princip matice MTMM Diagonála reliability – koeficienty reliability metod Diagonály validility – korelační koeficienty pro posouzení souběžné validity (SV) Korelační koeficienty k posouzení diskriminační validity (DV)

Způsob uvažování důkaz konvergentní validity: hodnoty v diagonálách validity jsou statisticky významně nenulové a dost vysoké, aby podpořily zájem o další výzkum důkazy diskriminační validity: hodnoty DV jsou nízké (blízké „0“) hodnoty v diagonále validity jsou vyšší než hodnoty v sousedním heterorysovém-heterometodovém trojúhelníku hodnoty v diagonále validity jsou vyšší než hodnoty v heterorysových-monometodových trojúhelnících ve všech heterorysových trojúhelnících lze pozorovat podobné vzorce korelací

Aspekty validity: Samuel Messick Obsahové Věcné (předmětné) Strukturní Zobecnitelnost Externí Důsledkové – etické aspekty

Děkuji za pozornost