OBSAH TESTŮ JEJICH RELEVANCE A KVALITA Od „osnov“ k vyhodnocení testů

ZÁKLADNÍ MILNÍKY NA CESTĚ KE KVALITNÍMU TESTU • Pedagogické dokumenty (obsah vzdělávání) • Katalogy požadavků ke zkoušce • Specifikace testu • Vývoj úloh a kontrola jejich kvality • Sestavení testu a kontrola jeho kvality • Administrace zkoušek a vyhodnocení výsledků • Položková analýza zpětná kontrola kvality testu a úloh • Rozhodnutí o vyřazení defektních úloh • Definitivní vyhodnocení výsledků testu

TESTY SE NETVOŘÍ NÁHODNĚ (1) • Analýza obsahu učiva všech maturitních oborů • Průnik obsahu učiva všech maturitních oborů • Katalog požadavků ke zkoušce (co a rámcově jak ověřuje maturitní zkouška) Dle zákona schválen MŠMT nejméně 2 roky před zkouškou Pro letošek zveřejněn v dubnu 2008 Odvozen od závazné pedagogické dokumentace všech maturitních oborů Základní zadání pro specifikaci testů a jejich obsah

TESTY SE NETVOŘÍ NÁHODNĚ (2) • Specifikace testu Definuje architekturu testu, typy testových úloh a vazbu úloh na jednotlivé „položky“ v katalogu požadavků Jedna z podmínek zajištění meziroční srovnatelnosti testu • Vývoj testových úloh Typ a tematické vymezení stanovuje dle specifikace testu předmětový koordinátor CERMATu Návrhy úloh jsou připravovány sítí autorů testových úloh Autoři úloh jsou speciálně vyškolení učitelé středních a vysokých škol

OD NÁVRHU ÚLOHY K JEJÍ DEFINITIVNÍ PODOBĚ (1) Čím prochází návrh úlohy než se stane použitelnou úlohou? • Ověření původnosti úlohy Ověřují se mj. autorská práva k užití úlohy či její části • Dvě revize návrhu - obsahová a metodická Revizoři jsou speciálně proškolení a zkušení učitelé středních a vysokých škol Výsledkem revizí může být mj. úprava úlohy nebo také její vyřazení z dalšího procesu • Jazyková a formální revize úlohy

OD NÁVRHU ÚLOHY K JEJÍ DEFINITIVNÍ PODOBĚ (2) • Pretest (pilotáž) návrhů testových úloh Do pretestu je zařazena většina originálních úloh Pretest probíhá zpravidla na výběrovém vzorku žáků Na základě výsledků je prověřována obsahová a „testologická“ validita úlohy, její schopnost spolehlivě ověřovat, co ověřovat má a vhodnost užití úlohy to testu Odhaduje se rovněž náročnost úlohy Na základě výsledků pretestů může být úloha upravena nebo dokonce i vyřazena z dalšího procesu • Formální revize Dle typografických a datových standardů

SESTAVUJEME TEST • Východiskem je specifikace testu • Sestavení návrhu testu Sestavuje předmětový koordinátor CERMATu dle pokynů a za supervize předmětového metodika  Tematická a obsahová vyváženost  Meziroční srovnatelnost  Genderová vyváženost (témata pro chlapce i děvčata musí být v rovnováze)  Face validity a motivační konstrukce testu  U poslechových subtestů výběr mluvčích a kvalita nahrávky zadání • Revize a expertní posouzení testu • Formální revize testu • Schválení testu

… A JE PO ZKOUŠKÁCH • Signální zpracování výsledků testu • Zpracování tzv. položkové analýzy každé úlohy  na základě vyhodnocení reálných výsledků se provede analýza jednotlivých úloh, jejích parametrů, způsobu, jakým žáci úlohu řešili  ověřují se stejné parametry jako v případě pretestu (ale na celém souboru testovaných žáků) včetně jednoznačnosti  Provádí metodici a analytici Centra, identifikují možné problémy • Klasifikace úloh  Návrhy klasifikovaných úloh posuzuje odborná komise Centra  Výstupem je identifikace tzv. defektních úloh a návrh na způsob jejich „vyřazení“ či změnu jejich hodnocení (kompenzace) • Rozhodnutí o „vyřazení“ úlohy a způsobu kompenzace

… a jak je to letos? • Následná kontrola úloh a testů byla provedena a v pátek 10/6 rozhodnuto následovně  Všech 43 testů a testových mutací je způsobilých k vyhodnocení výsledků  Z celkového počtu testových úloh byly následnou kontrolou a analýzou výsledků klasifikovány jako defektní 4 úlohy v následujících testech: RJ – základní - poslechový subtest (1 úloha) - nejednoznačnost ČJL – základní - mutace pro žáky s PUP (1 úloha) - nejednoznačnost NJ – základní – mutace pro žáky s PUP (1 úloha) – konstrukční vada Zeměpis – mutace pro žáky s PUP (1 úloha) – technická vada zpracování • Kompenzace defektu úloh pro zpracování výsledků  Defektní úloha 1 a 2: budou jako správné uznány 2 ze 4 alternativ  Defektní úloha 3 a 4: bude započítán všem žákům plný počet bodů