RNDr. Martin Mal č ík, Ph.D. Pedagogická fakulta, Ostravská univerzita v Ostrav ě Metodické a evalua č ní centrum, o.p.s. Spole č nost pro kvalitu školy,

Prezentace na téma: "RNDr. Martin Mal č ík, Ph.D. Pedagogická fakulta, Ostravská univerzita v Ostrav ě Metodické a evalua č ní centrum, o.p.s. Spole č nost pro kvalitu školy,"— Transkript prezentace:

1 RNDr. Martin Mal č ík, Ph.D. Pedagogická fakulta, Ostravská univerzita v Ostrav ě Metodické a evalua č ní centrum, o.p.s. Spole č nost pro kvalitu školy, o.s. 1 Přidaná hodnota ve vzdělání a Relativní přírůstek znalostí

2 Obsah 2 P ř idaná hodnota ve vzd ě lávání, modely Testování relativního p ř ír ů stku Vstupní testování Výstupní testování Ur č ení relativního p ř ír ů stku Výsledky a výstupy z testování Analýza a záv ě r

3 Přidaná hodnota 3 Stále je jednodušší nalézt detailní informace o školských vstupech než o výstupech. Efektivní rozhodování na základ ě sobor ů dat č i informací lze však lépe č init, když existuje rovnovážná míra informací nejen o vstupech, ale také o procesech a výstupech. Kombinace dat o vstupech, procesech a výstupech umož ň uje Provést mnohem úpln ě jší analýzy, které sm ěř ují až k posouzení využití zdroj ů. Ř ídit lépe eduka č ní proces se zám ě rem zvýšit kvalitu Využití výsledk ů pro srovnání mezi školami – úrove ň uchaze čů Využití informací pro rozvoj sebehodnocení žák ů

4 Přidaná hodnota 4 Definice OECD „Modely p ř idané hodnoty m ěř í p ř ísp ě vek školy k pokroku žáka v ůč i p ř edem ur č eným školním vzd ě lávacím cíl ů m. P ř ísp ě vek je o č išt ě ná hodnota od jiných faktor ů, které taky p ř ispívají k pokroku žáka v u č ení.“ Modely: Jednoduché – dva č asové ř ezy (Relativní p ř ír ů stek znalostí, SCIO) Kontextuální – postihují také vlivy, které nejsou ovlivn ě ny školou

5 Využití výsledků přidané hodnoty 5 Zlepšování informací o výkonech škol P ř i zlepšování vzd ě lávání na školách v rámci vlastních sebeevalua č ních aktivit Pro informaci subjekt ů m jako z ř izovatel, inspekce P ř i signální funkci, kdy se zjistí, že n ě které školy pot ř ebují vn ě jší podporu P ř i srovnávání r ů zných typ ů škol p ř i reformních aktivitách ve školském systému. Pro informovanost uvnit ř školy - u č ící se organizace

6 Modely - Lineárně regresní model Tento jednoduchý typ model ů využívá lineární regrese k odhadu finálních výsledk ů žáka v testu na základ ě znalosti výsledku p ř edchozího výsledku testování a charakteristik žáka č i jeho/její rodiny. Jednu z forem modelu popisuje rovnice: y ij(2) =a 0 +ay ij(1) +b 1 X 1ij +...+b p X pij + ε ij (1) kde i - ozna č ení žáka v rámci j-té školy y ij(2) - výsledek finálního testu y ij(1) - výsledek p ř edchozího testování {X} - charakteristiky žáka č i jeho/její rodiny a 0, a 1, b 1, …, b p - regresní koeficienty ε i,j - náhodná chyba s normálním rozd ě lením, pro jednotlivé žáky nezávislá a se shodným rozptylem 6

7 Co ovlivňuje výsledky žáka na úrovni žáka? 7

8 Co ovlivňuje výsledky žáka na úrovni školy? 8

9 Negativa testování testování m ů že zp ů sobovat stres a pocity strachu dochází k tzv. „zužování školních osnov“ u č itelé a č asto vedoucí pracovníci d ů v ěř ují výsledk ů m test ů mnohem více než vlastním profesionálním úsudk ů m o žácích, které spo č ívají na delších pozorováních a vzájemné komunikaci. v mnoha p ř ípadech projevují u č itelé negativní postoje v ůč i d ě tem, které mají nejhorší testové výsledky, protože jim kazí „pr ů m ě ry“, což logicky vede k ješt ě v ě tší frustraci d ě tí, které v testech „neusp ě ly“. U sumativního hodnocení testování zvyšuje spíše vn ě jší motivaci testování zmenšilo „lásku k u č ení“ (scholé), 9

10 Relativní přírůstek znalostí Relativní pokrok žák ů, neboli jak dob ř e žáci ovládají jistou znalost ve srovnání s ostatními žáky se stejnou vstupní úrovní této znalosti Vztah mezi statisticky p ř edpokládaným výsledkem testu (skóre) u každého žáka a žákem dosaženým aktuálním výsledkem testu Jihlava, 2009

11 Relativní přírůstek znalostí Testování vstupní úrovn ě Testování výstupní úrovn ě Práce s výsledky 11

12 Hodnocení vstupní úrovně znalostí Metoda, jak poznat žáky a jejich pot ř eby,jak plánovat blízkou i vzdálenou podobu výuky P ř íležitost, jak identifikovat žáky se speciálními vzd ě lávacími pot ř ebami Hodnocení vstupní úrovn ě znalostí nabízí také možnost, jak nastavit komunikaci s rodi č i, p ř ípadn ě s p ř edchozími vzd ě lávacími institucemi Vstupní hodnocení znalostí je p ř ípravou informací pro pozd ě jší hodnocení, pro zjiš ť ování pokroku, který žák ve škole u č inil, pro m ěř ení p ř ír ů stku znalostí. Jihlava, 2009

13 Vstupní úroveň Vstupní testování realizováno v letech 2009, 2010 Testování elektronicky Všichni stejné úlohy Rozklad na dovednosti Rozd ě lení škol po oborech Analýza a zprávy žák ů m, školám 13

14 Algoritmus testování Relativního přírůstku znalostí – výstupní úroveň 14 Poprvé prob ě hlo v roce 2011 Výstupní testování elektronicky po variantách Harmonizace variant Párování dat 2009, 2011 Výpo č et relativního p ř ír ů stku po oborech Transformace relativního p ř ír ů stku do p ě ti (u žák ů ) resp. do č ty ř stup ňů (školy) Analýza a zprávy žák ů m, školám

15 Výstupní testování 15 Elektronické testování P ř ipraveno deset variant testu o podobné obtížnosti Docházelo k rotaci úloh v rámci jednotlivých č ástí V u č ebn ě náhodné p ř id ě lování variant až do vy č erpání variant Prob ě hla harmonizace variant ekvipercentilovou metodou

16 Harmonizace dat ekvipercentilovou metodou 16

17 Výpočet Relativního přírůstku znalostí žáka 17 Provedeno párování dat Výpo č et Relativního p ř ír ů stku proveden po oborech (viz grafy) – vazba na ŠVP, kontextualizace Rozd ě lení – transformace Relativního p ř ír ů stku znalostí žáka do 5 stup ňů u žák ů dle rozd ě lení (15%, 20%, 30%, 20%, 15%) P ř ír ů stek: Velký Vyšší st ř ední St ř ední Nižší st ř ední Malý

18 Vstup a výstup

19 Dosažené výsledky v rámci určitého oboru - český jazyk

20 Regresní přímka - očekávaný přírůstek - český jazyk

21 Dosažené výsledky v rámci určitého oboru - matematika

22 Regresní přímka - očekávaný přírůstek - matematika

23 Relativní přírůstek znalostí žáků v oboru

24 Relativní přírůstek třídy, školy 24 Rozd ě lení – transformace Relativního p ř ír ů stku škol do 4 stup ňů (po kvartilech, 25%-50%, 50-75%, 75-100%, 0-25%, Stupn ě t ř ídy, školy 1 … 75-100% 2 … 50-75% 3 … 25-50%, 4 … 0-25%,

25 Struktura výstupů pro školy 25 Vše on-line p ř ístupné na heslo Zpráva pro žáka, krátká a dlouhá Zpráva pro školu Celková (pro celkovou hodnotu p ř edm ě tu smíchánu obory) Po t ř ídách Po žácích

26 Výstup za školu po oborech 26 Ú [%]P(c)P(o1)R(o1)P(o8)R(o8) český jazyk7085423. stupeň1001. stupeň matematika5164193. stupeň672. stupeň anglický jazyk6581322. stupeň1001. stupeň německý jazyk6172211. stupeň obecné studijní předpoklady938448 100

27 Výstup za třídy po oborech v ČJ 27 t ř ídaVýsledek 1. ro č níku [%] Výsledek 3. ro č níku [%] Reziduál (stupe ň ) G3A84732. stupe ň G3B88723. stupe ň G3C86871. stupe ň S3A83662. stupe ň S3B79691. stupe ň

28 Výstup za třídu po oborech Na základ ě úsp ě šnosti lze srovnat t ř ídy mezi sebou ve vstupu a výstupu Nelze srovnat p ř ír ů stky t ř íd u r ů zných obor ů, jen podle percentil ů Relativní p ř ír ů stek znalostí koreluje slab ě s rozdílem percentil ů fy Scio 28

29 Třídy oboru vzhledem k regresní přímce 29

30 Žáci vzhledem ke třídě a oboru 30

31 Odhady žáků v jednotlivých částech testu Výsledky poskytují informaci o sebehodnocení žák ů Jihlava, 2009

32 Formativní prvky testování Relativního přírůstku znalostí 32 Propojení formativního a sumativního hodnocení Výsledky (v ě tšina) jsou dostupné ihned po testování Percentily žák ů v jednotlivých p ř edm ě tech – oborové a celkové Postavení v rámci t ř ídy Výkon hodnocen pozitivn ě – povzbuzující komentá ř žákova výkonu Úlohy ř azeny od jednoduchých ke složit ě jším ( u vstupu) P ř edm ě ty hodnoceny nejen jako celek, ale také po dovednostech Podle výsledku v dovednostech jsou žákovi nabídnuty úlohy, které rozvíjejí danou dovednost Žák dostane zp ě tnou vazbu z odhadu svého výkonu Relativní p ř ír ů stek je transformován na stupn ě

33 Závěr Elektronické testování Hodnoceny nejen p ř edm ě ty, ale také dovednosti Dovednosti formulovány ve všech p ř edm ě tech na základ ě expertního odhadu a faktorové analýzy Relativní p ř ír ů stek žák ů rozd ě len do 5 stup ňů, škol rozd ě len do 4 stup ňů Nový model testování - formativní konceptuální hodnocení rozší ř ené o vstupní informace od u č itel ů, kte ř í jsou sou č asn ě uživateli hodnocní 33

34 Děkuji za pozornost 34