RNDr. Martin Mal č ík, Ph.D. RNDr. Radek Krpec, Ph.D. Mgr. Martin Rangl Pedagogická fakulta, Ostravská univerzita v Ostrav ě Metodické a evalua č ní centrum, o.p.s. Spole č nost pro kvalitu školy, o.s. 1 Přidaná hodnota ve vzdělání a Relativní přírůstek znalostí

Obsah 2 Autonomie a akontabilita škol P ř idaná hodnota ve vzd ě lávání, modely Monitorovací systém Testování relativního p ř ír ů stku Vstupní testování Výstupní testování Ur č ení relativního p ř ír ů stku Výsledky a výstupy z testování Analýza a záv ě r

Autonomie a akontabilita škol 3 Koncept m ěř ení p ř idané hodnoty vzniká v souvislosti se zvyšující se autonomii škol. M ěř ení p ř idané hodnoty je sou č ástí evaluace školy.

Přidaná hodnota 4 Stále je jednodušší nalézt detailní informace o školských vstupech než o výstupech. Efektivní rozhodování na základ ě sobor ů dat č i informací lze však lépe č init, když existuje rovnovážná míra informací nejen o vstupech, ale také o procesech a výstupech. Informace o školních procesech, postupech, dodržování pravidel byly a jsou v ř ad ě zemí sbírány institucemi typu školních inspekcí po dlouhá léta. Kombinace dat o vstupech, procesech a výstupech umož ň uje Provést mnohem úpln ě jší analýzy, které sm ěř ují až k posouzení využití zdroj ů. Ř ídit lépe eduka č ní proces se zám ě rem zvýšit kvalitu Využití výsledk ů pro srovnání mezi školami – úrove ň uchaze čů Využití informací pro rozvoj sebehodnocení žák ů

Přidaná hodnota 5 Definice OECD „Modely p ř idané hodnoty m ěř í p ř ísp ě vek školy k pokroku žáka v ůč i p ř edem ur č eným školním vzd ě lávacím cíl ů m. P ř ísp ě vek je o č išt ě ná hodnota od jiných faktor ů, které taky p ř ispívají k pokroku žáka v u č ení.“ Modely: Jednoduché – dva č asové ř ezy (Relativní p ř ír ů stek znalostí, SCIO) Kontextuální – postihují také vlivy, které nejsou ovlivn ě ny školou

Využití výsledků přidané hodnoty 6 Zlepšování informací o výkonech škol P ř i zlepšování vzd ě lávání na školách v rámci vlastních sebeevalua č ních aktivit Pro informaci subjekt ů m jako z ř izovatel, inspekce P ř i signální funkci, kdy se zjistí, že n ě které školy pot ř ebují vn ě jší podporu P ř i srovnávání r ů zných typ ů škol p ř i reformních aktivitách ve školském systému. Pro informovanost uvnit ř školy - u č ící se organizace

Faktory ovlivňující přidanou hodnotu 7

Co ovlivňuje výsledky žáka na úrovni žáka? 8

Co ovlivňuje výsledky žáka na úrovni školy? 9

10

11

Ovlivnění výsledků kontextuálními informacemi P ř idaná hodnota školy je ovlivn ě na kontextovými informacemi na t ř ech úrovních. Do školy se hlásí studenti r ů zn ě p ř ipraveni v testovaných p ř edm ě tech s dalšími kontextovými charakteristikami, jako socioekonomický status, index Income Deprivation Affecting Children Index (IDACI), speciální vzd ě lávací pot ř eby atd. Jejich kontextové informace se projevují v rámci možností rozvoje v ě domostí a dovedností v pr ů b ě hu celé školní docházky Školy mají r ů zn ě postavené školní vzd ě lávací programy, co se týká u č ebních plán ů a osnov. 12

Vypořádání s kontextuálnímí informacemi 1. Všichni žáci na vstupu mají stejné podmínky – prošli rámcovým vzd ě lávacím programem pro základní vzd ě lávání a jejich výsledek na vstupu je ř adí do skupin podle jejich výsledk ů. 2. V tomto projektu nebyly p ř ímo použity žádné kontextové informace, jako nap ř. etnicita, mobilita, socioekonomický statut, speciální vzd ě lávací pot ř eby atd. Jisté rozd ě lení je dáno m ěř ením p ř idané po skupinách škol p ř íslušejícím k obor ů m vzd ě lání. Je reálný p ř edpoklad, že do škol jednotlivých obor ů se hlásili a dostali žáci s podobnými kontextovými informacemi. 3. P ř ír ů stek po č ítán po tzv. oborech, kdy všechny t ř ídy st ř edních škol, které se testování ú č astnily, byly podle jednotného č íselníku p ř i ř azeny do jednoho z devíti obor ů vzd ě lání. Do jednotlivých obor ů se tak dostaly „podobné“ školy s podobnými rámcovými vzd ě lávacími programy a jejich p ř idaná hodnota je tedy do jisté míry srovnatelná. 13

Vypořádání s kontextuálnímí informacemi P ř ír ů stek po č ítán po oborech. Do jednotlivých obor ů se tak dostaly „podobné“ školy s podobnými rámcovými vzd ě lávacími programy a jejich p ř idaná hodnota je tedy do jisté míry srovnatelná. Možnost srovnat t ř ídy v rámci školy u r ů zných obor ů na úrovni úsp ě šnosti ALE Nemožnost srovnat t ř ídy a p ř edm ě ty v rámci školy u r ů zných obor ů na úrovní p ř ír ů stku 14

Negativa testování testování m ů že zp ů sobovat stres a pocity strachu dochází k tzv. „zužování školních osnov“ u č itelé a č asto vedoucí pracovníci d ů v ěř ují výsledk ů m test ů mnohem více než vlastním profesionálním úsudk ů m o žácích, které spo č ívají na delších pozorováních a vzájemné komunikaci. v mnoha p ř ípadech projevují u č itelé negativní postoje v ůč i d ě tem, které mají nejhorší testové výsledky, protože jim kazí „pr ů m ě ry“, což logicky vede k ješt ě v ě tší frustraci d ě tí, které v testech „neusp ě ly“. U sumativního hodnocení testování zvyšuje spíše vn ě jší motivaci testování zmenšilo „lásku k u č ení“ (scholé), 15

Testování znalostí Pojem znalost je využíván zejména v ekonomických, ale i v sociálních vědách. Pojem znalost se často vyskytuje i v dokumentech Evropské unie, zejména ve spojení s informační společností (Information Society) znalostní společností (Knowledge-based Society) Termín znalost v širším významu: Znalost zahrnuje nejen vědomost, ale též dovednost a schopnost k vykonávání určitých činností. Příklad – znalost cizího jazyka zahrnuje nejen vědomosti o příslušném jazyce, ale také dovednosti vykonávat s těmito vědomostmi určité řečové aktivity jak to vyjadřuje anglický termín linquistic performance (Pedagogický slovník. 3. vydání, Portál 2001). Jihlava, 2009

Relativní přírůstek znalostí Relativní pokrok žák ů, neboli jak dob ř e žáci ovládají jistou znalost ve srovnání s ostatními žáky se stejnou vstupní úrovní této znalosti Vztah mezi statisticky p ř edpokládaným výsledkem testu (skóre) u každého žáka a žákem dosaženým aktuálním výsledkem testu Jihlava, 2009

Hodnocení vstupní úrovně znalostí Metoda, jak poznat žáky a jejich pot ř eby,jak plánovat blízkou i vzdálenou podobu výuky P ř íležitost, jak identifikovat žáky se speciálními vzd ě lávacími pot ř ebami Hodnocení vstupní úrovn ě znalostí nabízí také možnost, jak nastavit komunikaci s rodi č i, p ř ípadn ě s p ř edchozími vzd ě lávacími institucemi Vstupní hodnocení znalostí je p ř ípravou informací pro pozd ě jší hodnocení, pro zjiš ť ování pokroku, který žák ve škole u č inil, pro m ěř ení p ř ír ů stku znalostí. Jihlava, 2009

Relativní přírůstek znalostí Testování vstupní úrovn ě Testování výstupní úrovn ě Práce s výsledky 19

Vstupní úroveň Vstupní testování realizováno v letech 2007, 2008, 2009, 2010 Testování elektronicky Všichni stejné úlohy Rozklad na dovednosti Rozd ě lení škol po oborech Analýza a zprávy žák ů m, školám 20

Obory vzdělání gymnaziální obory lyceální obory obory technického zam ěř ení, obory p ř írodovedného zamerení obory ekonomického obory zam ěř ené na služby obory pedagogického, sociálního a zdravotnického zam ěř ení obory spole č enskov ě dního zam ěř ení obory um ě leckého zam ěř ení 21

Matematika 1. Dov….Chápání č ísla jako pojmu vyjad ř ujícího kvantitu; zápis celku r ů znými zp ů soby. 2. Dov….Numerické dovednosti. 3. Dov….Práce se znaky (symboly). 4. Dov….Orientace a práce s tabulkou. 5. Dov….Grafické vnímání a práce s grafem. 6. Dov….Poznání rovinných útvar ů a práce s nimi, prostorová p ř edstavivost. 7. Dov….Funkce jako vztah mezi veli č inami. 8. Dov….Správnost logické úvahy. Jihlava, 2009

Algoritmus testování Relativního přírůstku znalostí – výstupní úroveň 23 Poprvé prob ě hlo v roce 2010 Výstupní testování elektronicky po variantách Harmonizace variant Párování dat 2007, 2010 Výpo č et relativního p ř ír ů stku po oborech Transformace relativního p ř ír ů stku do p ě ti (u žák ů ) resp. do č ty ř stup ňů (školy) Analýza a zprávy žák ů m, školám Statistika a záv ě re č ná zpráva pro MSK (Shewhartovy diagramy)

Elektronické testování 24

Výstupní testování 25 Elektronické testování P ř ipraveno deset variant testu o podobné obtížnosti Docházelo k rotaci úloh v rámci jednotlivých č ástí V u č ebn ě náhodné p ř id ě lování variant až do vy č erpání variant Prob ě hla harmonizace variant ekvipercentilovou metodou

Harmonizace dat ekvipercentilovou metodou 26

Výpočet Relativního přírůstku znalostí žáka 27 Provedeno párování dat z let 2007 a 2010 Výpo č et Relativního p ř ír ů stku proveden po oborech (viz grafy) – vazba na ŠVP, kontextualizace Rozd ě lení – transformace Relativního p ř ír ů stku znalostí žáka do 5 stup ňů u žák ů dle rozd ě lení (15%, 20%, 30%, 20%, 15%) P ř ír ů stek: Velký Vyšší st ř ední St ř ední Nižší st ř ední Malý

Vstup 2007 a výstup 2010 v %

Dosažené výsledky v rámci určitého oboru - český jazyk

Regresní přímka - očekávaný přírůstek - český jazyk

Dosažené výsledky v rámci určitého oboru - matematika

Regresní přímka - očekávaný přírůstek - matematika

Relativní přírůstek znalostí žáků v oboru

Relativní přírůstek třídy, školy 34 Rozd ě lení – transformace Relativního p ř ír ů stku škol do 4 stup ňů (po kvartilech, 25%-50%, 50-75%, %, 0-25%, Stupn ě t ř ídy, školy 1 … % 2 … 50-75% 3 … 25-50%, 4 … 0-25%,

Struktura výstupů pro školy 35 Vše on-line p ř ístupné na heslo Zpráva pro žáka, krátká a dlouhá Zpráva pro školu Celková Po t ř ídách Po žácích

Výstup za školu po oborech 36 Ú [%]P(c)P(o1)R(o1)P(o8)R(o8) český jazyk stupeň1001. stupeň matematika stupeň672. stupeň anglický jazyk stupeň1001. stupeň německý jazyk stupeň obecné studijní předpoklady

Výstup za třídy po oborech v ČJ 37 t ř ídaVýsledek 1. ro č níku [%] Výsledek 3. ro č níku [%] Reziduál (stupe ň ) G3A stupe ň G3B stupe ň G3C stupe ň S3A stupe ň S3B stupe ň

Třídy oboru vzhledem k regresní přímce 38

Žáci vzhledem ke třídě a oboru 39

Odhady žáků v jednotlivých částech testu Výsledky poskytují informaci o sebehodnocení žák ů Jihlava, 2009

Typy hodnocení žáka 41 Formativní hodnocení žáka - Nedílná sou č ást pr ů b ě žného hodnocení výuky a u č ení se žáka - Každodenní zp ě tná vazba mezi u č itelem a žákem - Hlavní cíl hodnocení: zdokonalení procesu u č ení se žáka Sumativní hodnocení žáka - Posuzuje úrove ň výsledk ů žáka – co žák ví, chápe, umí - Hlavní cíl: potvrzení dosažených znalostí, č áste č n ě i podpora u č ení se žáka - Výsledky slouží ke srovnání p ř ípadn ě rozhodnutí, zda žák m ů že postoupit do vyššího ro č níku nebo na další stupe ň školního vzd ě lávání aj.

Formativní prvky testování Relativního přírůstku znalostí 42 Výsledky (v ě tšina) jsou dostupny ihned po testování Percentily žák ů v jednotlivých p ř edm ě tech – oborové a celkové Postavení v rámci t ř ídy P ř edm ě ty hodnoceny nejen jako celek, ale také po dovednostech Podle výsledku v dovednostech jsou žákovi nabídnuty úlohy, které rozvíjejí danou dovednost Žák dostane zp ě tnou vazbu z odhadu svého výkonu Relaivní p ř ír ů stek je transformován na stupn ě

Statistiky a analýzy 43

Metodika – statistika – Po č et žák ů : Po č et škol: 87 Po č et skupin obor ů vzd ě lání: 9 Po č et nedokon č ených test ů : 62 Po č et test ů, kde schází 1 a více p ř ír ů stk ů :1 057

Počty Testování se zú č astnilo celkem 6130 žák ů ve 284 t ř ídách 84 st ř edních škol Po č et testovaných po oborech 1. Gymnaziální obory Lyceální obory Technické zam ěř ení P ř írodov ě dné zam ěř ení Ekonomické zam ěř ení Služby Pedagog. soc. a zdrav. z Spole č enskov ě dní z Um ě lecké zam ěř ení78 45

Výsledky testování v roce 2007 a

Úspěšnost po oborech 47

Úspěšnost v dovednostech Čj 48

Úspěšnost v dovednostech v Ma 49

Úspěšnost v dovednostech v Aj 50

Úspěšnost v dovednostech v Nj 51

Vyhodnocení dovedností - M 2007 Orientace a práce s tabulkou Chápaní č ísla jako pojmu vyjad ř ujícího kvantitu; zápis celku r ů znými zp ů soby … Funkce jako vztah mezi veli č inami Grafické vnímání a práce s grafem Orientace a práce s tabulkou Chápaní č ísla jako pojmu vyjad ř ujícího kvantitu; zápis celku r ů znými zp ů soby … Poznání rovinných útvar ů a práce s nimi, prostorová p ř edstavivost Grafické vnímání a práce s grafem

Vyhodnocení dovedností - Čj 2007 Ovl. morfologického pravopisu Ovl. Syntaktického pravopisu Porozum ě ní obsahu textu T ř íd ě ní slov Ovl. lexikálního pravopisu Ovl. syntaktického pravopisu Ovl. lexikálního pravopisu Ovl. morfologického pravopisu T ř íd ě ní slov Porozum ě ní obsahu textu

Vyhodnocení dovedností - Aj 2007 Práce s tázacími výrazy Práce s p ř edložkami … Č tení kratšího souvislejšího textu s porozum ě ním Slovesné struktury Práce s tázacími výrazy Č tení kratšího souvislejšího textu s porozum ě ním … Stavba anglické v ě ty Slovesné struktury

Vyhodnocení dovedností - Nj 2007 Negace ve v ě tách Práce s tázacími výrazy … Č tení kratšího souvislejšího textu s porozum ě ním Reakce na jednoduchá sd ě lení Práce s p ř edložkami Stavba n ě mecké v ě ty … Č tení kratšího souvislejšího textu s porozum ě ním Reakce na jednoduchá sd ě lení

Regresní přímka – Gymnaziální obory 56

Regresní přímka – Lyceální obory 57

Regresní přímka – ped, soc a zdrav. obory 58

Regresní přímky předmětů 59

60

Směrodatná odchylka po oborech a předmětech 61

Korelace celkem – predikční validita 62 Č J0,616 MA0,523 AJ0,642 NJ0,606 OSP0,308 Predik č ní validita - výsledek testu z výstupního testování se porovnává s úsp ě šností ú č astníka testu ve vstupním testování Jde vlastn ě o speciální p ř ípad kriteriální validity.

Korelace po školách , , , , , , ,501

Závěr Elektronické testování Hodnoceny nejen p ř edm ě ty, ale také dovednosti Dovednosti formulovány ve všech p ř edm ě tech na základ ě expertního odhadu a faktorové analýzy Relativní p ř ír ů stek žák ů, škol rozd ě len do stup ňů Nový model testování - formativní konceptuální hodnocení rozší ř ené o vstupní informace od u č itel ů, kte ř í jsou sou č asn ě uživateli hodnocní 64

Děkuji za pozornost 65