RNDr. Martin Mal č ík, Ph.D. RNDr. Radek Krpec, Ph.D. Mgr. Martin Rangl Pedagogická fakulta, Ostravská univerzita v Ostrav ě Metodické a evalua č ní centrum,

Prezentace na téma: "RNDr. Martin Mal č ík, Ph.D. RNDr. Radek Krpec, Ph.D. Mgr. Martin Rangl Pedagogická fakulta, Ostravská univerzita v Ostrav ě Metodické a evalua č ní centrum,"— Transkript prezentace:

1 RNDr. Martin Mal č ík, Ph.D. RNDr. Radek Krpec, Ph.D. Mgr. Martin Rangl Pedagogická fakulta, Ostravská univerzita v Ostrav ě Metodické a evalua č ní centrum, o.p.s. Spole č nost pro kvalitu školy, o.s. 1 Přidaná hodnota ve vzdělání a Relativní přírůstek znalostí

2 Obsah 2 Autonomie a akontabilita škol P ř idaná hodnota ve vzd ě lávání, modely Monitorovací systém Testování relativního p ř ír ů stku Vstupní testování Výstupní testování Ur č ení relativního p ř ír ů stku Výsledky a výstupy z testování Analýza a záv ě r

3 Autonomie a akontabilita škol 3 Koncept m ěř ení p ř idané hodnoty vzniká v souvislosti se zvyšující se autonomii škol. M ěř ení p ř idané hodnoty je sou č ástí evaluace školy.

4 Přidaná hodnota 4 Stále je jednodušší nalézt detailní informace o školských vstupech než o výstupech. Efektivní rozhodování na základ ě sobor ů dat č i informací lze však lépe č init, když existuje rovnovážná míra informací nejen o vstupech, ale také o procesech a výstupech. Informace o školních procesech, postupech, dodržování pravidel byly a jsou v ř ad ě zemí sbírány institucemi typu školních inspekcí po dlouhá léta. Kombinace dat o vstupech, procesech a výstupech umož ň uje Provést mnohem úpln ě jší analýzy, které sm ěř ují až k posouzení využití zdroj ů. Ř ídit lépe eduka č ní proces se zám ě rem zvýšit kvalitu Využití výsledk ů pro srovnání mezi školami – úrove ň uchaze čů Využití informací pro rozvoj sebehodnocení žák ů

5 Přidaná hodnota 5 Definice OECD „Modely p ř idané hodnoty m ěř í p ř ísp ě vek školy k pokroku žáka v ůč i p ř edem ur č eným školním vzd ě lávacím cíl ů m. P ř ísp ě vek je o č išt ě ná hodnota od jiných faktor ů, které taky p ř ispívají k pokroku žáka v u č ení.“ Modely: Jednoduché – dva č asové ř ezy (Relativní p ř ír ů stek znalostí, SCIO) Kontextuální – postihují také vlivy, které nejsou ovlivn ě ny školou

6 Využití výsledků přidané hodnoty 6 Zlepšování informací o výkonech škol P ř i zlepšování vzd ě lávání na školách v rámci vlastních sebeevalua č ních aktivit Pro informaci subjekt ů m jako z ř izovatel, inspekce P ř i signální funkci, kdy se zjistí, že n ě které školy pot ř ebují vn ě jší podporu P ř i srovnávání r ů zných typ ů škol p ř i reformních aktivitách ve školském systému. Pro informovanost uvnit ř školy - u č ící se organizace

7 Faktory ovlivňující přidanou hodnotu 7

8 Co ovlivňuje výsledky žáka na úrovni žáka? 8

9 Co ovlivňuje výsledky žáka na úrovni školy? 9

10 10

11 11

12 Ovlivnění výsledků kontextuálními informacemi P ř idaná hodnota školy je ovlivn ě na kontextovými informacemi na t ř ech úrovních. Do školy se hlásí studenti r ů zn ě p ř ipraveni v testovaných p ř edm ě tech s dalšími kontextovými charakteristikami, jako socioekonomický status, index Income Deprivation Affecting Children Index (IDACI), speciální vzd ě lávací pot ř eby atd. Jejich kontextové informace se projevují v rámci možností rozvoje v ě domostí a dovedností v pr ů b ě hu celé školní docházky Školy mají r ů zn ě postavené školní vzd ě lávací programy, co se týká u č ebních plán ů a osnov. 12

13 Vypořádání s kontextuálnímí informacemi 1. Všichni žáci na vstupu mají stejné podmínky – prošli rámcovým vzd ě lávacím programem pro základní vzd ě lávání a jejich výsledek na vstupu je ř adí do skupin podle jejich výsledk ů. 2. V tomto projektu nebyly p ř ímo použity žádné kontextové informace, jako nap ř. etnicita, mobilita, socioekonomický statut, speciální vzd ě lávací pot ř eby atd. Jisté rozd ě lení je dáno m ěř ením p ř idané po skupinách škol p ř íslušejícím k obor ů m vzd ě lání. Je reálný p ř edpoklad, že do škol jednotlivých obor ů se hlásili a dostali žáci s podobnými kontextovými informacemi. 3. P ř ír ů stek po č ítán po tzv. oborech, kdy všechny t ř ídy st ř edních škol, které se testování ú č astnily, byly podle jednotného č íselníku p ř i ř azeny do jednoho z devíti obor ů vzd ě lání. Do jednotlivých obor ů se tak dostaly „podobné“ školy s podobnými rámcovými vzd ě lávacími programy a jejich p ř idaná hodnota je tedy do jisté míry srovnatelná. 13

14 Vypořádání s kontextuálnímí informacemi P ř ír ů stek po č ítán po oborech. Do jednotlivých obor ů se tak dostaly „podobné“ školy s podobnými rámcovými vzd ě lávacími programy a jejich p ř idaná hodnota je tedy do jisté míry srovnatelná. Možnost srovnat t ř ídy v rámci školy u r ů zných obor ů na úrovni úsp ě šnosti ALE Nemožnost srovnat t ř ídy a p ř edm ě ty v rámci školy u r ů zných obor ů na úrovní p ř ír ů stku 14

15 Negativa testování testování m ů že zp ů sobovat stres a pocity strachu dochází k tzv. „zužování školních osnov“ u č itelé a č asto vedoucí pracovníci d ů v ěř ují výsledk ů m test ů mnohem více než vlastním profesionálním úsudk ů m o žácích, které spo č ívají na delších pozorováních a vzájemné komunikaci. v mnoha p ř ípadech projevují u č itelé negativní postoje v ůč i d ě tem, které mají nejhorší testové výsledky, protože jim kazí „pr ů m ě ry“, což logicky vede k ješt ě v ě tší frustraci d ě tí, které v testech „neusp ě ly“. U sumativního hodnocení testování zvyšuje spíše vn ě jší motivaci testování zmenšilo „lásku k u č ení“ (scholé), 15

16 Testování znalostí Pojem znalost je využíván zejména v ekonomických, ale i v sociálních vědách. Pojem znalost se často vyskytuje i v dokumentech Evropské unie, zejména ve spojení s informační společností (Information Society) znalostní společností (Knowledge-based Society) Termín znalost v širším významu: Znalost zahrnuje nejen vědomost, ale též dovednost a schopnost k vykonávání určitých činností. Příklad – znalost cizího jazyka zahrnuje nejen vědomosti o příslušném jazyce, ale také dovednosti vykonávat s těmito vědomostmi určité řečové aktivity jak to vyjadřuje anglický termín linquistic performance (Pedagogický slovník. 3. vydání, Portál 2001). Jihlava, 2009

17 Relativní přírůstek znalostí Relativní pokrok žák ů, neboli jak dob ř e žáci ovládají jistou znalost ve srovnání s ostatními žáky se stejnou vstupní úrovní této znalosti Vztah mezi statisticky p ř edpokládaným výsledkem testu (skóre) u každého žáka a žákem dosaženým aktuálním výsledkem testu Jihlava, 2009

18 Hodnocení vstupní úrovně znalostí Metoda, jak poznat žáky a jejich pot ř eby,jak plánovat blízkou i vzdálenou podobu výuky P ř íležitost, jak identifikovat žáky se speciálními vzd ě lávacími pot ř ebami Hodnocení vstupní úrovn ě znalostí nabízí také možnost, jak nastavit komunikaci s rodi č i, p ř ípadn ě s p ř edchozími vzd ě lávacími institucemi Vstupní hodnocení znalostí je p ř ípravou informací pro pozd ě jší hodnocení, pro zjiš ť ování pokroku, který žák ve škole u č inil, pro m ěř ení p ř ír ů stku znalostí. Jihlava, 2009

19 Relativní přírůstek znalostí Testování vstupní úrovn ě Testování výstupní úrovn ě Práce s výsledky 19

20 Vstupní úroveň Vstupní testování realizováno v letech 2007, 2008, 2009, 2010 Testování elektronicky Všichni stejné úlohy Rozklad na dovednosti Rozd ě lení škol po oborech Analýza a zprávy žák ů m, školám 20

21 Obory vzdělání gymnaziální obory lyceální obory obory technického zam ěř ení, obory p ř írodovedného zamerení obory ekonomického obory zam ěř ené na služby obory pedagogického, sociálního a zdravotnického zam ěř ení obory spole č enskov ě dního zam ěř ení obory um ě leckého zam ěř ení 21

22 Matematika 1. Dov….Chápání č ísla jako pojmu vyjad ř ujícího kvantitu; zápis celku r ů znými zp ů soby. 2. Dov….Numerické dovednosti. 3. Dov….Práce se znaky (symboly). 4. Dov….Orientace a práce s tabulkou. 5. Dov….Grafické vnímání a práce s grafem. 6. Dov….Poznání rovinných útvar ů a práce s nimi, prostorová p ř edstavivost. 7. Dov….Funkce jako vztah mezi veli č inami. 8. Dov….Správnost logické úvahy. Jihlava, 2009

23 Algoritmus testování Relativního přírůstku znalostí – výstupní úroveň 23 Poprvé prob ě hlo v roce 2010 Výstupní testování elektronicky po variantách Harmonizace variant Párování dat 2007, 2010 Výpo č et relativního p ř ír ů stku po oborech Transformace relativního p ř ír ů stku do p ě ti (u žák ů ) resp. do č ty ř stup ňů (školy) Analýza a zprávy žák ů m, školám Statistika a záv ě re č ná zpráva pro MSK (Shewhartovy diagramy)

24 Elektronické testování 24

25 Výstupní testování 25 Elektronické testování P ř ipraveno deset variant testu o podobné obtížnosti Docházelo k rotaci úloh v rámci jednotlivých č ástí V u č ebn ě náhodné p ř id ě lování variant až do vy č erpání variant Prob ě hla harmonizace variant ekvipercentilovou metodou

26 Harmonizace dat ekvipercentilovou metodou 26

27 Výpočet Relativního přírůstku znalostí žáka 27 Provedeno párování dat z let 2007 a 2010 Výpo č et Relativního p ř ír ů stku proveden po oborech (viz grafy) – vazba na ŠVP, kontextualizace Rozd ě lení – transformace Relativního p ř ír ů stku znalostí žáka do 5 stup ňů u žák ů dle rozd ě lení (15%, 20%, 30%, 20%, 15%) P ř ír ů stek: Velký Vyšší st ř ední St ř ední Nižší st ř ední Malý

28 Vstup 2007 a výstup 2010 v %

29 Dosažené výsledky v rámci určitého oboru - český jazyk

30 Regresní přímka - očekávaný přírůstek - český jazyk

31 Dosažené výsledky v rámci určitého oboru - matematika

32 Regresní přímka - očekávaný přírůstek - matematika

33 Relativní přírůstek znalostí žáků v oboru

34 Relativní přírůstek třídy, školy 34 Rozd ě lení – transformace Relativního p ř ír ů stku škol do 4 stup ňů (po kvartilech, 25%-50%, 50-75%, 75-100%, 0-25%, Stupn ě t ř ídy, školy 1 … 75-100% 2 … 50-75% 3 … 25-50%, 4 … 0-25%,

35 Struktura výstupů pro školy 35 Vše on-line p ř ístupné na heslo Zpráva pro žáka, krátká a dlouhá Zpráva pro školu Celková Po t ř ídách Po žácích

36 Výstup za školu po oborech 36 Ú [%]P(c)P(o1)R(o1)P(o8)R(o8) český jazyk7085423. stupeň1001. stupeň matematika5164193. stupeň672. stupeň anglický jazyk6581322. stupeň1001. stupeň německý jazyk6172211. stupeň obecné studijní předpoklady938448 100

37 Výstup za třídy po oborech v ČJ 37 t ř ídaVýsledek 1. ro č níku [%] Výsledek 3. ro č níku [%] Reziduál (stupe ň ) G3A84732. stupe ň G3B88723. stupe ň G3C86871. stupe ň S3A83662. stupe ň S3B79691. stupe ň

38 Třídy oboru vzhledem k regresní přímce 38

39 Žáci vzhledem ke třídě a oboru 39

40 Odhady žáků v jednotlivých částech testu Výsledky poskytují informaci o sebehodnocení žák ů Jihlava, 2009

41 Typy hodnocení žáka 41 Formativní hodnocení žáka - Nedílná sou č ást pr ů b ě žného hodnocení výuky a u č ení se žáka - Každodenní zp ě tná vazba mezi u č itelem a žákem - Hlavní cíl hodnocení: zdokonalení procesu u č ení se žáka Sumativní hodnocení žáka - Posuzuje úrove ň výsledk ů žáka – co žák ví, chápe, umí - Hlavní cíl: potvrzení dosažených znalostí, č áste č n ě i podpora u č ení se žáka - Výsledky slouží ke srovnání p ř ípadn ě rozhodnutí, zda žák m ů že postoupit do vyššího ro č níku nebo na další stupe ň školního vzd ě lávání aj.

42 Formativní prvky testování Relativního přírůstku znalostí 42 Výsledky (v ě tšina) jsou dostupny ihned po testování Percentily žák ů v jednotlivých p ř edm ě tech – oborové a celkové Postavení v rámci t ř ídy P ř edm ě ty hodnoceny nejen jako celek, ale také po dovednostech Podle výsledku v dovednostech jsou žákovi nabídnuty úlohy, které rozvíjejí danou dovednost Žák dostane zp ě tnou vazbu z odhadu svého výkonu Relaivní p ř ír ů stek je transformován na stupn ě

43 Statistiky a analýzy 43

44 Metodika – statistika 24.5. – 17.9. Po č et žák ů : 6 130 Po č et škol: 87 Po č et skupin obor ů vzd ě lání: 9 Po č et nedokon č ených test ů : 62 Po č et test ů, kde schází 1 a více p ř ír ů stk ů :1 057

45 Počty Testování se zú č astnilo celkem 6130 žák ů ve 284 t ř ídách 84 st ř edních škol Po č et testovaných po oborech 1. Gymnaziální obory1 988 2. Lyceální obory574 3. Technické zam ěř ení1 534 4. P ř írodov ě dné zam ěř ení 168 5. Ekonomické zam ěř ení470 6. Služby639 7. Pedagog. soc. a zdrav. z.576 8. Spole č enskov ě dní z.103 9. Um ě lecké zam ěř ení78 45

46 Výsledky testování v roce 2007 a 2010 46

47 Úspěšnost po oborech 47

48 Úspěšnost v dovednostech Čj 48

49 Úspěšnost v dovednostech v Ma 49

50 Úspěšnost v dovednostech v Aj 50

51 Úspěšnost v dovednostech v Nj 51

52 Vyhodnocení dovedností - M 2007 Orientace a práce s tabulkou Chápaní č ísla jako pojmu vyjad ř ujícího kvantitu; zápis celku r ů znými zp ů soby … Funkce jako vztah mezi veli č inami Grafické vnímání a práce s grafem 52 2010 Orientace a práce s tabulkou Chápaní č ísla jako pojmu vyjad ř ujícího kvantitu; zápis celku r ů znými zp ů soby … Poznání rovinných útvar ů a práce s nimi, prostorová p ř edstavivost Grafické vnímání a práce s grafem

53 Vyhodnocení dovedností - Čj 2007 Ovl. morfologického pravopisu Ovl. Syntaktického pravopisu Porozum ě ní obsahu textu T ř íd ě ní slov Ovl. lexikálního pravopisu 53 2010 Ovl. syntaktického pravopisu Ovl. lexikálního pravopisu Ovl. morfologického pravopisu T ř íd ě ní slov Porozum ě ní obsahu textu

54 Vyhodnocení dovedností - Aj 2007 Práce s tázacími výrazy Práce s p ř edložkami … Č tení kratšího souvislejšího textu s porozum ě ním Slovesné struktury 54 2010 Práce s tázacími výrazy Č tení kratšího souvislejšího textu s porozum ě ním … Stavba anglické v ě ty Slovesné struktury

55 Vyhodnocení dovedností - Nj 2007 Negace ve v ě tách Práce s tázacími výrazy … Č tení kratšího souvislejšího textu s porozum ě ním Reakce na jednoduchá sd ě lení 55 2010 Práce s p ř edložkami Stavba n ě mecké v ě ty … Č tení kratšího souvislejšího textu s porozum ě ním Reakce na jednoduchá sd ě lení

56 Regresní přímka – Gymnaziální obory 56

57 Regresní přímka – Lyceální obory 57

58 Regresní přímka – ped, soc a zdrav. obory 58

59 Regresní přímky předmětů 59

60 60

61 Směrodatná odchylka po oborech a předmětech 61

62 Korelace celkem – predikční validita 62 Č J0,616 MA0,523 AJ0,642 NJ0,606 OSP0,308 Predik č ní validita - výsledek testu z výstupního testování se porovnává s úsp ě šností ú č astníka testu ve vstupním testování Jde vlastn ě o speciální p ř ípad kriteriální validity.

63 Korelace po školách 63 15560680,590 15606740,579 15611470,564 16064470,564 15751370,547 15727280,544 15720640,501

64 Závěr Elektronické testování Hodnoceny nejen p ř edm ě ty, ale také dovednosti Dovednosti formulovány ve všech p ř edm ě tech na základ ě expertního odhadu a faktorové analýzy Relativní p ř ír ů stek žák ů, škol rozd ě len do stup ňů Nový model testování - formativní konceptuální hodnocení rozší ř ené o vstupní informace od u č itel ů, kte ř í jsou sou č asn ě uživateli hodnocní 64

65 Děkuji za pozornost 65