P ŘIDANÁ HODNOTA VE VZDĚLÁNÍ A R ELATIVNÍ PŘÍRŮSTEK ZNALOSTÍ Martin Rangl

Založena v roce 2000 jako občanské sdružení KLÍČ Přejmenování na Společnost pro kvalitu školy v roce 2010 Jsme z Představení společnosti

Aktivity v oblasti školství: Evaluace (interní a externí) Testování žáků Měření klima školy Koučování a mentoring Development centrum Měřící a řídící systém EdLAB Vzdělávací semináře DVPP Řízení projektů ESF

Naše spolupráce Spolupracujeme: Mateřské, základní a střední školy na území ČR PdF Ostravské univerzity v Ostravě PdF Trnavské univerzity v Trnavě CEM Centre Durham (UK) Univerzity Twente (NL)

ČSN EN ISO 9001:2009 Ochranná známka KVALITNÍ ŠKOLA Certifikáty

A UTONOMIE A AKONTABILITA ŠKOL Koncept měření přidané hodnoty vzniká v souvislosti se zvyšující se autonomii škol. Měření přidané hodnoty je součástí evaluace školy. 6

P ŘIDANÁ HODNOTA Stále je jednodušší nalézt detailní informace o školských vstupech než o výstupech. Efektivní rozhodování na základě souborů dat či informací lze však lépe činit, když existuje rovnovážná míra informací nejen o vstupech, ale také o procesech a výstupech. Informace o školních procesech, postupech, dodržování pravidel byly a jsou v řadě zemí sbírány institucemi typu školních inspekcí po dlouhá léta. Kombinace dat o vstupech, procesech a výstupech umožňuje Provést mnohem úplnější analýzy, které směřují až k posouzení využití zdrojů. Řídit lépe edukační proces se záměrem zvýšit kvalitu Využití výsledků pro srovnání mezi školami – úroveň uchazečů Využití informací pro rozvoj sebehodnocení žáků 7

P ŘIDANÁ HODNOTA Definice OECD „Modely přidané hodnoty měří příspěvek školy k pokroku žáka vůči předem určeným školním vzdělávacím cílům. Příspěvek je očištěná hodnota od jiných faktorů, které taky přispívají k pokroku žáka v učení.“ Modely: Jednoduché – dva časové řezy (Relativní přírůstek znalostí) Kontextuální – postihují také vlivy, které nejsou ovlivněny školou 8

V YUŽITÍ VÝSLEDKŮ PŘIDANÉ HODNOTY Zlepšování informací o výkonech škol Při zlepšování vzdělávání na školách v rámci vlastních sebeevaluačních aktivit Pro informaci subjektům jako zřizovatel, inspekce Při signální funkci, kdy se zjistí, že některé školy potřebují vnější podporu Při srovnávání různých typů škol při reformních aktivitách ve školském systému. Pro informovanost uvnitř školy - učící se organizace 9

F AKTORY OVLIVŇUJÍCÍ PŘIDANOU HODNOTU 10

C O OVLIVŇUJE VÝSLEDKY ŽÁKA NA ÚROVNI ŽÁKA ? 11

C O OVLIVŇUJE VÝSLEDKY ŽÁKA NA ÚROVNI ŠKOLY ? 12

O VLIVNĚNÍ VÝSLEDKŮ KONTEXTUÁLNÍMI INFORMACEMI Přidaná hodnota školy je ovlivněna kontextovými informacemi na třech úrovních. Do školy se hlásí studenti různě připraveni v testovaných předmětech s dalšími kontextovými charakteristikami, jako socioekonomický status, index Income Deprivation Affecting Children Index (IDACI), speciální vzdělávací potřeby atd. Jejich kontextové informace se projevují v rámci možností rozvoje vědomostí a dovedností v průběhu celé školní docházky Školy mají různě postavené školní vzdělávací programy, co se týká učebních plánů a osnov. 13

V YPOŘÁDÁNÍ S KONTEXTUÁLNÍMÍ INFORMACEMI 1. Všichni žáci na vstupu mají stejné podmínky – prošli rámcovým vzdělávacím programem pro základní vzdělávání a jejich výsledek na vstupu je řadí do skupin podle jejich výsledků. 2. V tomto projektu nebyly přímo použity žádné kontextové informace, jako např. etnicita, mobilita, socioekonomický statut, speciální vzdělávací potřeby atd. Jisté rozdělení je dáno měřením přidané po skupinách škol příslušejícím k oborům vzdělání. Je reálný předpoklad, že do škol jednotlivých oborů se hlásili a dostali žáci s podobnými kontextovými informacemi. 3. Přírůstek počítán po tzv. oborech, kdy všechny třídy středních škol, které se testování účastnily, byly podle jednotného číselníku přiřazeny do jednoho z devíti oborů vzdělání. Do jednotlivých oborů se tak dostaly „podobné“ školy s podobnými rámcovými vzdělávacími programy a jejich přidaná hodnota je tedy do jisté míry srovnatelná. 14

V YPOŘÁDÁNÍ S KONTEXTUÁLNÍMÍ INFORMACEMI Přírůstek počítán po oborech. Do jednotlivých oborů se tak dostaly „podobné“ školy s podobnými rámcovými vzdělávacími programy a jejich přidaná hodnota je tedy do jisté míry srovnatelná. Možnost srovnat třídy v rámci školy u různých oborů na úrovni úspěšnosti ALE Nemožnost srovnat třídy a předměty v rámci školy u různých oborů na úrovní přírůstku 15

N EGATIVA TESTOVÁNÍ testování může způsobovat stres a pocity strachu dochází k tzv. „zužování školních osnov“ učitelé a často vedoucí pracovníci důvěřují výsledkům testů mnohem více než vlastním profesionálním úsudkům o žácích, které spočívají na delších pozorováních a vzájemné komunikaci. v mnoha případech projevují učitelé negativní postoje vůči dětem, které mají nejhorší testové výsledky, protože jim kazí „průměry“, což logicky vede k ještě větší frustraci dětí, které v testech „neuspěly“. U sumativního hodnocení testování zvyšuje spíše vnější motivaci testování zmenšilo „lásku k učení“ (scholé), 16

T ESTOVÁNÍ ZNALOSTÍ Pojem znalost je využíván zejména v ekonomických, ale i v sociálních vědách. Pojem znalost se často vyskytuje i v dokumentech Evropské unie, zejména ve spojení s informační společností (Information Society) znalostní společností (Knowledge-based Society) Termín znalost v širším významu: Znalost zahrnuje nejen vědomost, ale též dovednost a schopnost k vykonávání určitých činností. Příklad – znalost cizího jazyka zahrnuje nejen vědomosti o příslušném jazyce, ale také dovednosti vykonávat s těmito vědomostmi určité řečové aktivity jak to vyjadřuje anglický termín linquistic performance (Pedagogický slovník. 3. vydání, Portál 2001).

R ELATIVNÍ PŘÍRŮSTEK ZNALOSTÍ Relativní přírůstek znalostí Relativní pokrok žáků, neboli jak dobře žáci ovládají jistou znalost ve srovnání s ostatními žáky se stejnou vstupní úrovní této znalosti Vztah mezi statisticky předpokládaným výsledkem testu (skóre) u každého žáka a žákem dosaženým aktuálním výsledkem testu

H ODNOCENÍ VSTUPNÍ ÚROVNĚ ZNALOSTÍ Hodnocení vstupní úrovně znalostí Metoda, jak poznat žáky a jejich potřeby,jak plánovat blízkou i vzdálenou podobu výuky Příležitost, jak identifikovat žáky se speciálními vzdělávacími potřebami Hodnocení vstupní úrovně znalostí nabízí také možnost, jak nastavit komunikaci s rodiči, případně s předchozími vzdělávacími institucemi Vstupní hodnocení znalostí je přípravou informací pro pozdější hodnocení, pro zjišťování pokroku, který žák ve škole učinil, pro měření přírůstku znalostí.

R ELATIVNÍ PŘÍRŮSTEK ZNALOSTÍ Testování vstupní úrovně Testování výstupní úrovně Práce s výsledky 20

V STUPNÍ ÚROVEŇ Vstupní testování realizováno v letech 2007, 2008, 2009, 2010, (2011 v realizaci) Testování elektronicky Všichni stejné úlohy Rozklad na dovednosti Rozdělení škol po oborech Analýza a zprávy žákům, školám 21

O BORY VZDĚLÁNÍ gymnaziální obory lyceální obory obory technického zaměření, obory přírodovedného zamerení obory ekonomického obory zaměřené na služby obory pedagogického, sociálního a zdravotnického zaměření obory společenskovědního zaměření obory uměleckého zaměření 22

M ATEMATIKA 1. Dov….Chápání čísla jako pojmu vyjadřujícího kvantitu; zápis celku různými způsoby. 2. Dov….Numerické dovednosti. 3. Dov….Práce se znaky (symboly). 4. Dov….Orientace a práce s tabulkou. 5. Dov….Grafické vnímání a práce s grafem. 6. Dov….Poznání rovinných útvarů a práce s nimi, prostorová představivost. 7. Dov….Funkce jako vztah mezi veličinami. 8. Dov….Správnost logické úvahy. Jihlava, 2009

V ÝSTUPNÍ TESTOVÁNÍ Elektronické testování Připraveno deset variant testu o podobné obtížnosti Docházelo k rotaci úloh v rámci jednotlivých částí V učebně náhodné přidělování variant až do vyčerpání variant Proběhla harmonizace variant ekvipercentilovou metodou 24

TESTOVÁNÍ VÝSTUPNÍ ÚROVNĚ Proběhlo v roce 2010, 2011 Výstupní testování elektronicky po variantách Harmonizace variant ekvipercentilovou metodou Párování dat 2007x2010, 2008x2011 Výpočet relativního přírůstku po oborech Transformace relativního přírůstku do pěti (u žáků) resp. do čtyř stupňů (školy) Analýza a zprávy žákům, školám Statistika a závěrečná zpráva pro MSK transformace na z-skóre

H ARMONIZACE DAT EKVIPERCENTILOVOU METODOU 26

V ÝPOČET R ELATIVNÍHO PŘÍRŮSTKU ZNALOSTÍ ŽÁKA Výpočet Relativního přírůstku proveden po oborech (viz grafy) – vazba na ŠVP, kontextualizace Rozdělení – transformace Relativního přírůstku znalostí žáka do 5 stupňů u žáků dle rozdělení (15%, 20%, 30%, 20%, 15%) Přírůstek: Velký Vyšší střední Střední Nižší střední Malý 27

Vstup 2007 a výstup 2010 v %

Dosažené výsledky v rámci určitého oboru - český jazyk

Regresní přímka - očekávaný přírůstek - český jazyk

Dosažené výsledky v rámci určitého oboru - matematika

Regresní přímka - očekávaný přírůstek - matematika

Relativní přírůstek znalostí žáků v oboru

R ELATIVNÍ PŘÍRŮSTEK TŘÍDY, ŠKOLY Rozdělení – transformace Relativního přírůstku škol do 4 stupňů (po kvartilech, 25%-50%, %, %, 0-25%, Stupně třídy, školy 1 … % 2 … 50-75% 3 … 25-50%, 4 … 0-25%, 34

S TRUKTURA VÝSTUPŮ PRO ŠKOLY Vše on-line přístupné na heslo Zpráva pro žáka, krátká a dlouhá Zpráva pro školu Celková Po třídách Po žácích 35

V ÝSTUP ZA ŠKOLU PO OBORECH Ú [%]P(c)P(o1)R(o1)P(o8)R(o8) český jazyk stupeň1001. stupeň matematika stupeň672. stupeň anglický jazyk stupeň1001. stupeň německý jazyk stupeň obecné studijní předpoklady

V ÝSTUP ZA TŘÍDY PO OBORECH V ČJ třídaVýsledek 1. ročníku [%] Výsledek 3. ročníku [%] Reziduál (stupeň) G3A stupeň G3B stupeň G3C stupeň S3A stupeň S3B stupeň 37

T ŘÍDY OBORU VZHLEDEM K REGRESNÍ PŘÍMCE 38

Ž ÁCI VZHLEDEM KE TŘÍDĚ A OBORU 39

F ORMATIVNÍ PRVKY TESTOVÁNÍ R ELATIVNÍHO PŘÍRŮSTKU ZNALOSTÍ Výsledky (většina) jsou dostupny ihned po testování Percentily žáků v jednotlivých předmětech – oborové a celkové Postavení v rámci třídy Předměty hodnoceny nejen jako celek, ale také po dovednostech Podle výsledku v dovednostech jsou žákovi nabídnuty úlohy, které rozvíjejí danou dovednost Žák dostane zpětnou vazbu z odhadu svého výkonu Relativní přírůstek je transformován na stupně 40

R EGRESNÍ PŘÍMKA – G YMNAZIÁLNÍ OBORY 41

Z ÁVĚR Elektronické testování Hodnoceny nejen předměty, ale také dovednosti Dovednosti formulovány ve všech předmětech na základě expertního odhadu a faktorové analýzy Relativní přírůstek žáků, škol rozdělen do stupňů Nový model testování - formativní konceptuální hodnocení rozšířené o vstupní informace od učitelů, kteří jsou současně uživateli hodnocní 42

IS D IAGNOSTIC

Komplexní systém procesu zvyšování kvality školy Ojedinělá webová aplikace Částečný open systém Benchmarking Výzkumný nástroj Úložiště

IS D IAGNOSTIC hodnocení edukační reality na škole podle Metodiky vlastního hodnocení školy

IS D IAGNOSTIC využití připravených diagnostických metod pro hodnocení školy Dotazník spokojenosti a vnitřní motivace učitelů Dotazník určující stupeň ohrožení stresem Dotazník určující stupeň ohrožení syndromem vyhoření Dotazník LSI Testování relativního přírůstku znalostí

IS D IAGNOSTIC možnost porovnání hodnot ukazatelů s dlouhodobým měřením škol stejného typu - benchmarking

IS D IAGNOSTIC tvorba hodnotící zprávy v elektronické podobě různé varianty tiskových sestav

IS D IAGNOSTIC interaktivní nápověda

Kontakty:

Děkuji za pozornost