P ŘIDANÁ HODNOTA VE VZDĚLÁNÍ A R ELATIVNÍ PŘÍRŮSTEK ZNALOSTÍ Martin Rangl.

Prezentace na téma: "P ŘIDANÁ HODNOTA VE VZDĚLÁNÍ A R ELATIVNÍ PŘÍRŮSTEK ZNALOSTÍ Martin Rangl."— Transkript prezentace:

1 P ŘIDANÁ HODNOTA VE VZDĚLÁNÍ A R ELATIVNÍ PŘÍRŮSTEK ZNALOSTÍ Martin Rangl

2 Založena v roce 2000 jako občanské sdružení KLÍČ Přejmenování na Společnost pro kvalitu školy v roce 2010 Jsme z Představení společnosti

3 Aktivity v oblasti školství: Evaluace (interní a externí) Testování žáků Měření klima školy Koučování a mentoring Development centrum Měřící a řídící systém EdLAB Vzdělávací semináře DVPP Řízení projektů ESF

4 Naše spolupráce Spolupracujeme: Mateřské, základní a střední školy na území ČR PdF Ostravské univerzity v Ostravě PdF Trnavské univerzity v Trnavě CEM Centre Durham (UK) Univerzity Twente (NL)

5 ČSN EN ISO 9001:2009 Ochranná známka KVALITNÍ ŠKOLA Certifikáty

6 A UTONOMIE A AKONTABILITA ŠKOL Koncept měření přidané hodnoty vzniká v souvislosti se zvyšující se autonomii škol. Měření přidané hodnoty je součástí evaluace školy. 6

7 P ŘIDANÁ HODNOTA Stále je jednodušší nalézt detailní informace o školských vstupech než o výstupech. Efektivní rozhodování na základě souborů dat či informací lze však lépe činit, když existuje rovnovážná míra informací nejen o vstupech, ale také o procesech a výstupech. Informace o školních procesech, postupech, dodržování pravidel byly a jsou v řadě zemí sbírány institucemi typu školních inspekcí po dlouhá léta. Kombinace dat o vstupech, procesech a výstupech umožňuje Provést mnohem úplnější analýzy, které směřují až k posouzení využití zdrojů. Řídit lépe edukační proces se záměrem zvýšit kvalitu Využití výsledků pro srovnání mezi školami – úroveň uchazečů Využití informací pro rozvoj sebehodnocení žáků 7

8 P ŘIDANÁ HODNOTA Definice OECD „Modely přidané hodnoty měří příspěvek školy k pokroku žáka vůči předem určeným školním vzdělávacím cílům. Příspěvek je očištěná hodnota od jiných faktorů, které taky přispívají k pokroku žáka v učení.“ Modely: Jednoduché – dva časové řezy (Relativní přírůstek znalostí) Kontextuální – postihují také vlivy, které nejsou ovlivněny školou 8

9 V YUŽITÍ VÝSLEDKŮ PŘIDANÉ HODNOTY Zlepšování informací o výkonech škol Při zlepšování vzdělávání na školách v rámci vlastních sebeevaluačních aktivit Pro informaci subjektům jako zřizovatel, inspekce Při signální funkci, kdy se zjistí, že některé školy potřebují vnější podporu Při srovnávání různých typů škol při reformních aktivitách ve školském systému. Pro informovanost uvnitř školy - učící se organizace 9

10 F AKTORY OVLIVŇUJÍCÍ PŘIDANOU HODNOTU 10

11 C O OVLIVŇUJE VÝSLEDKY ŽÁKA NA ÚROVNI ŽÁKA ? 11

12 C O OVLIVŇUJE VÝSLEDKY ŽÁKA NA ÚROVNI ŠKOLY ? 12

13 O VLIVNĚNÍ VÝSLEDKŮ KONTEXTUÁLNÍMI INFORMACEMI Přidaná hodnota školy je ovlivněna kontextovými informacemi na třech úrovních. Do školy se hlásí studenti různě připraveni v testovaných předmětech s dalšími kontextovými charakteristikami, jako socioekonomický status, index Income Deprivation Affecting Children Index (IDACI), speciální vzdělávací potřeby atd. Jejich kontextové informace se projevují v rámci možností rozvoje vědomostí a dovedností v průběhu celé školní docházky Školy mají různě postavené školní vzdělávací programy, co se týká učebních plánů a osnov. 13

14 V YPOŘÁDÁNÍ S KONTEXTUÁLNÍMÍ INFORMACEMI 1. Všichni žáci na vstupu mají stejné podmínky – prošli rámcovým vzdělávacím programem pro základní vzdělávání a jejich výsledek na vstupu je řadí do skupin podle jejich výsledků. 2. V tomto projektu nebyly přímo použity žádné kontextové informace, jako např. etnicita, mobilita, socioekonomický statut, speciální vzdělávací potřeby atd. Jisté rozdělení je dáno měřením přidané po skupinách škol příslušejícím k oborům vzdělání. Je reálný předpoklad, že do škol jednotlivých oborů se hlásili a dostali žáci s podobnými kontextovými informacemi. 3. Přírůstek počítán po tzv. oborech, kdy všechny třídy středních škol, které se testování účastnily, byly podle jednotného číselníku přiřazeny do jednoho z devíti oborů vzdělání. Do jednotlivých oborů se tak dostaly „podobné“ školy s podobnými rámcovými vzdělávacími programy a jejich přidaná hodnota je tedy do jisté míry srovnatelná. 14

15 V YPOŘÁDÁNÍ S KONTEXTUÁLNÍMÍ INFORMACEMI Přírůstek počítán po oborech. Do jednotlivých oborů se tak dostaly „podobné“ školy s podobnými rámcovými vzdělávacími programy a jejich přidaná hodnota je tedy do jisté míry srovnatelná. Možnost srovnat třídy v rámci školy u různých oborů na úrovni úspěšnosti ALE Nemožnost srovnat třídy a předměty v rámci školy u různých oborů na úrovní přírůstku 15

16 N EGATIVA TESTOVÁNÍ testování může způsobovat stres a pocity strachu dochází k tzv. „zužování školních osnov“ učitelé a často vedoucí pracovníci důvěřují výsledkům testů mnohem více než vlastním profesionálním úsudkům o žácích, které spočívají na delších pozorováních a vzájemné komunikaci. v mnoha případech projevují učitelé negativní postoje vůči dětem, které mají nejhorší testové výsledky, protože jim kazí „průměry“, což logicky vede k ještě větší frustraci dětí, které v testech „neuspěly“. U sumativního hodnocení testování zvyšuje spíše vnější motivaci testování zmenšilo „lásku k učení“ (scholé), 16

17 T ESTOVÁNÍ ZNALOSTÍ Pojem znalost je využíván zejména v ekonomických, ale i v sociálních vědách. Pojem znalost se často vyskytuje i v dokumentech Evropské unie, zejména ve spojení s informační společností (Information Society) znalostní společností (Knowledge-based Society) Termín znalost v širším významu: Znalost zahrnuje nejen vědomost, ale též dovednost a schopnost k vykonávání určitých činností. Příklad – znalost cizího jazyka zahrnuje nejen vědomosti o příslušném jazyce, ale také dovednosti vykonávat s těmito vědomostmi určité řečové aktivity jak to vyjadřuje anglický termín linquistic performance (Pedagogický slovník. 3. vydání, Portál 2001).

18 R ELATIVNÍ PŘÍRŮSTEK ZNALOSTÍ Relativní přírůstek znalostí Relativní pokrok žáků, neboli jak dobře žáci ovládají jistou znalost ve srovnání s ostatními žáky se stejnou vstupní úrovní této znalosti Vztah mezi statisticky předpokládaným výsledkem testu (skóre) u každého žáka a žákem dosaženým aktuálním výsledkem testu

19 H ODNOCENÍ VSTUPNÍ ÚROVNĚ ZNALOSTÍ Hodnocení vstupní úrovně znalostí Metoda, jak poznat žáky a jejich potřeby,jak plánovat blízkou i vzdálenou podobu výuky Příležitost, jak identifikovat žáky se speciálními vzdělávacími potřebami Hodnocení vstupní úrovně znalostí nabízí také možnost, jak nastavit komunikaci s rodiči, případně s předchozími vzdělávacími institucemi Vstupní hodnocení znalostí je přípravou informací pro pozdější hodnocení, pro zjišťování pokroku, který žák ve škole učinil, pro měření přírůstku znalostí.

20 R ELATIVNÍ PŘÍRŮSTEK ZNALOSTÍ Testování vstupní úrovně Testování výstupní úrovně Práce s výsledky 20

21 V STUPNÍ ÚROVEŇ Vstupní testování realizováno v letech 2007, 2008, 2009, 2010, (2011 v realizaci) Testování elektronicky Všichni stejné úlohy Rozklad na dovednosti Rozdělení škol po oborech Analýza a zprávy žákům, školám 21

22 O BORY VZDĚLÁNÍ gymnaziální obory lyceální obory obory technického zaměření, obory přírodovedného zamerení obory ekonomického obory zaměřené na služby obory pedagogického, sociálního a zdravotnického zaměření obory společenskovědního zaměření obory uměleckého zaměření 22

23 M ATEMATIKA 1. Dov….Chápání čísla jako pojmu vyjadřujícího kvantitu; zápis celku různými způsoby. 2. Dov….Numerické dovednosti. 3. Dov….Práce se znaky (symboly). 4. Dov….Orientace a práce s tabulkou. 5. Dov….Grafické vnímání a práce s grafem. 6. Dov….Poznání rovinných útvarů a práce s nimi, prostorová představivost. 7. Dov….Funkce jako vztah mezi veličinami. 8. Dov….Správnost logické úvahy. Jihlava, 2009

24 V ÝSTUPNÍ TESTOVÁNÍ Elektronické testování Připraveno deset variant testu o podobné obtížnosti Docházelo k rotaci úloh v rámci jednotlivých částí V učebně náhodné přidělování variant až do vyčerpání variant Proběhla harmonizace variant ekvipercentilovou metodou 24

25 TESTOVÁNÍ VÝSTUPNÍ ÚROVNĚ Proběhlo v roce 2010, 2011 Výstupní testování elektronicky po variantách Harmonizace variant ekvipercentilovou metodou Párování dat 2007x2010, 2008x2011 Výpočet relativního přírůstku po oborech Transformace relativního přírůstku do pěti (u žáků) resp. do čtyř stupňů (školy) Analýza a zprávy žákům, školám Statistika a závěrečná zpráva pro MSK transformace na z-skóre

26 H ARMONIZACE DAT EKVIPERCENTILOVOU METODOU 26

27 V ÝPOČET R ELATIVNÍHO PŘÍRŮSTKU ZNALOSTÍ ŽÁKA Výpočet Relativního přírůstku proveden po oborech (viz grafy) – vazba na ŠVP, kontextualizace Rozdělení – transformace Relativního přírůstku znalostí žáka do 5 stupňů u žáků dle rozdělení (15%, 20%, 30%, 20%, 15%) Přírůstek: Velký Vyšší střední Střední Nižší střední Malý 27

28 Vstup 2007 a výstup 2010 v %

29 Dosažené výsledky v rámci určitého oboru - český jazyk

30 Regresní přímka - očekávaný přírůstek - český jazyk

31 Dosažené výsledky v rámci určitého oboru - matematika

32 Regresní přímka - očekávaný přírůstek - matematika

33 Relativní přírůstek znalostí žáků v oboru

34 R ELATIVNÍ PŘÍRŮSTEK TŘÍDY, ŠKOLY Rozdělení – transformace Relativního přírůstku škol do 4 stupňů (po kvartilech, 25%-50%, 50- 75%, 75-100%, 0-25%, Stupně třídy, školy 1 … 75-100% 2 … 50-75% 3 … 25-50%, 4 … 0-25%, 34

35 S TRUKTURA VÝSTUPŮ PRO ŠKOLY Vše on-line přístupné na heslo Zpráva pro žáka, krátká a dlouhá Zpráva pro školu Celková Po třídách Po žácích 35

36 V ÝSTUP ZA ŠKOLU PO OBORECH Ú [%]P(c)P(o1)R(o1)P(o8)R(o8) český jazyk7085423. stupeň1001. stupeň matematika5164193. stupeň672. stupeň anglický jazyk6581322. stupeň1001. stupeň německý jazyk6172211. stupeň obecné studijní předpoklady938448 100 36

37 V ÝSTUP ZA TŘÍDY PO OBORECH V ČJ třídaVýsledek 1. ročníku [%] Výsledek 3. ročníku [%] Reziduál (stupeň) G3A84732. stupeň G3B88723. stupeň G3C86871. stupeň S3A83662. stupeň S3B79691. stupeň 37

38 T ŘÍDY OBORU VZHLEDEM K REGRESNÍ PŘÍMCE 38

39 Ž ÁCI VZHLEDEM KE TŘÍDĚ A OBORU 39

40 F ORMATIVNÍ PRVKY TESTOVÁNÍ R ELATIVNÍHO PŘÍRŮSTKU ZNALOSTÍ Výsledky (většina) jsou dostupny ihned po testování Percentily žáků v jednotlivých předmětech – oborové a celkové Postavení v rámci třídy Předměty hodnoceny nejen jako celek, ale také po dovednostech Podle výsledku v dovednostech jsou žákovi nabídnuty úlohy, které rozvíjejí danou dovednost Žák dostane zpětnou vazbu z odhadu svého výkonu Relativní přírůstek je transformován na stupně 40

41 R EGRESNÍ PŘÍMKA – G YMNAZIÁLNÍ OBORY 41

42 Z ÁVĚR Elektronické testování Hodnoceny nejen předměty, ale také dovednosti Dovednosti formulovány ve všech předmětech na základě expertního odhadu a faktorové analýzy Relativní přírůstek žáků, škol rozdělen do stupňů Nový model testování - formativní konceptuální hodnocení rozšířené o vstupní informace od učitelů, kteří jsou současně uživateli hodnocní 42

43 IS D IAGNOSTIC

44 Komplexní systém procesu zvyšování kvality školy Ojedinělá webová aplikace Částečný open systém Benchmarking Výzkumný nástroj Úložiště

45 IS D IAGNOSTIC hodnocení edukační reality na škole podle Metodiky vlastního hodnocení školy

46 IS D IAGNOSTIC využití připravených diagnostických metod pro hodnocení školy Dotazník spokojenosti a vnitřní motivace učitelů Dotazník určující stupeň ohrožení stresem Dotazník určující stupeň ohrožení syndromem vyhoření Dotazník LSI Testování relativního přírůstku znalostí

47 IS D IAGNOSTIC možnost porovnání hodnot ukazatelů s dlouhodobým měřením škol stejného typu - benchmarking

48 IS D IAGNOSTIC tvorba hodnotící zprávy v elektronické podobě různé varianty tiskových sestav

49 IS D IAGNOSTIC interaktivní nápověda

50

51 Kontakty: www.kvalitaskoly.cz www.diagnostic.cz

52 Děkuji za pozornost