Kvalita seminář pro školy 21. 6. 2016 Testování 3. ročníků

Prezentace na téma: "Kvalita seminář pro školy 21. 6. 2016 Testování 3. ročníků"— Transkript prezentace:

1 Kvalita seminář pro školy 21. 6. 2016 Testování 3. ročníků www.scio.cz

2 Program semináře: 13.00 až 16.00 Prezentují: Daniela Jírová, Michal Dorčák a Iva Skybová  Shrnutí projektu  Jak rozumět výstupům  Příklady dobré praxe a doporučení pro školy, jak s výsledky pracovat  Představení celkových výsledků v předmětech i dílčích dovednostech  Zhodnocení a porovnání výsledků jednotlivých skupin oborů  Závěry z testování  Příklady dobré praxe – Iva Skybová (Gym Hladnov)  Diskuse, otázky.....

3 Cíle projektu: Testování 3. ročníků Součást dlouhodobého rozvojového programu Moravskoslezského kraje Podpora kvality vzdělávání poskytovaného středními školami. Kontinuita programu umožňuje získat dlouhodobější a systematická zjištění o výsledcích vzdělávání žáků pro školy i zřizovatele.

4 Charakteristika projektu: Projekt je koncipován jako podpůrný nástroj pro učitele a vedení školy. Je založen na vzájemné důvěře a vztahu. Informace by měly sloužit a pomáhat učitelům. Důležitým faktorem je správná, erudovaná a citlivá interpretace (v kontextu typu oboru, regionu, podmínek...). Není cílem vytvářet žebříčky, porovnávat neporovnatelné školy, trestat.

5 Přínosy pro školu a žáky: Umožňuje zmapovat míru znalostí a dovedností žáků 3. ročníků – objektivní, nestranná zpětná vazba. Pomáhá plánování dalšího rozvoje žáků a zkvalitňování poskytované výuky. Poznání silných a slabých stránek žáků (jemnější členění testových položek) – pro učitele i žáky, individualizace výuky. Stanovení přidané hodnoty vzdělávání u škol i jednotlivých žáků – možnost využití pro testované třídy, ale i budoucí výuku. Praktická doporučení s ohledem na další rozvoj žáků.

6 OBSAH PROJEKTU Testování 3. ročníků  Srovnávací didaktické testy Čj, Ma, Aj a Nj (45 min + 20 min)  Varianta v PJ  Dotazník žáka Zpráva pro školu Zpráva pro žáka Doporučení pro školu Doporučení pro žáka Seminář Zpráva pro kraj

7 ZAPOJENÉ ŠKOLY

8 Zhodnocení projektu Problémy: o Krátký termín pro přípravu i realizaci. o Změny ve třídách mezi 1. a 3. ročníkem. o Chyby v datech a testech v 1. ročníku. o Masivní útok na servery – 1 den zpomalení. Pozitiva: o Pozitivní zpětná vazba, bezchybnost realizace. o Flexibilita škol. o Dobré zabezpečení našich serverů.

9 PARAMETRY TESTŮ

10 Statistiky Reliabilita slouží k měření přesnosti testování. Teoreticky je to číslo mezi minus nekonečnem a 1, v praxi bývá mezi 0 a 1. Čím je reliabilita vyšší, tím menší vliv na výsledek má náhoda. Zpravidla se reliabilita pohybuje mezi 0,5 a 0,95. Diskriminace testu vyjadřuje, s jakou přesností test měří. Je to číselně vyjádřená schopnost úlohy (celého testu) rozlišovat mezi úspěšnými a neúspěšnými řešiteli. Testy s indexem diskriminace nad 0,35 jsou výborné. Úlohy s indexem mezi 0,35 a 0,25 jsou dobré; mezi 0,25 a 0,15 jsou ještě přijatelné, ale měly by být upraveny pro test; úlohy pod 0,1 by měly být z testu vyloučeny a výsledky testu přepočítány bez nich.

11 Parametry Vždy se našel minimálně jeden žák, který vyřešil správně celý test (kromě NJ). V rozšířené matematice se to povedlo jenom žákům z gymnázií. V základní matematice i žákům z technických oborů a lyceí. V testu základní matematiky se v každém oboru kromě gymnázií a ekonomických oborů našel minimálně jeden žák, který vyplnil celý test špatně.

12 Výsledky pro školu – jak rozumět výstupům

13 APLIKACE SCIODAT 1.Webová, bezpečná a intuitivní aplikace. 2.Předběžné výsledky ihned. 3.Veškerá správa žáků v rukou školy. 4.Výsledky dostupné v dalších letech (dohledá i nové vedení). 5.Zpráva pro školu ke stažení. 6.Zprávy žáků. 7.Návod.

14 SCIODAT

15 Použité veličiny a zkratky Skóre – počet bodů, které žák v testu získal (odečítání) Hrubá úspěšnost – poměr mezi počtem správných odpovědí a počtem všech úloh v testu Čistá úspěšnost – podíl skóre žáka k maximálnímu počtu bodů, které lze v testu získat Percentil – vyjadřuje pořadí žáka přepočtené na stupnici 0 – 100 Přidaná hodnota – je rozdíl výkonu žáka v testech pro 3. ročník a pro 1. ročník

16 Souhrn Shrnutí výsledků projektu 1.barevná stránka, shrnuje základní informace 2.první rychlá orientace, jak škola v testování uspěla 3.slovní hodnocení předmětových testů celkově 4.školy, které absolvovaly testování i nyní, údaj o přidané hodnotě a slovní hodnocení a vysvětlení.

17 Souhrnná tabulka Při hodnotě nižší než -5 hovoříme o hodně podprůměrné; -5 až -2 podprůměrné; -2 až 2 průměrné; 2 až 5 nadprůměrné; větší než 5 vysoce nadprůměrné základní přidané hodnotě.

18 Percentily - vizualizace

19 Možnosti interpretace Porovnání výsledků: třídy mezi sebou, předměty mezi sebou s průměrem oboru, s průměrem celkově s cíli a očekáváními školy, zaměření s potenciálem žáků ve třídě..... Rozdílné výsledky tříd? studijní předpoklady žáků? stejný/jiný učitel? metody, styl práce, motivace? klima třídy, problémy?

20 Podrobnější pohled podrobné výsledky dle témat podrobné výsledky dle úloh probrané/neprobrané problematické výrazně odchýlené od průměru doplnění výsledky dotazníků Přímá zpětná vazba učiteli, žákům.

21 Dovednosti a tematické části

22

23 JAK SI STOJÍ NAŠE ŠKOLA? RELATIVNÍ POSTAVENÍ

24 RELATIVNÍ POSTAVENÍ – jen můj obor

25 Jak si stojí naše škola, relativní postavení – PH/všechny školy

26 Přidaná hodnota

27 Možnosti interpretace II Je dobré pracovat s oběma výstupy, které škola získá – s percentilem i s přidanou hodnotou. Nutné vždy brát v úvahu specifikum daného oboru - např. gymnázia, která v percentilovém pořadí, tedy i úspěšností v testu poráží ostatní obory, dosahují horších výsledků při pohledu na přidanou hodnotu. Je to dáno tím, že škola pracuje s žáky, kteří dosahují dobrých výsledků zpravidla už při vstupu na školu.

28 Výsledky žáků

29 Souhrnná tabulka žáků - MA Průměrná PH žáka ČJ: 12,8 Ma: 11,5/8,9 Aj: 18 NJ: 30

30 Interpretace Umožňuje hlubší vhled do výsledků třídy výsledky žáků – rozptyl podrobné výsledky – témata Doplnit lze dalšími výsledky žáků Lze sledovat trendy, vývoj žáků Umožňuje hledat řešení pro konkrétní žáky

31

32 Výsledky pro žáka

33 1.Výsledky 2.Zhodnocení 3.Porovnání 4.Přidaná hodnota 5.Doporučení 6.Popis testu

34 Jak naložit s výsledky projektu, aby škole přinesly co největší užitek? Zařaďte projekt do autoevaluačního systému školy a zajistěte návaznost na další nástroje – promyslete si, k čemu výsledky chcete využít. Srovnání s ostatními (percentil) umožní identifikovat odchylky od průměru. – porovnat lze s rámci celkově i referenčními (testy celkově, podrobně: témata, dovednosti). Porovnejte jednotlivé třídy a předměty. Interpretujte výsledky každého žáka, doplňte je dalšími zjištěními s využitím všech dostupných dat a zdrojů. Vytipujte si ty, se kterými je nutné pracovat individuálně, a poskytněte informace vyučujícím/rodičům. Sledujte průběžně i pokroky žáků a funkčnost metod. Při interpretaci je nutné brát v úvahu celkový kontext školy a řadu dalších faktorů, které mohou působit na výsledky žáků a které je mohou vysvětlovat.

35 Příklady dobré praxe  zpráva předmětových komisí analýza příčin dobrých/špatných výsledků (doplnit charakteristikou školy, informacemi o studentech, o učitelích, o průběhu výuky, hodnocení třídního učitele, analýza dalších výsledků....)  naplánování opatření (upevnění, kompenzace..) (změna výuky, změna ve třídě, mentor pro učitele, další vzdělávání, podpora, individualizace výuky, využití dalších metod...)  naplánování a provedení zpětné vazby (opakované šetření/testování, dílčí testy)  splnitelnost očekávaných cílů

36 Doporučení: Nevytvářejme žebříčky. Interpretujme vždy v kontextu. Nejvíce informací má samotná škola. Např.  Specifika ŠVP a probranost látky  Cíle školy  Struktura studentů a pedagogického sboru  Výsledky dalších šetření/nástrojů  Úspěšnost v projektech.....  „Historie školy“ Výsledky, i ty „špatné“ jsou příležitostí k rozvoji.

37 DOPORUČENÍ do budoucna Zaměřit se na ověřování, nikoliv jen porovnávání. Cílem testů by měla být pomoc (konkrétní zpětná vazba pro konkrétního učitele), nikoliv plošné srovnání. Využívat nástroje pravidelné zpětné vazby s ohledem na typ školy. Podpořit školy, které na sobě pracují, a podpořit jejich různorodost.

38 Doporučení do budoucna Dobře definovat cíl projektu a jeho obsah (různé typy škol, různé cíle). Využívat bezchybná vstupní i výstupní data (např. nemít faktické chyby v testech, špatné parametry).

39 Dotazy, diskuse.... kvalita@scio.cz

40 Děkujeme Scio 2016