Kvalita seminář pro školy Testování 3. ročníků

Program semináře: až Prezentují: Daniela Jírová, Michal Dorčák a Iva Skybová  Shrnutí projektu  Jak rozumět výstupům  Příklady dobré praxe a doporučení pro školy, jak s výsledky pracovat  Představení celkových výsledků v předmětech i dílčích dovednostech  Zhodnocení a porovnání výsledků jednotlivých skupin oborů  Závěry z testování  Příklady dobré praxe – Iva Skybová (Gym Hladnov)  Diskuse, otázky.....

Cíle projektu: Testování 3. ročníků Součást dlouhodobého rozvojového programu Moravskoslezského kraje Podpora kvality vzdělávání poskytovaného středními školami. Kontinuita programu umožňuje získat dlouhodobější a systematická zjištění o výsledcích vzdělávání žáků pro školy i zřizovatele.

Charakteristika projektu: Projekt je koncipován jako podpůrný nástroj pro učitele a vedení školy. Je založen na vzájemné důvěře a vztahu. Informace by měly sloužit a pomáhat učitelům. Důležitým faktorem je správná, erudovaná a citlivá interpretace (v kontextu typu oboru, regionu, podmínek...). Není cílem vytvářet žebříčky, porovnávat neporovnatelné školy, trestat.

Přínosy pro školu a žáky: Umožňuje zmapovat míru znalostí a dovedností žáků 3. ročníků – objektivní, nestranná zpětná vazba. Pomáhá plánování dalšího rozvoje žáků a zkvalitňování poskytované výuky. Poznání silných a slabých stránek žáků (jemnější členění testových položek) – pro učitele i žáky, individualizace výuky. Stanovení přidané hodnoty vzdělávání u škol i jednotlivých žáků – možnost využití pro testované třídy, ale i budoucí výuku. Praktická doporučení s ohledem na další rozvoj žáků.

OBSAH PROJEKTU Testování 3. ročníků  Srovnávací didaktické testy Čj, Ma, Aj a Nj (45 min + 20 min)  Varianta v PJ  Dotazník žáka Zpráva pro školu Zpráva pro žáka Doporučení pro školu Doporučení pro žáka Seminář Zpráva pro kraj

ZAPOJENÉ ŠKOLY

Zhodnocení projektu Problémy: o Krátký termín pro přípravu i realizaci. o Změny ve třídách mezi 1. a 3. ročníkem. o Chyby v datech a testech v 1. ročníku. o Masivní útok na servery – 1 den zpomalení. Pozitiva: o Pozitivní zpětná vazba, bezchybnost realizace. o Flexibilita škol. o Dobré zabezpečení našich serverů.

PARAMETRY TESTŮ

Statistiky Reliabilita slouží k měření přesnosti testování. Teoreticky je to číslo mezi minus nekonečnem a 1, v praxi bývá mezi 0 a 1. Čím je reliabilita vyšší, tím menší vliv na výsledek má náhoda. Zpravidla se reliabilita pohybuje mezi 0,5 a 0,95. Diskriminace testu vyjadřuje, s jakou přesností test měří. Je to číselně vyjádřená schopnost úlohy (celého testu) rozlišovat mezi úspěšnými a neúspěšnými řešiteli. Testy s indexem diskriminace nad 0,35 jsou výborné. Úlohy s indexem mezi 0,35 a 0,25 jsou dobré; mezi 0,25 a 0,15 jsou ještě přijatelné, ale měly by být upraveny pro test; úlohy pod 0,1 by měly být z testu vyloučeny a výsledky testu přepočítány bez nich.

Parametry Vždy se našel minimálně jeden žák, který vyřešil správně celý test (kromě NJ). V rozšířené matematice se to povedlo jenom žákům z gymnázií. V základní matematice i žákům z technických oborů a lyceí. V testu základní matematiky se v každém oboru kromě gymnázií a ekonomických oborů našel minimálně jeden žák, který vyplnil celý test špatně.

Výsledky pro školu – jak rozumět výstupům

APLIKACE SCIODAT 1.Webová, bezpečná a intuitivní aplikace. 2.Předběžné výsledky ihned. 3.Veškerá správa žáků v rukou školy. 4.Výsledky dostupné v dalších letech (dohledá i nové vedení). 5.Zpráva pro školu ke stažení. 6.Zprávy žáků. 7.Návod.

SCIODAT

Použité veličiny a zkratky Skóre – počet bodů, které žák v testu získal (odečítání) Hrubá úspěšnost – poměr mezi počtem správných odpovědí a počtem všech úloh v testu Čistá úspěšnost – podíl skóre žáka k maximálnímu počtu bodů, které lze v testu získat Percentil – vyjadřuje pořadí žáka přepočtené na stupnici 0 – 100 Přidaná hodnota – je rozdíl výkonu žáka v testech pro 3. ročník a pro 1. ročník

Souhrn Shrnutí výsledků projektu 1.barevná stránka, shrnuje základní informace 2.první rychlá orientace, jak škola v testování uspěla 3.slovní hodnocení předmětových testů celkově 4.školy, které absolvovaly testování i nyní, údaj o přidané hodnotě a slovní hodnocení a vysvětlení.

Souhrnná tabulka Při hodnotě nižší než -5 hovoříme o hodně podprůměrné; -5 až -2 podprůměrné; -2 až 2 průměrné; 2 až 5 nadprůměrné; větší než 5 vysoce nadprůměrné základní přidané hodnotě.

Percentily - vizualizace

Možnosti interpretace Porovnání výsledků: třídy mezi sebou, předměty mezi sebou s průměrem oboru, s průměrem celkově s cíli a očekáváními školy, zaměření s potenciálem žáků ve třídě..... Rozdílné výsledky tříd? studijní předpoklady žáků? stejný/jiný učitel? metody, styl práce, motivace? klima třídy, problémy?

Podrobnější pohled podrobné výsledky dle témat podrobné výsledky dle úloh probrané/neprobrané problematické výrazně odchýlené od průměru doplnění výsledky dotazníků Přímá zpětná vazba učiteli, žákům.

Dovednosti a tematické části

JAK SI STOJÍ NAŠE ŠKOLA? RELATIVNÍ POSTAVENÍ

RELATIVNÍ POSTAVENÍ – jen můj obor

Jak si stojí naše škola, relativní postavení – PH/všechny školy

Přidaná hodnota

Možnosti interpretace II Je dobré pracovat s oběma výstupy, které škola získá – s percentilem i s přidanou hodnotou. Nutné vždy brát v úvahu specifikum daného oboru - např. gymnázia, která v percentilovém pořadí, tedy i úspěšností v testu poráží ostatní obory, dosahují horších výsledků při pohledu na přidanou hodnotu. Je to dáno tím, že škola pracuje s žáky, kteří dosahují dobrých výsledků zpravidla už při vstupu na školu.

Výsledky žáků

Souhrnná tabulka žáků - MA Průměrná PH žáka ČJ: 12,8 Ma: 11,5/8,9 Aj: 18 NJ: 30

Interpretace Umožňuje hlubší vhled do výsledků třídy výsledky žáků – rozptyl podrobné výsledky – témata Doplnit lze dalšími výsledky žáků Lze sledovat trendy, vývoj žáků Umožňuje hledat řešení pro konkrétní žáky

Výsledky pro žáka

1.Výsledky 2.Zhodnocení 3.Porovnání 4.Přidaná hodnota 5.Doporučení 6.Popis testu

Jak naložit s výsledky projektu, aby škole přinesly co největší užitek? Zařaďte projekt do autoevaluačního systému školy a zajistěte návaznost na další nástroje – promyslete si, k čemu výsledky chcete využít. Srovnání s ostatními (percentil) umožní identifikovat odchylky od průměru. – porovnat lze s rámci celkově i referenčními (testy celkově, podrobně: témata, dovednosti). Porovnejte jednotlivé třídy a předměty. Interpretujte výsledky každého žáka, doplňte je dalšími zjištěními s využitím všech dostupných dat a zdrojů. Vytipujte si ty, se kterými je nutné pracovat individuálně, a poskytněte informace vyučujícím/rodičům. Sledujte průběžně i pokroky žáků a funkčnost metod. Při interpretaci je nutné brát v úvahu celkový kontext školy a řadu dalších faktorů, které mohou působit na výsledky žáků a které je mohou vysvětlovat.

Příklady dobré praxe  zpráva předmětových komisí analýza příčin dobrých/špatných výsledků (doplnit charakteristikou školy, informacemi o studentech, o učitelích, o průběhu výuky, hodnocení třídního učitele, analýza dalších výsledků....)  naplánování opatření (upevnění, kompenzace..) (změna výuky, změna ve třídě, mentor pro učitele, další vzdělávání, podpora, individualizace výuky, využití dalších metod...)  naplánování a provedení zpětné vazby (opakované šetření/testování, dílčí testy)  splnitelnost očekávaných cílů

Doporučení: Nevytvářejme žebříčky. Interpretujme vždy v kontextu. Nejvíce informací má samotná škola. Např.  Specifika ŠVP a probranost látky  Cíle školy  Struktura studentů a pedagogického sboru  Výsledky dalších šetření/nástrojů  Úspěšnost v projektech.....  „Historie školy“ Výsledky, i ty „špatné“ jsou příležitostí k rozvoji.

DOPORUČENÍ do budoucna Zaměřit se na ověřování, nikoliv jen porovnávání. Cílem testů by měla být pomoc (konkrétní zpětná vazba pro konkrétního učitele), nikoliv plošné srovnání. Využívat nástroje pravidelné zpětné vazby s ohledem na typ školy. Podpořit školy, které na sobě pracují, a podpořit jejich různorodost.

Doporučení do budoucna Dobře definovat cíl projektu a jeho obsah (různé typy škol, různé cíle). Využívat bezchybná vstupní i výstupní data (např. nemít faktické chyby v testech, špatné parametry).

Dotazy, diskuse....

Děkujeme Scio 2016