Hodnocení psaní Seminář Brno
Obsah a cíle semináře Hodnotící škály pro psaní - vývoj Hodnotící škály pro psaní - představení Ukázky hodnocení „Kalibrace“ vzorků psaní Diskuse 2
Hodnotící škály pro psaní - vývoj 5 – členný tým napříč jazyky (A, N, F) napříč fakultami (LF, FF-FSS-ESF, PedF, PrF) období: květen 2012 – únor 2013 etapy: 1. dotazník existující škály diskuse (jaká kritéria?) 1. verze pilotáž členek týmu vyhodnocení - úprava (2. verze) 2. dotazník – úpravy současná verze 3 Pilotáž (doc. Byčkovský – jeden z kroků vývoje testu)
B1 – C1: kritéria hodnocení splnění úkolu organizace textu lexikální prostředky gramatické prostředky 4
Analytická škála B1 / B2 / C1 5
B1 - Kritérium splnění úkolu 6
Dodržení tématu klíčový komponent může rozhodnout o absolutní nule – dále se nehodnotí rozhodnutí na fakultách? 7
Žánr Žánr lze definovat jak z hlediska zamýšlené formy psaní, tak z hlediska jeho funkce: Forma: dopis (osobní, obchodní), laboratorní zpráva, esej, článek, příběh… Funkce: komunikativní funkce: popis, omluva, vysvětlení, … diskurzivní modus: vyprávěcí, popisný, vysvětlovací, argumentační 8
Rozsah tolerance intervaly slov, interval = 10 slov tolerovaná odchylka 70 – 79; tolerovaná odchylka 60 – 69;
Rozsah Co se běžně počítá za 1 slovo? víceslovná vlastní jména a názvy (Liam McGee, Great Britain….) české víceslovné názvy, které nemají ekvivalent v angličtině (Lomnice nad Popelkou) datum plně rozepsané (June 5 th 2013) adresa ( ová, poštovní) složeniny (pokud jsou psány se spojovníkem: follow-up questions) 10
Rozsah Co se běžně počítá za 1 slovo? řadové číslovky (1 st, 22 nd …) členy zkratky předložky spojky zájmena citoslovce 11
Rozsah Co se běžně počítá jako jednotlivá slova? stažené tvary (don’t, he’s…) – výjimka can’t frázová slovesa složeniny – pokud jsou psány zvlášť (bez spojovníku): office manager 12
Rozsah Co se běžně jako slovo nepočítá? číslovky psané číslicí (2013) opakovaná vlastní jména 13
B1 - Kritérium organizace textu 14
Struktura grafická plus obsahová očekávání (úvod – závěr, členění na odstavce…) 15
Linearita jednoduchý (lineární) sled myšlenek napomáhá porozumění textu? 16
Základní spojovací prostředky očekávání: vzhledem k povaze testové úlohy napomáhají porozumění textu? 17
B1 - Kritérium lexikální prostředky 18
Rozsah očekávaná obecná / akademická / odborná SZ vzhledem k povaze úlohy 19
Správnost brání chyby porozumění? 20
B1 - Kritérium gramatické prostředky 21
Rozsah očekávané gramatické prostředky vhledem k povaze úlohy 22
Správnost brání chyby porozumění? 23
Pravopis četnost chyb 24
B2 - odlišnosti 25
B2 - odlišnosti 26
B2 - odlišnosti 27
C1 - odlišnosti 28
C1 - odlišnosti 29
C1 - odlišnosti 30
C1 - odlišnosti 31
Klasifikační tabulky 32
Hodnocení - výsledek 33
Hodnocení B1, B2, C1 34
Benchmarking – kalibrace vzorků psaní vybrat z pretestačních vzorků asi 10 tak, aby představovaly široké spektrum výkonů od nejlepšího po nejhorší nechat hodnotit členy týmu samostatně otevřít diskusi – procházet jednotlivé vzorky kritérium po kritériu a diskutovat, proč kdo jak hodnotil koordinátor je ten, který diskusi řídí, ale nedělá výsledná rozhodnutí, členové týmu si dělají poznámky 35
Benchmarking – kalibrace vzorků psaní po skončení diskuse nechat členy týmu hodnotit ještě jednou opět porovnat výsledky (třeba i tabulkou v Excelu ) ty úlohy, u nichž nastane největší shoda, vybrat a snažit se pořídit slovní hodnocení 36
Benchmarking – kalibrace vzorků psaní inspirace pro slovní hodnocení: projekt EMBED (University of Groningen) 37
Empirické stanovení hraničních skórů hodnocení psaní samostatně bodově ohodnotit větší množství vzorků psaní tak, aby bodové hodnoty měly velký rozsah postupně procházet nižší a nižší hodnoty a dohodnout se, která je ještě přijatelná pro danou úroveň pokud se celý tým shodne na minimálním přijatelném počtu bodů, bude to hraniční skór pro danou testovou úlohu 38
39 O T Á Z K Y?
Děkuji za pozornost Eva Složilová lektorka a metodička testování Centrum jazykového vzdělávání Masarykovy univerzity Komenského nám Brno, tel. fax: ,