Hodnocení psaní Seminář Brno 5.6.2013 1. Obsah a cíle semináře Hodnotící škály pro psaní - vývoj Hodnotící škály pro psaní - představení Ukázky hodnocení.

Prezentace na téma: "Hodnocení psaní Seminář Brno 5.6.2013 1. Obsah a cíle semináře Hodnotící škály pro psaní - vývoj Hodnotící škály pro psaní - představení Ukázky hodnocení."— Transkript prezentace:

1 Hodnocení psaní Seminář Brno 5.6.2013 1

2 Obsah a cíle semináře Hodnotící škály pro psaní - vývoj Hodnotící škály pro psaní - představení Ukázky hodnocení „Kalibrace“ vzorků psaní Diskuse 2

3 Hodnotící škály pro psaní - vývoj 5 – členný tým napříč jazyky (A, N, F) napříč fakultami (LF, FF-FSS-ESF, PedF, PrF) období: květen 2012 – únor 2013 etapy: 1. dotazník existující škály diskuse (jaká kritéria?) 1. verze pilotáž členek týmu vyhodnocení - úprava (2. verze) 2. dotazník – úpravy současná verze 3 Pilotáž (doc. Byčkovský – jeden z kroků vývoje testu)

4 B1 – C1: kritéria hodnocení splnění úkolu organizace textu lexikální prostředky gramatické prostředky 4

5 Analytická škála B1 / B2 / C1 5

6 B1 - Kritérium splnění úkolu 6

7 Dodržení tématu klíčový komponent může rozhodnout o absolutní nule – dále se nehodnotí rozhodnutí na fakultách? 7

8 Žánr Žánr lze definovat jak z hlediska zamýšlené formy psaní, tak z hlediska jeho funkce: Forma: dopis (osobní, obchodní), laboratorní zpráva, esej, článek, příběh… Funkce: komunikativní funkce: popis, omluva, vysvětlení, … diskurzivní modus: vyprávěcí, popisný, vysvětlovací, argumentační 8

9 Rozsah tolerance intervaly 80-90 slov, interval = 10 slov tolerovaná odchylka 70 – 79; 91 - 100 tolerovaná odchylka 60 – 69; 101 - 110 9

10 Rozsah Co se běžně počítá za 1 slovo? víceslovná vlastní jména a názvy (Liam McGee, Great Britain….) české víceslovné názvy, které nemají ekvivalent v angličtině (Lomnice nad Popelkou) datum plně rozepsané (June 5 th 2013) adresa (e-mailová, poštovní) složeniny (pokud jsou psány se spojovníkem: follow-up questions) 10

11 Rozsah Co se běžně počítá za 1 slovo? řadové číslovky (1 st, 22 nd …) členy zkratky předložky spojky zájmena citoslovce 11

12 Rozsah Co se běžně počítá jako jednotlivá slova? stažené tvary (don’t, he’s…) – výjimka can’t frázová slovesa složeniny – pokud jsou psány zvlášť (bez spojovníku): office manager 12

13 Rozsah Co se běžně jako slovo nepočítá? číslovky psané číslicí (2013) opakovaná vlastní jména 13

14 B1 - Kritérium organizace textu 14

15 Struktura grafická plus obsahová očekávání (úvod – závěr, členění na odstavce…) 15

16 Linearita jednoduchý (lineární) sled myšlenek napomáhá porozumění textu? 16

17 Základní spojovací prostředky očekávání: vzhledem k povaze testové úlohy napomáhají porozumění textu? 17

18 B1 - Kritérium lexikální prostředky 18

19 Rozsah očekávaná obecná / akademická / odborná SZ vzhledem k povaze úlohy 19

20 Správnost brání chyby porozumění? 20

21 B1 - Kritérium gramatické prostředky 21

22 Rozsah očekávané gramatické prostředky vhledem k povaze úlohy 22

23 Správnost brání chyby porozumění? 23

24 Pravopis četnost chyb 24

25 B2 - odlišnosti 25

26 B2 - odlišnosti 26

27 B2 - odlišnosti 27

28 C1 - odlišnosti 28

29 C1 - odlišnosti 29

30 C1 - odlišnosti 30

31 C1 - odlišnosti 31

32 Klasifikační tabulky 32

33 Hodnocení - výsledek 33

34 Hodnocení B1, B2, C1 34

35 Benchmarking – kalibrace vzorků psaní vybrat z pretestačních vzorků asi 10 tak, aby představovaly široké spektrum výkonů od nejlepšího po nejhorší nechat hodnotit členy týmu samostatně otevřít diskusi – procházet jednotlivé vzorky kritérium po kritériu a diskutovat, proč kdo jak hodnotil koordinátor je ten, který diskusi řídí, ale nedělá výsledná rozhodnutí, členové týmu si dělají poznámky 35

36 Benchmarking – kalibrace vzorků psaní po skončení diskuse nechat členy týmu hodnotit ještě jednou opět porovnat výsledky (třeba i tabulkou v Excelu ) ty úlohy, u nichž nastane největší shoda, vybrat a snažit se pořídit slovní hodnocení 36

37 Benchmarking – kalibrace vzorků psaní inspirace pro slovní hodnocení: projekt EMBED (University of Groningen) http://www.erk.nl/docent/training/Engelshttp://www.erk.nl/docent/training/Engelshttp://www.erk.nl/docent/training/Engels 37

38 Empirické stanovení hraničních skórů hodnocení psaní samostatně bodově ohodnotit větší množství vzorků psaní tak, aby bodové hodnoty měly velký rozsah postupně procházet nižší a nižší hodnoty a dohodnout se, která je ještě přijatelná pro danou úroveň pokud se celý tým shodne na minimálním přijatelném počtu bodů, bude to hraniční skór pro danou testovou úlohu 38

39 39 O T Á Z K Y?

40 Děkuji za pozornost Eva Složilová lektorka a metodička testování Centrum jazykového vzdělávání Masarykovy univerzity Komenského nám. 2 601 77 Brno, tel. fax: 549 496 447, e-mail: cjv@rect.muni.cz