28. setkání AUČCJ Praha, 27.2.2010 Eva Složilová Testovat gramatiku? 28. setkání AUČCJ Praha, 27.2.2010 Eva Složilová

Osnova Úvod Gramatika ve výuce a testování Testovat gramatiku? Co testujeme, když testujeme gramatiku? Problém „složitosti“ (complexity) Gramatika a modely komunikativní jazykové kompetence Gramatika a testování jazykových dovedností Testování gramatiky v kontextu češtiny jako cizího jazyka Klíčové momenty při testování gramatiky Závěr 1.1.2019

Gramatika ve výuce a testování Úloha gramatiky z historického pohledu Komunikativní přístup Výuka - odklon od gramatiky Testování – paradoxní situace Teorie, výzkum – zájem o jiné aspekty Realita testování ve třídě 1.1.2019

Testovat gramatiku samostatně? NE Základní argumenty: vysoká korelace reliabilita, praktičnost vývoje testu testování gramatiky implicitně (poslech, čtení) i explicitně (psaní, mluvení) zahrnuto v testování jednotlivých řečových dovedností Empirický výzkum: Výzkum při vývoji testu IELTS (Alderson, 1993) Výzkum při testování poslechu (Buck, 2001) DIALANG (Alderson, Huhta, 2005) 1.1.2019

Testovat gramatiku samostatně? ANO Základní argumenty: gramatika je centrální aspekt jazyka gramatika je vyčlenitelná součást jazykové způsobilosti (zastánci gramatiky chápané jako morfosyntax) 1.1.2019

Co testujeme, když testujeme gramatiku? Správnost (tradiční přístup - chyby) Rozsah / šířka – 2 aspekty: kvantitativní (počet různých gramatických struktur) kvalitativní (složitost gramatických struktur) 1.1.2019

Problém „složitosti“ Základní otázka: Které gramatické struktury jsou jednoduché a které jsou složité? Základní problém: Gramatické sylaby jsou odvozeny na základě intuice a tradice a ne na empirickém výzkumu. Důsledek: Odstupňování struktur podle jejich obtížnosti není spolehlivé. Možný dopad: popis referenčních úrovní 1.1.2019

Možné řešení Využití korpusové lingvistiky a jejích mechanismů pro stanovení empiricky opodstatněných a ověřených hranic mezi složitostí struktur a jejich posloupností 1.1.2019

Jazyky podle obtížnosti Skupina 1 (afrik., it., fr., nor., port.,šp., švéd.,dánš., hol…) Skupina 2 (bulh., němč., řeč., urdš., malaj.,perš...) Skupina 3 (nepálš., hebrejš.,finš., polš., ruš, češ...) Skupina 4 (ar., čín., kor., jap.) 1.1.2019

Gramatika v rámci modelů jazykové kompetence model Canale + Swain, model Bachmanův - gramatická kompetence nedostatečně rozvinuta, redukována pouze na morfosyntax SERRJ gramatickou kompetenci spíše popisuje než definuje, distancuje se od nějakého teoretického modelu 1.1.2019

Proč je to důležité? Chci-li testovat gramatiku, musím definovat tzv. konstrukt gramatiky To je velký problém, protože doposud žádný model gramatiku nedokáže dostatečně explicitně definovat pro účely testování To vede k dalším problémům – když nemám definováno, co gramatika je, jak můžu vybrat vhodné metody, jak ji testovat? Jak dokážu takový test validizovat? 1.1.2019

Testování gramatiky v kontextu testování jazykových dovedností Jako součást testování jazykových dovedností Receptivních (implicitně) Produktivních (explicitně) Jako samostatný test / část testu (Language in use – FCE, CAE, CPE) 1.1.2019

Samostatný test gramatiky Konstrukt Vhodnost v závislosti na testované úrovni Výběr vhodných testovacích technik Výběr z několikanásobné volby Doplňování slov / výrazů do mezer Kombinace prvních dvou Hledání / opravování chyb … Váha 1.1.2019

Testování gramatiky u produktivních dovedností (psaní, mluvení) A když už se dovolena končí a vratím se domů tak těším se na odpočinek, a že už nemusím tahát té těžke zavazadla a že pořad mám ramena na svých místech. Obvykle nesu víc než potřebuju pak musím to všechno s sebou nosít. Když už jsem doma můj život tak nespícha a mám čas prohližét fotky, které jsem udělala v zahraničí, oprávovát je a pak pozvát rodinů a přáteli na večirek a při večeří vypravět jím co se mi líbílo a co ne v teto zemi. Jestli někteří s ních už tam někdy byli tak můžeme přirovnát vzpominky a zjistit jestli se tam mnoho mňenílo nebo ne. Vždycky když cestuju těším se na tu chvilu kdy budu doma a budu se dělít dojmy se svýmí blizkýmí. 1.1.2019

Možnosti, jak ukázku hodnotit: Tradiční (kvantifikace chyb) Holistické Analytické: hodnocená úroveň (např. podle SERRJ) kritéria hodnocení, hodnotící škála gramatická kompetence jako jedno z kritérií gramatická přesnost a rozsah 1.1.2019

Analytické hodnocení psaní – kritéria hodnocení Splnění zadání / charakteristika textu Koherence Pravopis Gramatická kompetence Správnost Rozsah Lexikální kompetence 1.1.2019

Testování gramatiky v kontextu češtiny jako cizího jazyka Hranice mezi gramatikou a slovní zásobou Popisy referenčních úrovní ??? 1.1.2019

Klíčové momenty testování gramatiky Jasné vymezení gramatické kompetence / konstruktu Znalost SERRJ a jeho úrovní Znalost deskriptorů pro gramatickou kompetenci Analytický přístup k hodnocení Používání analytických hodnotících škál Proškolení na jejich používání Přehodnocení úlohy chyby v hodnocení 1.1.2019

Zdroje Alderson, J. C., Banerjee, J. 2002. State of the art review : language testing and assessment (part two). Language Teaching, 35 (2). pp. 79-113. ISSN 0261-4448  0261-4448 (Print) 1475-3049 (Online) Alderson, J.C. and Huhta, A. 2005. The development of a suite of computer-based diagnostic tests based on the Common Eurpopean Framework. Language Testing 22, 301-320. Buck, G. 2001. Assessing listening. CUP. Purpura, J.E. 2004. Assessing grammar. CUP. Rimmel, W. 2006. Measuring grammatical complexity: the Gordian knot. Language Testing 23, 497-519. Wahba et al 2006. Handbook for Arabic language Teaching Professionals in the 21st century, LEA, str. 37 Weir, Cyril 2005. Limitations of the Common European Framework for developing comparable examinations and tests. Language Testing 22, 281-300. 1.1.2019

DĚKUJI ZA POZORNOST Hodně štěstí s testováním gramatiky. 1.1.2019