Problémy s hodnocením pedagogické efektivity e-learningu Jiří Mareš Univerzita Karlova v Praze Lékařská fakulta v Hradci Králové

Struktura přednášky charakteristiky dosavadních výzkumů efektivity e-learningu nové podněty pro výzkum efektivity a výzkumná realita terminologické problémy s definováním efektivity možné podoby pedagogické efektivity pokusy o taxonomii pedagogické efektivity (ukázky) důraz na průběh učení nové proměnné komplikující učení otevřené otázky

Dosavadní výzkumy efektivity e-learningu 1 existuje variabilita typů výzkumného projektu (měla by být experimentální a kontrolní skupina, nikoli jen rozdíl posttest –prestest) výzkumy se liší stupněm školy (od ZŠ přes VŠ až vzdělávání dospělých) liší se zařazením e-learningu do určité formy studia (do prezenční, kombinované, distanční) liší se obsahovou náplní a typem učiva (od „měkkých“ humanitních předmětů po „tvrdé“ předměty)

Dosavadní výzkumy efektivity e-learningu 2 výzkumy se liší rozsahem zpracovaného učiva (od dílčích témat přes celé vyučovací předměty až po celé studijní obory) výzkumy se liší typem používaného e-learningu (od individuální práce převážně s textem, přes multimediální aplikace až po složité síťové aplikace) výzkumy se liší typem používaného softwaru - platformou výzkumy se liší autorstvím programu (učitel, multiprofesní tým na škole, profesionální firma) výzkumy se liší individuálními zvláštnostmi studentů (ve hře nejsou jen sociologické charakteristiky jako je věk, pohlaví, dosavadní vzdělání, dosavadní praxe, sociální situovanost)

Nové podněty z pedagogické psychologie (Hadwin, Winne, Nesbit, 2005) softwarové technologie jsou nyní ve školách pomocníkem (doufejme pozitivním – říkají autoři) téměř ve všech předmětech e-learning vytváří nové podmínky, za nichž se studenti učí a spolupracují oproti tradičnímu učení a vyučování (dodejme, že vědecké poznatky o učení získané dříve, nemusí platit; proto V. Kulič postuloval psychologii řízeného učení) pokroky v nových oblastech učení vyžadují nové proměnné a nové přístupy k měření e-learningové prostředí poskytuje nové možnosti, jak operacionalizovat proměnné související se studentovým učením softwarové technologie nabízejí možnost zkoumat nezávisle proměnné v jejich dynamice, v jejich vývoji, v jejich složité podmíněnosti; protože studenti pracují s těmito výukovými programy delší dobu, podstatně rozšiřuje možnost longitudinálních výzkumů

Jaká je realita? Obvykle se zkoumá: průběžná úroveň znalostí a dovedností výstupní úroveň znalostí a dovedností postoje studentů k e-learningu po absolvování programu názory na technickou kvalitu programu (grafika, navigace, kvalita multimediálních částí programu apod.) nákladová efektivita, tj. poměr „cena-výkon“ A co pedagogická efektivita?

Typy pedagogického hodnocení sumativní, souhrnné, globální: např. výkon vyhovuje-nevyhovuje; student splnil požadavky-nesplnil požadavky; pokračovat v učení-nepokračovat formativní, zpětnovazební, detailní: pomáhá studentům, učitelům, autorům programu, instituci zjistit, co se daří a co nikoli, co konkrétně je třeba zlepšit

Pedagogicko-psychologická terminologie efektivita (effectivity): rozdíl mezi výstupním a vstupním stavem využití pojmu „přidaná hodnota“ ve vzdělávání: Ryška (2007) –Středisko vzdělávací politiky Pedagogické fakulty UK Praha míra energie vynaložené na dosažení určitého výsledku (efficiency) započítávají se též náklady na dosažení cílů stupeň, v němž je vzdělávací systém úspěšný při optimalizaci vztahů mezi edukačními vstupy a výstupy (UNESCO, 1995) efektornost (Kulič, 1992): způsobilost řídícího systému nastavovat parametry řízeného systému na očekávané cílové hodnoty → otázky typu: co chceme a co můžeme u studenta e-learningem ovlivnit?

Pedagogická efektivita (Kulič, 1980) 1. cílová – typy cílů, které je systém schopen realizovat (kognitivní, afektivní, psychomotorické, sociální) 2. subjektová – charakteristiky populace, která má být vzdělávána a vychovávána 3. rezultativní – krátkodobé i dlouhodobé výsledky učení; absolutní efekt, relativní efekt; efekt u jednotlivce, u skupiny, celé populace; u majority, u minority?

Pedagogická efektivita (Kulič, 1980) 4. procesuální – kvantitativní i kvalitativní parametry učení a vyučování 4.1 vnější předpokladové charakteristiky: počet základních a pomocných úloh, počet pokynů, nápovědí, opakování, kroků potřebných k dosažení cíle 4.2 psychofyziologické nákladové charakteristiky: čas potřebný k dosažení cíle, intenzita činnosti, zátěž, únava 4.3 subjektivní prožitkové charakteristiky: zážitky úspěchu a neúspěchu při učení, emoční prožívaní učení, postoje, preference

Pedagogická efektivita (Kulič, 1980) 5. nákladová – hodnota společenských prostředků, které byly použity k dosažení výsledku 5.1 přímo použitá pracovní síla: učitelé, informatici, administrativní pracovníci, management atd. 5.2 nepřímo použitá pracovní síla: při přípravě softwaru, při školení učitelů, při instalaci hardwaru 5.3 materiálně technické zajištění: budovy, učebny, hardware atd. 5.4 finanční náklady: pořizovací náklady, instalace, údržba, opravy, vytápění, úklid

Možné postupy při měření efektivity srovnávací studie – porovnávají tradiční vyučování a e-learning; blended learning a e-learning; různé varianty e-learningu studie zjišťující konečný výsledek, efekt učení (např. rozdíl Epost – Epre; rozdíl Ecíl – Epost; % splnění Epost/Ecíl; relativně možný efekt (Epost – Epre / Emax – Epre) x 100 studie zjišťující vztah proces-výsledek

Nové trendy v hodnocení (Diericková, Dochy, 2001) je snaha o integraci hodnocení, učení a vyučování (zpětná vazba) student je aktivní účastník, který sdílí odpovědnost za své učení, dokáže hodnotit sám sebe, dokáže spolupracovat musí být hodnoceno obojí: nejen výsledky, ale i postup při učení, průběh učení je třeba používat různých hodnotících nástrojů (nejen didaktických testů) a nevytvářet časový nátlak řešené úlohy by měly být zajímavé, motivující, smysluplné, autentické, měly by představovat pro studenta výzvu studenti by se měli naučit přemýšlet nad svým učením, hodnotit svůj postup řešení i progres při učení praxe se odklání od jednoduchých ukazatelů výsledku učení

Typologie pro hodnocení pedagogické efektivity (Makkiová, 2002) očekávané výsledky (cíle) úroveň, na níž jsou výsledky očekávány metody hodnocení výsledku normy pro hodnocení postupy zjišťování efektivity analyzovat problém podle těchto hledisek… vyčíst z tabulky a grafu všechny důležité trendy a správně je interpretovat kurs pregraduální studium stáž postgraduální studium výkon povolání didaktický test esej skupinová analýza problému portfolio řešení modelových případů diskuse v ohniskové skupině normy skupinové (vůči jiným osobám) normy kriteriální (vzhledem k cíli) normy individuální normy vyžadované v zaměstnání lokální didaktické testy celostátní didaktické testy postojové dotazníky ohnisková skupina řešení praktických problémů

Typologie pro hodnocení pedagogické efektivity (Makkiová, 2002) specifikace studentů časový rozvrh hodnocení interpreti výsledků způsoby využití výsledků aktéři podílející se na využití výsledků rozhodnutí o provedení změn všichni; prezenční, kombin. distanční; rizikoví, zahraniční atd. na konci tématu kursu souboru kursů na konci studia už v zaměstnání vnitřní hodnotitelé:učitelé, vedení kateder, specialisté; vnější hodnotitelé: agentury, zaměstnavatelé revize úloh, pomocných informací, kritérií hodnocení; revize zařazení tématu, kursu učitelé, studenti vedení kateder, pedagogic. komise vedení fakulty autoři programu zjištění výsledků, interpretacevýsledků, rozhodnutí o změnách na různých úrovních, realizace změn

Typologie pro hodnocení pedagogické efektivity (Kuittinenová, 1998) kritéria týkající se obsahu učení kritéria týkající se učení a vyučování kritéria týkající se uživatelského interface pragmatická kritéria strukturování obsahu posouzení příkladů vybraných pro jednotlivá témata relevantnost obsahové struktury učebním cílům motivace celkové pojetí učiva autorem vstupní požadavky učební cíle struktura aplikací řízení studenta versus prostor pro autoregulaci interakce zpětná vazba opakování a vybavování úlohy ze života hodnocení výsledků interaktivita, způsob sdělování obsahových prvků, navigace, odkazování barevnost, zvýrazňování prvků, animace, podoba obrazovky požadavky na hardware a software lidské zdroje postoje lidí k e-learningu

Typologie pro hodnocení pedagogické efektivity (Fresen, 2007) institucionální faktory technologické faktory faktory související s učiteli faktory související se studenty plán technologického rozvoje školy způsob přijímání studentů a jejich vstup do kursů poradenské služby pro studenty autoevaluace školy management změny standardizace informačního systému užití vhodné technologie spolehlivost systému dostupnost 24 hod, 7 dní v týdnu přístupnost produktů/chránění; školení pro klienty podpora IT pro klienty rozsah a náročnost požadavků klientů způsob práce se studentskými daty interakce učitele se studenty dostupnost učitele pro studenty rychlost zpětné vazby pro studenty akademické zázemí učitelů hodnocení učitelských kompetencí komunitní zázemí učitelů studentovy komunikační dovednosti studentova práce s časem autoregulace učení kritické myšlení řešení problémů

Typologie pro hodnocení pedagogické efektivity (Fresen, 2007) faktory související s institucionální koncepcí e-learningu pedagogické faktory Použitelnost: koncepce a počet modulů multimediálnost grafika, obrázky, animace podoba obrazovky, prezentace standardy, dostupnost Principy učení: interaktivita motivování studentů pro učení vysoká očekávání od studentů úlohy náročné na myšlení kooperativní učení učební cíle, očekávání učební výsledky flexibilnost učebních modulů strategie hodnocení studentů styly učení studentů podoba a obsah zdrojů, z nichž se studenti učí: relevantnost, správnost, aktuálnost adaptibilnost, vyhodnotitelnost dlouhodobá použitelnost, opětovná použitelnost prostor pro studentovu sebereflexi

Hlediska pro hodnocení efektivity (Schank, 2002): akronym FREEDOM F - Failure systém pomáhá studentům, aby se učili ze svých chyb R - Reasoning vede studenty, aby se rozhodovali promyšleně E - Emotionality ukazuje studentům emocionální dimenzi poznatků a procesu poznávání E - Exploration vysvětluje souvislosti; snaží se, aby student pochopil a učil se argumentovat D - Doing vede studenta, aby se naučil poznatky skutečně používat, uměl řešit i reálné problémy O - Observation vizualizuje učivo, předkládá schémata, diagramy, videozáznamy dějů, animaci M - Motivation motivuje studenta k učení, navozuje pocit, že se to dá naučit, že poznávání má objektivní význam i osobní smysl

Procesuální hledisko 1 počítač dokáže diagnostikovat chyby ve studentově chápání pojmů - software concept mapping tool (Fischer et al., 2002; Feng, Heffernand, 2007) a umí s nimi cíleně pracovat počítač dokáže diagnostikovat a pro učitele přehledně zpracovat úroveň pokroku, kterého studenti dosáhli v jednotlivých tematických celcích; dokáže identifikovat skupinové i individuální obtíže při učení, včetně typických úloh, které studentům nejdou (Feng, Heffernand, 2007) počítač dokáže snáze realizovat Vygotského ideu o zóně nejbližšího vývoje, než učitel (student s cílenou pomocí dokáže věci, které by bez ní sám ještě nedokázal) počítač může průběžně vyhodnocovat motivovanost studenta při učení pomocí tzv. aktivního učebního času plánovaný čas pro učení (allocated time) disponibilní čas pro učení, odečteme-li aktivity, které přímo nesouvisí s učením (available time) aktivní učení čas, tj. čas strávený přímo řešním úloh (engaged time, time-on-task)

Procesuální hledisko 2 počítač může spojovat diagnózu a ovlivňování vybraných osobnostních charakteristik, např. studentovu tendenci přeceňovat se nebo podceňovat se (Kulič, 1992) subjektivní evidence výsledku činnosti: jste-li si jisti, že Vaše odpověď je správná, přejděte dále; nejste-li si jisti, stiskněte tlačítko … a počítač Vám sdělí, jak má správná odpověď vypadat čtyři možnosti vztahu mezi objektivní správností a subjektivním pocitem počítač může průběžně zjišťovat uživatelovy emoce (zejména negativní emoce) a snaží se na ně reagovat (Picardová, Klein, 2002)

Procesuální hledisko 3 adaptivní testování začíná se úlohami střední obtížnosti prezentování každé další úlohy záleží na úspěšnosti řešení té předcházející pokud je student úspěšný, dostává úlohy stále obtížnější, až se dojde k hranici jeho současných možností pokud je student neúspěšný, dostává úlohy stále snadnější, až se dojde k hranici jeho současných možností můžeme změřit úroveň nejen průměrných, ale i vynikajících a slabých studentů testování netrvá tak dlouho jako při tradičních testech a je spolehlivější je náročné na tvorbu databanky testových úloh a na vhodnou strategii sekvenčního prezentování úloh

Procesuální hledisko 4 počítač může nastolit a procvičovat týmovou práci (computer supported collaborative work) ukázka hodnocení on-line diskuse o tématu, které je probíráno v kursu XY (Macdonaldová, 2003): 5 sdělení, kterým jedinec přispěl do skupinové diskuse; každé se musí týkat jiného aspektu a musí doložit jak jedincovu schopnost reagovat na ostatní, tak přispívat k posunu v diskusi jedincova snaha shrnout dosavadní diskusi jedincův výrok navrhující skupině další postup spolupráce včetně osobního zhodnocením navrhované strategie

Nové proměnné typy proměnných, které komplikují učení (Hadwin, et al Nové proměnné typy proměnných, které komplikují učení (Hadwin, et al., 2005, Fuller et al., 2006) studentova počítačová gramotnost – objektivní (computer literacy) subjektivně vnímaná počítačová zdatnost (computer self-efficacy) počítačová úzkostnost (computer anxiety) e-mailová úzkostnost (e-mail anxiety) komunikační ostýchavost (communication apprehension) zvýšená námaha zraku vynucená poloha při učení (zvýšená námaha páteře, svalů, šlach atd.) zvýšené nároky na pozornost: podoba obrazovky, navigace, umístění ovládacích prvků zvýšená kognitivní zátěž (cognitive load)

Nové proměnné typy proměnných, které komplikují učení frustrace z nedokonalosti programu: nedostatečná adaptivita na individuální styl učení absence vysvětlení příčiny chyb absence cílené pomoci při učení rušivost použitých efektů (vizuálních, auditivních) nedostatečné rozlišení hierarchických úrovní pocity sociální izolace (chybí přímý mezilidský kontakt s učitelem, se spolužáky) nerespektování autorských práv, etických aspektů učení - elektronické podvádění

Nové okolnosti, kterém komplikují měření pedagogické efektivity (Shale, Gomez, 1998) Student může začít s učením modulu v době, kdy sám chce a není časově limitován ho dokončit. Je pak obtížné zvolit fixní časový úsek, v němž se bude hodnotit efektivita učení více studentů. Student může přerušit své učení na delší dobu (týdny, měsíce) a pak v něm pokračovat. Obtížně se pak rozlišuje, zda své studium jen přerušil nebo studia zanechal. Při delším přerušení se mezitím mohly cíle a obsah inovovat. Student si může zvolit jen určitý modul, který ho zajímá, nezapíše si celý kurs. Je pak obtížné zjistit, zda byly splněny cíle, které má celý kurs stanoveny, neboť student absolvoval jen jeho část. Se vzrůstající modularizací se stává, že tentýž modul si zapisují studenti velmi rozdílných studijních oborů. Je pak problematické, zda stejný obsah a stejné cíle mohou být prospěšné např. v modulu „Statistika“ matematikům, psychologům, počítač. specialistům.

Otevřené otázky Které všechny„ parametry“ studenta se dají e-learningem ovlivnit? Nakolik výzkumy efektivity e-lerningu počítají kromě „vnějšího řízení“ také s „autoregulací“ studentova učení? Platí získané poznatky obecně, univerzálně pro všechny typy, skupiny studentů? Platí získané poznatky obecně, univerzálně pro všechny typy učiva, pro všechny vyučovací předměty?