Evaluace programu Jan Činčera, 2010

Obsah Úvodní pojmy, příklady, smysl evaluace… Cyklus evaluace Tipy Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

Příklad 1 Zelená škola Realizátor zvolil nevhodný způsob bodování škol zapojených do projektu. V důsledku učitelé špatně pochopili smysl programu. Těžiště aktivity se z dětí přesunulo na učitele. Učitelé naplňovali program aktivitami podle svého uvážení. Program neměl měřitelný vliv na žáky. Realizátor přehodnotil systém bodování škol.

Příklad 2 GLOBE Učitelé realizují pouze některé z doporučených typů aktivit – vynechávají analytické a projektově orientované aktivity. Program sice ovlivňuje znalosti, ale nikoliv výzkumné dovednosti dětí. Realizátor připravuje nové metodiky na zaškolení učitelů.

Příklad 3 Kurz pro koordinátory EV Účastníci většinou spokojeni s průběhem, chyběla jim ale metodika. Menšina nespokojená – střety s vlastní představou o EV x organizátoři Absolventi přesto nezvládají připravit program. Realizátor připravil novou metodiku kurzů a zahájil jejich evaluaci.

Evaluace = proces kritického prověřování programu. Zahrnuje sběr a analýzu informací o aktivitách programu, jeho charakteristikách a výstupech. Jejím cílem je formulovat stanoviska o programu ke zvýšení jeho efektivity a / nebo k poskytnutí informací pro rozhodování o programu.

Proč evaluace? Zkvalitnění programu Úspory v organizaci Prezentace Komunikace se sponzory

Kdy má evaluace smysl Je reálná šance, že program funguje Program je možné evaluovat Program stojí za to evaluovat Realizátor je otevřený zpětné vazbě a modifikacím programu, má o evaluaci zájem Programy, které neprošly sumativní evaluací, pravděpodobně nefungují podle očekávání realizátorů.

Obecné zásady Neexistuje ideální evaluační design Pragmatický přístup k evaluaci Participace evaluátor – středisko empatická neutralita evaluátora Opatrnost v interpretacích a doporučeních Žádná evaluace neříká přesnou výpověď, pravděpodobnostní charakter

Evaluační roviny Spokojenost Učení Chování Dopady

Teorie programu Logický model programu Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu) Logický model programu Program = souhrn aktivit, které naplňují společné cíle.

Vyřešený místní problém Prezentace CS Proakční přesvědčení Vyřešený místní problém Prezentace CS Akční znalosti Zaškolení týmu Spolupráce na řešení místního problému Kooperativní dovednosti Kooperativní aktivity Příprava manuálu Přesvědčení o zvládnutelnosti spolupráce Zajištění klientely Diskuse o místních problémech

Typy evaluace Expertní hodnocení Analýza potřeb Analýza náklady - výstupy Akční výzkum Monitoring Formativní evaluace Sumativní evaluace Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu)

Evaluační proces Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

Informace o programu Expertní hodnocení Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Informace o programu Expertní hodnocení Paradigma programu Výstupově x procesně orientovaný Metodická východiska… Logický model programu Tématický rámec programu Organizační model (sekvence) programu Předchozí evaluace a zkušenosti s programem Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu)

Evaluační otázky Co chceme zjistit? Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Evaluační otázky Co chceme zjistit? Jaké roviny logického modelu chceme zkoumat? Jaké jsou základní indikátory pro evaluační otázky?

Příklady evaluačních otázek Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Do jaké míry program rozvíjí znalosti dětí o globálních problémech? Chovají se absolventi programu k životnímu prostředí jinak než děti, které ho neabsolvovaly? Co si děti v průběhu programu uvědomily nového? Měl program vliv na další život dětí? Které konkrétní aktivity děti nejvíce ovlivnily?

Plán (design) evaluace Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Plán (design) evaluace Kvantitativní Do jaké míry bylo dosaženo očekávaných výstupů programu? Čísla: četnosti, průměry, čísla, statistická významnost Kvalitativní Proč účastníci reagovali při programu tak, jak reagovali? Jak účastníci interpretují to, co se dozvěděli? Slova, obrazy, situace: textová analýza Smíšený

Kvantitativní metodika Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Kvantitativní metodika Předpoklady Program lze objektivně měřit Výstupy lze kvantifikovat Plán evaluace Monitoring výstupů Experimenty a kvaziexperimenty Korelační analýza

Kvantitativní metodika Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Kvantitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat

Výběr vzorku Census – všichni účastníci Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Výběr vzorku Census – všichni účastníci Náhodný – randomizované experimenty Jiný (dostupnost, samovýběr)- kvazi experimenty

Monitoring výstupů Indikátory = přesná a měřitelná kritéria pro Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Monitoring výstupů Indikátory = přesná a měřitelná kritéria pro vyhodnocení míry dosažení daného výstupu. CO? Jak mnoho – hladina úspěšnosti? Př.: 70% žáků na myšlenkové mapě uvede správně alespoň tři různé činnosti, kterými ovlivňuje životní prostředí s uvedením alespoň jednoho environmentálního dopadu každého z nich. Vhodné pro jednoduché evaluace, kdy předpokládáme vstupní úroveň účastníků a není pravděpodobný vliv jiných faktorů

Plán vyhodnocování indikátorů Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Plán vyhodnocování indikátorů Výstup Ve spolupráci s kolegy zpracuje SWOT analýzu EVVO své školy podle předem daných kritérií. Indikátory Ze zpracované SWOT analýzy získají nejméně 2/3 účastníků více než 50% bodů. Sběr dat Úkol: zpracovat SWOT analýzu Hodnotící tabulka: seznam kritérií

Experimenty Experimentální skupina Kontrolní skupina Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Experimenty Pretest Program Posttest 1 Posttest 2 Experimentální skupina Pretest - Posttest 1 Posttest 2 Kontrolní skupina

Korelační analýza Vztah dvou či více proměnných Důvody Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Korelační analýza Vztah dvou či více proměnných Pozitivní či negativní korelace Důvody Chybí kontrolní skupina Méně fixní program ve více variantách Sledujeme vliv jedné proměnné Sledujeme vliv kombinace proměnných

Metody sběru dat Ankety Dotazníky Testy Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Metody sběru dat Ankety Dotazníky Testy Pozorování (observační tabulka) Validita Reliabilita Anonymita Přesné a jednotné zadání

Analýza dat Monitoring Experimenty Korelační analýzy Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Analýza dat Monitoring Deskriptivní statistika – porovnání indikátory: data Experimenty Statistická významnost rozdílů mezi skupinami Velikost účinku (size effect) Korelační analýzy Síla korelace

Kvalitativní metodika Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Kvalitativní metodika Předpoklady Program interpretuje každý jinak – neexistuje "objektivní" realita programu Zajímají mě právě subjektivní výpovědi, jedinečnost, kontrastnost

Kvalitativní metodika Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Kvalitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat

Výběr vzorku NENÍ náhodný, ale záměrný Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Výběr vzorku NENÍ náhodný, ale záměrný Např. kontrastní vzorkování, sněhová koule, respondenti podle jistých charakteristik, podle dostupnosti...

Plán sběru dat NENÍ lineární, ale cyklický Není předem daný rozsah Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Plán sběru dat NENÍ lineární, ale cyklický Není předem daný rozsah Data se sbírají, dokud nejsou nasyceny sledované kategorie Typy Zakotvená teorie Etnografický průzkum… Smíšený plán QUAL+quan… Sběr dat Analýza dat

Metody sběru dat Rozhovory Ohniskové skupiny Pozorování, nahrávky Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Metody sběru dat Rozhovory Ohniskové skupiny Pozorování, nahrávky Analýza textů, posterů, artefaktů, deníků, portfólií.. Důvěryhodnost Triangulace

Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Analýza dat Kódování Vytváření obecných kategorií a subkategorií (témat) Analýza vztahů mezi kategoriemi, modely …Toto odpoledne bylo zvláštní! Líbilo se mi, když jsme byli v restauraci SVĚT. Ale vadilo mi, že v Ghaně a dalších chudých zemích měli jen chleba a výjimečně vodu!...

Evaluační zpráva Cíle evaluace Popis programu Evaluační otázky Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Evaluační zpráva Cíle evaluace Popis programu Evaluační otázky Indikátory, design evaluace Charakteristika vzorku Metody sběru dat Prezentace výsledků Interpretace, diskuse Doporučení Závěry

Jak začít Kritická analýza vlastního programu Samostatně x externí evaluátor Formativní evaluace, akční výzkum Finanční zdroje Čas Odhodlání

Jak evaluovat různé výstupy Typ výstupů Metoda sběru dat Specifické nástroje a postupy Znalosti Testy Dovednosti Manuální Kognitivní Pozorování Analýza dokumentů Hodnotící tabulka, Indikátory Zcitlivující koncepty Postoje a hodnoty Dotazníky Dokumenty, portfolia… Rozhovory Obrázky, imaginární cesty.. Standardizované nástroje Stejně jako dovednosti či chování Chování Posttest 2 – delší časový odstup

Jak evaluovat afektivní proměnné Senzitivita Ohnisko kontroly Obecné Specifické (sebehodnocení) Obecné postoje Specifické postoje Hodnoty Měřitelné vyjádření (formuluje a odůvodní vlastní stanovisko k řešení problému) Standardizované nástroje Kvalitativně

Dotazy… Jan Činčera, jan.cincera@tul.cz