Evaluace programu Jan Činčera, 2010.

Prezentace na téma: "Evaluace programu Jan Činčera, 2010."— Transkript prezentace:

1 Evaluace programu Jan Činčera, 2010

2 Obsah Úvodní pojmy, příklady, smysl evaluace… Cyklus evaluace Tipy
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

3 Příklad 1 Zelená škola Realizátor zvolil nevhodný způsob bodování škol zapojených do projektu. V důsledku učitelé špatně pochopili smysl programu. Těžiště aktivity se z dětí přesunulo na učitele. Učitelé naplňovali program aktivitami podle svého uvážení. Program neměl měřitelný vliv na žáky. Realizátor přehodnotil systém bodování škol.

4 Příklad 2 GLOBE Učitelé realizují pouze některé z doporučených typů aktivit – vynechávají analytické a projektově orientované aktivity. Program sice ovlivňuje znalosti, ale nikoliv výzkumné dovednosti dětí. Realizátor připravuje nové metodiky na zaškolení učitelů.

5 Příklad 3 Kurz pro koordinátory EV
Účastníci většinou spokojeni s průběhem, chyběla jim ale metodika. Menšina nespokojená – střety s vlastní představou o EV x organizátoři Absolventi přesto nezvládají připravit program. Realizátor připravil novou metodiku kurzů a zahájil jejich evaluaci.

6 Evaluace = proces kritického prověřování programu. Zahrnuje sběr a analýzu informací o aktivitách programu, jeho charakteristikách a výstupech. Jejím cílem je formulovat stanoviska o programu ke zvýšení jeho efektivity a / nebo k poskytnutí informací pro rozhodování o programu.

7 Proč evaluace? Zkvalitnění programu Úspory v organizaci Prezentace
Komunikace se sponzory

8 Kdy má evaluace smysl Je reálná šance, že program funguje
Program je možné evaluovat Program stojí za to evaluovat Realizátor je otevřený zpětné vazbě a modifikacím programu, má o evaluaci zájem Programy, které neprošly sumativní evaluací, pravděpodobně nefungují podle očekávání realizátorů.

9 Obecné zásady Neexistuje ideální evaluační design
Pragmatický přístup k evaluaci Participace evaluátor – středisko empatická neutralita evaluátora Opatrnost v interpretacích a doporučeních Žádná evaluace neříká přesnou výpověď, pravděpodobnostní charakter

10 Evaluační roviny Spokojenost Učení Chování Dopady

11 Teorie programu Logický model programu
Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu) Logický model programu Program = souhrn aktivit, které naplňují společné cíle.

12 Vyřešený místní problém Prezentace CS
Proakční přesvědčení Vyřešený místní problém Prezentace CS Akční znalosti Zaškolení týmu Spolupráce na řešení místního problému Kooperativní dovednosti Kooperativní aktivity Příprava manuálu Přesvědčení o zvládnutelnosti spolupráce Zajištění klientely Diskuse o místních problémech

13 Typy evaluace Expertní hodnocení Analýza potřeb
Analýza náklady - výstupy Akční výzkum Monitoring Formativní evaluace Sumativní evaluace Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu)

14 Evaluační proces Informace o programu Evaluační otázky Plán evaluace
Sběr a analýza dat Evaluační zpráva

15 Informace o programu Expertní hodnocení
Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Informace o programu Expertní hodnocení Paradigma programu Výstupově x procesně orientovaný Metodická východiska… Logický model programu Tématický rámec programu Organizační model (sekvence) programu Předchozí evaluace a zkušenosti s programem Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu)

16 Evaluační otázky Co chceme zjistit?
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Evaluační otázky Co chceme zjistit? Jaké roviny logického modelu chceme zkoumat? Jaké jsou základní indikátory pro evaluační otázky?

17 Příklady evaluačních otázek
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Do jaké míry program rozvíjí znalosti dětí o globálních problémech? Chovají se absolventi programu k životnímu prostředí jinak než děti, které ho neabsolvovaly? Co si děti v průběhu programu uvědomily nového? Měl program vliv na další život dětí? Které konkrétní aktivity děti nejvíce ovlivnily?

18 Plán (design) evaluace
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Plán (design) evaluace Kvantitativní Do jaké míry bylo dosaženo očekávaných výstupů programu? Čísla: četnosti, průměry, čísla, statistická významnost Kvalitativní Proč účastníci reagovali při programu tak, jak reagovali? Jak účastníci interpretují to, co se dozvěděli? Slova, obrazy, situace: textová analýza Smíšený

19 Kvantitativní metodika
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Kvantitativní metodika Předpoklady Program lze objektivně měřit Výstupy lze kvantifikovat Plán evaluace Monitoring výstupů Experimenty a kvaziexperimenty Korelační analýza

20 Kvantitativní metodika
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Kvantitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat

21 Výběr vzorku Census – všichni účastníci
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Výběr vzorku Census – všichni účastníci Náhodný – randomizované experimenty Jiný (dostupnost, samovýběr)- kvazi experimenty

22 Monitoring výstupů Indikátory = přesná a měřitelná kritéria pro
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Monitoring výstupů Indikátory = přesná a měřitelná kritéria pro vyhodnocení míry dosažení daného výstupu. CO? Jak mnoho – hladina úspěšnosti? Př.: 70% žáků na myšlenkové mapě uvede správně alespoň tři různé činnosti, kterými ovlivňuje životní prostředí s uvedením alespoň jednoho environmentálního dopadu každého z nich. Vhodné pro jednoduché evaluace, kdy předpokládáme vstupní úroveň účastníků a není pravděpodobný vliv jiných faktorů

23 Plán vyhodnocování indikátorů
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Plán vyhodnocování indikátorů Výstup Ve spolupráci s kolegy zpracuje SWOT analýzu EVVO své školy podle předem daných kritérií. Indikátory Ze zpracované SWOT analýzy získají nejméně 2/3 účastníků více než 50% bodů. Sběr dat Úkol: zpracovat SWOT analýzu Hodnotící tabulka: seznam kritérií

24 Experimenty Experimentální skupina Kontrolní skupina
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Experimenty Pretest Program Posttest 1 Posttest 2 Experimentální skupina Pretest - Posttest 1 Posttest 2 Kontrolní skupina

25 Korelační analýza Vztah dvou či více proměnných Důvody
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Korelační analýza Vztah dvou či více proměnných Pozitivní či negativní korelace Důvody Chybí kontrolní skupina Méně fixní program ve více variantách Sledujeme vliv jedné proměnné Sledujeme vliv kombinace proměnných

26 Metody sběru dat Ankety Dotazníky Testy
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Metody sběru dat Ankety Dotazníky Testy Pozorování (observační tabulka) Validita Reliabilita Anonymita Přesné a jednotné zadání

27 Analýza dat Monitoring Experimenty Korelační analýzy
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Analýza dat Monitoring Deskriptivní statistika – porovnání indikátory: data Experimenty Statistická významnost rozdílů mezi skupinami Velikost účinku (size effect) Korelační analýzy Síla korelace

28 Kvalitativní metodika
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Kvalitativní metodika Předpoklady Program interpretuje každý jinak – neexistuje "objektivní" realita programu Zajímají mě právě subjektivní výpovědi, jedinečnost, kontrastnost

29 Kvalitativní metodika
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Kvalitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat

30 Výběr vzorku NENÍ náhodný, ale záměrný
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Výběr vzorku NENÍ náhodný, ale záměrný Např. kontrastní vzorkování, sněhová koule, respondenti podle jistých charakteristik, podle dostupnosti...

31 Plán sběru dat NENÍ lineární, ale cyklický Není předem daný rozsah
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Plán sběru dat NENÍ lineární, ale cyklický Není předem daný rozsah Data se sbírají, dokud nejsou nasyceny sledované kategorie Typy Zakotvená teorie Etnografický průzkum… Smíšený plán QUAL+quan… Sběr dat Analýza dat

32 Metody sběru dat Rozhovory Ohniskové skupiny Pozorování, nahrávky
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Metody sběru dat Rozhovory Ohniskové skupiny Pozorování, nahrávky Analýza textů, posterů, artefaktů, deníků, portfólií.. Důvěryhodnost Triangulace

33 Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Analýza dat Kódování Vytváření obecných kategorií a subkategorií (témat) Analýza vztahů mezi kategoriemi, modely …Toto odpoledne bylo zvláštní! Líbilo se mi, když jsme byli v restauraci SVĚT. Ale vadilo mi, že v Ghaně a dalších chudých zemích měli jen chleba a výjimečně vodu!...

34 Evaluační zpráva Cíle evaluace Popis programu Evaluační otázky
Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Evaluační zpráva Cíle evaluace Popis programu Evaluační otázky Indikátory, design evaluace Charakteristika vzorku Metody sběru dat Prezentace výsledků Interpretace, diskuse Doporučení Závěry

35 Jak začít Kritická analýza vlastního programu
Samostatně x externí evaluátor Formativní evaluace, akční výzkum Finanční zdroje Čas Odhodlání

36 Jak evaluovat různé výstupy
Typ výstupů Metoda sběru dat Specifické nástroje a postupy Znalosti Testy Dovednosti Manuální Kognitivní Pozorování Analýza dokumentů Hodnotící tabulka, Indikátory Zcitlivující koncepty Postoje a hodnoty Dotazníky Dokumenty, portfolia… Rozhovory Obrázky, imaginární cesty.. Standardizované nástroje Stejně jako dovednosti či chování Chování Posttest 2 – delší časový odstup

37 Jak evaluovat afektivní proměnné
Senzitivita Ohnisko kontroly Obecné Specifické (sebehodnocení) Obecné postoje Specifické postoje Hodnoty Měřitelné vyjádření (formuluje a odůvodní vlastní stanovisko k řešení problému) Standardizované nástroje Kvalitativně

38 Dotazy… Jan Činčera,