Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

EVALUACE PROGRAMU Jan Činčera, 2010. Obsah  Úvodní pojmy, příklady, smysl evaluace…  Cyklus evaluace  Tipy Informac e o program u Evaluačn í otázky.

Podobné prezentace


Prezentace na téma: "EVALUACE PROGRAMU Jan Činčera, 2010. Obsah  Úvodní pojmy, příklady, smysl evaluace…  Cyklus evaluace  Tipy Informac e o program u Evaluačn í otázky."— Transkript prezentace:

1 EVALUACE PROGRAMU Jan Činčera, 2010

2 Obsah  Úvodní pojmy, příklady, smysl evaluace…  Cyklus evaluace  Tipy Informac e o program u Evaluačn í otázky Plán evaluac e Sběr a analýza dat Evaluačn í zpráva

3 Příklad 1 Zelená škola  Realizátor zvolil nevhodný způsob bodování škol zapojených do projektu.  V důsledku učitelé špatně pochopili smysl programu.  Těžiště aktivity se z dětí přesunulo na učitele.  Učitelé naplňovali program aktivitami podle svého uvážení.  Program neměl měřitelný vliv na žáky.  Realizátor přehodnotil systém bodování škol.

4 Příklad 2 GLOBE  Učitelé realizují pouze některé z doporučených typů aktivit – vynechávají analytické a projektově orientované aktivity.  Program sice ovlivňuje znalosti, ale nikoliv výzkumné dovednosti dětí.  Realizátor připravuje nové metodiky na zaškolení učitelů.

5 Příklad 3 Kurz pro koordinátory EV  Účastníci většinou spokojeni s průběhem, chyběla jim ale metodika.  Menšina nespokojená – střety s vlastní představou o EV x organizátoři  Absolventi přesto nezvládají připravit program. Realizátor připravil novou metodiku kurzů a zahájil jejich evaluaci.

6 Evaluace  = proces kritického prověřování programu. Zahrnuje sběr a analýzu informací o aktivitách programu, jeho charakteristikách a výstupech. Jejím cílem je formulovat stanoviska o programu ke zvýšení jeho efektivity a / nebo k poskytnutí informací pro rozhodování o programu.

7 Proč evaluace?  Zkvalitnění programu  Úspory v organizaci  Prezentace  Komunikace se sponzory

8 Kdy má evaluace smysl  Je reálná šance, že program funguje  Program je možné evaluovat  Program stojí za to evaluovat  Realizátor je otevřený zpětné vazbě a modifikacím programu, má o evaluaci zájem  Programy, které neprošly sumativní evaluací, pravděpodobně nefungují podle očekávání realizátorů.

9 Obecné zásady  Neexistuje ideální evaluační design  Pragmatický přístup k evaluaci  Participace  evaluátor – středisko  empatická neutralita evaluátora  Opatrnost v interpretacích a doporučeních  Žádná evaluace neříká přesnou výpověď, pravděpodobnostní charakter

10 Evaluační roviny SpokojenostUčeníChováníDopady

11 Teorie programu VstupyAktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu) Program = souhrn aktivit, které naplňují společné cíle. Logický model programu

12 Zaškolení týmu Příprava manuálu Zajištění klientely Prezentace CS Kooperativní aktivity Diskuse o místních problémech Kooperativní dovednosti Přesvědčení o zvládnutelnosti spolupráce Proakční přesvědčení Akční znalosti Spolupráce na řešení místního problému Vyřešený místní problém

13 Typy evaluace  Expertní hodnocení  Analýza potřeb  Analýza náklady - výstupy  Akční výzkum  Monitoring  Formativní evaluace  Sumativní evaluace VstupyAktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu)

14 Evaluační proces Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

15 Informace o programu  Expertní hodnocení  Paradigma programu  Výstupově x procesně orientovaný  Metodická východiska…  Logický model programu  Tématický rámec programu  Organizační model (sekvence) programu  Předchozí evaluace a zkušenosti s programem Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva VstupyAktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu)

16 Evaluační otázky  Co chceme zjistit?  Jaké roviny logického modelu chceme zkoumat?  Jaké jsou základní indikátory pro evaluační otázky? Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

17 Příklady evaluačních otázek  Do jaké míry program rozvíjí znalosti dětí o globálních problémech?  Chovají se absolventi programu k životnímu prostředí jinak než děti, které ho neabsolvovaly?  Co si děti v průběhu programu uvědomily nového?  Měl program vliv na další život dětí?  Které konkrétní aktivity děti nejvíce ovlivnily? Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

18 Plán (design) evaluace  Kvantitativní  Do jaké míry bylo dosaženo očekávaných výstupů programu?  Čísla: četnosti, průměry, čísla, statistická významnost  Kvalitativní  Proč účastníci reagovali při programu tak, jak reagovali?  Jak účastníci interpretují to, co se dozvěděli?  Slova, obrazy, situace: textová analýza  Smíšený Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

19 Kvantitativní metodika  Předpoklady  Program lze objektivně měřit  Výstupy lze kvantifikovat  Plán evaluace  Monitoring výstupů  Experimenty a kvaziexperimenty  Korelační analýza Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

20 Kvantitativní metodika  Výběr vzorku  Plán sběru dat  Metody sběru dat  Analýza dat  Interpretace dat Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

21 Výběr vzorku  Census – všichni účastníci  Náhodný – randomizované experimenty  Jiný (dostupnost, samovýběr)- kvazi experimenty Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

22 Monitoring výstupů  Indikátory = přesná a měřitelná kritéria pro vyhodnocení míry dosažení daného výstupu.  CO? Jak mnoho – hladina úspěšnosti?  Př.: 70% žáků na myšlenkové mapě uvede správně alespoň tři různé činnosti, kterými ovlivňuje životní prostředí s uvedením alespoň jednoho environmentálního dopadu každého z nich.  Vhodné pro jednoduché evaluace, kdy předpokládáme vstupní úroveň účastníků a není pravděpodobný vliv jiných faktorů Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

23 Plán vyhodnocování indikátorů Výstup Ve spolupráci s kolegy zpracuje SWOT analýzu EVVO své školy podle předem daných kritérií. Indikátory Ze zpracované SWOT analýzy získají nejméně 2/3 účastníků více než 50% bodů. Sběr dat Úkol: zpracovat SWOT analýzu Hodnotící tabulka: seznam kritérií Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

24 Experimenty PretestProgramPosttest 1Posttest 2 Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Pretest-Posttest 1Posttest 2 Experimentální skupina Kontrolní skupina

25 Korelační analýza  Vztah dvou či více proměnných  Pozitivní či negativní korelace  Důvody  Chybí kontrolní skupina  Méně fixní program ve více variantách  Sledujeme vliv jedné proměnné  Sledujeme vliv kombinace proměnných Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

26 Metody sběru dat  Ankety  Dotazníky  Testy  Pozorování (observační tabulka)  Validita  Reliabilita  Anonymita  Přesné a jednotné zadání Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

27 Analýza dat  Monitoring  Deskriptivní statistika – porovnání indikátory: data  Experimenty  Statistická významnost rozdílů mezi skupinami  Velikost účinku (size effect)  Korelační analýzy  Síla korelace Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

28 Kvalitativní metodika  Předpoklady  Program interpretuje každý jinak – neexistuje "objektivní" realita programu  Zajímají mě právě subjektivní výpovědi, jedinečnost, kontrastnost Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

29 Kvalitativní metodika  Výběr vzorku  Plán sběru dat  Metody sběru dat  Analýza dat  Interpretace dat Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

30 Výběr vzorku  NENÍ náhodný, ale záměrný  Např. kontrastní vzorkování, sněhová koule, respondenti podle jistých charakteristik, podle dostupnosti... Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

31 Plán sběru dat  NENÍ lineární, ale cyklický  Není předem daný rozsah  Data se sbírají, dokud nejsou nasyceny sledované kategorie  Typy  Zakotvená teorie  Etnografický průzkum…  Smíšený plán QUAL+quan… Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva Sběr dat Analýza dat

32 Metody sběru dat  Rozhovory  Ohniskové skupiny  Pozorování, nahrávky  Analýza textů, posterů, artefaktů, deníků, portfólií..  Důvěryhodnost  Triangulace Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

33 Analýza dat  Kódování  Vytváření obecných kategorií a subkategorií (témat)  Analýza vztahů mezi kategoriemi, modely Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva …Toto odpoledne bylo zvláštní! Líbilo se mi, když jsme byli v restauraci SVĚT. Ale vadilo mi, že v Ghaně a dalších chudých zemích měli jen chleba a výjimečně vodu!...

34 Evaluační zpráva 1. Cíle evaluace 2. Popis programu 3. Evaluační otázky 4. Indikátory, design evaluace 5. Charakteristika vzorku 6. Metody sběru dat 7. Prezentace výsledků 8. Interpretace, diskuse 9. Doporučení 10. Závěry Informace o programu Evaluační otázky Plán evaluace Sběr a analýza dat Evaluační zpráva

35 Jak začít  Kritická analýza vlastního programu  Samostatně x externí evaluátor  Formativní evaluace, akční výzkum  Finanční zdroje  Čas  Odhodlání

36 Jak evaluovat různé výstupy Typ výstupůMetoda sběru datSpecifické nástroje a postupy ZnalostiTesty Dovednosti Manuální Kognitivní Testy Pozorování Analýza dokumentů Hodnotící tabulka, Indikátory Zcitlivující koncepty Postoje a hodnotyDotazníky Pozorování Dokumenty, portfolia… Rozhovory Obrázky, imaginární cesty.. Standardizované nástroje Stejně jako dovednosti či chování ChováníDotazníky Rozhovory Pozorování Posttest 2 – delší časový odstup

37 Jak evaluovat afektivní proměnné  Senzitivita  Ohnisko kontroly  Obecné  Specifické (sebehodnocení)  Obecné postoje  Specifické postoje  Hodnoty  Měřitelné vyjádření (formuluje a odůvodní vlastní stanovisko k řešení problému)  Standardizované nástroje  Kvalitativně

38 Dotazy…  Jan Činčera,


Stáhnout ppt "EVALUACE PROGRAMU Jan Činčera, 2010. Obsah  Úvodní pojmy, příklady, smysl evaluace…  Cyklus evaluace  Tipy Informac e o program u Evaluačn í otázky."

Podobné prezentace


Reklamy Google