Evaluace programu 1 J.Hendl

Evidence based practice, politics Praxe založená na evidenci Odvozuje se od EBM (Evidence based medicine) – Archie Cochrane (C1) Donald Campbell (C2) v oblasti sociálních věd

Co je program? Program = Intervence

Oblasti aplikace Školství Zdravotnictví Trh práce Sociální a rodinná politika Ekologie Výzkum organizací Sportovní management

Co je evaluace programu? Docílil program to, co zamýšlel docílit?

Co se hodnotí Efektivita a užitečnost politických, sociálních a ekologických programů, opatření a zákonů, pedagogických a terapeutických intervencí, organizačních změn a inovací

Proč evaluovat, hodnotit? Evaluace nám může říci zda pokračovat v programu změnit program zastavit program

Cíle evaluce Popis programu (o co jde ?) Porovnání (jak se liší od jiných programů ?) Predikce (Co se dokáže)

Typy evaluace formativní Procesu (formativní) Výsledků (sumativní) Důsledků (sumativní) Ekonomická (sumativní) Jedná se o doporučenou sekvenci, nemůžeme dělat danou evaluační fázi bez předchozí fáze, např. není možné dělat evaluaci důsledků, jestliže nemáme pozitivní evidenci výsledků

Formativní evaluace Realizace před dalšími typy evaluací  Pomáhá vymezit problém řešený programem  Určuje možnost programu  Lépe definuje cílovou populaci  Poskytuje základ pro srovnání, data  Spolupracuje se s cílovou populací 11

Formativní evaluace Realizace před dalšími typy evaluací  Jaký je důvod program?  Jaká je cílová skupina?  Jaké jsou její potřeby?  Jaké jsou zdroje?  Jak se program uskuteční? 12

Formativní evaluace Někdy se také specificky jako evaluace potřeby Také se zařazuje při ladění programu 13

Evaluace procesu Probíhá vše podle plánu? Hodnocení prováděných aktivit Není možné hodnotit program bez hodnocení aktivit Nejčastěji prováděná evaluace, protože se považuje za jednodušší Provádí často programová skupina (ne vnější evaluátor) Týdenní, měsíční, roční 14

Evaluace procesu Hodnocení prováděných aktivit Týdenní, měsíční, roční Někdy se tato evaluace také zařazuje do kategorie formativní evaluace, pokud jde o evaluaci první fáze implementace programu Evaluace procesu spíše znamená znamená aplikaci evaluace k monitorování rutinního provozu programu 15

Evaluace procesu Hodnocení aktivit, které mají být vykonávány Prezentuje zprávu o tom, co se skutečně dělá (obvykle se porovnává s tím, co se mělo dělat) 16

Evaluace výsledků Měření celkové efektivity programu – pomocí specifických cílů Došlo ke změně účastníků? Může zahrnout změny chování, postojů, znalostí Běžně se zjišťuje ročně O tom, zda aktivity mají kumulativní efekt 17

Evaluace výsledků Také se nazývá sumativní evaluace Také: Jaké jsou efekty? Jaké jsou negativní efekty? Kdo nejvíce profituje z programu? 18

Další typy evaluace Evaluace důsledků, vlivu Měří se dlouhodobá změna v cílové populaci Ekonomická evaluace Jaké jsou náklady různých vstupů? Jaké jsou náklady pro dosažení požadované úrovně? Porovnávají se programy s podobným zaměřením, ekonomická náročnost a dlouhodobé důsledky

Plánovaná intervence Očekávaný výsledek Plánování programu

Plánovaný program Očekávaný výsledek Implementace programu Aktuální program Evaluace procesu Porovnání plánovaného a skutečného

Planovaný program Aktuální výsledek Implementace Aktuální program Monitorování výsledků Ukazuje na skutečné výsledky

Planovaný program Aktuální výsledek Implementace Aktuální program Očekávaný výsledek Monitorování výsledků Porovnávají se skutečné výsledky a plánované

Dlouhodobé důsledky Implementace Skutečný program Bezprostřední výsledky Evaluace výsledků Ukazuje bezprostřední důsledky intervence.

Evaluace programu Proč hodnotit? Verifikace, zda program skutečně funguje, jak bylo předpokládáno. Porozumění, verifikace důsledků programu. Identifikování slabých a silných stránek a oblastí zlepšení programu

Evaluace se provádí pro Agentury a jejich vedoucí komunitu Cílovou populaci

Kroky procesu evaluace plánování evaluace Definice účelu Zahrnutí stakeholder formulace účelu/cílů/indikátorů Na co/koho se zaměřit  (co se mělo změnit) Co se bude měřit, aby se změna podchytila

Kroky procesu evaluace Výběr metody a plánu výzkumu Jak a kdy měřit (časový rámec, prostředky, přístupy) Provedení evaluace Pilotáž/začíná se již při implementaci Monitorován procesů Shromažďování existujících/nových dat

Kroky evaluačního procesu Analýza dat a interpretace Zajištění kvality dat, Provedení analýzy Vytváření informací z dat

Rozhodování při evaluaci Co se bude evaluovat? Co je programem a jaký je kontext? Jaké aspekty se budou uvažovat při posuzování výkonu programu? Jaké standardy (úroveň výkonu) určí, kdy je program úspěšný?

Rozhodování při evaluaci Jaká evidence bude svědčit o to, jak program funguje? Jaké informace jsou relevantní Použitím této evidence jaké můžeme provést závěry? Srovnání se standardy? Hodnota, kvalita, užitečnost, efektivita Co je možné se naučit provedenou evaluací?

Kvalita evaluace – hodnocení evaluce Užitečnost Proveditelnost Oprávněnost – etika Technická adekvátnost – metodologicky správně

Proč se evaluace neprovádějí?

Překážky k evaluaci “obtížné” “není čas” “nejsou peníze”, „někoho by to poškodilo“ “víme, že to je dobře” “stejně naší zprávu nebude nikdo číst”

Překonání překážek Zajištění již na začátku programu a při přípravě projektu programu Tak, aby to bylo užitečné pro program, nejenom pro agenturu Spolupráce s účastníky Zajištění realistických cílů a časových dispozic

Překonání překážek Návrh správných indikátorů Školení a technická asistence

Překonání překážek Zajištění zpětné vazby k programu Zabudování do běžných aktivit programu (Použití stávajících metod a nástrojů programu)

Souhrn Evaluace Poskytuje informace o programu pro plánování dalších programů Popisuje a verifikuje, co se skutečně implementovalo Demonstruje změny Poskytuje zpětnou vazbu účastníkům