Evaluace programu 1 J.Hendl. Evidence based practice, politics Praxe založená na evidenci Odvozuje se od EBM (Evidence based medicine) – Archie Cochrane.

Prezentace na téma: "Evaluace programu 1 J.Hendl. Evidence based practice, politics Praxe založená na evidenci Odvozuje se od EBM (Evidence based medicine) – Archie Cochrane."— Transkript prezentace:

1 Evaluace programu 1 J.Hendl

2 Evidence based practice, politics Praxe založená na evidenci Odvozuje se od EBM (Evidence based medicine) – Archie Cochrane (C1) Donald Campbell (C2) v oblasti sociálních věd

3

4 Co je program? Program = Intervence

5 Oblasti aplikace Školství Zdravotnictví Trh práce Sociální a rodinná politika Ekologie Výzkum organizací Sportovní management

6 Co je evaluace programu? Docílil program to, co zamýšlel docílit?

7 Co se hodnotí Efektivita a užitečnost politických, sociálních a ekologických programů, opatření a zákonů, pedagogických a terapeutických intervencí, organizačních změn a inovací

8 Proč evaluovat, hodnotit? Evaluace nám může říci zda pokračovat v programu změnit program zastavit program

9 Cíle evaluce Popis programu (o co jde ?) Porovnání (jak se liší od jiných programů ?) Predikce (Co se dokáže)

10 Typy evaluace formativní Procesu (formativní) Výsledků (sumativní) Důsledků (sumativní) Ekonomická (sumativní) Jedná se o doporučenou sekvenci, nemůžeme dělat danou evaluační fázi bez předchozí fáze, např. není možné dělat evaluaci důsledků, jestliže nemáme pozitivní evidenci výsledků

11 Formativní evaluace Realizace před dalšími typy evaluací  Pomáhá vymezit problém řešený programem  Určuje možnost programu  Lépe definuje cílovou populaci  Poskytuje základ pro srovnání, data  Spolupracuje se s cílovou populací 11

12 Formativní evaluace Realizace před dalšími typy evaluací  Jaký je důvod program?  Jaká je cílová skupina?  Jaké jsou její potřeby?  Jaké jsou zdroje?  Jak se program uskuteční? 12

13 Formativní evaluace Někdy se také specificky jako evaluace potřeby Také se zařazuje při ladění programu 13

14 Evaluace procesu Probíhá vše podle plánu? Hodnocení prováděných aktivit Není možné hodnotit program bez hodnocení aktivit Nejčastěji prováděná evaluace, protože se považuje za jednodušší Provádí často programová skupina (ne vnější evaluátor) Týdenní, měsíční, roční 14

15 Evaluace procesu Hodnocení prováděných aktivit Týdenní, měsíční, roční Někdy se tato evaluace také zařazuje do kategorie formativní evaluace, pokud jde o evaluaci první fáze implementace programu Evaluace procesu spíše znamená znamená aplikaci evaluace k monitorování rutinního provozu programu 15

16 Evaluace procesu Hodnocení aktivit, které mají být vykonávány Prezentuje zprávu o tom, co se skutečně dělá (obvykle se porovnává s tím, co se mělo dělat) 16

17 Evaluace výsledků Měření celkové efektivity programu – pomocí specifických cílů Došlo ke změně účastníků? Může zahrnout změny chování, postojů, znalostí Běžně se zjišťuje ročně O tom, zda aktivity mají kumulativní efekt 17

18 Evaluace výsledků Také se nazývá sumativní evaluace Také: Jaké jsou efekty? Jaké jsou negativní efekty? Kdo nejvíce profituje z programu? 18

19 Další typy evaluace Evaluace důsledků, vlivu Měří se dlouhodobá změna v cílové populaci Ekonomická evaluace Jaké jsou náklady různých vstupů? Jaké jsou náklady pro dosažení požadované úrovně? Porovnávají se programy s podobným zaměřením, ekonomická náročnost a dlouhodobé důsledky

20

21 Plánovaná intervence Očekávaný výsledek Plánování programu

22 Plánovaný program Očekávaný výsledek Implementace programu Aktuální program Evaluace procesu Porovnání plánovaného a skutečného

23 Planovaný program Aktuální výsledek Implementace Aktuální program Monitorování výsledků Ukazuje na skutečné výsledky

24 Planovaný program Aktuální výsledek Implementace Aktuální program Očekávaný výsledek Monitorování výsledků Porovnávají se skutečné výsledky a plánované

25 Dlouhodobé důsledky Implementace Skutečný program Bezprostřední výsledky Evaluace výsledků Ukazuje bezprostřední důsledky intervence.

26 Evaluace programu Proč hodnotit? Verifikace, zda program skutečně funguje, jak bylo předpokládáno. Porozumění, verifikace důsledků programu. Identifikování slabých a silných stránek a oblastí zlepšení programu

27 Evaluace se provádí pro Agentury a jejich vedoucí komunitu Cílovou populaci

28 Kroky procesu evaluace plánování evaluace Definice účelu Zahrnutí stakeholder formulace účelu/cílů/indikátorů Na co/koho se zaměřit  (co se mělo změnit) Co se bude měřit, aby se změna podchytila

29 Kroky procesu evaluace Výběr metody a plánu výzkumu Jak a kdy měřit (časový rámec, prostředky, přístupy) Provedení evaluace Pilotáž/začíná se již při implementaci Monitorován procesů Shromažďování existujících/nových dat

30 Kroky evaluačního procesu Analýza dat a interpretace Zajištění kvality dat, Provedení analýzy Vytváření informací z dat

31 Rozhodování při evaluaci Co se bude evaluovat? Co je programem a jaký je kontext? Jaké aspekty se budou uvažovat při posuzování výkonu programu? Jaké standardy (úroveň výkonu) určí, kdy je program úspěšný?

32 Rozhodování při evaluaci Jaká evidence bude svědčit o to, jak program funguje? Jaké informace jsou relevantní Použitím této evidence jaké můžeme provést závěry? Srovnání se standardy? Hodnota, kvalita, užitečnost, efektivita Co je možné se naučit provedenou evaluací?

33 Kvalita evaluace – hodnocení evaluce Užitečnost Proveditelnost Oprávněnost – etika Technická adekvátnost – metodologicky správně

34 Proč se evaluace neprovádějí?

35 Překážky k evaluaci “obtížné” “není čas” “nejsou peníze”, „někoho by to poškodilo“ “víme, že to je dobře” “stejně naší zprávu nebude nikdo číst”

36 Překonání překážek Zajištění již na začátku programu a při přípravě projektu programu Tak, aby to bylo užitečné pro program, nejenom pro agenturu Spolupráce s účastníky Zajištění realistických cílů a časových dispozic

37 Překonání překážek Návrh správných indikátorů Školení a technická asistence

38 Překonání překážek Zajištění zpětné vazby k programu Zabudování do běžných aktivit programu (Použití stávajících metod a nástrojů programu)

39 Souhrn Evaluace Poskytuje informace o programu pro plánování dalších programů Popisuje a verifikuje, co se skutečně implementovalo Demonstruje změny Poskytuje zpětnou vazbu účastníkům