Jan Činčera, Masarykova univerzita

Prezentace na téma: "Jan Činčera, Masarykova univerzita"— Transkript prezentace:

1 Jan Činčera, Masarykova univerzita
Evaluace programu Jan Činčera, Masarykova univerzita

2 Paradigma Přístupy Role Metodologie Nástroje

3 Paradigma Pragmatismus Konstruktivismus Post-pozitivismus
Transformativní

4 Paradigma Post-pozitivismus Kirkpatrickův model CIPP E&M
Nestranná objektivita Kvantitativní, experiment Dotazník, test Paradigma Post-pozitivismus

5 Evaluace & monitoring (E&M) v projektech EU
Má smysl program podpořit? Relevance Splnil program všechny plánované aktivity? Efektivita Nakládal program adekvátně s finančními prostředky? Úspornost Jak program změnil znalosti, postoje, chování… cílových skupin? Dopad Jaký přínos bude mít program po svém ukončení? Udržitelnost

6 Donald Kirkpatrick (1924-2014)
Přiřaďte… Kirkpatrickův model Spokojenost Učení Chování Dopady Jak se žákům a učitelům program líbil? Jak se změnila četnost návštěv lesa dětmi? Berou si děti do přírody správné boty a oblečení? Vědí děti, jak si vytáhnout klíště? Jak se změnila návštěvnost CHKO? Jak hodnotí účastníci vystupování lektora? Bojí se děti chození do lesa méně? Donald Kirkpatrick ( )

7 Přiřaďte… CIPP Model Kontext (Context) V jakém prostředí se program odehrával? Vstupy (Inputs) Jaké byly vstupní kompetence účastníků? Jaké byly náklady programu? Procesy (Processes) Jak probíhaly aktivity programu? Výstupy (Products) Čeho program dosáhl? Do jaké míry použité komunikační prostředky odpovídají doporučením z oblasti sociálního marketingu? Jaký segment populace si kupuje výrobky Fair Trade? Jaký byl vliv programu na znalosti účastníků o Fair Trade? Jak často si brněnské matky na mateřské dovolené kupují Fair Trade? Jaké jsou nejčastější důvody pro zakupování výrobků Fair Trade? Zvýšil se zájem brněnských matek na mateřské dovolené o výrobky Fair Trade? Daniel L. Stufflebeam

8 Design: (kvazi-)/ experiment
Pretest Posttest Posttest 2 Pretest - Posttest Posttest 2

9 Vedl program (Les ve škole) ke snížení obav dětí z pobytu v přírodě?
Počet Průměrný skór testu SD Průměrný skór položek Z P Před programem 55,6 19,3 2,75 Po programu 70 52,3 23,8 2,61 2,04 0,04*

10 Jak se ti líbí moje sbírka?
Více než 80% lebek nedosahuje standardu EU… Jak se ti líbí moje sbírka? Pozitivistický evaluátor je nestranný, objektivní expert.

11 Paradigma Konstruktivismus Responsivní evaluace Goal free E Interpret
Kvalitativní Rozhovor, pozorování Paradigma Konstruktivismus

12

13 Kvalitativní analýza: kódování
Významová jednotka Koncept Kategorie Memo co já beru jako to negativum, je opravdu takové to … mlácení prázdné slámy, co si můžu přečíst, nepotřebuju, aby mi někdo přežvýkal, a navíc… to není exaktní věda, to je více méně věc názoru Prekoncept environmentální výchovy Orientace v oboru Respondent zjevně o oboru moc neví, ale neví, že toho ví málo. Myslí si, že to, co v oboru funguje, je věc názoru.

14 Konstruktivistický evaluátor je otevřený perspektivě respondentů.
Respondenti interpretují svoji roli v komunitě jako jakási světélka v temnotách… Co lebky, držej? Konstruktivistický evaluátor je otevřený perspektivě respondentů.

15 Paradigma Pragmatismus Utilization – focused evaluation
Kritický přítel Smíšený Rozhovor, pozorování, dotazníky, záznamy… Paradigma Pragmatismus

16 Role evaluátora: příklad evaluace programu Člověk a prostředí
Analyzuje program (1-2/11) Přednáší o metodologii evaluace (1/11) Facilituje diskusi o programu (2/11-6/11) Pozoruje průběh programu a hodnotí lektory (9/11) Facilituje práci na novém programu (10/11- 04/12) Facilituje diskusi o evaluačním plánu (04- 08/12) Připravuje evaluační plán, řídí sběr dat, vyhodnocuje je a píše evaluační zprávu (08- 11/12) Prezentuje a diskutuje výsledky (1/12) Píše článek do recenzovaného časopisu Co dělá evaluátor? Foto: SEVER Evaluace orientovaná na uživatele (utilization focused evaluation) – vychází z potřeb zainteresovaných stran (stakeholders) M.Q. Patton

17 Proč se s nima o tom bavíš?
Do evaluačního procesu je třeba zapojit všechny zainteresované strany… Proč se s nima o tom bavíš? Pragmatický evaluátor tančí mezi různými perspektivami.

18 Paradigma Transformativní Sociální spravedlnost Aktivista Smíšený
Rozhovor, pozorování, dotazníky, záznamy… Paradigma Transformativní

19 Proporčně marginální zastoupení ženských lebek odráží zjevnou genderovou diskriminaci…
Transformativní evaluátor aktivně bojuje za spravedlnost utlačované skupiny.

20 Interpretace dat a doporučení
Analýza programu Evaluační otázky Plán evaluace Sběr a analýza dat Interpretace dat a doporučení Evaluační cyklus

21 Evaluace je proces kritického zkoumání programu.
Zajímá mě jestli je program potřeba, běží podle plánu, jak ho berou děti a co s nima dělá.

22 Oblasti evaluace Analýza programu Vstupy Aktivity
Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu) Analýza potřeb a nákladů Hodnocení implementace programu Sumativní evaluace Formativní evaluace

23 Evaluační otázky Jaké jsou vstupní kompetence žáků?
Probíhá implementace podle očekávání? Jak program ovlivnil postoje cílové skupiny? Jak účastníci program interpretují?

24 Evaluační plán: příklad
Evaluační otázka Respondenti Sběr dat Nástroj Analýza Jaký byl vliv programu na znalosti účastníků? Všichni, kteří absolvovali celý program, cca respondentů. 1 týden před programem a 2 týdny po programu. Vědomostní test, 10 otázek s jednou správnou možností Analýza statistické významnosti rozdílu (Wilcoxonův test, alfa=0,05) Jaký význam přisuzují programu jeho absolventi? 10-12 absolventů celého programu, vzorek odpovídající struktuře účastníků 1 měsíc po ukončení programu Telefonické (skype) rozhovory Otevřené kódování, analýza témat Jak program ovlivnil praxi absolventů? Evaluační plán nemusí být fixní. Mění se v závislosti na průběžných zjištěních.

25 Co? Jak? Jak nejlépe ověřovat… Spokojenost Znalosti Postoje Dovednosti
Chování Jak? Dotazník Rozhovor / focus group Pozorování Vědomostní test Analýza dokumentů

26 Interpretace výsledků
Proč jsme nic nenašli? Chyba v evaluaci Chyba v teorii programu Chyba v implementaci programu

27 Co vyplývá z následujících evaluací…

28 Evaluační zpráva Max 1 strana s hlavními zjištěními Souhrn
Co se má dozvědět někdo, kdo má na přečtení 5 minut (není v BP/DP). Popis a analýza programu Program Co program chce a jak je pravděpodobné, že se mu to podaří Jakým způsobem byla zpracována evaluace Metodologie Co, jak, kdy a kde se ověřovalo Odpovědi na evaluační otázky Výsledky Co se zjistilo Limity, úvahy, návrhy Diskuse a doporučení S čím mohou výsledky souviset, jaké byly „limity“ evaluace, co by se v programu mohlo změnit, jak jej dále zkoumat.

29 Lepší programy… PR …. Férové financování… Otevření diskuse… Hledání smyslu…

30 Špatná evaluace = špatné rozhodnutí Měří neměřitelné…
Rozkol v organizaci… Ostuda u sponzorů… Stejně to všechno víme…

31 V evaluačních týmech… Vyberte vhodné evaluační paradigma
Zformulujte evaluační otázky Navrhněte evaluační plán, zahrnující Volbu vhodných nástrojů k jednotlivým evaluačním otázkám Příklad typu položek / otázek / kategorií pro pozorování… Rozvahu o výběru vzorku Plán sběru dat

32 Díky za Vaši práci! Jan Činčera, Masarykova univerzita