Jan Činčera, Masarykova univerzita Evaluace programu Jan Činčera, Masarykova univerzita

Paradigma Přístupy Role Metodologie Nástroje

Paradigma Pragmatismus Konstruktivismus Post-pozitivismus Transformativní

Paradigma Post-pozitivismus Kirkpatrickův model CIPP E&M Nestranná objektivita Kvantitativní, experiment Dotazník, test Paradigma Post-pozitivismus

Evaluace & monitoring (E&M) v projektech EU Má smysl program podpořit? Relevance Splnil program všechny plánované aktivity? Efektivita Nakládal program adekvátně s finančními prostředky? Úspornost Jak program změnil znalosti, postoje, chování… cílových skupin? Dopad Jaký přínos bude mít program po svém ukončení? Udržitelnost

Donald Kirkpatrick (1924-2014) Přiřaďte… Kirkpatrickův model Spokojenost Učení Chování Dopady Jak se žákům a učitelům program líbil? Jak se změnila četnost návštěv lesa dětmi? Berou si děti do přírody správné boty a oblečení? Vědí děti, jak si vytáhnout klíště? Jak se změnila návštěvnost CHKO? Jak hodnotí účastníci vystupování lektora? Bojí se děti chození do lesa méně? Donald Kirkpatrick (1924-2014)

Přiřaďte… CIPP Model Kontext (Context) V jakém prostředí se program odehrával? Vstupy (Inputs) Jaké byly vstupní kompetence účastníků? Jaké byly náklady programu? Procesy (Processes) Jak probíhaly aktivity programu? Výstupy (Products) Čeho program dosáhl? Do jaké míry použité komunikační prostředky odpovídají doporučením z oblasti sociálního marketingu? Jaký segment populace si kupuje výrobky Fair Trade? Jaký byl vliv programu na znalosti účastníků o Fair Trade? Jak často si brněnské matky na mateřské dovolené kupují Fair Trade? Jaké jsou nejčastější důvody pro zakupování výrobků Fair Trade? Zvýšil se zájem brněnských matek na mateřské dovolené o výrobky Fair Trade? Daniel L. Stufflebeam

Design: (kvazi-)/ experiment Pretest Posttest Posttest 2 Pretest - Posttest Posttest 2

Vedl program (Les ve škole) ke snížení obav dětí z pobytu v přírodě?   Počet Průměrný skór testu SD Průměrný skór položek Z P Před programem 55,6 19,3 2,75 Po programu 70 52,3 23,8 2,61 2,04 0,04*

Jak se ti líbí moje sbírka? Více než 80% lebek nedosahuje standardu EU… Jak se ti líbí moje sbírka? Pozitivistický evaluátor je nestranný, objektivní expert.

Paradigma Konstruktivismus Responsivní evaluace Goal free E Interpret Kvalitativní Rozhovor, pozorování Paradigma Konstruktivismus

Kvalitativní analýza: kódování Významová jednotka Koncept Kategorie Memo co já beru jako to negativum, je opravdu takové to … mlácení prázdné slámy, co si můžu přečíst, nepotřebuju, aby mi někdo přežvýkal, a navíc… to není exaktní věda, to je více méně věc názoru Prekoncept environmentální výchovy Orientace v oboru Respondent zjevně o oboru moc neví, ale neví, že toho ví málo. Myslí si, že to, co v oboru funguje, je věc názoru.

Konstruktivistický evaluátor je otevřený perspektivě respondentů. Respondenti interpretují svoji roli v komunitě jako jakási světélka v temnotách… Co lebky, držej? Konstruktivistický evaluátor je otevřený perspektivě respondentů.

Paradigma Pragmatismus Utilization – focused evaluation Kritický přítel Smíšený Rozhovor, pozorování, dotazníky, záznamy… Paradigma Pragmatismus

Role evaluátora: příklad evaluace programu Člověk a prostředí Analyzuje program (1-2/11) Přednáší o metodologii evaluace (1/11) Facilituje diskusi o programu (2/11-6/11) Pozoruje průběh programu a hodnotí lektory (9/11) Facilituje práci na novém programu (10/11- 04/12) Facilituje diskusi o evaluačním plánu (04- 08/12) Připravuje evaluační plán, řídí sběr dat, vyhodnocuje je a píše evaluační zprávu (08- 11/12) Prezentuje a diskutuje výsledky (1/12) Píše článek do recenzovaného časopisu Co dělá evaluátor? Foto: SEVER Evaluace orientovaná na uživatele (utilization focused evaluation) – vychází z potřeb zainteresovaných stran (stakeholders) M.Q. Patton

Proč se s nima o tom bavíš? Do evaluačního procesu je třeba zapojit všechny zainteresované strany… Proč se s nima o tom bavíš? Pragmatický evaluátor tančí mezi různými perspektivami.

Paradigma Transformativní Sociální spravedlnost Aktivista Smíšený Rozhovor, pozorování, dotazníky, záznamy… Paradigma Transformativní

Proporčně marginální zastoupení ženských lebek odráží zjevnou genderovou diskriminaci… Transformativní evaluátor aktivně bojuje za spravedlnost utlačované skupiny.

Interpretace dat a doporučení Analýza programu Evaluační otázky Plán evaluace Sběr a analýza dat Interpretace dat a doporučení Evaluační cyklus

Evaluace je proces kritického zkoumání programu. Zajímá mě jestli je program potřeba, běží podle plánu, jak ho berou děti a co s nima dělá.

Oblasti evaluace Analýza programu Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu) Analýza potřeb a nákladů Hodnocení implementace programu Sumativní evaluace Formativní evaluace

Evaluační otázky Jaké jsou vstupní kompetence žáků? Probíhá implementace podle očekávání? Jak program ovlivnil postoje cílové skupiny? Jak účastníci program interpretují?

Evaluační plán: příklad Evaluační otázka Respondenti Sběr dat Nástroj Analýza Jaký byl vliv programu na znalosti účastníků? Všichni, kteří absolvovali celý program, cca 100-120 respondentů. 1 týden před programem a 2 týdny po programu. Vědomostní test, 10 otázek s jednou správnou možností Analýza statistické významnosti rozdílu (Wilcoxonův test, alfa=0,05) Jaký význam přisuzují programu jeho absolventi? 10-12 absolventů celého programu, vzorek odpovídající struktuře účastníků 1 měsíc po ukončení programu Telefonické (skype) rozhovory Otevřené kódování, analýza témat Jak program ovlivnil praxi absolventů? Evaluační plán nemusí být fixní. Mění se v závislosti na průběžných zjištěních.

Co? Jak? Jak nejlépe ověřovat… Spokojenost Znalosti Postoje Dovednosti Chování Jak? Dotazník Rozhovor / focus group Pozorování Vědomostní test Analýza dokumentů

Interpretace výsledků Proč jsme nic nenašli? Chyba v evaluaci Chyba v teorii programu Chyba v implementaci programu

Co vyplývá z následujících evaluací…

Evaluační zpráva Max 1 strana s hlavními zjištěními Souhrn Co se má dozvědět někdo, kdo má na přečtení 5 minut (není v BP/DP). Popis a analýza programu Program Co program chce a jak je pravděpodobné, že se mu to podaří Jakým způsobem byla zpracována evaluace Metodologie Co, jak, kdy a kde se ověřovalo Odpovědi na evaluační otázky Výsledky Co se zjistilo Limity, úvahy, návrhy Diskuse a doporučení S čím mohou výsledky souviset, jaké byly „limity“ evaluace, co by se v programu mohlo změnit, jak jej dále zkoumat.

Lepší programy… PR …. Férové financování… Otevření diskuse… Hledání smyslu…

Špatná evaluace = špatné rozhodnutí Měří neměřitelné… Rozkol v organizaci… Ostuda u sponzorů… Stejně to všechno víme…

V evaluačních týmech… Vyberte vhodné evaluační paradigma Zformulujte evaluační otázky Navrhněte evaluační plán, zahrnující Volbu vhodných nástrojů k jednotlivým evaluačním otázkám Příklad typu položek / otázek / kategorií pro pozorování… Rozvahu o výběru vzorku Plán sběru dat

Díky za Vaši práci! Jan Činčera, Masarykova univerzita E-mail: honzacincera@gmail.com