Workshop FoRS Evaluační metodika Daniel Svoboda 2015

Úvod Představení účastníků Co se od minule podařilo? A co ne… Očekávání od workshopu Zpětná vazba k podkladům účastníků Program workshopu

Feedback Originální LFM Aktivní podpora pro ZRS a GRV Učitelé aplikují nové kompetence Knihovny podporují zájem veřejnosti Učitelé a knihovníci využívají IC Vyškolení pedagogové Vyškolení knihovníci IC je k dispozici odb. veřejnosti Pilotní akce pro veřejnost Vzdělávací programy Semináře pro knihovníky Semináře na téma „Sdílení“ Manuál a semináře „Světová škola“ Vzdělávací a osvětové semináře Metodika seminářů Rozvoj a zázemí IC Sběr a analýza informací Originální LFM Koordinace a management projektu

Feedback Další podklady účastníků: Evaluace vzdělávání pedagogických pracovníků Evaluační matice pro GRV v kurikulech Dotazník – výzvy současného světa Evaluační matice – komunitní zdraví Evaluační matice – GRV v souvislostech

Program workshopu Úvod (máme za sebou) Dotazníky - pravidla a tipy (testování ve skupinách) Zpracování a prezentace výsledků Rozhovory (testování) Focus group (testování) Přehled dalších metod Úprava plánu evaluace Analýza / interpretace / reporting (testování) Zhodnocení workshopu, další požadavky 5

Dotazníky – pravidla a tipy pro otázky Používejte jednoduchá slova s jasným významem Vytvořte kategorie otázek (a odpovědí) Neptejte se na 2 věci v jedné otázce (spojky a/nebo) Vynechejte otázky předpokládající znalost Nepoužívejte záporné otázky (nemyslíte si…) U alternativ odpovědí se vyhněte překryvům Nabízejte vybalancované alternativy odpovědí Nepoužívejte nepříjemné (a povýšené) otázky 6

Dotazníky – pravidla a tipy pro průzkumy Připravujte průzkumy jednoduché, jasné a krátké Vysvětlete, proč se ptáte a proč je průzkum důležitý Používejte otázky, které lze odpovědět jednoduše Respektujte soukromí respondentů Respektujte čas a schopnosti respondentů Odpovědi nesmí respondentům uškodit Informujte respondenty o výsledcích průzkumu 7

Dotazníky – pravidla a tipy pro dotazníky Používejte vhodné otázky a vhodnou škálu odpovědí, ponechte „možnost úniku“ (nevím…) Připravte jasné instrukce a vhodný formát Nejdříve použijte otázky obecné, pak specifické, na závěr nechte prostor na další komentáře Zjišťujte (i o respondentech) pouze informace, které opravdu použijete (potřebujete) Kvalitu překladů kontrolujte zpětným překladem Testujte každý dotazník před použitím! 8

Dotazníky – testování ve skupinách Vyplňte si ve skupinách příklady dotazníků Diskutujte problémy (nejasné otázky, nejasný účel, problémy s interpretací výsledků, apod.) Shrňte základní pozitiva, negativa a doporučení pro ostatní účastníky Navrhněte způsob prezentace výsledků dotazníku Přestávka! 9

Tipy pro prezentaci výsledků V přílohách zpráv musí být uvedeny použité dotazníky a také shrnuty výsledky průzkumu Je vhodné kombinovat kvantitativní výsledky (průměrné hodnocení, škála odpovědí) s výsledky kvalitativními (např. identifikované problémy či hlavní přínosy, názory respondentů) a konkrétními citacemi (typické odpovědi, extrémy) Ke všem kategoriím odpovědí by měl být doplněn názor zpracovatele průzkumu (co z odpovědí vyplývá, případně proč, předpokládaná reakce) 10

Tipy pro prezentaci výsledků U odpovědí musí být uveden celkový vzorek, interpretace musí být vztažena k tomuto vzorku („většina respondentů“ místo „většina populace“) Slovní popis je vhodné kombinovat s grafikou Grafy musí být jasně pochopitelné (legenda, jednotky, mřížky) Formát musí umožňovat tisk a kopírování (řazení na stránce, vhodné barvy a rastry, velikost písma) Vhodné je převedení do formátu PDF… EPDET 2013 11

Appreciative Inquiry – testování ve skupinách Rozhovor ve trojicích Co se nám opravdu podařilo, co potřebujeme, abychom to zopakovali či udělali ještě lépe, jak to uděláme? Sdílení zkušeností a nápadů – rozdíl oproti standardnímu postupu Modifikace a test otázek na příkladech účastníků https://www.youtube.com/watch?v=Z7b3CukcYF0 12

Appreciative inquiry (discover, dream, design, destiny/deploy) Pět principů: 1) Konstrukcionismus. Naše víra určuje naše jednání. Nové nápady, představy a příběhy mohou ukázat nové možnosti. 2) Vzájemný vliv. Otázky nejsou neutrální, vždy směřují k žádoucím změnám. 3) Poetismus. Příběhy organizace jsou náplní i výsledkem každodenních debat. Témata a jazyk průzkumu by měly odhalit a inspirovat to nejlepší v lidech. 4) Princip předjímání. Dnešní aktivity jsou určovány budoucími očekáváními – účelem je společně formulovat tato očekávání jako motivaci pro změny. 5) Pozitivizmus. City (naděje, vzrušení, kamarádství, inspirace…) zvyšují kreativitu, důvěru a angažovanost. Přestávka! 13

Rozhovor – základní postupy a tipy Informujte respondenty o účelu a postupu rozhovoru Zvolte vhodný čas a místo Pokud možno pracujte ve dvojici (zapisování) Držte se scénáře (s flexibilitou u otevřených otázek) Respektujte kulturu Udržujte rovnováhu (zjišťujte úspěchy i problémy) Akceptujte odpovědi (nehodnoťte…) Zaznamenávejte odpovědi bezprostředně 14

Rozhovor – základní tipy pro cizí prostředí Získejte předem informace o kultuře a respondentech Diskutujte techniku rozhovoru s někým, kdo z daného prostředí pochází Respektujte hlavní kulturní zvyklosti (osobní prostor, oční kontakt, tón hlasu, řeč těla, vhodné oblečení, pozdravy, úvodní slovo, poděkování, gender aspekty) U překladů si předem otestujte tlumočníka (a pokud možno mluvte k respondentovi a ne k tlumočníkovi) 15

Focus group – základní postupy a tipy Ujasněte si předem, jaké informace potřebujete získat a snažte se, aby otázky k těmto informacím vedly Vyhněte se vágním a zavádějícím otázkám Ptejte se vždy jen na jednu otázku Používejte otevřené otázky (a nevnucujte odpovědi) Vyhněte se otázkám spojeným se střetem zájmů Udržujte pozornost a zájem respondentů Používejte postup „trychtýře“ 16

Seznámení se širším kontextem Hlavní evaluační otázky Focus group – postup „trychtýře“ Seznámení se širším kontextem Hlavní evaluační otázky Obecné otázky Specifické otázky Sondy 17

Focus group – testování ve skupinách Zvolte si téma pro focus group a hlavní otázky (např. potřebujete zjistit, zda by skupina měla zájem o účast ve vašem projektu) Určete si ve skupině role (moderátor, zapisovatel, respondenti) Shrňte výsledky (odpovědi na nejdůležitější otázky) a zpětnou vazbu (co fungovalo a co ne, včetně zapojení všech účastníků) Přestávka! 18

Přehled základních metod získávání informací Participativní metody (komunitní setkání, mapování, sociální mapování, procházky, případové studie, příběhy…) Analýza sekundárních dat (z různých zdrojů) Pozorování (ne/semi/strukturovaná, ne/obtěžující) Průzkumy a rozhovory (ne/semi/strukturované) Fokusní skupiny (obvykle homogenní, 6-12 lidí) Diáře, zápisníky (týden – měsíc), reportovací karty Expertní posudky (jednotliví experti nebo panel) Technika Deplhi (několik iterací přes koordinátora) Další metody (přímá měření, testy, filmování, nahrávání, fotodokumentace…) 19

Přehled základních metod získávání informací Conversation with Concerned Individuals Community Interviews Field Visits Reviews of Official Records (MIS and admin data) Participant Observations Key Informant Interviews Panel Surveys Censuses Field Experiments Informal/Less Structured Methods Formal/More Structured Methods One-Time Surveys Direct Observations Focus Group Interviews 20 IPDET © 2013

Výběr respondentů, kontrolních skupin apod. Dle účelu průzkumu a evaluačních otázek (i zde platí triangulace) Statistická významnost vzorku (vždy nutné uvést velikost vzorku) Náhodný a nenáhodný výběr, stratifikace apod. Příklad: Randomized Control Trial (RCT) Experimentální metoda – účastníci (beneficienti) jsou vybráni náhodně, jedna skupina podstoupí intervenci, druhá ne, účelem je zjistit, zda (a jak a proč) se liší výsledky Výběr lze provést různými způsoby: paralelní skupiny, crossover - výběr v rámci jedné skupiny, factorial - výběr formy intervence, cluster – stratifikované, balancované vzorky (ženy, vesnice, školy...) Základní pravidlo: musí být řešeno před zahájením intervence!!! http://www.slideshare.net/sagunpaudel/randomised-control-trial 21

Diskuse výsledků – zpětná vazba Úprava plánu evaluace – práce ve skupinách Hlavní evaluační otázky (potřebné odpovědi) Design evaluace (deskriptivní, normativní, kauzální otázky) Odpovídající strategie Zvolené metody a nástroje Vzorek respondentů / soubor použitých zdrojů Způsoby analýzy dat Způsoby prezentace (včetně vypořádání připomínek) Časový rámec a rozpočet Způsoby práce s doporučeními evaluace Diskuse výsledků – zpětná vazba Přestávka! 22

Diskuse výsledků – zpětná vazba Analýza, interpretace, reporting – testování Identifikujte 3 nejdůležitější informace ve shrnutí evaluační zprávy Zhodnoťte kvalitu shrnutí – pozitiva a negativa prezentace výsledků evaluace Podle možnosti najděte vhodné příklady naplnění či porušení standardů evaluací (užitečnost – proveditelnost – korektnost – přesnost), případně etického kodexu (odbornost – integrita – zodpovědnost) Diskuse výsledků – zpětná vazba 23

Analýza kvalitativních dat – postupy a tipy Veďte dobré záznamy (i dojmů a konkrétních poznámek) Porovnávejte záznamy v týmu Sumarizujte data (klíčová zjištění, nové otázky…) Archivujte data přehledně, včetně citací a vlastních poznámek Uchovávejte primární data, pro poznámky či kombinaci různých zdrojů používejte kopie Používejte kódování (hlavní témata, klíčová slova) Při obsahové analýze kombinujte zdroje (dotazníky, citace, další média) a také konceptuální a vztahovou analýzu Sdílejte/diskutujte interpretaci dat s klíčovými respondenty, zvýrazněte a prezentujte hlavní zjištění Debriefing MDG-F 24

Analýza kvantitativních dat – postupy a tipy Kódujte data Vyčistěte data (formáty, překlepy, chybějící a irelevantní data, chyby kódování, chyby zaokrouhlení…) Archivujte primární data Kombinujte statistické metody (deskriptivní, inferenční), používejte vybrané metody konzistentně Vždy kontrolujte a uvádějte použité jednotky a celkový vzorek Analyzujte a reportujte počty i procenta Neopomíjejte extrémy (ne/souhlas X silný ne/souhlas) Kombinujte kvalitativní a kvantitativní metody (pouhá čísla nemohou objasnit příčiny a následky či úspěch/neúspěch) 25

Rekapitulace workshopu Zpětná vazba k minulému školení Dotazníky - pravidla a tipy (testování ve skupinách) Zpracování a prezentace výsledků (příklady) Rozhovory (testování Appreciative Inquiry) Focus group (testování) Přehled dalších metod Úprava plánu evaluace (práce ve skupinách) Analýza / interpretace / reporting (testování) Tipy pro analýzu a prezentaci 26

Zhodnocení workshopu Do evaluačního dotazníku doplňte a odpovězte jednu vlastní evaluační otázku Sdílejte s ostatními, co vás nejvíce zaujalo Sdílejte s ostatními, zda některou zkušenost budete přímo aplikovat ve své práci Navrhněte požadavky pro následující školící aktivity či návazné konzultace Další komentáře? 27

Doprovodné materiály Příklady shrnutí evaluačních zpráv roku 2014 Příklad prezentace evaluace EPDET 2013 Příklad shrnutí výsledků rozhovorů evaluace programu Millennium Development Goals Achievement Fund 2013 Etický kodex evaluátora Formální standardy provádění evaluací Výsledky peer-review evaluací 2012 – 2013, 2014 IPDET Module 13 – Presenting results Pozvánka na EPDET 2015 v Praze Module 13 EPDET 2015 28

Doprovodné materiály – evaluace 2014 Evaluační zpráva z komplexního vyhodnocení zahraniční rozvojové spolupráce ČR v sektoru voda a sanitace v Bosně a Hercegovině Evaluační zpráva z komplexního vyhodnocení ZRS ČR v sektoru podpory demokracie, lidských práv a společenské transformace v Gruzii Evaluační zpráva z komplexního vyhodnocení zahraniční rozvojové spolupráce ČR v sektoru voda a sanitace v Etiopii Evaluační zpráva z komplexního vyhodnocení evaluačních zpráv projektů ZRS ČR v letech 2012 - 2013 Evaluační zpráva z komplexního vyhodnocení zahraniční rozvojové spolupráce ČR v sektoru zemědělství v Moldavsku Shrnutí evaluační zprávy - Palestinská autonomní území - sektor voda a sanitace 29

Kontakt pro otázky, postřehy a reklamace: Děkuji za pozornost! Kontakt pro otázky, postřehy a reklamace: Daniel Svoboda 724 179 562 svoboda@dww.cz www.dww.cz A hajdy domů, tedy do praxe… 30