Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Workshop FoRS Evaluační metodika Daniel Svoboda 2015 1.

Podobné prezentace


Prezentace na téma: "Workshop FoRS Evaluační metodika Daniel Svoboda 2015 1."— Transkript prezentace:

1 Workshop FoRS Evaluační metodika Daniel Svoboda

2 2 Úvod Představení účastníků Co se od minule podařilo? A co ne… Očekávání od workshopu Zpětná vazba k podkladům účastníků Program workshopu

3 3 Feedback Vzdělávací programy Aktivní podpora pro ZRS a GRV Učitelé aplikují nové kompetence Učitelé a knihovníci využívají IC Knihovny podporují zájem veřejnosti IC je k dispozici odb. veřejnosti Vyškolení pedagogové Vzdělávací a osvětové semináře Metodika seminářů Sběr a analýza informací Semináře na téma „Sdílení“ Manuál a semináře „Světová škola“ Rozvoj a zázemí IC Vyškolení knihovníci Semináře pro knihovníky Pilotní akce pro veřejnost Koordinace a management projektu Originální LFM Originální LFM

4 4 Feedback Další podklady účastníků: Evaluace vzdělávání pedagogických pracovníkůEvaluace vzdělávání pedagogických pracovníkůEvaluace vzdělávání pedagogických pracovníkůEvaluace vzdělávání pedagogických pracovníků Evaluační matice pro GRV v kurikulechEvaluační matice pro GRV v kurikulechEvaluační matice pro GRV v kurikulechEvaluační matice pro GRV v kurikulech Dotazník – výzvy současného světaDotazník – výzvy současného světa Evaluační matice – komunitní zdravíEvaluační matice – komunitní zdravíEvaluační matice – komunitní zdravíEvaluační matice – komunitní zdraví Evaluační matice – GRV v souvislostechEvaluační matice – GRV v souvislostechEvaluační matice – GRV v souvislostechEvaluační matice – GRV v souvislostech

5 5 Program workshopu Úvod (máme za sebou) Dotazníky - pravidla a tipy (testování ve skupinách) Zpracování a prezentace výsledků Rozhovory (testování) Focus group (testování) Přehled dalších metod Úprava plánu evaluace Analýza / interpretace / reporting (testování) Zhodnocení workshopu, další požadavky

6 6 Dotazníky – pravidla a tipy pro otázky Používejte jednoduchá slova s jasným významem Vytvořte kategorie otázek (a odpovědí) Neptejte se na 2 věci v jedné otázce (spojky a/nebo) Vynechejte otázky předpokládající znalost Nepoužívejte záporné otázky (nemyslíte si…) U alternativ odpovědí se vyhněte překryvům Nabízejte vybalancované alternativy odpovědí Nepoužívejte nepříjemné (a povýšené) otázky

7 7 Dotazníky – pravidla a tipy pro průzkumy Připravujte průzkumy jednoduché, jasné a krátké Vysvětlete, proč se ptáte a proč je průzkum důležitý Používejte otázky, které lze odpovědět jednoduše Respektujte soukromí respondentů Respektujte čas a schopnosti respondentů Odpovědi nesmí respondentům uškodit Informujte respondenty o výsledcích průzkumu

8 8 Dotazníky – pravidla a tipy pro dotazníky Používejte vhodné otázky a vhodnou škálu odpovědí, ponechte „možnost úniku“ (nevím…) Připravte jasné instrukce a vhodný formát Nejdříve použijte otázky obecné, pak specifické, na závěr nechte prostor na další komentáře Zjišťujte (i o respondentech) pouze informace, které opravdu použijete (potřebujete) Kvalitu překladů kontrolujte zpětným překladem Testujte každý dotazník před použitím!

9 9 Dotazníky – testování ve skupinách Vyplňte si ve skupinách příklady dotazníků Diskutujte problémy (nejasné otázky, nejasný účel, problémy s interpretací výsledků, apod.) Shrňte základní pozitiva, negativa a doporučení pro ostatní účastníky Navrhněte způsob prezentace výsledků dotazníku Přestávka!

10 10 Tipy pro prezentaci výsledků V přílohách zpráv musí být uvedeny použité dotazníky a také shrnuty výsledky průzkumu Je vhodné kombinovat kvantitativní výsledky (průměrné hodnocení, škála odpovědí) s výsledky kvalitativními (např. identifikované problémy či hlavní přínosy, názory respondentů) a konkrétními citacemi (typické odpovědi, extrémy) Ke všem kategoriím odpovědí by měl být doplněn názor zpracovatele průzkumu (co z odpovědí vyplývá, případně proč, předpokládaná reakce)

11 11 Tipy pro prezentaci výsledků U odpovědí musí být uveden celkový vzorek, interpretace musí být vztažena k tomuto vzorku („většina respondentů“ místo „většina populace“) Slovní popis je vhodné kombinovat s grafikou Grafy musí být jasně pochopitelné (legenda, jednotky, mřížky) Formát musí umožňovat tisk a kopírování (řazení na stránce, vhodné barvy a rastry, velikost písma) Vhodné je převedení do formátu PDF… EPDET 2013

12 12 Appreciative Inquiry – testování ve skupinách Rozhovor ve trojicích Co se nám opravdu podařilo, co potřebujeme, abychom to zopakovali či udělali ještě lépe, jak to uděláme? Sdílení zkušeností a nápadů – rozdíl oproti standardnímu postupu Modifikace a test otázek na příkladech účastníků https://www.youtube.com/watch?v=Z7b3CukcYF0

13 13 Appreciative inquiry (discover, dream, design, destiny/deploy) Pět principů: 1) Konstrukcionismus. Naše víra určuje naše jednání. Nové nápady, představy a příběhy mohou ukázat nové možnosti. 2) Vzájemný vliv. Otázky nejsou neutrální, vždy směřují k žádoucím změnám. 3) Poetismus. Příběhy organizace jsou náplní i výsledkem každodenních debat. Témata a jazyk průzkumu by měly odhalit a inspirovat to nejlepší v lidech. 4) Princip předjímání. Dnešní aktivity jsou určovány budoucími očekáváními – účelem je společně formulovat tato očekávání jako motivaci pro změny. 5) Pozitivizmus. City (naděje, vzrušení, kamarádství, inspirace…) zvyšují kreativitu, důvěru a angažovanost. Přestávka!

14 14 Rozhovor – základní postupy a tipy Informujte respondenty o účelu a postupu rozhovoru Zvolte vhodný čas a místo Pokud možno pracujte ve dvojici (zapisování) Držte se scénáře (s flexibilitou u otevřených otázek) Respektujte kulturu Udržujte rovnováhu (zjišťujte úspěchy i problémy) Akceptujte odpovědi (nehodnoťte…) Zaznamenávejte odpovědi bezprostředně

15 15 Rozhovor – základní tipy pro cizí prostředí Získejte předem informace o kultuře a respondentech Diskutujte techniku rozhovoru s někým, kdo z daného prostředí pochází Respektujte hlavní kulturní zvyklosti (osobní prostor, oční kontakt, tón hlasu, řeč těla, vhodné oblečení, pozdravy, úvodní slovo, poděkování, gender aspekty) U překladů si předem otestujte tlumočníka (a pokud možno mluvte k respondentovi a ne k tlumočníkovi)

16 16 Focus group – základní postupy a tipy Ujasněte si předem, jaké informace potřebujete získat a snažte se, aby otázky k těmto informacím vedly Vyhněte se vágním a zavádějícím otázkám Ptejte se vždy jen na jednu otázku Používejte otevřené otázky (a nevnucujte odpovědi) Vyhněte se otázkám spojeným se střetem zájmů Udržujte pozornost a zájem respondentů Používejte postup „trychtýře“

17 17 Focus group – postup „trychtýře“ Seznámení se širším kontextem Hlavní evaluační otázky Obecné otázky Specifické otázky Sondy

18 18 Focus group – testování ve skupinách Zvolte si téma pro focus group a hlavní otázky (např. potřebujete zjistit, zda by skupina měla zájem o účast ve vašem projektu) Určete si ve skupině role (moderátor, zapisovatel, respondenti) Shrňte výsledky (odpovědi na nejdůležitější otázky) a zpětnou vazbu (co fungovalo a co ne, včetně zapojení všech účastníků) Přestávka!

19 19 Přehled základních metod získávání informací Participativní metody (komunitní setkání, mapování, sociální mapování, procházky, případové studie, příběhy…) Analýza sekundárních dat (z různých zdrojů) Pozorování (ne/semi/strukturovaná, ne/obtěžující) Průzkumy a rozhovory (ne/semi/strukturované) Fokusní skupiny (obvykle homogenní, 6-12 lidí) Diáře, zápisníky (týden – měsíc), reportovací karty Expertní posudky (jednotliví experti nebo panel) Technika Deplhi (několik iterací přes koordinátora) Další metody (přímá měření, testy, filmování, nahrávání, fotodokumentace…)

20 20 Přehled základních metod získávání informací IPDET © 2013 Conversation with Concerned Individuals Community Interviews Field Visits Reviews of Official Records (MIS and admin data) Participant Observations Key Informant Interviews Panel Surveys Censuses Field Experiments Informal/Less Structured MethodsFormal/More Structured Methods One-Time Surveys Direct Observations Surveys Focus Group Interviews

21 21 Výběr respondentů, kontrolních skupin apod. Dle účelu průzkumu a evaluačních otázek (i zde platí triangulace) Statistická významnost vzorku (vždy nutné uvést velikost vzorku) Náhodný a nenáhodný výběr, stratifikace apod. Příklad: Randomized Control Trial (RCT) Experimentální metoda – účastníci (beneficienti) jsou vybráni náhodně, jedna skupina podstoupí intervenci, druhá ne, účelem je zjistit, zda (a jak a proč) se liší výsledky Výběr lze provést různými způsoby: paralelní skupiny, crossover - výběr v rámci jedné skupiny, factorial - výběr formy intervence, cluster – stratifikované, balancované vzorky (ženy, vesnice, školy...) Základní pravidlo: musí být řešeno před zahájením intervence!!!

22 22 Úprava plánu evaluace – práce ve skupinách Hlavní evaluační otázky (potřebné odpovědi) Design evaluace (deskriptivní, normativní, kauzální otázky) Odpovídající strategie Zvolené metody a nástroje Vzorek respondentů / soubor použitých zdrojů Způsoby analýzy dat Způsoby prezentace (včetně vypořádání připomínek) Časový rámec a rozpočet Způsoby práce s doporučeními evaluace Diskuse výsledků – zpětná vazba Přestávka!

23 23 Analýza, interpretace, reporting – testování Identifikujte 3 nejdůležitější informace ve shrnutí evaluační zprávy Zhodnoťte kvalitu shrnutí – pozitiva a negativa prezentace výsledků evaluace Podle možnosti najděte vhodné příklady naplnění či porušení standardů evaluací (užitečnost – proveditelnost – korektnost – přesnost), případně etického kodexu (odbornost – integrita – zodpovědnost) Diskuse výsledků – zpětná vazba

24 24 Analýza kvalitativních dat – postupy a tipy Veďte dobré záznamy (i dojmů a konkrétních poznámek) Porovnávejte záznamy v týmu Sumarizujte data (klíčová zjištění, nové otázky…) Archivujte data přehledně, včetně citací a vlastních poznámek Uchovávejte primární data, pro poznámky či kombinaci různých zdrojů používejte kopie Používejte kódování (hlavní témata, klíčová slova) Při obsahové analýze kombinujte zdroje (dotazníky, citace, další média) a také konceptuální a vztahovou analýzu Sdílejte/diskutujte interpretaci dat s klíčovými respondenty, zvýrazněte a prezentujte hlavní zjištění Debriefing MDG-F

25 25 Analýza kvantitativních dat – postupy a tipy Kódujte data Vyčistěte data (formáty, překlepy, chybějící a irelevantní data, chyby kódování, chyby zaokrouhlení…) Archivujte primární data Kombinujte statistické metody (deskriptivní, inferenční), používejte vybrané metody konzistentně Vždy kontrolujte a uvádějte použité jednotky a celkový vzorek Analyzujte a reportujte počty i procenta Neopomíjejte extrémy (ne/souhlas X silný ne/souhlas) Kombinujte kvalitativní a kvantitativní metody (pouhá čísla nemohou objasnit příčiny a následky či úspěch/neúspěch)

26 26 Rekapitulace workshopu Zpětná vazba k minulému školení Dotazníky - pravidla a tipy (testování ve skupinách) Zpracování a prezentace výsledků (příklady) Rozhovory (testování Appreciative Inquiry) Focus group (testování) Přehled dalších metod Úprava plánu evaluace (práce ve skupinách) Analýza / interpretace / reporting (testování) Tipy pro analýzu a prezentaci

27 27 Zhodnocení workshopu Do evaluačního dotazníku doplňte a odpovězte jednu vlastní evaluační otázku Sdílejte s ostatními, co vás nejvíce zaujalo Sdílejte s ostatními, zda některou zkušenost budete přímo aplikovat ve své práci Navrhněte požadavky pro následující školící aktivity či návazné konzultace Další komentáře?

28 28 Doprovodné materiály Příklady shrnutí evaluačních zpráv roku 2014 Příklad prezentace evaluace EPDET 2013 Příklad shrnutí výsledků rozhovorů evaluace programu Millennium Development Goals Achievement Fund 2013 Etický kodex evaluátora Formální standardy provádění evaluací Výsledky peer-review evaluací 2012 – 2013, 2014 IPDET Module 13 – Presenting results Pozvánka na EPDET 2015 v Praze EPDET 2015 Module 13

29 29 Doprovodné materiály – evaluace 2014 Evaluační zpráva z komplexního vyhodnocení zahraniční rozvojové spolupráce ČR v sektoru voda a sanitace v Bosně a Hercegovině Evaluační zpráva z komplexního vyhodnocení ZRS ČR v sektoru podpory demokracie, lidských práv a společenské transformace v Gruzii Evaluační zpráva z komplexního vyhodnocení zahraniční rozvojové spolupráce ČR v sektoru voda a sanitace v Etiopii Evaluační zpráva z komplexního vyhodnocení evaluačních zpráv projektů ZRS ČR v letech Evaluační zpráva z komplexního vyhodnocení zahraniční rozvojové spolupráce ČR v sektoru zemědělství v Moldavsku Shrnutí evaluační zprávy - Palestinská autonomní území - sektor voda a sanitace

30 30 Děkuji za pozornost! Kontakt pro otázky, postřehy a reklamace: Daniel Svoboda A hajdy domů, tedy do praxe…


Stáhnout ppt "Workshop FoRS Evaluační metodika Daniel Svoboda 2015 1."

Podobné prezentace


Reklamy Google