Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING THEMATIC SESSION.

Prezentace na téma: "Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING THEMATIC SESSION."— Transkript prezentace:

1 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING THEMATIC SESSION OF THE SLOVAK SOCIETY FOR EVALUATION Bratislava, 22.10.2009 PhDr. Marie Kaufmann

2 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 1. Přivítání a vzájemné představení 2. Pozdravení jménem prezidenta EES Murray Soundry 3. EES / European Evaluation Society Poslání EES, vývoj a současná činnost NESE – Network of Evaluation Societies EES, Conferences 4. Situace a rozvoj evaluační kultury v ČR Historie, potřeba a provádění hodnocení Souvislost s čerpání programů pomoci EU, bilaterální a další rozvojové pomoci Hodnocení v oblasti ekonomické a sociální politiky, Koordinace implementace a evaluací programů SF 5. Česká evaluační společnost 6. Diskuse, výměna zkušeností

3 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Témata k diskusi: Proč a jak hodnotit dopady, Proč nám připadá, že evaluace nezodpovídá hlavní strategické problémy dneška? Jak se postavit k nejistotám prostředí? Jakými metodami měřit dopady v oblasti ekonomické, sociální, zdravotnictví, kultury a životního prostředí? Kdo ve vaší zemi podněcuje rozvoj teorie a praxe evaluace?

4 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 1. Představení: společensko-vědní vzdělání, zaměření na mezinárodní vztahy a region latinoamerických zemí Od roku 1996 práce na projektové bázi v oblasti evaluací, a to v souvislosti s legislativními požadavky EK na hodnocení programů – Program PHARE, TF, programy SF Projekty v zahraničí – rozvojová pomoc, CARDS, IPA a další rozvojových programů (assessment and monitoring), lektorská činnost Od 2004 konzhultační činnost, www.evasco.czwww.evasco.cz Člen EES od konce 90.let, člen výkonného výboru od 2007 Člen DEGEVAL, zakládající člen České evaluační společnosti

5 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 2. Pozdravení jménem prezidenta EES Murray Sounderse Universitní profesor (Lanchaster University) Prezident EES od r.2007¨, činný v UKES Pozdrav založení Slovenské společnosti pro evaluace, přivítání jako člena EES a NESE Rozvoj NESE EES a „activity streams“

6 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 3. Evropská evaluační společnost - EES cíle/Goal - To promote theory, practice and utilization of high quality evaluation Členská základna, konference, publikace, vize „Activities streams“ Membership services, Communication and web Connection with other societies Professional development and capacity building Resources and financial management Quality if practice, standards and accreditation

7 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz Ideas for a first work programme for NESE Possible objective Exchanges of information Presentation of good practices Monitoring of evaluation activities and context Encouraging use and usability Possible means Page on EES website Permanent contacts Continued moderation by EES + a national society Meeting in Lisbon - October 2008 Meeting in Munster October 8/9 th 2009

8 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz

9 TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Competences Survey - www.europeanevaluation.org Whose competencies? Evaluators (92%) Evaluation managers (77%) Junior and senior evaluators (65%) Evaluation commissioners (63%) Self evaluators (38%)

10 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 9. Konference EES v Praze Říjen 2010 Vítejte do Prahy!!

11 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz 4. Situace a rozvoj evaluační kultury v České republice Historie, potřeba a provádění hodnocení Souvislost s čerpání programů pomoci EU, bilaterální a další rozvojové pomoci Hodnocení v oblasti ekonomické a sociální politiky, Koordinace implementace a evaluací programů SF Zkušenosti ze zpracování publikace pro V4

12 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz EVALUAČNÍ KAPACITA Lidé zahrnuti do evaluačního procesu 2004 15 pracovníků Lidé zahrnuti do evaluačního procesu 2006 15 pracovníků Lidé zahrnuti do evaluačního procesu 2008 30 pracovníků Rozpočet na evaluační aktivity 2004 25 mil. Kč Rozpočet na evaluační aktivity 2006 27 mil. Kč Rozpočet na evaluační aktivity 2008 35 mil. Kč Zdroj: vlastní šetření

13 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TEMATICKÉ ZAMĚŘENÍ EVALUACÍ Tematické zaměření evaluací v rámci kohezní politiky v ČR v období 2004-2008 Zdroj: vlastní šetření

14 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz BUDOVÁNÍ EVALUAČNÍ KAPACITY Stále markantněji se projevuje potřeba vzdělávání. Od roku 2007 se každoročně koná týdenní intenzivní školení organizované neziskovou organizací Development Worldwide s názvem "Czech Development Evaluation Training" vedené experty Světové banky. Zapojení akademické sféry do oblasti evaluace je poměrně nízké a lze konstatovat, že evaluaci není věnována dostatečná pozornost v sociálních vědách. Zmínit můžeme pouze Centrum pro ekonomické a sociální strategie Fakulty sociálních věd Karlovy univerzity v Praze, jež se ve své výzkumné činnosti věnuje hodnocením veřejných politik. Objevují malé ostrůvky evaluační činnosti v neziskové sféře zaměřené na hodnocení ve vzdělávání či sociální politice bez přenosu zkušeností do oblasti hodnocení programů politiky soudržnosti. Je patrná poměrně silná dělící linie mezi hodnocením národních politik a programů a programů financovaných ze zdrojů Evropské unie.

15 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz EVALUAČNÍ TRH V současné době je evaluační trh poměrně malý a vyprofilovaný, avšak vzrůstá konkurenční tlak, snižuje se cena. Pracovníci v evaluačních jednotkách patří většinou ke stabilním pracovníkům řídících orgánů dřívějších programů i programů současného období. Jejich znalost prostředí a řízení projektů roste. Strana nabídky evaluačního trhu je dnes poměrně ustálená a stabilní. Některé společnosti se již začaly uplatňovat i na zahraničních evaluačních trzích. Vývoj evaluačního trhu plně reflektuje stav a rozvoj evaluační kultury. Hodnocení veřejných intervencí v České republice má velice slabou tradici.

16 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz ZADÁVÁNÍ A ŘÍZENÍ EVALUAČNÍCH PROJEKTŮ Evaluace jsou většinou zadávány s legislativou EU a jejich provádění naplňuje pouze minimální požadavky. Dalším problémem je špatné načasování evaluačního projektu způsobený jak dlouhým administrativním procesem spojeným s dodržováním zákona o veřejných zakázkách, tak v některých případech váhavostí a neznalostí na straně zadavatele.

17 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz KVALITA A VYUŽITÍ EVALUACE Není prováděno hodnocení evaluac – metaevaluace. Přetrvává poměrně nízká kvalita evaluačních zpráv. Mezi nejčastější nedostatky patří příliš obsáhlé závěrečné zprávy, příliš mnoho deskripce místo syntézy poznatků, nízká využitelnost závěrů a doporučení. Nejčastěji se používají standardní metody běžně užívané v sociálně vědním výzkumu, jako jsou dotazníková šetření, řízené rozhovory, pořádání diskusních skupin, benchmarking aj. Zřejmá je absence užití sofistikovanějších metod např. využití složitějších kvantitativních i kvalitativních analýz, zkoumající úroveň cílových skupin Často se evaluační projekty redukují na jednoduché přehledy finančního a věcného plnění, zaměřené na proces, bez jasného vztahu finančních alokací k výsledkům a dopadům dané intervence. Dostupné jsou pouze některé evaluační zprávy, neexistuje jednotné pravidlo pro jejich šíření, publicitu a využití jejich výsledků. MMR ČR chystá jednotné místo na www.

18 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz ZÍSKANÉ ZNALOSTI A ZKUŠENOSTI Za posledních pět let došlo k nárůstu počtu zadávaných evaluací a projektů technické asistence, jejichž výsledkem je značné zvýšení znalosti procesu hodnocení na straně jak zadavatelů, tak expertů a konzultačních společností. Jedná se o vývoj „learning by doing“. I přes přerušenou kontinuitu na straně koordinace evaluace programů SF na Ministerstvu pro místní rozvoj ČR, se pomalu generuje know-how a zkušenosti se zpracováním zadávací dokumentace a využíváním evaluačních výsledků. Hodnotitelé se zdokonalují v metodických přístupech k projektu, v aplikaci kvalitativních a kvantitativních metod sběru dat a stále lépe zpracovávají a strukturují evaluační zprávy.

19 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Užitečné odkazy a kontakty www.strukturalni-fondy.cz http://www.strukturalni-fondy.cz/evaluace/pracovni- dokumenty-ek-k-evaluace-2007-2013 http://www.strukturalni-fondy.cz/evaluace/pracovni- dokumenty-ek-k-evaluace-2007-2013 http://www.strukturalni-fondy.cz/Narodni-organ-pro- koordinaci/Evaluacni-cinnost-2 http://www.strukturalni-fondy.cz/Narodni-organ-pro- koordinaci/Evaluacni-cinnost-2 National coordination Unit e-mail: nok@mmr.cznok@mmr.cz Hodnocení rozvojové pomoci: Rozvojová agentura http://www.czda.cz/evaluace.php

20 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Doporučené akce: Evaluating Impact in the Current Crisis – UKES Conference United Kingdom Evaluation Society (UKES) Termín: 24. 11. 2009 – 25. 11. 2009 Místo: Holiday Inn London Bloomsbury, Corman Street, London WC1N HT www: http://www.profbriefings.co.uk/ukes2009/index.htmhttp://www.profbriefings.co.uk/ukes2009/index.htm Evaluation Conference of DG REGIO Termín: 30.11. – 1.12.2009 Místo: Waršava 9th EES Conference in Prague, October 2010

21 Evasco s.r.o. Rumunská 1 CZ 120 00 Praha 2 Tel/Fax +420 222 074 109 www.evasco.cz TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Děkuji za pozornost! PhDr. Marie Kaufmann Evasco s.r.o. Evaluation & Assessment & Consulting marie.kaufmann@evaluation.cz