Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING THEMATIC SESSION OF THE SLOVAK SOCIETY FOR EVALUATION Bratislava, PhDr. Marie Kaufmann

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 1. Přivítání a vzájemné představení 2. Pozdravení jménem prezidenta EES Murray Soundry 3. EES / European Evaluation Society Poslání EES, vývoj a současná činnost NESE – Network of Evaluation Societies EES, Conferences 4. Situace a rozvoj evaluační kultury v ČR Historie, potřeba a provádění hodnocení Souvislost s čerpání programů pomoci EU, bilaterální a další rozvojové pomoci Hodnocení v oblasti ekonomické a sociální politiky, Koordinace implementace a evaluací programů SF 5. Česká evaluační společnost 6. Diskuse, výměna zkušeností

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Témata k diskusi: Proč a jak hodnotit dopady, Proč nám připadá, že evaluace nezodpovídá hlavní strategické problémy dneška? Jak se postavit k nejistotám prostředí? Jakými metodami měřit dopady v oblasti ekonomické, sociální, zdravotnictví, kultury a životního prostředí? Kdo ve vaší zemi podněcuje rozvoj teorie a praxe evaluace?

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 1. Představení: společensko-vědní vzdělání, zaměření na mezinárodní vztahy a region latinoamerických zemí Od roku 1996 práce na projektové bázi v oblasti evaluací, a to v souvislosti s legislativními požadavky EK na hodnocení programů – Program PHARE, TF, programy SF Projekty v zahraničí – rozvojová pomoc, CARDS, IPA a další rozvojových programů (assessment and monitoring), lektorská činnost Od 2004 konzhultační činnost, Člen EES od konce 90.let, člen výkonného výboru od 2007 Člen DEGEVAL, zakládající člen České evaluační společnosti

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 2. Pozdravení jménem prezidenta EES Murray Sounderse Universitní profesor (Lanchaster University) Prezident EES od r.2007¨, činný v UKES Pozdrav založení Slovenské společnosti pro evaluace, přivítání jako člena EES a NESE Rozvoj NESE EES a „activity streams“

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 3. Evropská evaluační společnost - EES cíle/Goal - To promote theory, practice and utilization of high quality evaluation Členská základna, konference, publikace, vize „Activities streams“ Membership services, Communication and web Connection with other societies Professional development and capacity building Resources and financial management Quality if practice, standards and accreditation

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax Ideas for a first work programme for NESE Possible objective Exchanges of information Presentation of good practices Monitoring of evaluation activities and context Encouraging use and usability Possible means Page on EES website Permanent contacts Continued moderation by EES + a national society Meeting in Lisbon - October 2008 Meeting in Munster October 8/9 th 2009

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax

TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Competences Survey - Whose competencies? Evaluators (92%) Evaluation managers (77%) Junior and senior evaluators (65%) Evaluation commissioners (63%) Self evaluators (38%)

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING 9. Konference EES v Praze Říjen 2010 Vítejte do Prahy!!

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax Situace a rozvoj evaluační kultury v České republice Historie, potřeba a provádění hodnocení Souvislost s čerpání programů pomoci EU, bilaterální a další rozvojové pomoci Hodnocení v oblasti ekonomické a sociální politiky, Koordinace implementace a evaluací programů SF Zkušenosti ze zpracování publikace pro V4

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax EVALUAČNÍ KAPACITA Lidé zahrnuti do evaluačního procesu pracovníků Lidé zahrnuti do evaluačního procesu pracovníků Lidé zahrnuti do evaluačního procesu pracovníků Rozpočet na evaluační aktivity mil. Kč Rozpočet na evaluační aktivity mil. Kč Rozpočet na evaluační aktivity mil. Kč Zdroj: vlastní šetření

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TEMATICKÉ ZAMĚŘENÍ EVALUACÍ Tematické zaměření evaluací v rámci kohezní politiky v ČR v období Zdroj: vlastní šetření

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax BUDOVÁNÍ EVALUAČNÍ KAPACITY Stále markantněji se projevuje potřeba vzdělávání. Od roku 2007 se každoročně koná týdenní intenzivní školení organizované neziskovou organizací Development Worldwide s názvem "Czech Development Evaluation Training" vedené experty Světové banky. Zapojení akademické sféry do oblasti evaluace je poměrně nízké a lze konstatovat, že evaluaci není věnována dostatečná pozornost v sociálních vědách. Zmínit můžeme pouze Centrum pro ekonomické a sociální strategie Fakulty sociálních věd Karlovy univerzity v Praze, jež se ve své výzkumné činnosti věnuje hodnocením veřejných politik. Objevují malé ostrůvky evaluační činnosti v neziskové sféře zaměřené na hodnocení ve vzdělávání či sociální politice bez přenosu zkušeností do oblasti hodnocení programů politiky soudržnosti. Je patrná poměrně silná dělící linie mezi hodnocením národních politik a programů a programů financovaných ze zdrojů Evropské unie.

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax EVALUAČNÍ TRH V současné době je evaluační trh poměrně malý a vyprofilovaný, avšak vzrůstá konkurenční tlak, snižuje se cena. Pracovníci v evaluačních jednotkách patří většinou ke stabilním pracovníkům řídících orgánů dřívějších programů i programů současného období. Jejich znalost prostředí a řízení projektů roste. Strana nabídky evaluačního trhu je dnes poměrně ustálená a stabilní. Některé společnosti se již začaly uplatňovat i na zahraničních evaluačních trzích. Vývoj evaluačního trhu plně reflektuje stav a rozvoj evaluační kultury. Hodnocení veřejných intervencí v České republice má velice slabou tradici.

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax ZADÁVÁNÍ A ŘÍZENÍ EVALUAČNÍCH PROJEKTŮ Evaluace jsou většinou zadávány s legislativou EU a jejich provádění naplňuje pouze minimální požadavky. Dalším problémem je špatné načasování evaluačního projektu způsobený jak dlouhým administrativním procesem spojeným s dodržováním zákona o veřejných zakázkách, tak v některých případech váhavostí a neznalostí na straně zadavatele.

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax KVALITA A VYUŽITÍ EVALUACE Není prováděno hodnocení evaluac – metaevaluace. Přetrvává poměrně nízká kvalita evaluačních zpráv. Mezi nejčastější nedostatky patří příliš obsáhlé závěrečné zprávy, příliš mnoho deskripce místo syntézy poznatků, nízká využitelnost závěrů a doporučení. Nejčastěji se používají standardní metody běžně užívané v sociálně vědním výzkumu, jako jsou dotazníková šetření, řízené rozhovory, pořádání diskusních skupin, benchmarking aj. Zřejmá je absence užití sofistikovanějších metod např. využití složitějších kvantitativních i kvalitativních analýz, zkoumající úroveň cílových skupin Často se evaluační projekty redukují na jednoduché přehledy finančního a věcného plnění, zaměřené na proces, bez jasného vztahu finančních alokací k výsledkům a dopadům dané intervence. Dostupné jsou pouze některé evaluační zprávy, neexistuje jednotné pravidlo pro jejich šíření, publicitu a využití jejich výsledků. MMR ČR chystá jednotné místo na www.

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax ZÍSKANÉ ZNALOSTI A ZKUŠENOSTI Za posledních pět let došlo k nárůstu počtu zadávaných evaluací a projektů technické asistence, jejichž výsledkem je značné zvýšení znalosti procesu hodnocení na straně jak zadavatelů, tak expertů a konzultačních společností. Jedná se o vývoj „learning by doing“. I přes přerušenou kontinuitu na straně koordinace evaluace programů SF na Ministerstvu pro místní rozvoj ČR, se pomalu generuje know-how a zkušenosti se zpracováním zadávací dokumentace a využíváním evaluačních výsledků. Hodnotitelé se zdokonalují v metodických přístupech k projektu, v aplikaci kvalitativních a kvantitativních metod sběru dat a stále lépe zpracovávají a strukturují evaluační zprávy.

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Užitečné odkazy a kontakty dokumenty-ek-k-evaluace dokumenty-ek-k-evaluace koordinaci/Evaluacni-cinnost-2 koordinaci/Evaluacni-cinnost-2 National coordination Unit Hodnocení rozvojové pomoci: Rozvojová agentura

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Doporučené akce: Evaluating Impact in the Current Crisis – UKES Conference United Kingdom Evaluation Society (UKES) Termín: – Místo: Holiday Inn London Bloomsbury, Corman Street, London WC1N HT www: Evaluation Conference of DG REGIO Termín: – Místo: Waršava 9th EES Conference in Prague, October 2010

Evasco s.r.o. Rumunská 1 CZ Praha 2 Tel/Fax TRENDS IN EVALUATION AND EVALUATION CAPACITIES BUILDING Děkuji za pozornost! PhDr. Marie Kaufmann Evasco s.r.o. Evaluation & Assessment & Consulting