Pracovní skupina pro evaluace 1. úvodní setkání 4. září 2008 Praha Podporujeme vaši budoucnost

Agenda setkání 1.Přivítání a představení účastníků 2.Očekávání členek/ů PS pro evaluace 3.Statut PS pro evaluace – úloha a role skupiny 4.Jednací řád PS pro evaluace 5.Představení ESF Fóra 6.Úvod do evaluace 7.Evaluační plán – zahájení diskuze 8.Následující kroky

Statut PS pro evaluace – úloha a role PS Skupina je technickým orgánem monitorovacích výborů

Statut PS pro evaluace – úloha a role PS (2.) Skupina ve své činnosti bude především: 1.Vytvářet 2.Koordinovat 3.Realizovat 4.Posuzovat výsledky evaluací 5.Přijímat a šířit výsledky evaluací, odborných studií a analýz 6.Komunikovat s jinými orgány (MV, EK, ostatní OP…) 7.… 8.… 9.…viz statut PS pro evaluace

Statut PS pro evaluace – úloha a role PS (3.) …což prakticky znamená: 1.Připravit přehled evaluačních aktivit (evaluační plán) a rozhodovat o volbě evaluačních témat 2.Podílet se na vypracování věcné náplně evaluačních a výzkumných projektů financovaných z technické asistence programů (TA) 3.Navrhnout rozvržení a výši rozpočtu evaluačních projektů 4.Systematicky sledovat průběh realizace evaluačních a výzkumných projektů 5.Navrhovat a rozhodovat o nezbytných změnách v průběhu evaluačních projektů

Jednací řád PS pro evaluace Pro hladký průběh jednání skupiny by skupina měla mít svůj JEDNACÍ ŘÁD Připomínky? Dotazy? Hlasování…

ESF Fórum ESF Pracovní skupina pro evaluace - sekretariát [HLEDÁNÍ] > “sekretariát“ [KLUBY] > Implementační subjekty > ESF PS pro evaluace – sekretariát  ESF Fórum je systém pro (a)synchronní komunikaci a spolupráci on-line  Umožňuje účastnit se jednání skupiny i při fyzické nepřítomnosti na jednání 1.Zaregistrovat se 2.Zařadit sekretariát PS pro evaluace do záložek

Co je evaluace? Evaluace je systematické studium a vyhodnocování průběhu, výsledků a účinků veřejných programů a politikEvaluace je systematické studium a vyhodnocování průběhu, výsledků a účinků veřejných programů a politik Aplikace společensko-vědních a výzkumných nástrojů na procesy zacházení s veřejnými financemiAplikace společensko-vědních a výzkumných nástrojů na procesy zacházení s veřejnými financemi Hodnocení relevance, účinnosti, hospodárnosti a udržitelnosti vynakládání veřejných prostředkůHodnocení relevance, účinnosti, hospodárnosti a udržitelnosti vynakládání veřejných prostředků

K čemu evaluace slouží? Pomáhá zefektivnit a zlepšit služby veřejných intervencíPomáhá zefektivnit a zlepšit služby veřejných intervencí Pomáhá zjistit, co se osvědčilo a co nikoli;Pomáhá zjistit, co se osvědčilo a co nikoli; Pomáhá doložit hospodárné a efektivní využívání veřejných prostředkůPomáhá doložit hospodárné a efektivní využívání veřejných prostředků Pomáhá udržet zaměření programu na dosažení jeho účelu a cílů;Pomáhá udržet zaměření programu na dosažení jeho účelu a cílů; Pomáhá identifikovat opatření (doporučení) k nápravě případných neúspěchů, jejich rozsah a metodikuPomáhá identifikovat opatření (doporučení) k nápravě případných neúspěchů, jejich rozsah a metodiku

Proč hodnotíme programy? Evaluace přispívá k návrhu nového programu – odborné posouzení návrhuEvaluace přispívá k návrhu nového programu – odborné posouzení návrhu Přenos zkušeností mezi implementačními články programuPřenos zkušeností mezi implementačními články programu Ověření zda programu skutečně funguje tak, jak si myslíme, že fungujeOvěření zda programu skutečně funguje tak, jak si myslíme, že funguje Evaluace může prověřit, zda program skutečně funguje tak, jak byl naplánovánEvaluace může prověřit, zda program skutečně funguje tak, jak byl naplánován Úprava implementačních mechanismů ve smyslu vyšší efektivity a nižší nákladnostiÚprava implementačních mechanismů ve smyslu vyšší efektivity a nižší nákladnosti Historiografická úloha evaluaceHistoriografická úloha evaluace

Základní legislativa pro evaluace Nařízení Rady ES 1083/2006 o obecných ustanoveních o Evropském fondu pro regionální rozvoj, Evropském sociálním fondu a Fondu soudržnosti a o zrušení nařízení (ES) č. 1260/1999Nařízení Rady ES 1083/2006 o obecných ustanoveních o Evropském fondu pro regionální rozvoj, Evropském sociálním fondu a Fondu soudržnosti a o zrušení nařízení (ES) č. 1260/1999 Relevantní články 47, 48, 49 (1083/2006)Relevantní články 47, 48, 49 (1083/2006) Článek 4 a 25 NAŘÍZENÍ KOMISE (ES) č. 1828/2006Článek 4 a 25 NAŘÍZENÍ KOMISE (ES) č. 1828/2006 Článek 4 NAŘÍZENÍ EVROPSKÉHO PARLAMENTU A RADY (ES) č. 1081/2006 o Evropském sociálním fonduČlánek 4 NAŘÍZENÍ EVROPSKÉHO PARLAMENTU A RADY (ES) č. 1081/2006 o Evropském sociálním fondu INDICATIVE GUIDELINES ON EVALUATION METHODS: EVALUATION DURING THE PROGRAMMING PERIOD - Working Document No.5INDICATIVE GUIDELINES ON EVALUATION METHODS: EVALUATION DURING THE PROGRAMMING PERIOD - Working Document No.5 Více viz evaluační plán OP LZZ

Typy programových evaluací Dělení dle časového hlediska: –Před (ex-ante) –V průběhu (ongoing) –Po skončení intervencí (programového období) Dělení dle obsahové povahy evaluací –Strategické povahy –Operační povahy –Ad hoc nebo tématické evaluace

Typy programových evaluací dle obsahové povahy Cílově orientované evaluaceCílově orientované evaluace Procesně orientované evaluaceProcesně orientované evaluace Výstupově orientované evaluaceVýstupově orientované evaluace Výsledkově orientované evaluaceVýsledkově orientované evaluace Dopadově orientované evaluaceDopadově orientované evaluace Formativní evaluaceFormativní evaluace Sumativní evaluaceSumativní evaluace Více na stránkách ESF Fóra – Evaluation SourceBook, část &dhident=210&

Evaluace a monitoring (1.) Monitorování je průběžné sledování pokroku v realizaci projektu. Monitorování probíhá prostřednictvím tzv. indikátorů, které jsou číselným vyjádřením projektových výstupůMonitorování je průběžné sledování pokroku v realizaci projektu. Monitorování probíhá prostřednictvím tzv. indikátorů, které jsou číselným vyjádřením projektových výstupů Monitorovací údaje je nutné interpretovat a někdy jsou základem pro další zkoumání. Monitorování a monitorovací indikátory poskytují užitečná data a informace, které se využívají při evaluaciMonitorovací údaje je nutné interpretovat a někdy jsou základem pro další zkoumání. Monitorování a monitorovací indikátory poskytují užitečná data a informace, které se využívají při evaluaci

Evaluace a monitoring (2.) EVALUACEMONITORING Jedenkrát nebo dvakrát Pravidelně GlobálníDetailní Externí nebo interní Obvykle interní Pomáhá identifikovat úspěchy projektu, co fungovalo a co nikoli. Poskytuje zpětnou vazbu pro budoucí projekty / programy. Pomáhá identifikovat pokroky nebo problémy implementace a řešit je hned. Např.: Rok po začátku projektu nebo po ukončení projektu hodnotit dopad projektu, zda projekt dosáhl původních cílů. Např.: Každodenní sledování počtu účastníků, jednotlivých položek rozpočtu

Evaluace a audit Evaluace zkoumá účinky a dopady projektů / programů a hledá poučení pro budoucnost:Evaluace zkoumá účinky a dopady projektů / programů a hledá poučení pro budoucnost: „Dělají se správné věci správně?“, „Má smysl a cenu to dělat i v budoucnu?“ Audit zkoumá soulad mezi stavem nastaveným v minulosti a přítomností:Audit zkoumá soulad mezi stavem nastaveným v minulosti a přítomností: „Dělají se věci podle aktuálně platných pravidel?“, „Dělají se věci správně (dle minulosti)?“ Evaluace je progresivní, audit regresivníEvaluace je progresivní, audit regresivní Evaluace má přinést změnu, audit zachovává status quoEvaluace má přinést změnu, audit zachovává status quo

Aktuálně probíhající evaluace Závěrečná evaluace OP RLZ a JPD 3Závěrečná evaluace OP RLZ a JPD 3 3. etapa průběžného hodnocení CIP EQUAL3. etapa průběžného hodnocení CIP EQUAL Evaluace principu mezinárodní spolupráce CIP EQUALEvaluace principu mezinárodní spolupráce CIP EQUAL Evaluace přístupů českých i zahraničních rozvojových partnerství CIP EQUAL při aplikaci horizontálního tématu gender mainstreamingEvaluace přístupů českých i zahraničních rozvojových partnerství CIP EQUAL při aplikaci horizontálního tématu gender mainstreaming Evaluace projektů OP RLZ zaměřených na problematiku romských komunitEvaluace projektů OP RLZ zaměřených na problematiku romských komunit Evaluace implementace principu partnerství v Programu Iniciativy Společenství EQUAL a v dalších programech financovaných z ESF v ČR (vyhlášeno)Evaluace implementace principu partnerství v Programu Iniciativy Společenství EQUAL a v dalších programech financovaných z ESF v ČR (vyhlášeno) Evaluace projektů zaměřených na rovné příležitosti pro ženy a muže na trhu práce a sladění pracovního a rodinného života (vyhlášeno)Evaluace projektů zaměřených na rovné příležitosti pro ženy a muže na trhu práce a sladění pracovního a rodinného života (vyhlášeno)

Evaluační plán (1.) Podrobněji rozpracovává kapitoly evaluace v Operačním programu ESF Lidské zdroje a zaměstnanost (OP LZZ) a v Operačním manuálu OP LZZPodrobněji rozpracovává kapitoly evaluace v Operačním programu ESF Lidské zdroje a zaměstnanost (OP LZZ) a v Operačním manuálu OP LZZ Vypracováván také na doporučení Evropské komise, vyplývající přímo z Nařízení Rady ES č.1083/2006 o strukturálních fondech, podle kterého členský stát může „podle potřeby vypracovat v souladu se zásadou proporcionality podle článku 13 plán hodnocení…“Vypracováván také na doporučení Evropské komise, vyplývající přímo z Nařízení Rady ES č.1083/2006 o strukturálních fondech, podle kterého členský stát může „podle potřeby vypracovat v souladu se zásadou proporcionality podle článku 13 plán hodnocení…“

Evaluační plán – co je závazné? Evaluace musí zlepšit kvalitu, účinnost a provázanost pomoci z fondůEvaluace musí zlepšit kvalitu, účinnost a provázanost pomoci z fondů Zlepšit strategii a provádění operačních programů s ohledem na konkrétní strukturální problémy týkající se dotyčných členských států a regionůZlepšit strategii a provádění operačních programů s ohledem na konkrétní strukturální problémy týkající se dotyčných členských států a regionů Dle článku 47, odst. 2. se evaluace provádí před (ex-ante) programovým obdobím, během něho (ongoing) a po něm (ex-post).Dle článku 47, odst. 2. se evaluace provádí před (ex-ante) programovým obdobím, během něho (ongoing) a po něm (ex-post).

Evaluační plán – povinná témata Provádět hodnocení v souvislosti s monitorováním operačních programů, zejména pokud toto monitorování odhalí významný odklon od původně stanovených cílů nebo pokud jsou podány návrhy na revizi operačních programů podle článku 33Provádět hodnocení v souvislosti s monitorováním operačních programů, zejména pokud toto monitorování odhalí významný odklon od původně stanovených cílů nebo pokud jsou podány návrhy na revizi operačních programů podle článku 33 Řídících a kontrolních systémů založeném na přezkoumání popisu systémů, příslušných dokumentů týkajících se systémů, systému pro uchovávání účetních záznamů a údajů o provádění operací a na pohovorech se zaměstnanci hlavních subjektůŘídících a kontrolních systémů založeném na přezkoumání popisu systémů, příslušných dokumentů týkajících se systémů, systému pro uchovávání účetních záznamů a údajů o provádění operací a na pohovorech se zaměstnanci hlavních subjektů

Evaluační plán – povinná témata (2.) Hodnocení komunikačního plánu přiměřeně vzhledem k informačním a propagačním opatřením vymezeným v komunikačním plánuHodnocení komunikačního plánu přiměřeně vzhledem k informačním a propagačním opatřením vymezeným v komunikačním plánu Příspěvek opatření podporovaných Evropským sociálním fondem k provádění Evropské strategie zaměstnanosti a k dosažení cílů Společenství v oblasti sociálního začlenění, rovnosti a boje proti diskriminaci mezi ženami a muži a vzdělávání a odborné přípravy v dotyčném členském státěPříspěvek opatření podporovaných Evropským sociálním fondem k provádění Evropské strategie zaměstnanosti a k dosažení cílů Společenství v oblasti sociálního začlenění, rovnosti a boje proti diskriminaci mezi ženami a muži a vzdělávání a odborné přípravy v dotyčném členském státě

Evaluační plán – průběžné hodnocení Ekvivalent předchozího mid-term hodnoceníEkvivalent předchozího mid-term hodnocení Složené ze strategických evaluací a operačních evaluacíSložené ze strategických evaluací a operačních evaluací Průběžné hodnocení sestává z:Průběžné hodnocení sestává z: 1.Jednotlivých etap průběžného hodnocení (ad hoc, tématické, operační, sledovací studie…) 2.Strategických evaluací (sumativní)

Evaluační plán – evaluační oblasti Procesní evaluaceProcesní evaluace Sledovací evaluaceSledovací evaluace Výsledkové evaluaceVýsledkové evaluace Evaluace ve vazbě na monitoringEvaluace ve vazbě na monitoring Tématicky orientované evaluaceTématicky orientované evaluace Mezinárodní spolupráce v evaluaciMezinárodní spolupráce v evaluaci Utváření a rozvoj evaluačních kapacitUtváření a rozvoj evaluačních kapacit Evaluační plán by měl vyčerpat celkem 48 milionů Kč včetně DPHEvaluační plán by měl vyčerpat celkem 48 milionů Kč včetně DPH

Evaluační plán – plánovaná hodnocení pro 2008 Procesní studie Založení, organizace a rozvoj průběžných fokusních skupin a expertních panelů pro relevantní oblasti procesních analýz implementačního systému – příprava na průběžné hodnocení (říjen)Založení, organizace a rozvoj průběžných fokusních skupin a expertních panelů pro relevantní oblasti procesních analýz implementačního systému – příprava na průběžné hodnocení (říjen) Návrhy témat fokusních skupin:Návrhy témat fokusních skupin: –Příprava projektu a psaní projektové žádosti –Hodnocení projektů a hodnotící kritéria –Administrace projektů a globálních grantů –Monitorování programu a informační systémy –Finanční řízení a finanční toky –Způsobilost výdajů a uznatelnost nákladů –Publicita –Veřejná podpora a podpora de minimis –Horizontální témata Utváření a rozvoj evaluační kapacity –Organizační zajištění jednání PS pro evaluace pod záštitou MPSV (říjen, listopad, prosinec) –Workshop PS pro evaluace pro přípravu 1. etapy průběžného hodnocení OP LZZ (listopad / prosinec) – aktualizace evaluačního plánu

Diskuze – náměty pro veřejnou diskuzi Jak nejlépe zajistit propojení monitoringu a evaluací? (Jaká data může poskytnout monitoring a jak na to může reagovat evaluace v průběhu programu?)Jak nejlépe zajistit propojení monitoringu a evaluací? (Jaká data může poskytnout monitoring a jak na to může reagovat evaluace v průběhu programu?) Mají být výroční zprávy vstupem (podkladem) evaluace, anebo evaluace má být vstupem pro Výroční zprávy?Mají být výroční zprávy vstupem (podkladem) evaluace, anebo evaluace má být vstupem pro Výroční zprávy? Jak nejlépe zajistit souběh evaluace a implementace? (forma průběžných evaluací)Jak nejlépe zajistit souběh evaluace a implementace? (forma průběžných evaluací) Pokrývá evaluační plán všechna témata? Je úměrně obecný, aby pokryl šíři celého období?Pokrývá evaluační plán všechna témata? Je úměrně obecný, aby pokryl šíři celého období? Je evaluační plán dobře strukturovaný?Je evaluační plán dobře strukturovaný? Jsou evaluační témata relevantní?Jsou evaluační témata relevantní? Je rozpočet pro evaluace úměrný a přiměřený?Je rozpočet pro evaluace úměrný a přiměřený? Jak by nejlépe měly být šířeny výsledky evaluací?Jak by nejlépe měly být šířeny výsledky evaluací? Diskuze v ESF Fóru by měla proběhnout do konce září 2008Diskuze v ESF Fóru by měla proběhnout do konce září 2008

Další kroky - jaké nás čekají úkoly? Dopracování a finalizace evaluačního plánuDopracování a finalizace evaluačního plánu –Pročíst evaluační plán, identifikovat chyby či možné nekonzistence –Identifikovat vhodná evaluační témata –Finalizovat rozpočet jednotlivých evaluací a projektu Připravit evaluační projekt pro celé období na základě evaluačního plánu (říjen)Připravit evaluační projekt pro celé období na základě evaluačního plánu (říjen) Sepsat první zadávací dokumentaci a spustit evaluační proces (říjen / listopad)Sepsat první zadávací dokumentaci a spustit evaluační proces (říjen / listopad) Kontrolovat průběh evaluací a kvalitu výstupůKontrolovat průběh evaluací a kvalitu výstupů Sledovat ESF Fórum!Sledovat ESF Fórum!

Děkujeme za pozornost Další informace: Odbor řízení pomoci z ESF Ministerstvo práce a sociálních věcí ČR