Hodnocení projektů ESF a jejich dopadů Ing. Vladimír Kváča, Ph.D. Vrchní ředitel sekce fondů Evropské unie Ministerstvo práce a sociálních věcí Praha 2. 5. 2013

Východiska Intervence z Evropského sociálního fondu by stejně jako jiné veřejné politiky měly respektovat tři oblasti odpovědnosti: Správnost a poctivost (jsou procesy podle pravidel?) Účelnost a úspornost (dosahujeme cílů s minimálními náklady?) Přizpůsobivost a odolnost (reagujeme na změny okolí, učíme se a zvládáme krize?)

OBDOBÍ 2007 - 2013 Velký důraz na „Správnost a poctivost“ - Jsou procesy podle pravidel? Aneb utratili jsme prostředky v souladu s předpisy?

Období 2007 - 2013 úroveň projektů Hlavní důraz je kladen na kontrolu, zda prostředky (tj. vstupy) byly vynaloženy v souladu s předpisy. Na úrovni projektů je kontrolováno pouze to, co se kontroluje snadno, nikoliv to co je důležité. Snahy o změnu v současném fungování jsou jen velmi obtížné. Obvykle je hatí auditoři a jejich lpění na některých dokumentech. Pokud se podaří jeden zrušit, další dostaneme za úkol.

Období 2007 - 2013 úroveň programu Systém hodnocení a měření dopadů projektů v programovacím období 2007 – 2013 není ideální: Koncept indikátorů vstupů, výstupů, výsledků a dopadů nebyl jasně vymezen, dochází k zaměňování pojmů výstup a výsledek. Barca, F.: Outcome Indicators and Targets

Období 2007 - 2013 úroveň programu Indikátory hrají marginální (pouze technickou) roli v programových dokumentech, jejich výběr byl odkládán až na období PO schválení dokumentů. Málokdy jsme schopni určit, jaké jsou výsledky přičitatelné programu a realizovaným projektům. Jasnou odpověď nepřináší ani většina evaluací.

OBDOBÍ 2014 - 2020 Přibývá „Účelnost a úspornost“ Plánujte cíle a dosahujte je! Velký důraz na „Správnost a poctivost“ příliš neoslabuje. Přizpůsobivost a odolnost stále není v centru pozornosti.

Období 2014 - 2020 Existuje zjevná a v obecné rovině správná snaha o větší orientaci na měřitelné výsledky nástrojů kohezní politiky (mj. operačních programů) jak ze strany EK, tak ze strany MMR. V novém období bude nevyhnutelně větší důraz na výstupové a výsledkové indikátory.

Obavy Konkrétní obsah o měření skutečných výsledků je v představách různých aktérů různý. Problém vidíme v nebezpečí zachování „současného“ systému kontroly výdajů a jen přidání nové vrstvy kontroly výstupů/výsledků.

Obavy Obáváme se také nebezpečí redukce cílů na indikátory, což může přinést neblahé důsledky: Obehrávání (gaming) Zvrácené pobídky (perverse incentives)

Obehrávání Obcházení pravidel a procedur tak, že jejich smysl není naplněn, ale po formální stránce je jim učiněno za dost. Souvisí s užíváním úzkých definic úspěchu. Příklad: indikátor „počet nově vytvořených pracovních míst“ někteří poskytovatelé obehrávali skrze masové automatické získávání živnostenských listů pro účastníky svých projektů. Formálně se tedy mohlo zdát, že nová pracovní místa vznikají, reálně však projekt nezpůsoboval žádnou změnu Metodický pokyn MMR-NOK Zásady tvorby a používaní indikátorů v programovém období 2014–2020, verze vypořádaní z MEPS

Zvrácené pobídky Pobídky, které motivují účastníky k chování, které má opačné výsledky než ty, které měly pobídky původně způsobit. Často jsou způsobeny opomenutím strategického chování těch, na které jsou mířeny. Rozpoznání efektu zvrácené pobídky u indikátoru není důvod k nevyužití indikátoru, ale je to nezbytný předpoklad pro jeho využití správné. Metodický pokyn MMR-NOK Zásady tvorby a používaní indikátorů v programovém období 2014–2020, verze vypořádaní z MEPS

Příklad zvrácené pobídky: Rozdělování živnostenských listů pro splnění indikátoru „nově vytvořená pracovní místa“: Důsledkem tohoto kroku je, že podpořená osoba odchází z projektu s nepromyšleně získaným živnostenským listem, což pro ni znamená řadu problémů, o kterých ani nemusí vědět (např. vyloučení z kategorie sociálně potřebné domácnosti / jednotlivce, nemožnost podat žádost o oddlužení, či komplikace s platbou sociálního pojištění). Díky zvrácené pobídce tedy nejen že reálně nevznikala hlášená pracovní místa, ale životní situace podpořených osob se dokonce zhoršovala. Metodický pokyn MMR-NOK Zásady tvorby a používaní indikátorů v programovém období 2014–2020, verze vypořádaní z MEPS

Náš přístup Na úrovni programu se chceme vyhnout přístupu „přesně kvantifikované cíle za všech okolností“. => Lépe měřit ano, ale neredukovat dosažení cílů na splnění cílové hodnoty indikátoru. Nechceme podcenit složitost nastavení indikátorové soustavy, na úrovni projektů budeme přemýšlet, jak minimalizovat nebezpečí obehrávání a nežádoucích pobídek.

Náš přístup Chtěli bychom v maximální míře využívat existujících administrativních dat, nicméně čelíme problémům především právní dostupnosti údajů (problém s ochranou osobních údajů) Vnímáme nebezpečí mechanistického pojetí.

Šablonové projekty úroveň projektu Předdefinované projekty financované podle paušálních výdajů nebo jednotkových výdajů (vychází k konceptu output-based aid). Pilotní výzva JAP – zařízení péče o děti

Pilotní výzva JAP Cílem výzvy je zlepšování situace v prosazování rovných příležitostí žen a mužů na trhu práce a ve sladění pracovního a rodinného života prostřednictvím zřízení a provozu zařízení péče o děti předškolního věku. Podpora je určena na vytvoření nového zařízení péče o děti předškolního věku mimo rámec školského zákona a prvních 18 měsíců jeho provozu. Zařízení musí být zřízeno zaměstnavatelem pro jeho zaměstnance.

Rodiče se účastní, služby jsou poskytovány Vyšší účast rodin využívajících zařízení péče o děti na trhu práce Zaměstnavatel vytvoří zařízení péče o děti Služby jsou nabídnuty zaměstnancům -rodičům Black box Předpokládá se udržitelnost vzniklých zařízení Proplacená jednotka: Obsazené místo Podpora v čase klesá=> cesta k udržitelnosti provozu po skončení podpory. Žádná platba Předpoklad bude testován pro v rámci evaluace výzvy pro ověření fungování výzvy a rozhodnutí, zda je vhodné JAP opakovat. Proplacená jednotka: Vytvořené místo Žádná platba

Oblasti pro šablonové projekty Zařízení péče o děti Klasické vzdělávací kurzy … Šablonové projekty ovšem budou jednou, ne jedinou možností.

Kontrafaktuální indikátory úroveň programu Název: Míra zaměstnanosti podpořených osob (20-64 let); výsledkový indikátor Jednotka: % Stručná definice: Míra zaměstnanosti podpořených osob (20-64 let) převážená na strukturu obecné populace. Vysvětlení: Na zaměstnanost celkové populace má kromě podpory z ESF vliv mnoho dalších faktorů, z nichž je mnoho nemožné jakkoliv ovlivnit, a které jsou obtížně pozorovatelné a měřitelné. Proto je obecná míra zaměstnanosti nevhodná pro měření vlivu a úspěšnosti programu – nelze určit ani odhadnout do jaké míry je potencionální změna zaměstnanosti důsledkem působení programu či třeba důsledkem změn v ekonomice nebo dalších faktorů. Abychom mohli určit, zda program má či němá dopad na zaměstnanost, bude indikátor sledovat zaměstnanost podpořených osob a především to, jak se tato míra zaměstnanosti liší od zaměstnanosti osob v celkové populaci. Předpokládáme, že podpora z ESF podpořeným osobám poskytuje výhodu na pracovním trhu, a po jejím obdržení by tedy měly vykazovat vyšší zaměstnanost než-li skupiny, které jí neobdržely. Tuto výhodu najdeme tak, že ke každé skupině podpořených osob vytvoříme hypotetickou populaci na začátku i na konci sledovaného období, která bude v obou případech demograficky podobná skupině podpořených osob. Následně srovnáme míry zaměstnanosti pro tyto dvě skupiny před poskytnutím podpory (abychom zjistili, jak podobné tyto skupiny z hlediska zaměstnanosti jsou) a poté. Výchozí hodnota je z definice shodná Mírou zaměstnanosti (obecné populace) 20-64.

děkuji za pozornost! Ing. Vladimír Kváča, Ph.D. Vladimir.kvaca@mpsv.cz Další informace: http://www.coprbm.eu/sites/default/files/sourcebook_tusseninres.pdf http://www.coprbm.eu/