Pracovní skupina pro evaluace 12. setkání 9. února 2015 Praha 1. Úvodní slovo Přivítání Sdělit, zda je skupina usnášení schopna Seznámit s programem jednání

Program jednání Program jednání Úvod Aktualizace Evaluačního plánu OP LZZ pro r. 2015 Informace o probíhajících evaluačních aktivitách v rámci OP LZZ Informace o partnerských evaluačních aktivitách (MMR-NOK, OP VK, OP PA, OSF MV ČR) Sdílení zkušeností s přípravou EP 2014-2020 Shrnutí činnosti PSE v r. 2014 Plánované aktivity PSE OP LZZ v r. 2015 Činnost PSE v oblasti ESF v novém programovém období Různé a závěr

PSE v r. 2014 – členská základna K 14. 1. 2015 jmenován nový předseda PhDr. Arno Kraus (k zastupování v době jeho nepřítomnosti zplnomocněn Mgr. Jan Blahůšek) Nové členství: Ing. Monika Vanžurová – MV ČR (nahradila Mgr. Alenu Sirotkovou) PhDr. Arno Kraus - ŘO OP LZZ, MPSV (nahradil Ing. Jana Havránka) Ing. Helena Petroková – odd. 824, MPSV (nahradila Mgr. Ivanu Příhonskou) Mgr. Markéta Nekolová – FDV (nahradila Mgr. Dalibora Knedlu) Aktuální stav: 22 osob

Aktualizace Evaluačního plánu OP LZZ pro rok 2015 Formální změny: aktualizace dat dodání návrhů závěrečných zpráv Aktualizace evaluačních aktivit z minulých let: Evaluace projektů zaměřených na vznik a provoz zařízení péče o děti předškolního věku (výzva A4 a B5) – realizovaná interními kapacitami Evaluace efektivnosti podpory nástrojů a opatření APZ z OP LZZ (RIP a NIP) – nahrazeno Evaluací projektu č. CZ.1.04/2.1.00/03.00015 Vzdělávejte se pro růst! - Pracovní příležitosti (část interně, část externě) EP byl členům zaslán k připomínkám spolu s pozvánkou

Aktualizace Evaluačního plánu OP LZZ pro rok 2015 Counterfactual Impact Evaluation OP LZZ, oblast podpory 1.1, aktualizace v návaznosti na data z let 2012 a 2013 – interní část a externí část (zakázka Evaluace dopadu oblasti podpory 1.1 OP LZZ s využitím kvalitativních metod) změna oproti návrhu: Evaluace dopadů OP LZZ, oblast podpory 1.1, aktualizace v návaznosti na data z let 2012 a 2013 Popis: Cílem této evaluace je stanovit dopad podpory z OP LZZ na zaměstnavatele a zaměstnance v podpořených firmách kvantitativními a kvalitativními metodami. V rámci této evaluace je interními kapacitami zpracovávána kvantitativní část (aktualizace counterfactual impact evaluation z r. 2011 na rozšířeném datovém souboru) a za účelem zpracování kvalitativní části byla vyhlášena veřejná zakázka „Evaluace dopadu oblasti podpory 1.1 OP LZZ s využitím kvalitativních metod“. doplněno datum podpisu smlouvy u externí části a na to navázaný termín dodání návrh závěrečné zprávy EP byl členům zaslán k připomínkám spolu s pozvánkou

Aktualizace EP OP LZZ Pilotní Cluster evaluation dopadů projektů OP LZZ na základě existujících a nově realizovaných případových studií – realizovaná pod názvem „Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy“ Hodnocení inovační výkonnosti a kapacit organizací v sociálních inovacích v ČR – aktualizace obsahu a termínů realizace, interní zpracování (změna oproti návrhu EP OP LZZ na r. 2015 – čistě interní evaluace, návrh závěrečné zprávy září 2015)

Aktualizace EP OP LZZ Doplnění aktivit za r. 2014 (ad hoc potřeby): Evaluace prioritní osy 4 Veřejná správa – interní evaluace Genderová analýza investičních priorit OPZ (objednávka na základě průzkumu trhu) Pilotáž dotazníku do závěrečné monitorovací zprávy a vyhodnocení výsledků (interní studie) Odborná pracovní skupina k tvorbě Pomůcky pro zájemce o realizaci projektu v oblasti sociálních inovací OPZ (přímá objednávka)

Aktualizace EP OP LZZ 2015 Nově zahajované aktivity v r. 2015: Zpětná vazba příjemců (interní, 1. pol. 2015), Vytvoření metodiky pro sebeevaluaci individuálních projektů a její pilotáž (1. pol. 2015, VZMR - objednávka), Studie a analýzy dle momentálních potřeb.

Aktualizace Evaluačního plánu OP LZZ pro rok 2015 Sdělit, jaké přišly připomínky – zatím žádné Popř. jak byly vypořádány (pokud by nějaké přišly) Hlasování Dle jednacího řádu je skupina usnášení schopna, pokud je přítomna nadpoloviční většina členů (zástupců), k přijetí rozhodnutí je třeba souhlas nadpoloviční většiny přítomných členů.

Probíhající evaluační aktivity v rámci OP LZZ

Externí evaluace OP LZZ – aktuální stav 11 Externí evaluace OP LZZ – aktuální stav Dokončované: Ex-ante evaluace OPZ Sociální a inkluzivní podnikání v OP LZZ (3.1) Probíhající: Organizace evaluačně – expertních fokusních skupin OP LZZ 2010 Analýza sociálně vyloučených lokalit v ČR (gesce odd. 833) Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy Genderová analýza investičních priorit OPZ V přípravě: Vytvoření metodiky pro sebeevaluaci individuálních projektů a její pilotáž

Kombinované (interní + externí) evaluace Probíhající: Evaluace projektu Vzdělávejte se pro růst! - pracovní příležitosti (2.1) Evaluace dopadů OP LZZ, oblast podpory 1.1, aktualizace v návaznosti na data z let 2012 a 2013

Interní evaluace OP LZZ – aktuální stav Nově dokončené: Evaluace projektů zaměřených na vznik a provoz zařízení péče o děti předškolního věku (3.4) Probíhající: Hodnocení inovační výkonnosti a kapacit organizací v sociálních inovacích v ČR Evaluace PO 4 Veřejná správa Evaluace průběhu a výsledků pilotní výzvy na sociální inovace v oblasti podpory 3.1. OP LZZ Pilotáž dotazníku do závěrečné monitorovací zprávy a vyhodnocení výsledků V přípravě: Zpětná vazba příjemců

Šetření sociálně inovačních kapacit Cíl: získání kvalitních informací o současných sociálně inovačních kapacitách a inovačních řešeních v ČR (stanovení baseline a analýza problémů a potřeb v oblasti SI pro PO 3) Využití: Zhodnocení vývoje inovačních kapacit v čase a zhodnocení vlivu podpory sociálních inovací na inovační kapacity Nastavení podpory sociálních inovací v OPZ odpovídající inovační poptávce, nabídce a potřebám rozvoje inovačních kapacit Realizace ve dvou kolech: kolo – dotazníkové šetření (31. 10. – 27. 11. 2014) kolo – dotazníkové šetření a rozhovory s vybranými respondenty z 1. kola, kteří jsou relevantní pro SI (únor – květen 2015) 4 typy respondentů (4 typy dotazníků): Tvůrci inovací – poskytovatelé prospěšných služeb (inovační nabídka) Tvůrci inovací - podniky realizující společensky prospěšné aktivity Poskytovatelé podpory (inovační poptávka) Experti (podpora / hodnocení / propojení nabídky a poptávky) Hodnocení inovační výkonnosti a kapacit organizací v sociálních inovacích v ČR Provedení: interní (odd. 801), odborný garant Doc. ing. Anna Kadeřábková, Ph.D. (inovační konzultantka MPSV pro projekty B7 a D7) – metodika, vyhodnocení. Výstupy: zpráva z 1. kola – březen 2015, závěrečná analytická zpráva - září 2015 Cíl PO 3 OPZ: Zvýšit kvalitu a kvantitu využívání sociálních inovací a mezinárodní spolupráce v tematických oblastech OPZ (zvýšení kapacit a výkonnosti ekosystému / prostředí, nabídky, poptávky a jejich propojení) 2: kolo: (a) uvedli úspěšné zavedení inovačního řešení, případně zájem o realizaci již vytvořené inovace, (b) provádějí podporu sociálních inovací nebo o její provádění mají konkrétní zájem, (c) provádějí výzkum relevantní pro sociální inovace (jejich tvorbu, podporu, realizaci nebo evaluaci)

Šetření sociálně inovačních kapacit Zjišťované informace (struktura dotazníku) Inovační předpoklady organizace (typ, velikost, obor působení, zaměření, spolupráce s aktéry, evaluace / prokázání efektů aktivit) Inovační aktivity (zda realizují inovace, inovační intenzita, typy, původ, efekty, příklady) Nová řešení a jejich podpora (překážky, CS a jejich problémy vyžadující nová řešení (poptávka), role při řešení, témata / způsoby řešení (nabídka), vhodné nástroje a formy podpory. Respondenti: organizace a experti v oblasti zaměstnanosti a soc. začleňování + firmy Osloveno: 17 300 respondentů Odpovědělo: Celkem 3918 (22%), úplné odpovědi 1560 (10 %) DB kontaktů: OP LZZ, OPVK, OPPA, obce, kraje, ÚP, AP, poskytovatele soc. služeb, vzdělávací organizace, NNO, experti (hodnotitelé), výzkumné a poradeské org., akademická pracoviště, SP, Nadace a fondy ad. Úplné odpovědi: Poskytovatele 800, Podniky 360, Experti 250, Podpor 150 Velká návratnost: (2/3 OP LZZ neúspěšní žadatelé, 1/3 firmy), dostatečné pokrytí organizací působící v sociální oblasti, není velké zkreslení – poznatky potvrzeny z jiných zdrojů (výzvy B7 a D7, mezinárodní výzkumy SI)

Šetření sociálně inovačních kapacit Výsledky 1. kola šetření Nízké (téměř nulové) kapacity a výkonnost sociálně inovačního ekosystému Tvůrci (inovační nabídka): většina dílčí zlepšení -zvyšování (spíše realizační než inovační) kapacity, standardní projekty, ostrůvky deviace (20): prokázané významné zlepšení (radikální inovace – PO 3 OPZ). CS: zdravotně postižení, senioři a starší osoby, děti a mládež Překážky: nedostatečné vnitřní finanční a lidské zdroje, omezenost systému, nízká inovační poptávka, Charakteristiky aktivit: nízká znalostní náročnost a rizika, omezený efekt, pouze sociální hodnota (ne ekonomická), omezená spolupráce, lokální efekty pro organizaci, pasivní příjemci, neznalost vnějších zdrojů, monitoring/reporting aktivit, výstupů, nikoli evaluace, tradiční aktivity (vzdělávání) a nástroje podpory (granty) Poskytovatelé podpory (inovační poptávka): 5% podíl podpory na inovace, 25% podíl u těch co podporují, 49 % respondentů nepodporuje inovace vůbec CS: nezaměstnaní, zdravotně postižení, bezdomovci, mládež, vězni, senioři Význam inovačně specifických postupů pří výběru a realizaci projektů nízký, témata s neměřitelnými efekty, tradiční témata (vzdělávání) a formy podpory (granty) Systém – regulace, legislativa, poptávka, postupy Poskytovatelé: 80% poskytovatelé ss, 6% spol prospěšné služby, 7% vzdělávací, 2,5 poradenské, 2,5 státní správa, 1,5 samospráva Podporovatelé: 25% samospráva, 68% OSS - ÚP, 6 % Nadace, fondy

Evaluace projektu VSPRPP Vzdělávejte se pro růst! Pracovní příležitosti Zadání evaluace: srpen 2014 Cíl evaluace: vyhodnocení realizace projektu VSPRPP v letech 2012 a 2013, podpory nástrojů APZ: veřejně prospěšných prací (VPP) a společensky účelných pracovních míst (SÚPM) Evaluační design: kombinace interně a externě zpracovávané evaluace Harmonogram evaluace Přípravné práce + desk research: srpen – listopad 2014 Realizační fáze: listopad 2014 – květen 2015 Kompletace studie, formulace závěrů: červen 2015 Projekt VSPRPP je v realizaci od 1. 1. 2012 do 31. 12. 2015. Rozpočet projektu: více jak 11 mld. Kč (bude až 13 mld.) Počet podpořených osob (dosažená hodnota k 30. 9. 2014): 79 181 VPP se rozumí časově omezené pracovní příležitosti spočívající zejména v údržbě veřejných prostranství a jiných činnostech ve prospěch obcí, státních nebo jiných obecně prospěšných institucí. Umožňují obnovit, získat a posílit pracovní návyky uchazečů o zaměstnání se závažnějšími handicapy na trhu práce. (definuje § 112 zákona č. 435/2004 Sb., o zaměstnanosti) SÚPM se rozumí pracovní místa, která zaměstnavatel zřizuje nebo vyhrazuje na základě dohody s Úřadem práce ČR. Jsou zaměřeny na úhradu mzdových nákladů a přispívají k dlouhodobějšímu pracovnímu uplatnění uchazečů o zaměstnání s méně závažnými handicapy na trhu práce, kterým nelze v současné době zajistit pracovní uplatnění jiným způsobem. Jedná se o nejúčinnější nástroj aktivní politiky zaměstnanosti a vede k přímému a zpravidla dlouhodobému uplatnění na trhu práce. (definuje § 113 zákona č. 435/2004 Sb., o zaměstnanosti). Pozn. z projektu VSPRP jsou podporována pouze SÚPM vyhrazená.

Aktuální výsledky (evaluace VSPRPP) Vyhodnocení dotazníku pro zaměstnance ÚP ČR, ukázka části výstupů - výhody a nevýhody VPP

Evaluace výzev A4 a B5 - přístup Výzvy A4 a B5 (3.4) : Vybudování a provoz nových zařízení péče o děti Zjednodušené vykazování způsobilých výdajů; dotace dle dosažených výstupů / výsledků Cíle evaluace: Zhodnocení výzev dle kritérií účelnosti, úspornosti, dopadu (+ udržitelnosti) Stanovení doporučení pro obdobné výzvy (zejm. zjednodušené vykazování) Design: Realizátoři (jednorázový výzkum, komparace několika zkoumaných a jedné kontrolní skupiny (analýza dat z Monit7+, set dotazníků, fokusní skupina; vzorky různé) Cílová skupina: šetření při a po nástupu dítěte do zařízení (set dotazníků; vzorek 25%) Harmonogram: Srpen 2013 – leden 2015

Evaluace výzev A4 a B5 - výsledky Účelnost: Vytvořeno 221 (A4), resp. 385 míst – dosažení 9 %, resp. 20 % potenciálních výstupů výzev Problematické prvky: Krátká lhůta na přípravu projektových žádostí Nízká jednotkové podpory na vybudování a provoz zařízení; postupně se snižující dotace, nutnost čerpat plnou jednotkovou podporu na provoz Vysoká míra absence dětí vzhledem k požadované obsazenosti (nemocnost spojená s velkým počtem dětí do 3 let, dovolené) Úspornost: Systém zjednodušeného vykazování vhodný Nemožnost / neochota na straně realizátorů vynakládat vlastní prostředky Dopad: Podpořeno 817 rodin (830-840 dětí) Zvýšení zaměstnanosti u 38%, resp. 52 % žen z relevantní části CS (310, resp. 425 osob) Zvýšení průměrných příjmů z 10 927 Kč o 28 %, resp. 40 % Zvýšení spokojenosti – spokojeno dříve 42 % rodin, nyní 92 %)

Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy Dodavatel: konsorcium HOPE GROUP, s. r. o. a NAVIGA 4, s. r. o. Cena bez DPH: 1 248 000 Kč Smlouva uzavřena: říjen 2014 Závěrečná zpráva (návrh): srpen 2015   Cíl evaluace: hloubkové vyhodnocení skutečných dopadů vybraných projektů z různých oblastí podpory OP LZZ na základě případových studií vč. terénních šetření souhrnné vyhodnocení (meta-analýza) již hotových a nových případových studií OP LZZ identifikace příkladů nejlepší, dobré a neosvědčené praxe a formulace doporučení pro nastavení projektů v rámci OP Zaměstnanost pro programové období 2014-2020

Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy Nové případové studie (rozpracovaná metodika) vychází z theory based impact evaluation (nekontrafaktuální dopadová evaluace) definováno 30 společných evaluačních otázek + několik specifických dle OP taxonomie u sledovaných kategorií pro meta-analýzu a klastrovou analýzu pilotní sledování efektů: creaming-off, lock-in efekt, alternativní atribuce, substituce, mrtvá váha větší důraz na vyhodnocení účinnosti a hospodárnosti multikriteriální hodnocení úspešnosti projektu (pilotně) Meta-analýza hotových a nových PS nejčastější dopady vybraných projektů + míra úspěšnosti faktory mající vliv na pozitivní a negativní dopady vybraných projektů nejčastější překážky bránící pozitivním dopadům vybraných projektů klastrová analýza (pilotně u nových PS) – dvojí aplikace

Pilotáž dotazníku do závěrečné monitorovací zprávy (interní) Dotazník určen primárně pro grantové projekty napříč oblastmi podpory (modifikace dotazníku), dotazník je neanonymní - odpovídají samotní příjemci dotace Cíle dotazníku: a) strukturované mapování výsledků a přínosů projektů b) identifikace hlavních překážek realizace c) zhodnocení úspěšnosti projektu a aktivit Využití dotazníku: a) komplexní obraz b) podklad pro návazné hloubkové evaluace c) vývoj definovaných ukazatelů v čase d) databáze projektů pro zpracování případových studií a prezentaci dobré praxe Struktura dotazníku: 1) Charakteristiky 2) Přínosy 3) Problémy a překážky 4) Zhodnocení úspěšnosti

Pilotáž dotazníku do závěrečné monitorovací zprávy (interní) Průběh realizace: 1. kolo pilotáže - osloveny grantové projekty končící od ledna do srpna 2014 oslovených projektů: 377 počet respondentů: 156 návratnost: 41 % Hlavní překážky: 1) nízká návratnost 2) u některých OP nedostatečný vzorek 3) rozsah dotazníku Závěr: zkrácená verze dotazníku se stane povinnou součástí ZMZ v OPZ, čímž se výrazně zvýší návratnost a reprezentativnost získaných dat

Informace o partnerských evaluačních aktivitách MMR-NOK OP VK OP PA OSF MV ČR

Sdílení zkušeností s přípravou EP na období 2014-2020 a diskuse nad nimi Hlavní důrazy při tvorbě EP OPZ (draft) převažující interní evaluace systémovost při evaluaci GP (dotazník ZMZ) systémovost při evaluaci IP (metodika sebeevaluace) kvantitativní hodnocení (CIE – více interně) kvalitativní hodnocení (TBIE příp. stud. – více externě) účast EJ OPZ na šetřeních v terénu každoroční měření spokojenosti příjemců hloubkové procesní analýzy (FS, dotazníky atd.) specifické evaluace (inovace apod.)

Sdílení zkušeností s přípravou EP na období 2014-2020 a diskuse nad nimi diskuze k možnosti společných evaluací za ESF (vyhodnocení synergií?)

Činnost PSE v r. 2014 Připomínkování evaluačních výstupů a zadávacích dokumentací Návrhy výstupů: Evaluace podpory sociálního a inkluzivního podnikání v OP LZZ – návrh závěrečné zprávy (únor 2014) Ex-ante evaluace programového dokumentu ESF v gesci MPSV pro období 2014-2020 – návrh závěrečné zprávy (červen 2014) Zadávací dokumentace Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy (červenec/2014) Evaluace dopadu oblasti podpory 1.1 OP LZZ s využitím kvalitativních metod (červenec 2014)

Činnost PSE v r. 2014 Aktualizace VPŘED O všech přijatých doporučeních a stavu jejich řešení informuje Veřejný plán řešení evaluačních doporučení (VPŘED) na www.esfcr.cz Návrh poslední aktualizace VPŘED schválila PSE koncem 2014. Nyní probíhá finalizace a převod dokumentu do nové podoby.

Plánované aktivity PSE OP LZZ v r. 2015 Připomínkování evaluačních výstupů, schvalování aktualizované verze VPŘED. Připomínkování evaluačních výstupů: Ex-ante – aktualizace ZZ SIP – aktualizace ZZ SVL (???) Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy – PZ, ZZ Evaluace dopadu oblasti podpory 1.1 OP LZZ s využitím kvalitativních metod – PZ, ZZ

Celkové zhodnocení činnosti PSE OP LZZ 4. září 2008 – 1. jednání PSE Schvalování evaluačního plánu, schvalování projektu TP připomínkování evaluačních výstupů, rozvoj evaluačních kapacit.

Celkové zhodnocení činnosti PSE OP LZZ Původní koncepce PSE jako aktivní odborné platformy pro supervizi evaluačního procesu byla funkční především na počátku OP LZZ, nyní je překonaná. Příčinou je velká šíře a tematická pestrost evaluací OP LZZ, které vyžadují efektivnější a odbornější spolupráci v rámci užších a flexibilnějších platforem k jednotlivým evaluacím. Toto je trend, kterým se již ubíráme v současnosti a po dohodě s MMR-NOK ho budeme dále rozvíjet v období 2014+. Informace o plánovém ukončení činnosti PSE pro OPZ shrnutí důvodů, které nás vedly k ukončení (EP bude schvalovat MV, rozsah činnosti) Představení záměru zřizování poradních výborů k jednotlivým evaluacím

Různé a závěr

Děkujeme za pozornost! evaluace@mpsv.cz