Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Pracovní skupina pro evaluace 12. setkání 9. února 2015 Praha.

Podobné prezentace


Prezentace na téma: "Pracovní skupina pro evaluace 12. setkání 9. února 2015 Praha."— Transkript prezentace:

1 Pracovní skupina pro evaluace 12. setkání 9. února 2015 Praha

2 Program jednání 1)Úvod 2)Aktualizace Evaluačního plánu OP LZZ pro r )Informace o probíhajících evaluačních aktivitách v rámci OP LZZ 4)Informace o partnerských evaluačních aktivitách (MMR-NOK, OP VK, OP PA, OSF MV ČR) 5)Sdílení zkušeností s přípravou EP )Shrnutí činnosti PSE v r )Plánované aktivity PSE OP LZZ v r )Činnost PSE v oblasti ESF v novém programovém období 9)Různé a závěr

3 PSE v r – členská základna K jmenován nový předseda PhDr. Arno Kraus (k zastupování v době jeho nepřítomnosti zplnomocněn Mgr. Jan Blahůšek) Nové členství: Ing. Monika Vanžurová – MV ČR (nahradila Mgr. Alenu Sirotkovou) PhDr. Arno Kraus - ŘO OP LZZ, MPSV (nahradil Ing. Jana Havránka) Ing. Helena Petroková – odd. 824, MPSV (nahradila Mgr. Ivanu Příhonskou) Mgr. Markéta Nekolová – FDV (nahradila Mgr. Dalibora Knedlu) Aktuální stav: 22 osob

4 Aktualizace Evaluačního plánu OP LZZ pro rok 2015 Formální změny: aktualizace dat dodání návrhů závěrečných zpráv Aktualizace evaluačních aktivit z minulých let: –Evaluace projektů zaměřených na vznik a provoz zařízení péče o děti předškolního věku (výzva A4 a B5) – realizovaná interními kapacitami –Evaluace efektivnosti podpory nástrojů a opatření APZ z OP LZZ (RIP a NIP) – nahrazeno Evaluací projektu č. CZ.1.04/2.1.00/ Vzdělávejte se pro růst! - Pracovní příležitosti (část interně, část externě)

5 Aktualizace Evaluačního plánu OP LZZ pro rok 2015 Counterfactual Impact Evaluation OP LZZ, oblast podpory 1.1, aktualizace v návaznosti na data z let 2012 a 2013 – interní část a externí část (zakázka Evaluace dopadu oblasti podpory 1.1 OP LZZ s využitím kvalitativních metod) změna oproti návrhu: –Evaluace dopadů OP LZZ, oblast podpory 1.1, aktualizace v návaznosti na data z let 2012 a 2013 Popis: Cílem této evaluace je stanovit dopad podpory z OP LZZ na zaměstnavatele a zaměstnance v podpořených firmách kvantitativními a kvalitativními metodami. V rámci této evaluace je interními kapacitami zpracovávána kvantitativní část (aktualizace counterfactual impact evaluation z r na rozšířeném datovém souboru) a za účelem zpracování kvalitativní části byla vyhlášena veřejná zakázka „Evaluace dopadu oblasti podpory 1.1 OP LZZ s využitím kvalitativních metod“. –doplněno datum podpisu smlouvy u externí části a na to navázaný termín dodání návrh závěrečné zprávy

6 Aktualizace EP OP LZZ –Pilotní Cluster evaluation dopadů projektů OP LZZ na základě existujících a nově realizovaných případových studií – realizovaná pod názvem „Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy“ –Hodnocení inovační výkonnosti a kapacit organizací v sociálních inovacích v ČR – aktualizace obsahu a termínů realizace, interní zpracování (změna oproti návrhu EP OP LZZ na r – čistě interní evaluace, návrh závěrečné zprávy září 2015)

7 Aktualizace EP OP LZZ Doplnění aktivit za r (ad hoc potřeby): Evaluace prioritní osy 4 Veřejná správa – interní evaluace Genderová analýza investičních priorit OPZ (objednávka na základě průzkumu trhu) Pilotáž dotazníku do závěrečné monitorovací zprávy a vyhodnocení výsledků (interní studie) Odborná pracovní skupina k tvorbě Pomůcky pro zájemce o realizaci projektu v oblasti sociálních inovací OPZ (přímá objednávka)

8 Aktualizace EP OP LZZ 2015 Nově zahajované aktivity v r. 2015: Zpětná vazba příjemců (interní, 1. pol. 2015), Vytvoření metodiky pro sebeevaluaci individuálních projektů a její pilotáž (1. pol. 2015, VZMR - objednávka), Studie a analýzy dle momentálních potřeb.

9 Aktualizace Evaluačního plánu OP LZZ pro rok 2015

10 Probíhající evaluační aktivity v rámci OP LZZ

11 Externí evaluace OP LZZ – aktuální stav Dokončované: Ex-ante evaluace OPZ Sociální a inkluzivní podnikání v OP LZZ (3.1) Probíhající: Organizace evaluačně – expertních fokusních skupin OP LZZ 2010 Analýza sociálně vyloučených lokalit v ČR (gesce odd. 833) Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy Genderová analýza investičních priorit OPZ V přípravě: Vytvoření metodiky pro sebeevaluaci individuálních projektů a její pilotáž 11

12 Kombinované (interní + externí) evaluace 12 Probíhající: Evaluace projektu Vzdělávejte se pro růst! - pracovní příležitosti (2.1) Evaluace dopadů OP LZZ, oblast podpory 1.1, aktualizace v návaznosti na data z let 2012 a 2013

13 Interní evaluace OP LZZ – aktuální stav 13 Nově dokončené: Evaluace projektů zaměřených na vznik a provoz zařízení péče o děti předškolního věku (3.4) Probíhající: Hodnocení inovační výkonnosti a kapacit organizací v sociálních inovacích v ČR Evaluace PO 4 Veřejná správa Evaluace průběhu a výsledků pilotní výzvy na sociální inovace v oblasti podpory 3.1. OP LZZ Pilotáž dotazníku do závěrečné monitorovací zprávy a vyhodnocení výsledků V přípravě: Zpětná vazba příjemců

14 Šetření sociálně inovačních kapacit Cíl: získání kvalitních informací o současných sociálně inovačních kapacitách a inovačních řešeních v ČR (stanovení baseline a analýza problémů a potřeb v oblasti SI pro PO 3) Využití: 1.Zhodnocení vývoje inovačních kapacit v čase a zhodnocení vlivu podpory sociálních inovací na inovační kapacity 2.Nastavení podpory sociálních inovací v OPZ odpovídající inovační poptávce, nabídce a potřebám rozvoje inovačních kapacit Realizace ve dvou kolech: 1.kolo – dotazníkové šetření ( – ) 2.kolo – dotazníkové šetření a rozhovory s vybranými respondenty z 1. kola, kteří jsou relevantní pro SI (únor – květen 2015) 4 typy respondentů (4 typy dotazníků): -Tvůrci inovací – poskytovatelé prospěšných služeb (inovační nabídka) -Tvůrci inovací - podniky realizující společensky prospěšné aktivity -Poskytovatelé podpory (inovační poptávka) -Experti (podpora / hodnocení / propojení nabídky a poptávky)

15 Šetření sociálně inovačních kapacit Zjišťované informace (struktura dotazníku) 1.Inovační předpoklady organizace (typ, velikost, obor působení, zaměření, spolupráce s aktéry, evaluace / prokázání efektů aktivit) 2.Inovační aktivity (zda realizují inovace, inovační intenzita, typy, původ, efekty, příklady) 3.Nová řešení a jejich podpora (překážky, CS a jejich problémy vyžadující nová řešení (poptávka), role při řešení, témata / způsoby řešení (nabídka), vhodné nástroje a formy podpory. Respondenti: organizace a experti v oblasti zaměstnanosti a soc. začleňování + firmy Osloveno: respondentů Odpovědělo: Celkem 3918 (22%), úplné odpovědi 1560 (10 %) DB kontaktů: OP LZZ, OPVK, OPPA, obce, kraje, ÚP, AP, poskytovatele soc. služeb, vzdělávací organizace, NNO, experti (hodnotitelé), výzkumné a poradeské org., akademická pracoviště, SP, Nadace a fondy ad.

16 Šetření sociálně inovačních kapacit Výsledky 1. kola šetření Nízké (téměř nulové) kapacity a výkonnost sociálně inovačního ekosystému Tvůrci (inovační nabídka): většina dílčí zlepšení -zvyšování (spíše realizační než inovační) kapacity, standardní projekty, ostrůvky deviace (20): prokázané významné zlepšení (radikální inovace – PO 3 OPZ). CS: zdravotně postižení, senioři a starší osoby, děti a mládež Překážky: nedostatečné vnitřní finanční a lidské zdroje, omezenost systému, nízká inovační poptávka, Charakteristiky aktivit: nízká znalostní náročnost a rizika, omezený efekt, pouze sociální hodnota (ne ekonomická), omezená spolupráce, lokální efekty pro organizaci, pasivní příjemci, neznalost vnějších zdrojů, monitoring/reporting aktivit, výstupů, nikoli evaluace, tradiční aktivity (vzdělávání) a nástroje podpory (granty) Poskytovatelé podpory (inovační poptávka): 5% podíl podpory na inovace, 25% podíl u těch co podporují, 49 % respondentů nepodporuje inovace vůbec CS: nezaměstnaní, zdravotně postižení, bezdomovci, mládež, vězni, senioři Význam inovačně specifických postupů pří výběru a realizaci projektů nízký, témata s neměřitelnými efekty, tradiční témata (vzdělávání) a formy podpory (granty)

17 Evaluace projektu VSPRPP Vzdělávejte se pro růst! Pracovní příležitosti Zadání evaluace: srpen 2014 Cíl evaluace: vyhodnocení realizace projektu VSPRPP v letech 2012 a 2013, podpory nástrojů APZ: veřejně prospěšných prací (VPP) a společensky účelných pracovních míst (SÚPM) Evaluační design: kombinace interně a externě zpracovávané evaluace Harmonogram evaluace Přípravné práce + desk research: srpen – listopad 2014 Realizační fáze: listopad 2014 – květen 2015 Kompletace studie, formulace závěrů: červen 2015

18

19 Aktuální výsledky (evaluace VSPRPP) Vyhodnocení dotazníku pro zaměstnance ÚP ČR, ukázka části výstupů - výhody a nevýhody VPP

20 Evaluace výzev A4 a B5 - přístup Výzvy A4 a B5 (3.4) : Vybudování a provoz nových zařízení péče o děti Zjednodušené vykazování způsobilých výdajů; dotace dle dosažených výstupů / výsledků Cíle evaluace: Zhodnocení výzev dle kritérií účelnosti, úspornosti, dopadu (+ udržitelnosti) Stanovení doporučení pro obdobné výzvy (zejm. zjednodušené vykazování) Design: Realizátoři (jednorázový výzkum, komparace několika zkoumaných a jedné kontrolní skupiny (analýza dat z Monit7+, set dotazníků, fokusní skupina; vzorky různé) Cílová skupina: šetření při a po nástupu dítěte do zařízení (set dotazníků; vzorek 25%) Harmonogram: Srpen 2013 – leden 2015

21 Evaluace výzev A4 a B5 - výsledky Účelnost: Vytvořeno 221 (A4), resp. 385 míst – dosažení 9 %, resp. 20 % potenciálních výstupů výzev Problematické prvky: Krátká lhůta na přípravu projektových žádostí Nízká jednotkové podpory na vybudování a provoz zařízení; postupně se snižující dotace, nutnost čerpat plnou jednotkovou podporu na provoz Vysoká míra absence dětí vzhledem k požadované obsazenosti (nemocnost spojená s velkým počtem dětí do 3 let, dovolené) Úspornost: Systém zjednodušeného vykazování vhodný Nemožnost / neochota na straně realizátorů vynakládat vlastní prostředky Dopad: Podpořeno 817 rodin ( dětí) Zvýšení zaměstnanosti u 38%, resp. 52 % žen z relevantní části CS (310, resp. 425 osob) Zvýšení průměrných příjmů z Kč o 28 %, resp. 40 % Zvýšení spokojenosti – spokojeno dříve 42 % rodin, nyní 92 %)

22 Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy Dodavatel: konsorcium HOPE GROUP, s. r. o. a NAVIGA 4, s. r. o. Cena bez DPH: Kč Smlouva uzavřena: říjen 2014 Závěrečná zpráva (návrh): srpen 2015 Cíl evaluace: hloubkové vyhodnocení skutečných dopadů vybraných projektů z různých oblastí podpory OP LZZ na základě případových studií vč. terénních šetření souhrnné vyhodnocení (meta-analýza) již hotových a nových případových studií OP LZZ identifikace příkladů nejlepší, dobré a neosvědčené praxe a formulace doporučení pro nastavení projektů v rámci OP Zaměstnanost pro programové období

23 Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy Nové případové studie (rozpracovaná metodika)  vychází z theory based impact evaluation (nekontrafaktuální dopadová evaluace)  definováno 30 společných evaluačních otázek + několik specifických dle OP  taxonomie u sledovaných kategorií pro meta-analýzu a klastrovou analýzu  pilotní sledování efektů: creaming-off, lock-in efekt, alternativní atribuce, substituce, mrtvá váha  větší důraz na vyhodnocení účinnosti a hospodárnosti  multikriteriální hodnocení úspešnosti projektu (pilotně) Meta-analýza hotových a nových PS  nejčastější dopady vybraných projektů + míra úspěšnosti  faktory mající vliv na pozitivní a negativní dopady vybraných projektů  nejčastější překážky bránící pozitivním dopadům vybraných projektů  klastrová analýza (pilotně u nových PS) – dvojí aplikace

24 Pilotáž dotazníku do závěrečné monitorovací zprávy (interní) Dotazník určen primárně pro grantové projekty napříč oblastmi podpory (modifikace dotazníku), dotazník je neanonymní - odpovídají samotní příjemci dotace Cíle dotazníku: a) strukturované mapování výsledků a přínosů projektů b) identifikace hlavních překážek realizace c) zhodnocení úspěšnosti projektu a aktivit Využití dotazníku: a) komplexní obraz b) podklad pro návazné hloubkové evaluace c) vývoj definovaných ukazatelů v čase d) databáze projektů pro zpracování případových studií a prezentaci dobré praxe Struktura dotazníku: 1) Charakteristiky 2) Přínosy 3) Problémy a překážky 4) Zhodnocení úspěšnosti

25 Pilotáž dotazníku do závěrečné monitorovací zprávy (interní) Průběh realizace: 1. kolo pilotáže - osloveny grantové projekty končící od ledna do srpna 2014 oslovených projektů: 377 počet respondentů: 156 návratnost: 41 % Hlavní překážky: 1) nízká návratnost 2) u některých OP nedostatečný vzorek 3) rozsah dotazníku Závěr: zkrácená verze dotazníku se stane povinnou součástí ZMZ v OPZ, čímž se výrazně zvýší návratnost a reprezentativnost získaných dat

26 Informace o partnerských evaluačních aktivitách MMR-NOK OP VK OP PA OSF MV ČR

27 Sdílení zkušeností s přípravou EP na období a diskuse nad nimi Hlavní důrazy při tvorbě EP OPZ (draft) převažující interní evaluace systémovost při evaluaci GP (dotazník ZMZ) systémovost při evaluaci IP (metodika sebeevaluace) kvantitativní hodnocení (CIE – více interně) kvalitativní hodnocení (TBIE příp. stud. – více externě) účast EJ OPZ na šetřeních v terénu každoroční měření spokojenosti příjemců hloubkové procesní analýzy (FS, dotazníky atd.) specifické evaluace (inovace apod.)

28

29 Sdílení zkušeností s přípravou EP na období a diskuse nad nimi diskuze k možnosti společných evaluací za ESF (vyhodnocení synergií?)

30 Činnost PSE v r Připomínkování evaluačních výstupů a zadávacích dokumentací Návrhy výstupů: –Evaluace podpory sociálního a inkluzivního podnikání v OP LZZ – návrh závěrečné zprávy (únor 2014) –Ex-ante evaluace programového dokumentu ESF v gesci MPSV pro období – návrh závěrečné zprávy (červen 2014) Zadávací dokumentace –Evaluace dopadů a dobré praxe OP LZZ na základě případových studií a jejich meta-analýzy (červenec/2014) –Evaluace dopadu oblasti podpory 1.1 OP LZZ s využitím kvalitativních metod (červenec 2014)

31 Činnost PSE v r Aktualizace VPŘED O všech přijatých doporučeních a stavu jejich řešení informuje Veřejný plán řešení evaluačních doporučení (VPŘED) na Návrh poslední aktualizace VPŘED schválila PSE koncem Nyní probíhá finalizace a převod dokumentu do nové podoby.

32 Plánované aktivity PSE OP LZZ v r Připomínkování evaluačních výstupů, schvalování aktualizované verze VPŘED.

33 Celkové zhodnocení činnosti PSE OP LZZ 4. září 2008 – 1. jednání PSE Schvalování evaluačního plánu, schvalování projektu TP připomínkování evaluačních výstupů, rozvoj evaluačních kapacit.

34 Celkové zhodnocení činnosti PSE OP LZZ Původní koncepce PSE jako aktivní odborné platformy pro supervizi evaluačního procesu byla funkční především na počátku OP LZZ, nyní je překonaná. Příčinou je velká šíře a tematická pestrost evaluací OP LZZ, které vyžadují efektivnější a odbornější spolupráci v rámci užších a flexibilnějších platforem k jednotlivým evaluacím. Toto je trend, kterým se již ubíráme v současnosti a po dohodě s MMR-NOK ho budeme dále rozvíjet v období

35 Různé a závěr

36 Děkujeme za pozornost!


Stáhnout ppt "Pracovní skupina pro evaluace 12. setkání 9. února 2015 Praha."

Podobné prezentace


Reklamy Google