Český Šternberk - 20.1. 2015 Mgr. Miloslav Oliva Projekt spolupráce „Evaluace a monitoring strategií MAS ve Středočeském kraji“ Český Šternberk - 20.1. 2015 Mgr. Miloslav Oliva

Cíl tematického okruhu Seznámit posluchače s problematikou monitorování a hodnocení strategických plánů a projektů realizovaných v oblasti regionálního rozvoje. Získat teoretické poznatky, které se vážou k problematice monitoringu a hodnocení strategických dokumentů Prakticky si procvičit přípravu a využití monitorovacího a hodnotícího rámce strategického dokumentu

Obsah a plán okruhu (1) Obsah Leden – MAS Posázaví, Český Štenberk, 20.1. 2015 Úvod do problematiky – vysvětlení návrhu obsahu projektu, principy spolupráce na projektu (1 zkušená MAS vede 1 novou MAS, kt. nerealizovala SPL), výstupy Vymezení pojmů monitoring a hodnocení (evaluace) Hodnotící otázky a indikátory Nástroje a metody užívané při hodnocení Zadání přípravy/úkolů na další setkání vč. výběru vhodného SPL dle dohody   Únor Konkrétní ukázky hodnocení interim SPL 2007 – 2013 (tzv. střednědobé hodnocení MAS realizujících IV.1.1 a IV.1.2) Případová studie - společné vzorové hodnocení Ex post SPL Zadání přípravy/úkolů na další setkání Březen Hodnocení Ex post SPL jednotlivých MAS (příprava podkladů pro povinná Závěrečná hodnocení SPL) => => Výběr a zobecnění vhodných příkladů dobré praxe a doporučení pro monitoring a evaluaci („výstupy“) Zadání přípravy/úkolů na další setkání 

Obsah a plán okruhu (2) Duben   Duben Zpracování výstupů z března do podoby Metodických doporučení Přílohy – grafy, tabulky, vzájemná porovnání dílčích částí SPL různých MAS, inspirativní řešení, případové studie Definování min. 10 ukazatelů pro nastavení účinného mechanismu monitoringu a evaluace s možností využití pro SCLLD Zadání přípravy/úkolů na další setkání Květen Společná finalizace doporučující Metodiky monitoringu a evaluace Strategií MAS Příprava na závěrečný workshop vč. přípravy prezentace Metodiky Společné závěrečné zhodnocení projektu Spolupráce (na základě dotazníků pro zpětnou vazbu)

Vymezení pojmu monitoring a hodnocení (evaluace)

Monitoring a hodnocení Monitoring = proces, který používáme k tomu, abychom mohli sledovat co se děje prostřednictvím sběru a analýzy informací, zatímco podstatou hodnocení je poskytovat základ pro vytvoření úsudku, který se rozhoduje mezi ANO a NE. Hodnocení vyžaduje zaujetí stanoviska. K dobrému hodnocení je zapotřebí mít dobrý monitoring (t.j. přístup k dobrým, spolehlivým a aktualizovaným údajům), zatímco hodnocení může napomoci k lepšímu zaměření monitorovacího úsilí. Monitoring je pokračováním funkce, která používá systematický sběr dat o sledovaných ukazatelích s cílem zajistit řízení programu/strategie/projektu a informovat tak hlavní zúčastněné strany o průběhu rozvojové podpory a o rozsahu pokroku při dosahování cílů ve využívání přidělených finančních prostředků.

Hodnocení obecně Hodnocení (evaluace) se provádí v mnoha oborech lidských činností. Hodnotit lze téměř všechno, včetně hodnotitele … Hodnotitelé by se vždy měli snažit dosáhnout toho, aby vytvořili dostatečnou argumentační základnu proto, aby na ni byli schopni co nejlépe vysvětlit podstatu hodnot či jevů, které jsou předmětem jejich hodnotitelských aktivit.

Hodnocení obecně 5 základních principů pro hodnotitele: systematické dotazování způsobilost (vzdělání, schopnosti, dovednosti a vhodné zkušenosti) bezúhonnost a poctivost respekt k lidem respekt k rozmanitosti obecných a veřejných zájmů a hodnot

Definice hodnocení Hodnocení ... může být definováno jako hodnota práce vykonaná v průběhu času ... konkrétně jde o posouzení toho, zda bylo skutečně dosaženo stanovených cílů, proč jsou některé aktivity úspěšnější než ostatní , a jak může být strategie zlepšena. Hodnocení je proces, jehož cílem je zjistit co nejsystematičtěji a co nejobjektivněji, jak jen to je možné, vhodnost, účinnost a dopad jednotlivých akcí ve vztahu ke stanoveným cílům Hodnocení je systematické a objektivní posuzování postupu způsobu realizace a výsledků probíhajících nebo ukončených projektů nebo programů. Cílem je určit správnost a naplnění cílů, efektivitu vývoje, účinnost, dopad a udržitelnost Hodnocení je kritický a nezávislý přezkum prostředků, prostřednictvím kterých bylo dosaženo zvolených cílů Hodnocení je systematická .... analýza výkonnosti, efektivity a dopadu ve vztahu k vytyčeným cílům, ovšem hlavním účelem hodnocení není dospět k odsuzujícímu rozsudku, ale naopak vyvodit z nabitých zkušeností poučení a to použít pro stanovení dalšího postupu.

Co je účelem hodnocení? Poučení ze získaných zkušeností. Hodnocení vytváří prostor pro interpretaci úspěchů i neúspěchů. Na základě kladných i záporných zkušeností mohou být následující projekty/ strategie/ programy upraveny. Poučit se lze o tom, jak co nejlépe investovat finanční prostředky, které jsou k dispozici, aby byly co nejlépe při realizaci programu/ strategie/projektu zhodnoceny. Poučit se mohou realizátoři programu, strategie nebo projektu o tom jak dosahovat při stejných vstupech vyšší výkonnosti a efektivity při dosahování vytyčených cílů. Transparentnost. Hodnocení dokladuje odpovědné využívání zdrojů a zdůvodňuje výsledky a jejich účinky ve vztahu vůči zhotovitelům, partnerům, cílovým skupinám tj. příjemcům intervence a daňovým poplatníkům, kteří finanční prostředky na realizaci programu, strategie nebo projektu poskytují . Prohlubování porozumění. Hodnocení je nástrojem, který přispívá k prohlubování znalostí a porozumění o předpokladech, možnostech a limitech rozvojové spolupráce. Hodnocení přispívá k široké diskusi a reflexi o rozvojové spolupráci. Lepší komunikace. Hodnocení podporuje komunikaci a porozumění v rámci a mezi realizátory, partnery, cílovými skupinami tj. příjemci intervence a daňovými poplatníky výše zmíněných skupin.

Hodnocení v čase Hodnocení probíhá v čase. Hodnocení může probíhat ve vztahu k realizaci programu/ strategie/projektu v různých časových obdobích: před zahájením realizace programu, strategie nebo projektu (Ex-ante) v průběhu realizace programu, strategie nebo projektu (Interim) po ukončení realizace programu, strategie nebo projektu (Ex-post) v delším časovém odstupu po ukončení realizace programu, strategie nebo projektu

Hodnocení kritérií V průběhu předběžného hodnocení (Ex-ante) se hodnotí zejména kritérium relevantnosti, průběžné hodnocení (Interim) je zaměřeno na posouzení kritéria účinnosti a ekonomické efektivnosti hodnocení, které se provádí po ukončení intervence (Ex-post), se zaměřuje na vyhodnocení kritéria prospěšnosti a udržitelnosti

Hodnotící kritéria Hodnocení probíhá na základě ověření 5 hodnotících kritérií: Relevantnost (Platnost) Účinnost Ekonomická výkonnost (Efektivnost) Prospěšnost (Dopad) Udržitelnost

Relevantnost (Platnost) Hodnotíme, zda cíle (globální, specifické a operační), které byly definovány  během procesu programování, jsou v souladu se  sociálními, ekonomickými a environmentálními potřebami cílové oblasti tj. zda jsou naplňováním vytyčených cílů programu/strategie/projektu vytvářeny vhodné podmínky pro tlumení nebo odstraňování příčin, které identifikované problémy způsobily, stále působí nebo působit mohou.

Hodnotící otázky při posuzování kritéria relevantnosti: Děláme správnou věc ? Jak významné jsou cíle programu /strategie/projektu s ohledem na rozvojové potřeby cílového území? Jak důležité jsou cíle programu/strategie/projektu s ohledem na rozvojové potřeby cílových skupin obyvatel daného území? Do jaké míry jsou naplňovány základní požadavky stanovené cíli programu/strategie/ projektu při odstraňování příčin řešených problémů?

Účinnost Při hodnocení kritéria účinnosti se zabýváme tím, zda bylo dosaženo stanovených cílů programu /strategie/ projektu. Porovnáváme to, co bylo původně naplánováno s tím, čeho bylo nebo bude na úrovni výsledků a případně dopadů dosaženo. Posuzuje do jaké míry bylo dosaženo nebo se očekává, že bude dosaženo, stanovených cílů programu/strategie/projektu efektivně a s udržitelným způsobem a s pozitivním institucionálním rozvojovým dopadem. Porovnání se provádí zejména na úrovni: výsledek <- > plánovaný výsledek.

Hodnotící otázky při posuzování kritéria účinnosti: Bylo dosaženo stanovených cílů programu/strategie/projektu? Jaké účinnosti nebo dopadů bylo dosaženo realizací stanovených cílů, které byly stanoveny pro tento program /strategii/projekt ? Do jaké míry bylo cílů intervence (s největší pravděpodobností) dosaženo? Do jaké míry se podařilo uspokojit potřeby cílových skupin obyvatel?

Ekonomická výkonnost (efektivnost) využíváme pro hodnocení efektivnosti vynaložených finančních zdrojů (vstupů), kterých bylo využito na dosažení výstupů a výsledků posuzujeme zejména poměry, kterých bylo dosaženo na úrovni vložené vstupy - dosažené výstupy a vložené vstupy – dosažené výsledky jak hospodárně jsou ekonomické zdroje, tj. vstupy (finanční prostředky, odborné znalosti, čas apod.) transformovány na výstupy a výsledky hodnoceného programu/strategie/projektu

Hodnotící otázky při posuzování kritéria ekonomické výkonnosti (efektivnosti): Bylo dosaženo cílů programu/strategie/projektu efektivně tj. za ekonomicky výhodných podmínek (při dodržení podmínek hospodárnosti)? Jak efektivně se vstupy projevily na výstupech a výsledcích? Jak velká je účinnost nebo využití použitých zdrojů v poměru k výstupům a výsledkům? Je vztah mezi vstupními zdroji a dosaženými výsledky vhodný a oprávněný ? Jakého bylo dosaženo poměru mezi náklady a přínosy? Do jaké míry byly vložené zdroje použity hospodárně? Existují nějaké alternativy pro dosažení stejných výsledků při nižších vstupech?

Prospěšnost (dopady) V rámci kritéria prospěšnosti hodnotíme zda dopady, které se projevily na základě realizace programu /strategie/projektu odpovídají potřebám společnosti a napomáhají při odstraňování příčin sociálních, ekonomických a environmentálních problémů. Hodnoceny by měly být také dopady (účinky), tj. pozitivní – negativní, přímé – nepřímé, primární dlouhodobé – sekundární dlouhodobé, které byly předvídány nebo k jejichž vzniku došlo bez předchozího úmyslu, tj. působením nepředvídaného vlivu dalších faktorů tzv. externalit.

Hodnotící otázky při posuzování kritéria prospěšnosti: Přispěl program/strategie/projekt k dosažení vyšší úrovně rozvojových cílů (pokud možno celkového cíle)? Co lze považovat za dopad či účinek zásahu v porovnání k celkové situaci cílové skupiny? Jak se dopady programu /strategie/projektu uplatnily při plnění rozvojových potřeb cílových skupin? K jakým zásadním změnám došlo v důsledku realizace programu/strategie/projektu? K jakým zásadním změnám došlo v důsledku vykonaných aktivit na straně příjemců? U kolika lidí došlo v důsledku realizace programu /strategie/projektu k zásadním změnám v jejich životě?

Udržitelnost Hodnotíme schopnost operačních dopadů programu /strategie/projektu přinášet další efekty ve středním nebo dlouhém časovém období a to i poté, co byla podpora ukončena. Hodnotíme tedy, zda příliv přínosů pokračuje, i když už byla převážná část programu/strategie/ projektu dokončena. Hodnotíme pravděpodobnost pokračování dlouhodobého přínosu a také zda se citlivost čistého výnosu nebo užitku na změnu v čase mění. Přitom čím delší časový horizont budeme uvažovat, tím je schopnost naší predikce těchto změn menší a tím větší lze předpokládat citlivost výnosu na změny.

Hodnotící otázky při posuzování kritéria udržitelnosti: Jsou pozitivní účinky nebo dopady programu/strategie/projektu udržitelné? Jak je udržitelnost posuzována? Jak udržitelné jsou pozitivní dopady programu /strategie/projektu poté, co byla podpora ukončena ? Do jaké míry napomáhají udržitelnosti programu /strategie/projektu místní podmínky? Do jaké míry lze očekávat další růst dopadů, ačkoliv již byla podpora ukončena? Do jaké míry vzala v úvahu podpora takové faktory jako např. ekonomické, ekologické, sociální a kulturní aspekty, o kterých je známo, že mají zásadní vliv na udržitelnost?

A na závěr …