Aplikace Hodnotícího rámce OECD v Kraji Vysočina a v MAS Přemyslovské střední Čechy Name Lenka Sekyrová Roman Pazderník Date20. září 2010

Hodnotící rámec OECD CO JAKPROČ Hodnotící rámec OECD Pilotní projekt Spolupráce, semináře, osobní nasazení - Co je hodnotící rámec - Co nabízí a co vyžaduje - Jaký je potenciál? - Co je nejpřínosnější? - S čím začít? - Proč by to stálo za to? - Co přinese pracovníkům? - Jak získat politickou podporu?

Hodnotící rámec OECD 2009: Experti OECD zpracovali publikaci „A Strategic Evaluation Framework for Local Development Strategies in the Czech Republic“ = Hodnotící rámec OECD 2010: Aplikace Hodnotícího rámce OECD v pilotních regionech Kraj Vysočina (RegioPartner) a MAS Přemyslovské střední Čechy (DHV CR) Řízení projektu – DHV CR

Hodnotící rámec OECD 1.Zpráva – zkušenosti vyspělých zemí 2.Návod – metodika přístupu k hodnocení péče o regionální strategie v ČR

Hodnotící rámec OECD

I. Analýza strategických dokumentů Fáze a oblasti evaluaceV rámci Návodu 1. Předběžná evaluaceStr Definice cílů strategií 1.2 Identifikace variant pro intervenci 1.3 Oceňování očekávaných dopadů 1.4 Využití výsledků apriorního ocenění 1.5 Implementace strategie místního rozvoje 1.6 Informační systémy 2. Průběžná evaluaceStr Analýza výsledků předchozích hodnocení 2.2 Analýza relevance apriorního ocenění 2.3 Hodnocení průběžné relevance a konzistentnosti 2.4 Kvantifikace výstupů, výsledků a dopadů 2.5 Hodnocení efektivity a účinnosti 2.6 Kvalita implementace a monitoringu 3. Následná evaluaceStr Dokumentace a poznávání 3.2 Konfrontace výsledky vs. potřeby 3.3 Přístup a metoda hodnocení 3.4 Závěrečná zpráva

I. Analýza strategických dokumentů KritériumPROČCOJAK – MAS PSČ 1.3 Kvalita ocenění očekávaných dopadů Stanovení konkrétních cílů a kvantifikovatelných kritérií hodnocení (3.3.1) - Pokud se na začátku nestanoví kritérium úspěchu, bude velmi těžké úspěšnost strategie vyhodnotit; - Indikátory také umožní vyhodnotit intervenční logiku Systém indikátorů na úrovni výstupů, výsledků a dopadů - původně nebyl vytvořen systém indikátorů - LEADER přinesl indikátory na úrovni výstupů - intuitivní subjektivní hodnocení a aktualizace analýzy území Ověření dostatečnosti finančních a lidských zdrojů a datového zázemí pro evaluaci (3.3.2) Ani kvalitní systém indikátorů nesplní svoji funkci, pokud chybějí zdroje na jeho realizaci Analýza náročnosti evaluace a pokrytí „rozpočtu“ finančních, lidských a datových zdrojů - Protože nebyl konkretizován systém evaluace, nebyla provedena ani analýza zdrojů Hodnotící tabulka

I. Analýza strategických dokumentů Evaluační devatero

I. Analýza strategických dokumentů Hodnocení strategických dokumentů: 1.Děláme správné věci? 2.Děláme věci správně? Příběh aplikace strategického dokumentu Formální struktura vs. „selský“ rozum Appraisal – jádro evaluace

II. Hodnocení hodnotícího rámce

Kulturní kontext – procesní a improvizační Slabiny „xerox“ přístupu ke zkušenostem zemí OECD Přidaná hodnota kritérií – selektivita vítána Formulace kritérií – narativní forma popisu a hodnotící tabulka

II. Hodnocení hodnotícího rámce

Závěry 1.Pramen - Hodnotící rámec OECD Prováděcí dokumenty – kuchařky Sjednocení metodologie – indikátory Revize překladu do ČJ 2.Příjemci Semináře Případové studie

Program rozvoje kraje Vysočina -vznik v r standardní struktura: socioekonomická analýza  SWOT analýza  programová část -určuje komplexní směry pro rozvoj kraje bez ohledu na konkrétní nástroj realizace -hlavní nástroje: Fond Vysočiny (vznik v r. 2002) – prostředky pro rok 2009 cca 78 mil. Kč; Zásady Zastupitelstva kraje Vysočina -další nástroje: Program obnovy venkova, regionální inovační strategie, SF EU, aj.

Evaluační aktivity PRK Vysočina -evaluace nejsou cíleně prováděny -rysy evaluační činnosti má však vyhodnocování programu pracovníky Odboru regionálního rozvoje -zpracovávání Závěrečných zpráv o čerpání prostředků FV -v současnosti aktualizace programové části – probíhá vyhodnocování s rysy ex post evaluace -nejsou ucelené evaluační zprávy, chybí povědomí o evaluačních nástrojích a metodách – hodnocení probíhá intuitivně a nesystematicky na základě zkušeností pracovníků

Dílčí zjištění -nositeli zájmu o evaluace jsou v současností pracovníci Odboru regionálního rozvoje KÚ kraje Vysočina -angažovanost politické reprezentace je však nízká -celkově chybí povědomí o přínosech a cílech evaluace, nástrojích a metodách

Dílčí zjištění -PRK Vysočina je multinástrojový program – neexistuje jeden nástroj a finanční zdroj, kterým by byly naplňovány jeho cíle -do značné míry ztěžuje vyhodnocení úspěšnosti realizace -měl by být zajištěn detailní přehled o intervencích realizovaných prostřednictvím všech dotčených nástrojů a vytvořen systém zajišťující srovnatelnost vynaložených prostředků a přínosů intervencí

Dílčí zjištění -PRK Vysočina nemá vytvořenou soustavu indikátorů kvantifikující cíle a umožňující monitorovat a hodnotit jejich plnění -sledovány a vyhodnocovány jen finanční ukazatele a počty projektů  neumožňuje hodnotit věcný pokrok -limitujícím faktorem je roztříštěnost nástrojů – obtížné zajištění srovnatelnosti výstupů, výsledků a dopadů

Dílčí zjištění -nejvíce je kladen důraz na ex post evaluaci, která je vnímána jako nejsmysluplnější X nejmenší povědomí je o potřebnosti a podobě ex ante evaluace -přínosy evaluace zčásti supluje intenzivní spolupráce a konzultace s klíčovými aktéry v regionu při vytváření a aktualizaci programu i přípravě jednotlivých grantových programů

Dílčí zjištění -implementační systém je formalizovaný a hodnocen jako funkční, je stanoven status a funkce jednotlivých orgánů X rizikem může být absence orgánu, který by koordinoval naplňování PRK prostřednictvím všech nástrojů, a roztříštěná implementace grantových programů jednotlivými odbory KÚ -z pohledu intervenční logiky chybí provázanost mezi analýzou a programem v identifikaci klíčových problémových oblastí, návrhu vize a globálního cíle

Strategie rozvoje MAS Přemyslovské střední Čechy -Strategie rozvoje MAS Přemyslovské střední Čechy – primární dokument analýzy, časový záběr do Programový dokument „Návrat přátelské krajiny“ -Následné zapojení do Strategického plánu LEADER V současné době probíhá průběžné hodnocení a aktualizace

Dílčí zjištění -Edukativní funkce programu LEADER MAS byla „otevřená“ edukativnímu potenciálu LEADER a převzala řadu šablon pro nastavení procesů strategického plánování Došlo k výraznému zkvalitnění procesů formulace, řízení i monitoringu strategie

Dílčí zjištění -„Ownership“ strategie a její kontroly Fáze silnějšího ownershipu vystřídala dočasně fáze ochladnutí zájmu a uvolnění vztahu aktivit MAS s programovými dokumenty V současné době návrat k původnímu kurzu a zlepšování procesů Odpoutání od strategie a jejího plnění by systematické nastavení hodnotících pravidel patrně podstatně eliminovalo

Dílčí zjištění -Nedostatečná formalizace a systémovost Hodnotící aktivity probíhají a poskytují důležitou zpětnou vazbu strategii Aktivity jsou do značné míry nesystematické a intuitivní, probíhají díky osobnímu nasazení managementu MAS Zpětně dochází k systematizaci, stabilita je však závislá na setrvání klíčových pracovníků

Dílčí zjištění -Nedostatečná kvantifikace cílů Nedostatečná kvantifikace na úrovni priorit a strategické vize Fungují pouze základní indikátory výstupů Nelze tak objektivně činit závěry v oblasti kvality intervenční logiky či stupně naplnění cílů strategie

Otázky k diskusi -Pociťují pracovníci z regionů nedostatek know-how při hodnocení naplňování svých strategií? -Jaké by byly přínosy zavedení základního systému předběžného, průběžného a následného hodnocení strategie a jejího plnění? -Pokud jsou přínosy pozitivní, kudy vede cesta k zavedení hodnotícího systému a jaké jsou předpokládané překážky?