Principy, procesy a metody sebe-evaluace Prabir Ganguly EURO SERVICE GROUP, s.r.o. info@eurosg.com Seminář “Sebehodnocení projektu v rámci CIP EQUAL“, 27. března 2007, Ostrava Program Iniciativy Společenství EQUAL v ČR je spolufinancován ESF a státním rozpočtem ČR

Co je sebe-evaluace? 1/2 Sebe-evaluace není monitorování. Sebe-evaluace je strukturovaný proces systematického plánování, kontrolování (měření) a hodnocení výstupů / výsledků, nějaké činnosti / souboru činností / předmětu zájmu (míra jednotlivých principů CIP EQUAL) za účelem pochopení některých jevů, zejména ve vztahu k procesům a produktům. Tento proces vesměs používá vnitřní zdroje RP i když využívání služeb externích evaluátorů není vyloučeno. Sebe-evaluace není monitorování. Monitorování poskytuje informace o stavu naplnění výstupních indikátorů.

Co je sebe-evaluace? 2/2 Monitorovací údaje je nutné interpretovat (evaluovat) a někdy jsou základem pro další zkoumání. Proto je monitorování velmi užitečný startovací bod pro efektivní evaluaci. Monitorování lze provést bez evaluace, ale evaluace nelze provést bez monitorování. Evaluace využívá monitorovací údaje za účelem získání odpovědí na otázky typu: Co se stalo? Jak se to stalo? Proč se to stalo? Zda-li bylo dosaženo cíle?

Některé charakteristiky sebe-evaluace RP Sebe-evaluace vesměs používá vnitřních zdrojů RP, i když využívání služeb externích evaluátorů není vyloučeno Sebe-evaluace je průběžný a cyklický proces a výsledky lze použít pro zlepšení kvality projektu, RP a výstupů Rozsah sebe-evaluace lze určit dle potřeby RP ve vztahu k potřebám programu Sebe-evaluace RP poskytuje vstupní údaje pro hodnocení programu Kvalita sebe-evaluace je závislá na alokaci zdrojů, dovedností partnerů, členů projektového týmu apod.

Vztah sebe-evaluace k evaluaci CIP EQUAL 1/2 CIP EQUAL je evaluován ve třech úrovních : Předmět Odpovědnost Provedeno Projektová úroveň Rozvojová partnerství a činnosti partnerů RP (sebe-evaluace) RP+externí evaluátor (není povinné) Programová úroveň CIP EQUAL ČR + RP Řídící orgán Externí evaluátoři Evropská úroveň CIP EQUAL + CIP EQUAL v členských státech a jejich RP Evropská komise

Vztah sebe-evaluace k evaluaci CIP EQUAL 2/2 Realizace projektu Výstupy Dopady Sebe-evaluace RP Cíle Aktivity/ Akce Principy Implementace Výsledky sebe-evaluace RP Produkty /procesy

Tři úrovně sebe-evaluace Sebe-evaluace má tři úrovně: evaluace cílů, aktivit, výstupů, principů evaluace způsobů provedených aktivit, způsobů fungování RP, způsobů dosažených výstupů evaluace dopadů aktivit Sebe-evaluace na jakékoliv úrovni by měla mít na paměti základní záměr financování RP. Základním záměrem financování RP je, aby finanční prostředky byly využity pro testování, rozvíjení a rozšíření nových způsobů, metod a produktů za účelem obohacení politiky zaměstnanosti na národní úrovni i na úrovni EU, zejména v oblasti boje proti diskriminaci a nerovnosti na trhu práce.

Některé záměry sebe-evaluace Obecně sebe-evaluace je zaměřena na: výstupy a jejich srovnávání s plánovanými hodnotami, zjištění míry dosažení cílů, efektivitu výstupů ve vztahu ke vstupům, aktivity projektu ve vztahu k potřebám cílových skupin, zkušenosti s neplánovanými jevy, ať jsou pozitivní či negativní, udržitelnost po skončení finanční podpory.

Některé globální úkoly sebe-evaluace Hodnocení cílů projektu (Podařilo se nám dosáhnout původních cílů RP? Byl tento cíl relevantní ve vztahu k cílu CIP EQUAL?) Hodnocení produktů (Dokázali jsme vytvořit plánované inovativní nástroje v požadované kvalitě, aby odpovídaly cílům projektu a přispělo k cílům CIP EQUAL? Jaká je efektivita procesu při tvorbě a testování těchto produktů? Jaký může být dopad těchto produktů?) Hodnocení principů (Jaká je míra naplnění jednotlivých principů? Jaký je dopad procesu naplnění na konečné výstupy? ) Hodnocení horizontálních témat (Rovné příležitosti, Udržitelný rozvoj a Informační společnost) Hodnocení implementace projektu (Zejména řízení, zapojení klíčových aktérů apod.)

Některé výsledky sebe-evaluace V konečném důsledku sebe-evaluace poskytuje následující informace: Co funguje velmi dobře Co nefunguje tak dobře Kde je třeba učinit opatření Jaký má být rozsah a metodiky opatření. Sebehodnocení poskytuje tyto informace na základě čtyř typů základních otázek. Jsou to: Co se stalo? Jak se to stalo? Proč se to stalo? Byly splněny stanovené cíle?

KDO a KDY provádí sebe-evaluaci 1/2 RP využitím vnitřních zdrojů projektu Externí evaluátor RP + externí evaluátor KDY externí evaluátor? Volba mezi interním a externím evaluátorem závisí na : co chce RP evaluovat kdy chce evaluovat zda-li jde o průběžnou nebo závěrečnou evaluaci časová dispozice kompetentních osob nebo partnerů RP míra kompetence členů vnitřního evaluačního týmu RP dostupný zdroj

KDO a KDY provádí sebe-evaluaci 2/2 KDY se provádí sebehodnocení? Provádí se v rámci životního cyklu projektu / RP Doporučuje se provést průběžná sebe-evaluace při dosažení určitých milníků (např. ukončení Akce 1, ukončení analytické části projektu, ukončení tvorby a testování inovativních produktů, před zahájení Akce 3, po ukončení klíčové aktivity apod.) Konečná sebe-evaluace má být provedena během konečné fáze projektu, za účelem sumarizování zkušeností RP.

Komu jsou určeny výsledky sebehodnocení? Vedoucímu projektu Členům řídícího výboru projektu/pracovním skupinám Partnerům RP Vybraným členům cílových skupin NTS, NPS, ŘO Evropská komise Tvůrcům politik Ostatním zainteresovaným subjektům

Logický model projektu sebe-evaluace Strategie / plán realizace projektu Zdroj pro sebe-evaluaci Strategie sebe-evaluace Plán sebe-evaluace Realizace sebe-evaluačního projektu Výsledky sebe-evaluace

Metody sebe-evaluace 1/4 Základní způsob provedení sebe-evaluace spočívá v následujících krocích: Stanovení indikátorů úspěšnosti (performance indicators) ve vztahu k evaluačnímu předmětu. Jde o stanovení výstupních i procesních indikátorů. Stanovení potřeb dat, zjištění zdrojů dat a stanovení metod sběru dat Sběr a zpracování dat ve vztahu k zadáním (úkolům a otázkám). Je nutno vytvořit podotázky Analýza a syntéza dat Zpracování, závěry a doporučení

Metody sebe-evaluace 2/4 Jednoduchá matice stanovení indikátorů úspěšnosti Aktivita Cílová hodnota Výstupní indikátor Procesní indikátor Metody pro získání informací Rozvoj tréninkového programu Kvalita, relevance, udržitelnost Externí oponentní posudek, názory účastníků Realizace kurzů 5 Počet realizovaných kurzů Kvalita výuky Projektová dokumentace, dotazník, pohovor Inovativní prvky 6 Relevance, udržitelnost, prosaditelnost Průběžné sebehodnocení, externí hodnocení, názor cílových skupin Mezinárodní spolupráce Realizace pilotních modulů v partnerských zemích Smlouva, projektová dokumentace Analýza nákladů/užitků, kvalita relevantních materiálů Interview zúčastněných, interview s účastníky, školiteli Poradenství 200 Počet klient/hodin Kvalita/relevance, spokojenost účastníků Hospitace, průběžné/ex -post dotazníky

Metody sebe-evaluace 3/4 Nástroje ke sběru dat: Studium souvisejících dokumentů (zápisy, DPA, TCA, programové dokumenty apod.) Dotazníkový průzkum (pomoci otevřených i uzavřených otázek) Případová studie (individuální řízený pohovor se subjekty, zejména partnery, členy cílových skupin apod.) pomoci strukturovaných otázek Skupinová diskuse (setkání fokusních skupin, workshopy, brainstorming) Peer review (odborný posudek ve vztahu k produktům či procesům) Pozorování (zejména účastníků procesů či aktivit) Testování (zejména inovativních produktů)

Metody sebe-evaluace 4/4 Struktura sebe-evaluační zprávy: Úvod Kontext a cíle evaluace Stručný popis o DP, včetně procesu vzniku Dosavadní pokroky a problémy (evaluace realizačních aktivit, naplnění principů apod.) Hlavní závěry (očekávaný vývoj, směr pokroku, problémů) Doporučení (akční plán)

Děkujeme za pozornost Prabir Ganguly EURO SERVICE GROUP, s.r.o.