Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (IPN Metodika) Jitka Moravcová Setkání děkanů chemických fakult

2 Strategické dokumenty VaVaI a IPN projekt Metodika Reforma systému výzkumu, vývoje a inovací, usnesení vlády č. 287, 26. března Institucionální podpora Rozdělování poskytovatelům podle výsledků za posledních 5 let Na úrovni rozpočtových kapitol jednoduché kritérium Na úrovni poskytovatelů musí vycházet z hodnocení kvality mezinárodně uznávanou a používanou metodikou Pro VO zabývající se plně nebo převážně výzkumem je to RAE V rámci jednotlivých rozpočtových kapitol bude možné měnit rozdělení financí podle detailnějšího hodnocení výzkumných organizací za použití mezinárodně osvědčených metodik, jehož výsledky budou zveřejněny.

3 Strategické dokumenty VaVaI a IPN projekt Metodika Národní politika výzkumu, vývoje a inovací ČR na léta 2009 – 2015, usnesení vlády č. 729, 8. června 2009 Cíl 3: Zvýšit efektivitu sytému veřejné podpory Cíl 4: Využívat výsledky VaV v inovacích a zlepšit spolupráci veřejného a soukromého sektoru ve VaVaI. Cíl 5: Zlepšit zapojení ČR do mezinárodní spolupráce VaVaI Cíl 9: Důsledně hodnotit systém VaVaI – zavést systém kontinuálního hodnocení VaVaI v ČR na všech úrovních, který bude zajišťovat dostatečnou efektivitu prostředků investovaných do VaVaI

4 Strategické dokumenty VaVaI a IPN projekt Metodika Národní politika výzkumu, vývoje a inovací ČR na léta 2009 – 2015, usnesení vlády č. 729, 8. června 2009 Opatření A 9-2: dopracovat metodu hodnocení výsledků VaV a zavést periodické, systematické a objektivní hodnocení systému podpory VaVaI v ČR na všech úrovních je nezbytné přejít od doposud převažujícího administrativního hodnocení k hodnocení výsledků a dopadů podpory dosažení excelence českého VaV, využitelnost výsledků VaV v praktických aplikacích a růst konkurenceschopnosti, kvality života a rozvoj společnosti Opatření A 9-3: systém VaVaI na národní úrovni zhodnotit se zapojením renomované zahraniční organizace (IPN MŠMT Mezinárodní audit)

5 Strategické dokumenty VaVaI a IPN projekt Metodika Strategie mezinárodní konkurenceschopnosti na období , usnesení vlády 713, 27. září 2011 Systémovým problémem financování VaV z veřejných prostředků je nevyhovující systém hodnocení výzkumných organizací a s tím spojené institucionální financování hodnocení výzkumných organizací s cílem přispívat ke zvyšování jejich efektivity, hodnocení výzkumných programů a kontrola kvality při jejich realizaci, je nezbytné přejít od doposud převažujícího administrativního hodnocení k hodnocení výsledků a dopadů podpory dosažení excelence českého VaV, využitelnost výsledků VaV v praktických aplikacích a růst konkurenceschopnosti, kvality života a rozvoj společnosti

6 Strategické dokumenty VaVaI a IPN projekt Metodika Strategie mezinárodní konkurenceschopnosti na období , usnesení vlády 713, 27. září 2011 Součástí SMK je Projekt 39 Prostředí pro excelentní VaV, který je v gesci MŠMT a spolugesci GA ČR a TA ČR s počátkem řešení 2011 nový systém hodnocení VO postavený na dobré praxi ze zahraničí s dopady na institucionální financování zkvalitnění systému hodnocení projektů a programů veřejné podpory VaV zvyšování odborné kvalifikace pro manažerské řízení výzkumných organizací dlouhodobá podpora špičkových infrastruktur VaVaI hodnocení výzkumných organizací s cílem přispívat ke zvyšování jejich efektivity

7 Strategické dokumenty VaVaI a IPN projekt Metodika Národní inovační strategie, usnesení vlády č. 77, 26. ledna 2011 (MŠMT + MPO) Prioritní osa „Excelentní výzkum“ obsahuje opatření Efektivní využívání veřejných prostředků na VaV zajistit dlouhodobý koncepční rozvoj VO, pro které musí být vytvořeny jasné a stabilní podmínky pro rozdělování institucionální podpory výzkumu na základě hodnocení podporujícího excelenci hodnocení všech programů účelové podpory musí být založeno na základě hodnocení skutečných přínosů a zejména dopadů podpořeného VaV ustanovit systém hodnocení velkých výzkumných infrastruktur

8 Strategické dokumenty VaVaI a IPN projekt Metodika Dlouhodobé principy hodnocení výsledků VO přijaté RVVI, 2011 Pojem tzv. „malého“ a „velkého“ hodnocení Předpokládá se vznik „velkého“ hodnocení, které na základě výstupů IPN oborově specifických metodik může být do jisté míry obdobou britského systému RAE/REF. Hodnocení bude technicky zajišťovat jediná, k tomu určená instituce. Její právní postavení bude zajišťovat nezávislost, absenci konfliktů zájmů, profesionalitu, materiální a personální zázemí. Na hodnocení musí být v rozpočtu pro VaV explicitně vyčleněny prostředky jako x% celkového objemu institucionálních prostředků. Výsledky a informace předkládané VO pro hodnocení budou podrobeny transparentní a kompletní verifikaci hodnotící institucí.

9 Strategické dokumenty VaVaI a IPN projekt Metodika Dlouhodobé principy hodnocení výsledků VO přijaté RVVI, 2011 Pojem tzv. „velkého“ hodnocení Bude vycházet především z výsledků IPN. Hodnocení bude realizováno jednou za např. 5–6 let. Hlavní účely velkého hodnocení budou dva: opora pro alokaci institucionálních prostředků a informace o výkonnosti VO a oborů. V každém oboru budou hodnoceny VO, které se budou ucházet o institucionální prostředky, tedy bez ohledu na jejich poskytovatele. Hodnocení formou peer-review budou realizovat panely s min. 50% zastoupením zahraničních odborníků. Velké hodnocení bude mít tři dimenze: (i) vědecké výsledky, (ii) společenský dopad, (iii) výzkumné prostředí. a kompletní

10 Strategické dokumenty VaVaI a IPN projekt Metodika Výsledky mezinárodního auditu, IPN MŠMT Audit Metodika hodnocení VO by měla být nahrazena systémem kombinujícím objektivní indikátory a posuzování nestrannými zahraničními kolegy. Institucionální financování nepřidělovat mechanicky podle spočítaných bodů, ale na základě dvou principů: rozpočet podle předpisu a výkonnostních smluv obsahujících retrospektivní i prospektivní složku. Hodnotící postupy by tedy měly být od základu reformovány, pozornost by se měla přenést kromě výstupů i na důsledky a dopady. Hodnocení by mělo přispívat také k plánování a vývoji politik a programů. Institucionální financování může/nemusí být navázáno na výsledky hodnocení.

11 Implementace Nový IPN projekt, – Efektivní systém hodnocení a financování výzkumu, vývoje a inovací (Metodika) Informační podpora, tis. Kč Systém hodnocení, tis. Kč Systém institucionálního financování, tis. Kč Velké pilotní ověření, tis. Kč Institucionální podpora, tis. Kč Harmonogram pro přechodné období a návrhy legislativních změn, tis. Kč Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí, tis. Kč Projekt celkem tis. Kč

12 Dozorčí rada projektu Předseda: Mgr. et Mgr. Tomáš Hruda, náměstek ministra Rada pro výzkum, vývoj a inovace RNDr. Zdeněk Havlas, DrSc. Akademie věd České republiky prof. Ing. Jiří Čtyroký, DrSc. Asociace výzkumných organizací Ing. Josef Kašpar Česká konference rektorů (a KHV) prof. RNDr. Zdeněk Němeček, DrSc. Grantová agentura České republiky prof. RNDr. Bohuslav Gaš, CSc. Ministerstvo průmyslu a obchodu Ing. Martin Štícha Ministerstvo školství, mládeže a tělovýchovy Ing. Jiří Burgstaller Rada veřejných výzkumných instituci aplikovaného výzkumu prof. Ing. Karel Pospíšil, Ph.D, MBA Rada vysokých škol doc. Ing. Jakub Fischer, Ph.D. Technologická agentura České republiky prof. Ing. Petr Zuna, CSc., doc. Dr. Ing. Vladimír Kebo

13 Proč potřebuje ČR hodnocení?  Zajištění informací pro posílení efektivity řízení a strategického rozhodování.  Pravidelné vyhodnocování vědecké výkonnosti a fungování institucí, které realizují výzkum a nárokují si veřejnou institucionální podporu.  Srovnání kvality všech HJ vůči světové úrovni a standardům (dnes není k dispozici)  Informace o využívání a potřebnosti velkých a nákladných výzkumných infrastruktur (dnes není k dispozici)  Srovnání hodnocených jednotek (HJ) v oborech v ČR (dnes není k dispozici)

14 Proč potřebuje ČR hodnocení? Kvalitní - Kvalitativní - Kvantitativní informace a zpětná vazba (dnes není k dispozici) pro:  vědce, týmy, katedry (motivace, personální politika)  součásti VŠ a ústavů AV (strategie, dtto)  poskytovatele (dohled, strategické řízení)  RVVI a vládu (strategické usměrňování, stanovení priorit)  podnikatelské subjekty (hledání partnerů)  zájemce o studium (hledání kvality)  veřejnost – daňové poplatníky (nakládání s veřejnými prostředky)  zahraniční subjekty (hledání partnerů)

15 Struktura zdrojů VVŠ pedagogika/VaV Zdroj: výroční zprávy za rok 2011

16 Smluvní výzkum VaV Zdroj: výroční zprávy za rok 2011 tis. Kč tis. Kč/přepočtený pracovník

17 Dotace ze 7. RP Zdroj: výroční zprávy za rok 2011 tis. Kč tis. Kč/přepočtený pracovník

18 Prodej licencí Zdroj: výroční zprávy za rok 2011 tis. Kč

19 Metodika 2013 (platná ) Metodika 2013 hodnotí výstupy nikoliv výzkumné organizace  Pilíř I: Metodika 2012 s peer-review hodnocením knih, kapitol, článků v neimpaktovaných časopisech.  Pilíř II: Nový. Představuje peer-review hodnocení velmi malého vzorku výstupů (1 výsledek na 10 mil. Kč inst. podpory), bonifikace: 20 % nejlepších výsledků a za projekty ERC.  Pilíř III: Zásadnější změna. Rozdělování části institucionální podpory bude navázáno na objem prostředků získaných VO ze smluvního výzkumu a projektů aplikovaného výzkumu. V tomto smyslu nejde o institucionální hodnocení ale o předpis pro alokaci institucionální podpory.

20 IPN Metodika Základní pojetí hodnocení  hodnocené jednotky (HJ) přihlášené ke zhodnocení v oboru. HJ typicky v.v.i. nebo součásti VŠ (fakulty)  sebehodnotící zpráva  mezinárodní informované oborové peer-review (dvoukolové hodnocení?)  nadresortní koordinace a dohled  pouze 1x za ~5 let  cca 5-8 panelů a cca oborových subpanelů (OMH)  hodnocení organizující instituce

21 IPN Metodika Hodnocení ve 3 dimenzích Nejvýznamnější výsledky výzkumu připadající na vědeckého pracovníka/tým 1. dimenze Výkonnostní profil: hlavní výsledek hodnocení, management VO, poskytovatele Institucionální předpoklady rozvoje HJ 2. dimenze Kvalitativní zpětná vazba: především pro management VO, případně poskytovatele Nejvýznamnější ekonomické a společenské dopady výzkumu 3. dimenze Kvalitativní zpětná vazba: pro všechny

22 IPN Metodika Průběh hodnocení Zveřejnění výsledků hodnocení Stanovení struktur hodnocení: (sub)panely, HJ Přihláška HJ do hodnocení: předložení sebehodnotící zprávy Zpracování bibliometrické zprávy Posouzení v (sub)panelu a případná návštěva HJ Připomínky ke konceptu hodnotící zprávy Syntéza výsledků na úrovni oborů, poskytovatelů, velkých infrastruktur

23 IPN Metodika Institucionální financování (dvoupilířové)  Rozpočet podle předpisu by měl reflektovat výsledky hodnocení VO podle OMH a panelového posouzení, sady dalších SMART (Specifické, Měřitelné, Dosažitelné, Časově vymezené) indikátorů definovaných v souladu se zásadami OECD a dobrou zahraniční praxí, indikátory budou definovány tak, aby podporovaly cíle NP VaVaI v ČR, efektivitu systému VaVaI, uplatnitelnost výsledků v praxi, dopady VaVaI ve společnosti, zvyšování konkurenceschopnosti českého VaVaI, excelenci, zlepšení manažerského řízení VO, mít různou váhu podle typu VO, v závislosti na jejich úlohách a posláních v českém systému VaVaI.

24 IPN Metodika Institucionální financování (dvoupilířové)  Rozpočet podle předpisu  Indikátory: objemové a cílové  Příklad: indikátor externí podpory účelová podpora z Grantové agentury, účelová podpora z Technologické agentury či resortních agentur (např. NAZV), mezinárodní účelová podpora (např. z Evropských rámcových programů), smluvní výzkum.

25 IPN Metodika Institucionální financování (dvoupilířové)  Výkonnostní smlouvy definují cíle, kvalitativní a kvantitativní, kterých má VO v daném období dosáhnout (sebehodnotící zprávy), dosažení cílů se bude pravidelně monitorovat, jednou ročně či v delších odstupech, podle povahy cíle, není-li cílů dosaženo, musejí nastoupit následky, pojistky proti nekompetentnosti, nepotismu a korupci (zveřejnění výše inst. podpory, výročních zpráv, procesní pravidla dojednávání) postupné zavádění, proces učení. Rozpočet podle předpisu lze zavést poměrně rychle, výkonnostní kontrakty v následném kroku.

26 IPN Metodika ● KA 01 „Informační podpora“ ● KA 02 „Systém hodnocení“ ● KA 03 „Systém financování“ ● KA 04 „Velké pilotní ověření“ ● KA 05 „Institucionální podpora“ ● KA 06 „Harmonogram pro přechodné období a návrhy legislativních změn“ ● KA 07 „Koordinace reformních návrhů a vytváření konsensuálních podmínek pro jejich přijetí“

27 Veřejná zakázka ● Zadávací řízení na veřejnou zakázku „Metodika hodnocení ve VaV a zásady financování“ ● Forma: jednací řízení s uveřejněním ● Předběžné oznámení o vyhlášení veřejné zakázky ● 1. Výzva k účasti, posuzuje se kvalifikace uchazeče, zveřejněna ● 2. Výzva k podání nabídky (lhůtu stanoví zadavatel), výzva obsahuje kompletní zadávací dokumentaci ● 3. Jednání o nabídkách, vyhodnocení nabídek, jednání s těmi uchazeči, kteří nebyli vyloučeni, vyjednávání o podmínkách plnění a ceně ● Výzva vítězného uchazeče k podepsání smlouvy, předpoklad leden 2014

28 Výzva k účasti ● Předmět veřejné zakázky ● Zpracování podrobných a strukturovaných návrhů oborových metodik hodnocení hodnocených jednotek v rámci výzkumných organizací s prvky mezinárodního oborového informovaného peer-review ● Využití relevantních bibliografických, citačních a dalších databází vědeckých výsledků a jejich analytických nástrojů k zajištění zadání ad a) včetně přípravy specialistů ● Vypracování podrobného návrhu procesních pravidel hodnocení ● Návrh systému institucionálního financování VaV (rozpočet podle předpisu a výkonnostní kontrakt) a jeho vazeb na výsledky hodnocení ● Malé pilotní ověření nového systému hodnocení VO ● Analýza účelového financování ve vztahu a v interakci k financování institucionálnímu ● Doporučení pro vznik a fungování instituce organizující hodnocení

29 Výzva k účasti ● Plnění předmětu veřejné zakázky (pracovní balíčky) ● WP#1: Určení struktur hodnocení hodnocených jednotek (HJ) a struktury oborů ● WP#2: Oborové metodiky hodnocení HJ (OMH) ● WP#3: Procesní pravidla hodnocení HJ ● WP#4: Informační podpora hodnocení ● WP#5: Vymezení pojmu „institucionální financování“ ● WP#6: Podrobná SWOT analýza institucionální základny VaV v ČR a srovnání s dobrou praxí zemí EU ● WP#7: Návrh modelů financování typu formula-funding (FF) a performance-based-contract (PBC) ● WP#8: Modelové ověřování dopadů nového systému inst. financování ● WP#9: Příprava a realizace malého pilotní hodnocení (MPH)

30 Výzva k účasti ● Technické kvalifikační předpoklady ● Předložení seznamu alespoň 3 služeb realizovaných v posledních 3 letech, kde předmět plnění byl obdobný jako je předmět této zakázky ● Splnění požadavků na složení expertního týmu (vedoucí týmu, vedoucí pracovních balíčků, garant v oborových skupinách Přírodní vědy, Technické vědy, Lékařské vědy, Zemědělské vědy, Společenské vědy, Humanitní vědy) ● Výzva k účasti byla zveřejněna: ●Věstník veřejných zakázek - Oznámení o zakázce: ●Úřední věstník EU - Oznámení o zakázce: oprava Úřední věstník EU: :TEXT:CS:HTML :TEXT:CS:HTML ●Profil zadavatele (eGordion) - Oznámení o zakázce, zadávací podmínky - Aj, Čj:

31 Veřejná zakázka ● Harmonogram plnění zakázky

Závěr Pozornost se soustředí na: Veřejnou zakázku Stabilizaci garantů KA Těsnější spolupráci s KHV