1 Hodnocení výzkumu, vývoje a inovací - co od něj čekáme? RNDr. Marek Blažka Inovace prosince 2012

2 Současné způsoby hodnocení  Hodnocení RVVI („kafemlejnek“) „Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů“  Hodnocení AV ČR „Souhrnná zpráva o provedeném hodnocení výzkumné a odborné činnosti pracovišť AV ČR za léta 2005–2009“ Obě hodnocení mají řadu nedostatků a chyb (podrobněji viz článek v časopise AIP „Inovační podnikání a transfer technologií“ (IV/2012). JAK TEDY DÁLE?

3 Projekt IPn Metodika Hlavní problémy Hlavní problémy:  neustálé posuny zahájení a ukončení projektu,  rizikovost řešení nalezených "nezávislými" a velmi nákladnými projekty (viz "Mezinárodní audit výzkumu, vývoje a inovací v ČR a implementace jeho výsledků do strategických dokumentů" a Aktualizace NP VaVaI ČR v r. 2012),  nereálnost zavedení nákladného systému,  prodloužení „přechodného období“ na min. 9 let (do r. 2017) s vysokým rizikem pro VO  jakákoliv změna (snížení výdajů) způsobí kolaps systému (již nyní deficit 1,5 mld. Kč/r)  odkládání rozhodnutí na neurčito

4 Společné problémy hodnocení K čemu slouží hodnocení?  k rozdělení institucionálních prostředků? nebo  pro kvalitní informaci o úrovni instituce, o její perspektivě a zejména o potenciálu jejích částí a týmů? Obě hodnocení nelze spojit, rozdělení inst. dotací zahrnuje řadu axiomatických rozdělení Obě hodnocení nelze spojit, rozdělení inst. dotací zahrnuje řadu axiomatických rozdělení (na jednotlivé části výzkumu - rozpočtové kapitoly, skupiny oborů/věd, na základní/aplikovaný VaV, na typy výsledků atd.)

5 Jaké jsou nyní problémy hodnocení (1/4)? 1. Nejasný cíl hodnocení Proč se vlastně hodnotí? Jde o rozdělení prostředků nebo o feedback pro výzkumné organizace? Nefunguje ani jedno, rozpočet se stejně dělá od října 2009 jinak a pro jednotlivé VO jsou výsledky hodnocení prakticky k ničemu. 2. Změny za pochodu bez jasných pravidel předem U hodnocení RVVI jsou zásadní změny na pořadu jednání téměř každý rok. U hodnocení AV až dodatečně po ukončení hodnocení ústavy zjišťovaly, jaká byla vlastně konkrétní pravidla a procedury. 3. Předurčení výsledků hodnocení Celkové výsledky (na úrovni kapitol a tím i pro VO) jsou předem dány a konkrétní metodika hodnocení ovlivňuje výsledky hodnocení více, než vlastní výsledky organizací.

6 Jaké jsou nyní problémy hodnocení (2/4)? 4. Malá transparentnost Plná transparentnost u hodnocení RVVI zmizela po renormalizacích v r. 2010, nyní již nelze výsledky hodnocení veřejně zkontrolovat. O hodnocení AV mají informace jen jeho účastníci, ale to, co je z tohoto hodnocení veřejně přístupné, nenaplňuje znění zákona č. 130/2002 Sb. 5. Podjatost hodnotitelů Sílí role hodnotitelů, kteří jsou součástí hodnoceného systému (pro kterou VO nejsou institucionální dotace existenční?) a kteří jsou tak nutně podjatí. 6. Nákladnost a zátěž pro vědce a výzkumníky Namísto zjednodušení se způsob hodnocení komplikuje řadou výjimek, které se stávají pravidlem. Zdaleka ne pro všechny vědce a výzkumníky je hodnocení oblíbeným koníčkem a jeho srozumitelnost dramaticky klesá.

7 Jaké jsou nyní problémy hodnocení (3/4)? 7. Problém výsledků aplikovaného výzkumu a vývoje Čím dál více dochází k obcházení podstaty hodnocení výsledků aplikovaného VaVaI - ta je v tom, kolik se prodá nebo uplatní výsledků a nikoliv v tom, kolik se na ně probádá nebo vykáže. Čím více mezd utratím, tím více dostanu příště (a jestli výsledky někdo chce nebo ne, přece není podstatné). 8. Ignorování výsledků programů a výsledků inovací Totální rezignace na změny v hodnocení výsledků programů (stále se řeší jen výsledky VO), jejichž systém hodnocení se řadu let nezměnil, přestože je zcela neuspokojivý a silně kritizovaný. O hodnocení výsledků inovací se raději vůbec ani nemluví, přestože se tváříme, že je podporujeme (zákon č. 130/2002 Sb., o podpoře výzkumu, experimentálního vývoje a inovací).. 9. Nejasné a problematické vstupy pro hodnocení Nejasné vstupy do hodnocení vedou k problémovým výstupům - u RVVI řada druhů výsledků, které se vůbec nepoužívají nebo s výzkumem nemají prakticky nic společného, u AV již zmiňovaná struktura podkladů pro hodnocení.

8 Jaké jsou nyní problémy hodnocení (4/4)? 10. Antisubsidiarita O všem podstatném se rozhodne centrálně (to je tzv. "politické rozhodnutí" - např. poměry mezi skupinami oborů jsou politické rozhodnutí?!) místo opaku - maximum ponechat spolu s odpovědností na jednotlivých VO. *** Co raději dramaticky zjednodušit systém hodnocení pro rozdělování dotací a uspořené prostředky dát jednotlivým VO, aby si samy zhodnotili kvalitu svých týmů (oddělení, kateder apod.)?

9 Závěrem  Současné způsoby hodnocení už svou historickou úlohu splnily - na rozdíl od situace do r je normální, že výzkum končí výsledky a čím jsou kvalitnější, tím lépe.  Je třeba se zamyslet nad tím, co vlastně chceme, kde děláme chyby a jak způsob hodnocení co nejvíce zjednodušit.  Je možné a je nutné změnit filozofii přístupu k hodnocení, přestat ho komplikovat a opakovat staré chyby a velmi rychle začít znovu s tím, co může příští rok skutečně fungovat. Systém dotací na rozvoj výzkumných organizací se při další změně (např. při snížení výdajů státního rozpočtu na výzkum, vývoj a inovace) zhroutí a pak bude pozdě.

10 děkuji za pozornost Marek Blažka