Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Návrh multikriteriální Metodiky hodnocení 2013 Komentář k dokumentu Jiří Chýla 6.2.20131Vědecká rada MFF UK

Podobné prezentace


Prezentace na téma: "Návrh multikriteriální Metodiky hodnocení 2013 Komentář k dokumentu Jiří Chýla 6.2.20131Vědecká rada MFF UK"— Transkript prezentace:

1 Návrh multikriteriální Metodiky hodnocení 2013 Komentář k dokumentu Jiří Chýla Vědecká rada MFF UK

2 V čem se v Metodikou 2013 shodujeme Vztah Metodiky 2013 a Ipn Efektivní metodika hodnocení a financování VaV V čem se Metodika 2013 liší od Ipn Metodika Proč považujeme Metodiku 2013 za slepou uličku Co konkrétně je na Metodice 2013 zásadně chybné Proč je Metodika 2013 neproveditelná Zhoubný vliv kafemlejnku na vědeckou obec Vědecká rada MFF UK

3 V čem se v Metodikou 2013 shodujeme Výchozí dokumenty Závěrečná zpráva Mezinárodního Auditu VaV v ČR Dlouhodobé principy hodnocení a financování schválené na 263. zasedání RVVI (DPHF) MEMORANDUM o spolupráci mezi RVVI a MŠMT v rámci koordinace řešení Ipn „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ a „Metodiky hodnocení výsledků VO a hodnocení výsledků ukončených programů 2013“ připravované Komisí pro hodnocení výsledků Vědecká rada MFF UK

4 Vztah Metodiky 2013 a Ipn Metodika je definován v DPHF: Malé hodnocení: pro alokaci institucionální podpory do doby, než bude zavedeno velké hodnocení, zdokonalená forma stávajícího hodnocení. Metodika 2013 má ambice jím být. Velké hodnocení: bude vycházet především z výsledků IPn. Bude realizováno jednou za 5-6 let a poskytne oporu pro alokaci institucionálních prostředků a informace o výkonnosti VO a oborů ve srovnání se světem Vědecká rada MFF UK

5 Hlavní cíl projektu Ipn Metodika navrhnout a pilotně ověřit systém hodnocení výzkumných organizací formou informovaného peer-review dle oborových metodik hodnocení, který by nahradil stávající Metodiku hodnocení výsledků výzkumných organizací efektivnějším a na mezinárodní a oborové standardy kvality lépe orientovaným hodnocením Vědecká rada MFF UK

6 Hlavní rozdíly mezi hodnocením dle Ipn Metodika a M2013 perioda: 5 let vs. 1 rok předmět: VO vs. jednotlivé výsledky dimenze: zahrnují i dopady výzkumu, předpoklady pro rozvoj, zhodnocení oborů vůči světu vs. nic zajištění: nezávislá instituce vs. sekretariát RVVI návrh metodik: veřejné konzultace vs. žádné ověření metodik a hodnocení: pilotně vs. žádné výsledek Ipn: bude zahrnovat návrh institucionál- ního financování vs. nic takového využití zahraničních zkušeností: ano (detailní a seznámení se s praxí ve vybraných zemích) vs. ne Vědecká rada MFF UK

7 Proč považujeme Metodiku 2013 za slepou uličku Metodika 2013 by měla smysl pokud by byla založena na principech, které vycházejí z Mezinárodního Auditu a odpovídají zadání Ipn Metodika a tak umožní plynulý přechod od Metodiky 2013 do hodnocení vyvinutého v IPn Metodika, popř. umožní částečné výsledky Ipn Metodika průběžně implementovat do Metodiky Principy Metodiky 2013 jsou s tímto rámcem neslučitelné Vědecká rada MFF UK

8 Základní principy Metodiky 2013 Oborové hodnocení jednotlivých výsledků Rozdělení výsledků na základní a aplikované Definice přípustných výsledků a jejich za- stoupení v jednotlivých oborech Zavedení zásadně jiného způsobu hodnocení výsledků aplikovaného výzkumu Zavedení pilíře „excelence“ jsou všechny v rozporu s Auditem, praxí ve světě i rámcem zadání IPn Vědecká rada MFF UK hodnocení „kvality“ vybraných výsledků

9 Oborové hodnocení jednotlivých výsledků v platné metodice Oborově má smysl hodnotit výzkumné organizace, resp. jejich týmy, nikoliv jednotlivé výsledky, neboť software, prototyp a další nepublikační výstupy je třeba hodnotit nikoliv jednotlivě, ale jako součást výzkumného programu daného týmu, v jehož rámci byly vytvořeny. Tak se to samozřejmě dělá všude ve světě. Viz také další bod Vědecká rada MFF UK

10 Rozdělení výsledků na základní a aplikované podle kritéria publikační vs. nepublikační je absurdní neboť ignoruje všeobecně známé skutečnosti, že publikace jsou standardními výsledky také aplikovaného výzkumu. Existují celé řady časopisů věnovaných aplikované fyzice, chemii, biologii apod. Také obráceně, spousta software či prototypů experimentálních zařízení je vyvíjena jako integrální součást základního výzkumu a musí být proto jako součást výsledků základního výzkumu také hodnocena Vědecká rada MFF UK

11 Vymezení přípustných typů výsledků a jejich procentního zastoupení v oboru pro každý obor odborné a poradní orgány Rady určí relevantní typy výsledků, na ostatní typy nebude brán zřetel pro tyto typy výsledků bude určen maximální procentní podíl na všech výsledcích daného oboru pokud některý typ výsledku v příslušném oboru hranici překročí, bude bodová hodnota všech výsledků tohoto typu úměrně krácena nemá nikde ve světě analogii! Naopak, například v RAE pro všechny obory platí: all forms of publicly available assessable output will be acceptable Vědecká rada MFF UK

12 Takhle si to stejní autoři představovali v neschválené Metodice 2012 Místo hodnocení kvality škatulkování Tabulka obsahuje 47 Pišvejcových konstant, jejichž hodnoty by měla schvalovat vláda Vědecká rada MFF UK

13 Vědecká rada MFF UK13 Neproveditelný Podpilíř I. - Stručné zásady peer-review hodnocení knih a kapitol (B, C) a výsledků J REC Půjde o peer-review hodnocení (hodnotiteli) ve struktuře panelů 12 oborových skupin (verifikační a hodnotící panely). Neproveditelné podle harmonogramu během měsíce června neboť každoročně je produkováno cca 2 tisíce knih a kapitol v knihách cca 6-7 tisíc článků J rec Nutný mimořádně kvalitní peer-review a důkladné pilotní ověření. Hodnotící proces rozřadí výsledky do 3-4 kvalitativních skupin. Relativní bodové rozdíly mezi kvalitativními skupinami budou nastaveny cca v poměru 1:5:10:20 (založeno na zkušenostech z dosavadních verifikací).

14 Vědecká rada MFF UK14 Proces ustavování panelů bude přísně dbát na (i)vyloučení konfliktu zájmů, (ii)vysokou odbornost hodnotitelů v daném oboru, (iii)posouzení každého výsledku několika hodnotiteli, (iv)koordinaci uplatňování kritérií napříč panely, (v)transparentnost. Pravidla ustavování VHP a procesní řád budou schváleny RVVI. Svěřit toto RVVI je zcela absurdní a cesta do pekel. Tohle může provést jen nezávislá na hodnocení specializovaná agentura, typu HEFCE ve Velké Británii či AERES ve Francii. Taková agentura u nás neexistuje a její vytvoření je součástí Ipn Metodika.

15 Vědecká rada MFF UK15 M2013: Metodika řeší překlenovací období mezi současným stavem a dobou, kdy bude vytvořen nový dokonalejší systém hodnocení založený na výsledcích analýz a projektů, které souběžně probíhají, základní principy metodiky se po tuto dobu nebudou měnit. Poslední tvrzení není pravda! (viz další okno) Překlenovací období by mělo trvat jen dva roky: Hodnocení 2014 (pro financovaní na rok 2015) a Hodnocení 2015 (pro financování na tok 2016), poté by měla být použita Metodika vyvinutá v rámci Ipn Metodika. Má smysl zavádět na dva roky novou metodiku, která se i během těch dvou let má měnit? Obecná poznámka k zavedení II a III. pilíře

16 Vědecká rada MFF UK16 Principy II. pilíře VO budou předkládat stanovený počet svých vybraných výsledků k tomuto posouzení a k srovnání s vybranými výsledky od ostatních institucí. Stanovení kvóty pro počet takto předkládaných výsledků se bude odvíjet od institucionální podpory dané VO, navrhuje se předkládat jeden výsledek na každých započatých 10 mil. Kč přijaté podpory Příliš velká částka, podle níž nelze kvalitu VO posoudit. Odpovídá cca 900 výsledkům ze 100 tisíc. V roce 2013 bude (pro rozpočet na rok 2015, JCh.) každé VO na indikátor excelence alokováno 10 % jejího celkového bodového skóre (hodnocení v tomto „nultém“ roce bude jen výsledkem postupů v ostatních pilířích). To znamená, že II. pilíř bude ve skutečnosti provozován jen jeden rok v roce 2014 pro rozpočet na rok 2016.

17 Vědecká rada MFF UK17 V dalším roce se každé VO příslušná bodová část procentuálně zvýší nebo sníží (či nezmění) podle zařazení jejích vybraných výsledků do jednotlivých kategorií. Podobně se bude postupovat i v příštích letech. Žádné „příští“ roky nebudou existovat. Budou stanovena pravidla pro sestavení expertních komisí a pro jejich fungování, komise výsledky rozřadí do tříd s tím, že výsledky v nejvyšší třídě výrazně vynikají (excelují) nad průměr, podíl výsledků, které mohou být v nejvyšší třídě, bude omezen. Tato "excelence nad průměr" je karikatura na skutečnou excelenci a je v rozporu s bodem 4) Memoranda „je nezbytné, aby v mezidobí KHV navrhla M13 tak, aby se přiblížila cílům nové metodiky hodnocení“ neboť ta má podle Memoranda obsahovat „prvky hodnocení peer-review prováděné v souladu s nejlepší mezinárodní praxí“

18 Úrovně kvality výzkumu podle RAE/REF platné pro všechny panely a všechny typy výsledků Všude ve světě je srovnání se špičkou ve světě jedinou smysluplnou mírou „excelence“. V RAE jsou jen za první tři stupně kvality finance Vědecká rada MFF UK

19 Vědecká rada MFF UK19 Pilíř III: Hodnocení patentů a nepublikačních výsledků aplikovaného výzkumu. Na rozdíl od dosavadní praxe paušálního bodování všech výsledků nepublikačního charakteru zůstává paušální ohodnocení pouze druhu výsledku patent. Za ostatní výsledky se bude bodové skóre odvíjet podle finanční podpory jednak z projektů aplikované- ho výzkumu a jednak ze smluvního výzkumu. Rozpor: nepublikační výsledky jsou přirozenými výs- tupy také základního výzkumu a nemusejí být sou- částí projektů, tj. pocházet z účelových prostředků. S tím III. pilíř vůbec nepočítá.

20 Snaha měřit výkonnost VO v oblasti aplikovaného VaV objemem mzdových prostředků vynaložených na aplikovaný výzkum znamená rezignovat na jejich vlastní hodnocení, nemá ve světě obdoby, je v praxi neproveditelná. RAE: založen na zásadě, že všechny typy výsledků jsou posuzovány ze stejného hlediska, včetně aplikovaného a na praxi orientovaného výzkumu: Panels will treat on an equal footing excellence in research across the spectrum of applied research, practice-based and basic/strategic research, wherever that research is conducted Vědecká rada MFF UK

21 Otázka pro autory Metodiky 2013: Vědecká rada MFF UK

22 Vědecká rada MFF UK22

23 Vědecká rada MFF UK23

24 Vědecká rada MFF UK24

25 Vědecká rada MFF UK25

26 Vědecká rada MFF UK26

27 Vědecká rada MFF UK27 Zhoubný vliv kafemlejnku na vědeckou obec a její jednání: kafemlejnek jako návod jak provádět „cost-effective“ výzkum podvádět

28 Vědecká rada MFF UK28 Hodnocení velkých mezinárodních kolaborací Tyto zásady znamenají, že nejsnadnější a nejlevnější cesta k bodům a tedy i penězům je následující: zapojit se malým počtem lidí vybrat si kolaboraci, kde není žádná jiná česká instituce. Pro celkový počet autorů se čeští autoři se počítají s váhou 1, zahraniční s váhou 0,5 Body jsou rozděleny mezi české instituce v poměru počtu domácích autorů. V případě, že podíl českých autorů klesne pod 10 %, rozděluje se mezi ně 10 % bodové hodnoty výsledku.

29 Vědecká rada MFF UK29 Účast MFF na experimentu ATLAS Tento článek má cca 3000 autorů, z toho 24 z FZÚ 23 z ČVUT 17 z MFF UK Experimentu ATLAS se účastníme již 20 let, stát do něj vložil za tu dobu cca 250 milionů, pracovali na něm desítky fyziků, techniků a doktorandů z MFF, kteří významně přispěli k vývoji, konstrukci a provozu detektoru a analýze výsledků.

30 Vědecká rada MFF UK30 Účast MFF na experimentu CMS Za každou práci CMS dostane MFF 4krát více bodů a tedy i peněz, než za práci ATLAS!!!!

31 Vědecká rada MFF UK31 Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2010 a 2011 a rok 2012) Domácí tvůrce“ výsledku v RIV, je tvůrce, který výsledku dosáhl v rámci pracovněprávního nebo studijního vztahu k předkladateli, tj. k subjektu, který předkládá výsledek, příp. k organizační jednotce subjektu, která předkládá výsledek. Pracovně právní vztah se musí vztahovat k aktivitě výzkumu a vývoje, na základě které výsledek vznikl. Pro zařazení tvůrce výsledku mezi domácí tvůrce je rozhodující, zda tento pracovně právní nebo studijní vztah trval v době vytvoření výsledku, nikoli rok uplatnění. Pro zařazení tvůrce výsledku mezi domácí tvůrce je též nutnou podmínkou uváděná afiliace tvůrce v publikaci, ve které se afiliace uvádějí (vždy se vyžaduje u výsledků druhu J). Toto je také rozhodující pří řešení rozporů domácích tvůrců.

32 Vědecká rada MFF UK32 Podvod za 100 tisíc

33 Vědecká rada MFF UK33 Konferenční příspěvek Martina Spousty z ÚČJF si přivlastnila Přírodovědecká fakulta Palackého univerzity v Olomouci Lež, příspěvek ve sborníku není! Podvod za 120 tisíc

34 Vědecká rada MFF UK Závěr Metodika 2012 je velmi špatným nástrojem pro hodnocení VaV, ale Metodika 2013 je ještě horší, neboť její domnělé přednosti znamenají ve skutečnosti další podstatný odklon od doporučení Auditu, mezinárodních standardů i zadání Ipn Metodika. Metodiku 2013 je třeba odmítnout a platnou metodiku na přechodné období neměnit. Obě Metodiky mají zhoubný vliv na jednání vědecké obce.

35 Záloha Vědecká rada MFF UK

36 II. pilíř předstírané excelence Z Principů Metodiky 2013 před 276. zasedáním RVI Z vypořádání připomínky Tomáše Jungwirtha k tomuto principu Vědecká rada MFF UK alias hodnocení kvality vybraných výsledků

37 II. pilíř předstírané excelence Z Principů Metodiky 2013 před 276. zasedáním RVI Z vypořádání připomínky Tomáše Jungwirtha k tomuto principu Stejně jako jednooký „exceluje“ nad slepými Po úpravě schválené RVVI Vědecká rada MFF UK hodnocení kvality vybraných výsledků

38 Jeden z výsledků aplikovaného výzkumu, který změnil svět Základní práce v Kao, C.K., Hockham, G.A. Dielectric-fibre Surface Waveguides for Optical Frequencies. Proceedings of the Institution of Electrical Engineers-London (1966) 113, p Vědecká rada MFF UK

39 Praktická neproveditelnost některých kroků Vědecká rada MFF UK

40 Základní výzkum: teoretická nebo experimentální práce prováděná zejména za účelem získání nových vědomostí o základních principech jevů nebo pozorovatelných skutečností, která není primárně zaměřena na uplatnění nebo využití v praxi. Výstupem aplikovaného výzkumu proto nejsou jen patenty a licence, ale také původní vědecké práce publikované ve špičkových mezinárodních časopisech, včetně Nature a Science. Aplikovaný výzkum: teoretická a experimentální práce zaměřená na získání nových poznatků a dovedností pro vývoj nových nebo podstatně zdokonalených výrobků, postupů nebo služeb. Citace ze zákona 130/2002 Sb.: Vědecká rada MFF UK

41 Panels will treat on an equal footing excellence in research across the spectrum of applied research, practice-based and basic/strategic research, wherever that research is conducted. Panel criteria encompass a range of indicators of excellence that are sufficiently broad to enable them to recognise the distinctive characteristics of applied research and practice-based research, and to ensure that they apply their quality benchmarks equitably. Podobně je tomu v hodnocení prováděném ve Francii a jiných zemích a tak by to mělo být i u nás Vědecká rada MFF UK

42 Vědecká rada MFF UK

43 Vědecká rada MFF UK

44 Vědecká rada MFF UK

45 Vědecká rada MFF UK

46 Vědecká rada MFF UK

47 Závěry a doporučení Závěrečné zprávy mezinárodního auditu výzkumu, vývoje a inovací v České republice 5.1. Závěry Hodnocení v českém systému VaVaI funguje špatně. Použití Metodiky hodnocení (...) deformuje chování, snižuje stabilitu výzkumného systému (..) Obecně bere hodnocení v potaz nevhodné ukazatele. je přespříliš zaměřeno na výstupy a poskytuje málo informací o tom, zda jsou státní zásahy úspěšné a zda programy splňují vytčené cíle. V paxi hodnocení je třeba provést radikální změny (...) (s. 83) Vědecká rada MFF UK

48 5.2. Doporučení 7. Metodika hodnocení není vhodná pro účely, jimž má sloužit. Přináší pokřivení struktury i chování a je překážkou mnohým aspektům rozvoje národního systému výzkumu a inovací. Metodika hodnocení by měla být nahrazena systémem výkonnostních smluv, které by zahrnovaly perspektivní i retrospektivní složky, podpořené kombinací objektivních indikátorů a hodnocením nezávislým mezinárodním hodnotitelským panelem. 8. Systém hodnocení VaV v ČR je široce zaměřen na počítaní výstupů na úkor pochopení politických intervencí a jejich dopadů. Poskytuje tedy informace, jejichž relevance je přinejmenším omezená. Hodnotící praxe by měla být od základu reformována s tím, že bude zaměřena na výsledky a dopady a bude přispívat k rozvoji politik a programů a k plánování. Kromě jiného bude zahrnovat implementaci „kaskádového principu“, jenž znamená, že úrovně řídící hierarchie používají nezávislou expertízu pro hodnocení nižších hierarchických úrovní, ale nehodnotí samy sebe Vědecká rada MFF UK


Stáhnout ppt "Návrh multikriteriální Metodiky hodnocení 2013 Komentář k dokumentu Jiří Chýla 6.2.20131Vědecká rada MFF UK"

Podobné prezentace


Reklamy Google