Setkání katederních správců 5.2. 2018 Blanka Vorlíčková Knihovna PedF Hodnocení vědy M17+RIV18 Setkání katederních správců 5.2. 2018 Blanka Vorlíčková Knihovna PedF

Hodnocení 2016 (Hodnocení 2017) Metodika 17+ Příprava UK na nové (sebe)hodnocení Nové definice druhů výsledků RIV + RIV18 Stav implementace ORCID ID na PedF

Hodnocení RIV16 Hodnocení RIV17 zatím probíhá Zveřejněna schválená tabulka H16 ÚV zařadila i výsledky sporně hodnocené (0) v H15 … ale nové nesrovnalosti v H16 Několik výsledků Jrec, které měly ještě v H15 body, v H16 mají nulu Několik výsledků z H16 (rok uplatnění 2015), které jsou Jrec a jsou zdrojové časopisy v Seznamu rec.periodik K nesrovnalostem bychom měli dostat vysvětlení z ÚV Vyřazené výsledky z H16 – 37 výsledků Bude vytvořena již tradiční interaktivní tabulka H16 výsledků z PedF Hodnocení RIV17 zatím probíhá

Metodika 17+ „rámcový dokument“ hodnocení VaVaI popis a odevzdávání dat VaVaI - nové definice + aktuální pravidla pro zadávání do RIV2018 2017 – 2019 implementační období Inspirace ve světě - „kafemejnek“ skončil (však do RIV se data odevzdávají dál) Konec výpočtu RIV bodů a z něj plynoucího sestavování rozpočtu institucionálního financování VaVai

M17+ hlavní principy decentralizace hodnocení - 3 úrovně hodnocení a rozhodování – RVVI – poskytovatelé – vnitřní hodnocení VO pro účely strategického rozhodování, nikoli pouze financování ne hodnocení jednotlivých výsledků, ale komplexní hodnocení organizace jako celek (VŠ - fakulty) hodnocení v rámci sektorů: VŠ – AV ČR – rezortní VO

M17+ hlavní principy – publ.výsledky Komplex.hodnocení - 5 hodnotících modulů - M1 – Kvalita vybraných výsledků, M2 – Výkonnost výzkumu, M3 - Společenská relevance, M4 – Viabilita/Životaschopnost, M5 –Strategie a koncepce Výsledky - kombinace bibliometrie a peer-review panelů (i nepublikačních výsledků) 2017-2019 implement.období - postupné uplatňování principů (omezené důsledky v oblasti financování) – M1 a M2 2020 –kompletní hodnocení (kompletní 1 za 5 let – M1 a M2 každoročně) komplet.hodnocení → škálování VO jako výsledek jednání všech stran (VŠ – Česká konference rektorů)

2017 – hodnocení výsledků za rok 2016 2019 – M1 a M2 plně, mezinárodní panely, hodnotit 2014-2018 + výsledky dvou předchozích hodnocení výsledků → škálování VO Financování – stabilizační (základna) - motivační (nárůst) 2017-2019 – až 100% RVO rozdělených dle Metodiky 2013-2016 Dotace na 2017 – H15 (MŠMT) Dotace na 2017 – H16 (MŠMT)

Obory – hodnotící panely Nové třídění oborů RIV – obory UK – mapování – hodnotící panely dle oborových skupin OECD (Frascati Manual): Natural Sciences,  Engineering and Technology,  Medical and Health Sciences,  Agricultural and Veterinary Sciences,  Social Sciences,  Humanities and the Arts Napojení klasifikace UK - nutnost vyplňovat obory nové klasifikace UK v záznamech v OBD ! Kontrola jedině přes položku „Nová klasifikace“ ! V záznamů samotném ani autor, ani správce nepozná, že obory UK zde nejsou finalizovány – tj. ve stavu „hotovo“

M17+ → příprava UK na (sebe)hodnocení systém sebehodnocení UK v souladu s principy hodnocení M17+ kvalitní hodnocení oborů (národní a mezinárodní srovnání) hodnocení pro strategické rozhodování o dalším rozvoji oborů na UK a pro řízení fakult a součástí, pozice UK informace fakultám o kvalitě jejich výzkumu poskytnout hodnocení kvality pro NAÚ podklady pro sestavení rozpočtu

Příprava UK na (sebe)hodnocení Obory v rámci vědních oblastí hodnoceny napříč UK Základní hodnotící nástroje: biblio, peer-review, sebeevaluační zpráva Doplňkové: datové identifikátory, příp. on-site visit RIV – srovnání na národní úrovni Oborové srovnání – vybrané zahr. školy FAKULTY: připomínkování pravidel a parametrů hodnocení, spolupráce formulování počtu a způsobu výběru výsledků k peer- review, nominace hodnotitelů

Sebe(hodnocení) UK - hodnocení vybraných výsledků výsledky za posledních 5 let Vybrané zhodnotí recenzenti peer review počet vybraných výsledků bude upřesněn (M17+ počítá s cca 10 % výsledků, případně s 1 výsledkem na 1 mil. institucionálních finančních prostředků plus 10 výsledků na fakultu) na úrovni UK lze požadovat cca 2 výstupy /osoba (k diskusi) využijí se standardně vykazované publikace pro RIV do systému OBD

Sebeevaluační zpráva fakulty UK Založena na požadavcích M17+ a použitelná jak pro národní hodnocení, tak pro NAÚ Celkové sebehodnocení pracoviště vybavení pracoviště, finanční zajištění zaměstnanců (smlouvy vs. dohody, inzerce v otevřených médiích, motivace, kariérní řád)) strategie do příštích let, cíle, transfer technologií zajištění kontinuity, pedagogická činnost (již v ev. zprávě k akreditaci) internacionalizace strategie ohledně OA, ochrany dat, Open Science, popularizace atd. informace o Prvouk/Progres, hodnocení, zdůvodnění rozložení, spolupráce mezi fakultami profilové obory („vlajkové lodě“) a jejich zdůvodnění

Vlastní sebe hodnocení UK a jeho výsledky v souladu s M17 4 hlavní oborové panely (pro HUM, SOC, MED a SCI) se zastoupením příslušných vědních oborů v každé z nich oborové panely zajišťují průběh peer-review procesu a provádějí konečné hodnocení předsedy panelů po diskusi s IAB jmenuje rektor, návrhy na členy panelů podají fakulty a součásti Rada pro řízení kvality a IAB projednají výsledky činnosti panelů a dají doporučení vedení UK K hodnocení se vyjádří vedení fakult a součástí

RIV18 Aktuální nové definice druhů výsledků – platí od 1.1.2018 (podle nich se vykazuje již RIV18) Aktuální pravidla předávání dat do RIV implementována do OBD Výsledky z let 2013-2017 Hl. změny oproti minulým létům – změna principu hodnocení výsledků – můžeme vložit do RIV „všechny“ z vyhovujících výsledků; kontrola obory UK; nové definice druhů výsledků Ukončení sběru 28.2. 2018 → kontrola Detailní postup kontroly viz prezentace z jara 2017 (+ aktuální změny)

Pozor ! – nový princip hodnocení výsledků a druhů výsledků Do hodnocení H18 budou vstupovat následující výsledky VaVaI: bibliometrizovatelné výsledky – hodnocení bude probíhat pomocí bibliometrie, strojově – výsledky D, Jimp a Jsc nebibliometrizovatelné výsledky - do peer-review hodnocení je možno přihlásit všechny z výsledků mimo D, Jimp a Jsc ! Splňují-li definici a mají-li vysokou vědeckou kvalitu Aby mohly být později během roku do tohoto peer-review hodnocení nebibliometrizovatelné výsledky navrženy, musí však nejdřív být na jaře dodány do RIVu ! v minulých letech se do RIV nedávaly např. výsledky druhu W, O, protože nedostávaly body letos se nebudou výsledky v RIV bodovat, ale budou součástí hodnocení tj. i např. výsledky W a O do mohou jít do RIV, pokud splňují definici, jsou vynikající a budeme chtít, aby byly součástí peer-review hodnocení

Nové definice druhů výsledků - změny ! (viz Definice) Pro rozhodování o tom, zda se jedná o výsledek vzniklý činností ve VaVaI, je třeba vycházet u všech RIV výsledků obecně z manuálu Frascati, kde se uvádí pět základních znaků (část 2.2.Frascati manualu): novost, kreativita, nejistota, systematičnost, a opakovatelnost. V některých případech upozorňuje manuál Frascati na obtížnost posouzení činností z pohledu VaVaI a přidává další podpůrná kritéria (část 2.85): propojení s veřejnými výzkumnými laboratořemi, zapojení pracovníků s doktorskými tituly nebo doktorandů, zveřejňování výsledků výzkumu ve vědeckých časopisech, pořádání vědeckých konferencí nebo zapojení do vědeckých reportů.

J Recenzovaný odborný článek - novinky Afiliace se musí samozřejmě vztahovat k české VO Jimp, JSC, JOST NOVÉ - JOST - přehledový článek v recenzovaném odborném periodiku, které nespadá do žádné z výše uvedených skupin (není ve WOS a SCOPUS) Rozhodující je, zda je článek recenzovaný, splňující náležitosti vědeckého článku (viz Definice), má min 2 str. již neexistují Jneimp a Jrec, ani Seznam rec.neimp.periodik ! Nutno uvádět u Jimp a Jsc WOS ID a EID! (EID najdete v hypertext.adrese výsledku ve Scopus) Je možno doplnit také e-ISSN, čím víc vyplněno, tím lépe Více viz Definice str.4

B Odborná kniha - novinky Odbornou knihou jsou i publikované diplomové, doktorské, habilitační a disertační práce splňující parametry odborné knihy, které nejsou založeny na pracích druhu Jimp, JSC, JOST, - stará metodika již zmiňuje B nejsou učební texty (tj. učebnice, skripta), pokud nejsou výsledkem původního pedagogického výzkumu NOVÉ – tj. jsou-li …? Knihy vydány v ČR – PV v NKP publikované v zahraničí - je-li – doplnit do OBD DOI, je-li v Open Access - doplnit link Do knihovny budeme zvažovat koupení zahr.publikace, jinak dle dostupnosti, spolupráci s autory, či MVS Více viz Definice str.5 Výsledek C, Kapitola – viz str.6

D Článek → Stať ve sborníku ISBN nebo ISSN, případně oba X ISBN, případně ISSN i ISBN Více viz Definice str.7

N Metodika Výsledek „Metodika“ je souhrnem doporučených praktik a postupů schválených, certifikovaných nebo akreditovaných) kompetenčně příslušným orgánem veřejné správy nebo, pokud kompetenčně příslušný orgán neexistuje, autorizovaným certifikačním (akreditačním) subjektem, provádějícím certifikaci (akreditaci) na základě mezinárodních smluv, norem či obdobných dokumentů Tento druh výsledku zahrnuje: a) NmetS metodiky schválené příslušným orgánem státní správy, do jehož kompetence daná problematika spadá; NOVĚ b) NmetC metodiky certifikované oprávněným orgánem; c) NmetA metodiky a postupy akreditované oprávněným orgánem NOVĚ Více viz Definice str.12

Nový druh výsledku – S Specializovaná veřejná databáze Výsledek „Specializovaná veřejná databáze“ zahrnuje strukturované a veřejně přístupné údaje o původních výsledcích výzkumu a vývoje, členěné na základě realizovaného výzkumu a vývoje, který byl uskutečněn autorem nebo týmem, jehož byl autor členem. Umožnuje zpřístupňovat strukturované informace o jevu jako zdroji pro další výzkum či konečnému uživateli. Musí být schváleno kompetenčně příslušným orgánem, odkaz na výsledek, povinné doplnění č.j. schvalujícího orgánu Specializovanou veřejnou databází není: výsledek, který nesplňuje podmínku veřejné dostupnosti (interní evidence a databáze, které slouží výlučně vlastníkovi výsledku); databáze obsahující známé nebo již veřejně přístupné údaje. Více viz Definice str.15

E Uspořádání výstavy – rozšíření definice Zorganizování (uspořádání) výstavy je možné považovat za výsledek VaVaI pouze tehdy, je-li možné identifikovat přítomnost VaVaI v činnostech, na jejichž základě prezentované informace či skutečnosti vznikly. Výsledek realizoval původní výsledky výzkumu a vývoje, které byly uskutečněny autorem nebo týmem, jehož byl autor členem. Výsledkem druhu E není výstava zaměřená obecně na dané téma, která nezahrnuje výsledky autora nebo týmu, jehož je autor členem, ale shrnuje široké poznatky v daném oboru nebo má např. výhradně osvětový charakter. Více viz Definice str.16

Ekrit – Uspořádání výstavy s kritickým katalogem Výsledkem „výstava s kritickým katalogem“ se rozumí veřejná prezentace původních výsledků výzkumu a vývoje, které byly uskutečněny autorem nebo týmem, jehož byl autor členem. Kritérium/ kritéria pro jeho uznávání může dále stanovit poskytovatel podpory pro příslušnou výzkumnou aktivitu a nedílné součásti výsledků si mohou dále parametrizovat poskytovatelé podle svých potřeb. Podmínkou pro uznání výsledku „Výstava s kritickým katalogem“ je publikace kritického katalogu výstavy, který splňuje všechny náležitosti pro druh výsledku odborná kniha a jako takový byl uplatněn a schválen (nelze tedy uznat tento výsledek bez kritického katalogu – odborné knihy do doby, než je kritický katalog publikován) Výsledek Ekrit je tedy podmíněn evidencí kritického katalogu splňujícího náležitosti výsledku druhu B v RIVu

M – Uspořádání konference – rozšíření definice Zorganizování (uspořádání) konference, semináře nebo sympozia může být považováno za výsledek VaVaI pouze tehdy, je-li kromě pěti základních kritérií pro identifikaci činností ve VaVaI, na jejichž základě prezentované informace vznikly, splněna některá z dodatečných podmínek stanovených manuálem Frascati v části 2. Součástí konference musí být veřejné prezentace původních výsledků výzkumu a vývoje, které byly uskutečněny autorem nebo týmem, jehož byl autor členem. Více viz Definice str.16

W – uspořádání workshopu – rozšíření definice Zorganizování (uspořádání) workshopu může být považováno za výsledek VaVaI pouze tehdy, je-li kromě pěti základních kritérií pro identifikaci činností ve VaVaI, na jejichž základě prezentované informace vznikly, splněna některá z dodatečných podmínek stanovených manuálem Frascati v části 2. Součástí workshopu musí být veřejné prezentace původních výsledků výzkumu a vývoje, které byly uskutečněny autorem nebo týmem, jehož byl autor členem

O – ostatní výsledky – rozšíření definice „Ostatní výsledky“ jsou takové výsledky, které nesplňují kritéria pro výše uvedené, přesně definované druhy výsledků. Výsledek realizoval původní výsledky, které vznikly činnostmi splňujícími požadavky manuálu Frascati na činnosti ve VaVaI a které byly uskutečněny autorem nebo týmem, jehož byl autor členem. Jako „ostatní výsledky“ lze vykazovat také takové výsledky výzkumu a vývoje, které byly formálně (parametricky) vymezeny poskytovatelem podpory pro příslušnou výzkumnou aktivitu. Např. výsledky „Výstup uměleckého výzkumu“. V Definicích jsou pochopitelně i jiné výsledky, které se na PedF nevyskytují

Kritéria ověřitelnosti → nezapomínat Doplnit WoS ID či EID, DOI, hyperlink Česká kniha musí být v NK, musí mít ISBN Zahr. publikace musí být evidovány v mezinárodně uznávaném katalogu nebo mít DOI či link u dokumentů v modu OA + POZOR - nová kritéria ověřitelnosti u V – souhrnná výzkumná zpráva také E, Ekrit, M, W, O mají kritéria ověřitelnosti ! (nové Definice str. 24- 25) – vědecký přínos Více viz Definice od str.18

Nezapomínat také: Vyplňování a kontrola oborů klasifikace UK v záznamech v OBD ! (Zrušena povinnost vyplňovat pole Starý obor podle RIV) Autoři z PedF by se měli zajímat o to, zda jsou spoluautory z jiných fakult zadáni do záznamů svých výsledků jako spoluautoři z číselníku OBD je evidence publikační činnosti UK, proto, prosím, připomínejte autorům, aby vkládali do databáze výsledky o všech výsledcích, tj. i těch, které nejdou do RIV Do RIV by měly být zadávány výsledky projektů a programů, institucionální podpory

Průběh implementace ID ORCID dle OR č. 28/2016 Téměř všichni stávající aktivní akademiční pracovníci a PhD. studenti si zřídili ID ORCID ID ORCID doplněna do WhoisNT Postupně generovány do OBD – dále pravidelně 1x ¼ roku aktualizace Možnost příp. kontroly u záznamu v OBD Export/import záznamů z OBD do ORCID konta Dále je třeba: propojit ResearcherID a Author ID Scopus s ID ORCID pravidelně aktualizovat ORCID profil (včetně aktualizace přiřazení nových publikací ResearcherID a Scopus Author ID) uvádět ORCID ID u všech publikací uvádět u všech ID a všech publikaci anglickou variantu afiliace dle přílohy č. 2 OR 18/2012

Noví členové Akademické obce do 2 měsíců od nástupu či přijetí ke studiu nahlásí svůj ORCID ID kat.správci nebo si ho zřídí a nahlásí Pro jednu osobu existuje vždy pouze jeden ORCID ID, víc afiliací se řeší přidáním afiliace (kolonka Empolyment/Zaměstnání - Add Employment/Přidat zaměstnání – Add manually/Přidat ručně) ID jsou i nadále shromažďovány (prostřednictvím katederních správců OBD) v tabulce Návody pro zřízení ID ORCID a propojení s dalšími ID viz ÚKUK Pracovní skupina pro metodickou pomoc pod vedením fakultní koordinátorky J.Bílkové, Knihovna PedF Zatím vyplnění ORCID ID v RIV nepovinné, v příštích letech povinné

Užitečné odkazy Vyzkum.cz – Hodnocení VaVai IS VaVaI Frascati Manual, OECD OR č. 28/2016 Knihovna PedF – Publikační činnost – nové definice, Metodika 17+ Minulá prezentace - detailnost kontroly v OBD E-mail: blanka.vorlickova@pedf.cuni.cz

Seznam použitých zkratek VO – Výzkumná organizace RVVI – Rada vlády pro vědu a inovace MSMT – Ministerstvo školství a tělovýchovy OECD - The Organisation for Economic Co-operation and Development NAÚ – Národní akreditační úřad OA - Open Access ERC – European Research Council IAB – International Advisory board PV – Povinný výtisk NKP – Národní knihovna ČR DOI – Digital Object Identificator MVS – Meziknihovní výpůjční služba VaVaI – Vývoj, výzkum a inovace WoSID – identifikátor Web of Science EID – identifikátor Scopus ÚKUK – Ústřední knihovna UK