HODNOCENÍ VĚDECKÉ PRÁCE Jan Zima Ústav biologie obratlovců AV ČR

Základní přístupy k hodnocení Základní a aplikovaný výzkum, vývoj a inovace Kvantitativní analýza vybraných indikátorů vědecké publikace a jejich ohlas (scientometrická analýza) výzkumné projekty (granty) prestižní ocenění (Nobelova cena aj.) praktické výstupy (patenty, vynálezy) Kvalitativní hodnocení - posouzení kolegy z příslušného oboru (peer review) Hodnocení vstupů a výstupů

Hodnocení vědy v ČR Zákon 130/2002 o státní podpoře vědy a výzkumu a jeho novela RVV, Rada vlády pro výzkum, experimentální vývoj a inovace, http://www.vyzkum.cz Research Assessment Exercise (UK) European Innovation Scoreboard Thomson Reuters National Science Indicators

Analýza stavu výzkumu, vývoje a inovací v České republice a jejich srovnání se zahraničím v roce 2016 Na základě rozborů, analýz a mezinárodních srovnání lze konstatovat, že systém VaVaI v ČR se rozvíjí žádoucím směrem. Z pohledu na základní ukazatele je zřejmé, že prostředí je pro VaVaI relativně příznivé. Výdaje na výzkum a vývoj v dlouhodobé perspektivě rostou, počet výzkumných pracovníků dlouhodobě zaznamenává rovněž rostoucí trend. Tvorba výsledků má v ČR dlouhodobě rostoucí trend, v současnosti jich vzniká cca 60 tis. ročně. Z dlouhodobého pohledu narůstá počet publikačních výsledků i počet výsledků aplikovaných, v roce 2016 však došlo u obou skupin k poklesu. Absolutního maxima bylo v ČR dosaženo v roce 2012. Jednoznačně největší počet výsledků vzniká ve Společenských a humanitních vědách, druhou nejvýznamnější skupinou oborů je skupina Průmysl. Dlouhodobě je zaznamenáván nízký podíl aplikovaných výsledků na celkovém počtu výsledků (v současnosti cca 10 %). V rámci aplikovaných výsledků je stále velmi málo patentů, přestože jejich počet na rozdíl od jiných druhů aplikovaných výsledků meziročně roste. Nejvýznamnější podíl aplikovaných výsledků na celkovém počtu vykazují průmyslové obory, ani zde však nedosahuje 50 %. Meziročně roste kvalita publikací i úroveň mezinárodní spolupráce. Z pohledu kvality je patrný nárůst podílu publikací v periodikách indexovaných ve Web of Science. Největší počet takových publikací vykazují vysoké školy, nejvyšší poměr vůči ostatním publikacím ústavy Akademie věd ČR.

Výdaje na výzkum, vývoj a inovace v České republice

Zdroje financování výzkumu a vývoje

Srovnání celkových výdajů na VaV podle % HDP

Srovnání veřejných výdajů na VaV podle % HDP

Financování výzkumu v České republice v roce 2016

Rozdělení prostředků státního rozpočtu jednotlivých skupinám příjemců v roce 2016

Podpora VaV ze státního rozpočtu: institucionální vs Podpora VaV ze státního rozpočtu: institucionální vs. účelové financování

Rozdělení účelové podpory ze státního rozpočtu na obory

Počet zaměstnanců ve výzkumu a vývoji v ČR podle sektorů

Výstupy výzkumu: počty výsledků

Vývoj produkce vědeckých publikací v České republice (podle údajů WoS) Czech researchers averaged just over 4,000 papers a year in the 70s – 90s. Now over 10,000 papers per year 15

Druhy publikačních výsledků a jejich počty v ČR

Struktura článků v odborném periodiku

Srovnání produkce vědeckých publikací v některých evropských zemích Thomson Reuters InCites 18

Relativní citační impakt některých evropských zemí Thomson Reuters InCites 20

Počty vědeckých publikacích v jednotlivých zemích 2012

Počty českých publikací (WoS) a jejich citovanost

Relativní citační indexy ve vědách o živé přírodě

Indikátorové hodnocení – relativní citační ohlas vědy o rostlinách

Srovnání kvality publikací podle citačního ohlasu periodik

Citovanost českých autorů na WoS a její srovnání

Scimago http://www.scimagoir.com/pdf/sir_2010_world_report.pdf

Zahraniční spolupráce českých autorů a srovnání s Rakouskem

Tvorba publikačních a aplikovaných výsledků v ČR

Druhy aplikovaných výsledků a jejich počty

Příjmy z licencí na patenty (v tis. Kč)

Úspěšnost ČR v programu H2020

Metodika hodnocení výsledků VaV – RVVI pro rok 2009 Výsledky s bodovým ohodnocením Jedná se o výsledky, které jsou definovány v příloze č. 1 Metodiky a kterým je přiděleno bodové ohodnocení. Takovým výsledkem je v souladu s reformou VaV: 1. článek v odborném periodiku (dle číselníku IS VaV se jedná o druh výsledku J) 2. odborná kniha (druh výsledku B) nebo kapitola v odborné knize (C) 3. článek ve sborníku (druh výsledku D) 4. patent (druh výsledku P) 5. užitný nebo průmyslový vzor (druh výsledku F) 6. poloprovoz, ověřená technologie, odrůda, plemeno (druh výsledku Z) 7. prototyp, funkční vzorek (druh výsledku G) 8. poskytovatelem realizovaný výsledek (druh výsledku H) 9. specializovaná mapa (druh výsledku L) 10. certifikovaná metodika a postup (druh výsledku N) 11. software (druh výsledku R) 12. výzkumná zpráva obsahující utajované informace (druh výsledku V)

Počet druhů výsledků v Rejstříku informací o výsledcích 2001-2009 (RIV)

Počet druhů výsledků v Rejstříku informací o výsledcích 2007-2012 (RIV) 39

IPN Mezinárodní audit výzkumu, vývoje a inovací v České republice Technopolis Limited Závěrečná zpráva Tisková zpráva (11.10.2011) Nezávislý audit českého systému výzkumu, vývoje a inovací   (VaVaI), zpracovaný mezinárodním konsorciem vedeným britskou firmou Technopolis, dospěl po jednom a půl roce ke svému závěru. Závěrečná zpráva auditorů odkrývá neradostný stav řízení VaVaI v České republice v mezinárodním srovnání, stejně jako například fakta o jejich financování, a doporučuje řešení http://audit-vav.reformy-msmt.cz/mezinarodni-audit-vyzkumu-vyvoje-a-inovaci-v-r-a-implementace-jeho-vysledk-do-strategickych-dokument-audit-vavai

Hodnocení týmů a pracovišť v Akademii věd za období 2005-2009 Podkladové materiály: přehledy o dosažených výsledcích, a to nejen za pracoviště jako celek, ale též v členění na jednotlivé vědecké útvary. Hodnotící komise: řízení evaluace, vlastní hodnocení, souhrnný návrh Zahraniční posuzovatelé Vytvoření profilů hodnocených vědeckých útvarů a jejich zařazení do jednoho z pěti stupňů hodnotící stupnice Prezenční hodnocení, vyjádření pracoviště k návrhu hodnocení Závěrečný protokol o hodnocení, zveřejnění

Hodnocení týmů a pracovišť v Akademii věd za období 2010-2014 Hodnocení založené na těchto principech: a) Informované peer-review b) Oborovost - hodnocení po oborech s cílem respektování specifik c) Dvoufázovost: hodnocení proběhlo ve dvou navazujících fázích, - zahraniční oborové informované peer-review vědeckých výstupů (I. fáze), - mezinárodní informované peer-review (II. fáze); d) Oddělené hodnocení a financování e) Transparentnost - součástí přípravy a vlastního hodnocení bude průběžná informovanost uvnitř AV ČR, závěry hodnocení budou přiměřeným způsobem zpřístupněny veřejnosti.

Analýza stavu výzkumu, vývoje a inovací v České republice a jejich srovnání se zahraničím v roce 2015 V České republice se již více než deset let uskutečňuje hodnocení výzkumných organizací výhradně na základě výsledků, které nezohledňuje rozdíly v rolích a poslání jednotlivých organizací, ani odlišnosti ve způsobu financování. Hodnocení má přímou vazbu na financování výzkumných organizací. Je využíván způsob hodnocení jednotlivých výsledků založený na bibliometrických datech, jejich bodovém vyjádření a následném převodu na finanční položky na principu trojčlenky. V roce 2013 byla metodika upravena. Skládá se ze tří pilířů, avšak stále využívá strojový výpočet, pouze s modifikovanými vstupy. V hodnocení je využíváno specifické oborové členění, jež nekoresponduje se současně používanými mezinárodními standardy. Neobvyklá pozornost je věnována přírodním vědám, výrazně odlišně jsou členěny Společenské a humanitní vědy. Metodika hodnocení pracuje s apriorní alokací bodů pro skupiny vědních oborů a zavádí specificky český indikátor – korigované RIV body. Je však postavena na nepřehledných, často matematicky nevhodných a nejednoznačně definovaných výpočtech. Z těchto důvodů není transparentní a její veřejná kontrola je jen obtížně realizovatelná.

Nová metodika hodnocení

Analýza IDEA (Cerge-EI) http://idea.cerge-ei.cz/files/IDEA_Studie_5_2015_Publikacni_vykonnost/IDEA_Studie_5_2015_Publikacni_vykonnost.html

Scientometrické hodnocení ústavů AV ČR 2017 AIS (article influence score) je oproti IF (impakt faktoru) lepší v tom, že při jeho stanovení pro daný časopis se bere v úvahu nejen počet, ale i kvalita citací z jiných časopisů (databáze InCites).

Leidenský manifest 2015 Stöckelová a Vostal: Texty bez čtenářů aneb Horečná nehybnost vědy. Host 26. Organizace, hodnocení, a tudíž i financování vědy čím dál více podléhá (na úkor rigorózního vědeckého posouzení) různým typům indikátorů a dat shromažďovaných algoritmy, kódy a softwarem. Vědci napříč disciplínami jsou přímo i nepřímo pobízeni publikovat nejen více článků, ale zejména více článků v časopisech s velkým (nebo v případě humanitních a společenských věd vůbec nějakým) impakt faktorem; jsou přímo či nepřímo tlačeni ke zvyšování svého H-indexu. Současný dominantní způsob metrického pojetí vědy upřednostňuje kvantitu před kvalitou, nezohledňuje diverzitu disciplín, nerozlišuje mezi základním a aplikovaným výzkumem; nereflektuje různé typy relevance a nebere v potaz širší socioekonomický a kulturní kontext. Autoři Leidenského manifestu přitom nebrojí proti hodnocení a indikátorům jako takovým, ale naléhavě varují před jejich mechanickým používáním ve vědních politikách a jednorozměrnou imaginací, s níž jsou obvykle spojeny. Kvalitu a smysluplnost vědy nelze shrnout do jednoho nebo pár čísel.

Je moje práce lokální, národní nebo mezinárodní? Každý dobrý výzkum má cenu! Rozdíly mezi „úrovněmi“ jsou nejčastěji souvisejí: s otázkou kladenou ve výzkumu (obecný nebo lokální význam) povahou výzkumu: deskriptivní nebo testuje hypotézu kvalitatitní nebo kvantitativní povaha použitím experimentu využití statistické analýzy …. Různý přístup v různých oborech…

Typy publikací Původní vědecká práce (paper – invited, target) Přehledný článek (review) Krátké sdělení (short research notes) Monografie Kniha,kapitola v knize Sborníky z konferencí (proceedings) samostatná publikace, eventuelně typu knihy zvláštní číslo mezinárodního časopisu Názor, esej (opinion) Novinky a oznámení Recenze jiných publikací, knih Abstrakt

Je moje práce lokální, národní nebo mezinárodní? Mezinárodní časopisy: mají několik úrovní Vrchol (Cell, Science, Nature) Vyvolávají neobyčejně široký zájem (world press) Špičkový výzkum, ale také atraktivita sdělení Nové objevy, nové metody Nová paradigmata Nature: Biology, London Office: 1/60 rukopisů týdně IF= 25-30

Je moje práce lokální, národní nebo mezinárodní? 2. Mezinárodní špičková úroveň (eg PNAS, TREE) shrnující přehledové články, reviews přednostně výzkum testující hypotézy práce nemají být výhradně deskriptivní musejí zahrnovat kvantitativní (statistické) testy překračují lokální nebo regionální zájem jsou atraktivní pro širokou vědeckou obec => např. taxonomie s fylogenetickou nebo biogeografickou interpretací, kvantitativní morfologická analýza,….

Je moje práce lokální, národní nebo mezinárodní? 3. Specializované časopisy jednotlivých oborů (Journal of Mammalogy, Journal of Avian Biology) Větší důraz na odborné zaměření než na obecnou zajímavost V některých oborech může být přijata i čistě deskriptivní práce Např. čistá alfa-taxonomie, krátkodobá ekologická sledování, modely s jedním parametrem,…

Je moje práce lokální, národní nebo mezinárodní? Národní nebo muzejní časopisy např. inventarizace přírodních rezervací, základní taxonomie, faunistika – nové druhy pro národní faunu,… Lokální časopisy např. krátké zprávy o faunistických nebo floristických pozorování, obecná přírodověda či vlastivěda, popis přírody v malých územích… => raději s tímto způsobem publikování neztrácet čas a peníze

Proč se snažit o vysokou úroveň publikace vlastních výsledků ? Věda není objevování věčných pravd, ale celosvětový informační systém Větší známost vašich výsledků znamená jejich vyšší impakt na vědeckou komunitu Lepší využití finanční podpory a lepší vyhlídky na její další získání Pokročilí vědci (senior researchers): větší naděje na získání finančních prostředků pro realizaci a zázemí vlastního výzkumu zlepšení pozice v zaměstnání Studenti a postdok stážisté: větší naděje na získání stálého zaměstnání (také odpovědnost školitele!)

Posuzovací systém (peer review) Recenzenti, peers = vaši kolegové Rukopis posoudí 2-3 anonymní recenzenti Připomínky k obsahu, struktuře, formě (jazykové úrovni), content,… cílem je POMOCI zadarmo autorům!! to si zaslouží přiměřeného ocenění a respektu Rozhodnutí editorů po recenzi: accept, minor revision, major revision, (possibly with re-review) rejected (with or without possibility to resubmit)

Scientometrie Thompsons Institute for Science Information (ISI) Databáze s referencemi a citacemi z tisícovek časopisů Zahrnutí určitého časopisu je na subjektivním rozhodnutí ISI Databáze zahrnovala 30 milionů referencí v roce 2005 Produkty Current Contents Web of Science, Web of Knowledge Journal Citation Impact Factors, Immediacy Index Cited Half Life

WEB OF SCIENCE POLITIKA VÝBĚRU ČASOPISŮ Každoročně je hodnoceno cca 2000 časopisů akceptováno 10-12% Editoři Thomson Reuters Informační profesionálové Knihovníci Odborníci na publikace ve svém vědním oboru Kvalita časopisů Web of Science Analyzované časopisy

ZÁKLADNÍ PUBLIKAČNÍ STANDARDY Včasnost vydávání časopisu Schopnost vydávat časopis v předem stanovených termínech. Velice důležitá podmínka, kvůli které většinou hodnotíme minimálně tři po sobě jdoucí vydání a někdy i více. Mezinárodní publikační standardy Kompletní bibliografická informace na všech úrovních – pro časopis, články, autory a citované reference. Názvy článků, abstrakty, klíčová slova a citované reference v anglickém jazyce Velice vhodné, aby časopis mohl oslovit co nejširší cílovou skupinu. Peer review Zcela zásadní 58

Počet časopisů z regionu ve WoS Celkové pokrytí Web of Science Region Počet časopisů z regionu ve WoS Evropa 5,573 49% Severní Amerika 4,251 38% Asie a pacifická oblast 965 9% Latinská Amerika 272 2% Střední Východ a Afrika 200 1% Jazyk Počet časopisů ve WoS Angličtina 9114 81% Jiný 2147 19% 59

Růst pokrytí regionálních a českých časopisů Web of Science 2005 2010 Nárůst Procentní změna Celkový počet indexovaných časopisů 8,834 11,423 2,589 + 29% Regionální časopisy 1,716 3,605 1,889 + 110% České časopisy 30 56 26 + 87% 60 60

Citační index, komunikace mezi vědci a hodnocení vědecké práce Garfield, E. “Citation indexes for science: A new dimension in documentation through association of ideas.” Science, 122 (3159), p.108-111, July 1955. 61

Impaktní faktor časopisu 2008 2007 2006 Source paper – published in 2008 Cited reference – published in 2006 or 2007 Citations All Previous Years 2005 2009 2008 Impact Factor The journal Impact Factor looks at the average number of times recent articles were cited in a particular year. As an example…

Výpočet impaktního faktoru Collection of Czechosloval Chemical Communications   Citations in 2008 To items published in 2007 = 78 To items published in 2006 = 100 Sum = 178 178 227 = 0,784 Number of items Published in 2007 = 118 Published in 2006 = 109 Sum = 227

Závislost impaktního faktoru na počtu jednotlivých článků Category Limnology and Oceanography rank journal IF II Number of papers total citations 1 Oceanogr Mar Biol 2,647 0,75 8 1491 2 Adv Mar Biol 2,5 0,375 673 3 Can J Fish Aquat Sci 2,432 0,151 126 13040 11 Freshwat Biol 1,936 0,488 168 4633 51 Hydrobiologia 0,72 0,724 493 9706 Nature & Science : IF = c 30 Trends in Ecology and Evolution: IF = c 14 PNAS: IF = c 10

Další ukazatele five-year impact factor immediacy index The average number of times that an article published in a specific year within a specific journal is cited over the course of that same year. cited half-life Cited half-life is a measurement used to estimate the impact of a journal. It is the number of years, going back from the current year, that account for 50% of the total citations received by the cited journal in the current year.

Odlišnosti v citovanosti mezi různými oblastmi

Impaktní faktor některých českých vědeckých časopisů (2009) 67

Počet časopisů na 1000 výzkumníků vydávaných v zemích EU a OECD

Možné příčiny vysoké citovanosti vědeckých prací Práce popisuje novou metodologii Review papers Opinion papers Práce v časopisech s rychlou publikací široce dostupné a čtené časopisy Elektronické (web-based) časopisy Open Acces časopisy Úroveň práce je velice slabá (obsahuje nesmysly) Citační „kartel“ ….

Impaktní faktor není objektivní kritérium? TREE: IF nemůže být používán ke srovnání disciplin institucí jednotlivých vědců,…. Eugene Garfield (2005) 50% of prací v databázích ISI není nikdy citováno pouze 0.1% prací získá více než 200 citations Impakt faktor je měřítko úrovně časopisu a nikoliv jednotlivých příspěvků jednotlivých vědců

Avšak: pravidelná (každoroční) evaluace vědců pravidelná (víceletá) evaluace institucí kompetice o získání pozice (pracovního místa) na všech úrovních … je to jediné dostupné kvantitativní kritérium jednoduchá scientometrie znamená jednoduchý nástroj pro administrátory (v Evropě je scientometrii obecně přikládán mnohem vyšší význam než v USA)

Databáze Web of Science (Thompsons ISI) Scopus (Elsevier) http://www.lib.cas.cz/cs/online-databaze