Jindřich Leitner VŠCHT Praha VŠCHT Praha Jaká je hodnota našich publikací

2 Proč publikovat? „Work-finish-publish“ (M. Faraday, ) Sdělit výsledky „Publish or perish“ (L. Wilson, 1942) Získat body pro hodnocení

3 Goodhartův zákon Charles E.A. Goodhart Je-li nějaká sociální nebo ekonomická veličina užita jako kvantifikovaný cíl nějaké politiky, pak tato veličina ztrácí svoji vypovídací schopnost, protože zainteresované subjekty jsou motivovány k jejímu zkreslování. Příklad : Hodnocení kvality pedagogů podle počtu „úspěšných“ studentů.

4 Hodnocení VEVI  Kariérní růst akademických pracovníků  Akreditace studijních programů a oborů na VŠ  Poskytování finančních prostředků na grantové projekty  Hodnocení institucí zabývajících se VEVI  … Kvantita = počet publikací + počet citací Kvalita publikace = kvalita časopisu (IF) Kvalita jednotlivce = suma kvality jeho publikací Kvalita kolektivu = suma kvality jeho členů Hodnocení odborných publikací: kvantita a kvalita

5 Scientometrie Elsevier, 2007 IF 2010 = 3,119 Springer, 1978 IF 2010 = 1, 905 Scientometrics is the science of measuring and analysing science. In practice, scientometrics is often done using bibliometrics which is a measurement of the impact of (scientific) publications. Wiley, 1950 IF 2010 = 2,137

6 Bibliografické databáze Thomson Reuters 7 citačních databází SCI-Expanded od r : 1907 zdrojů Elsevier Dokumenty od r : 3448 zdrojů, 3140 časopisů Google + Publish or Perish (Anne-Wil Harzing)

7 Kvantitativní ukazatele Počet publikací (dle kategorie) - Nadprodukce publikací - Problém stejných jmen (GS - Smith: , Li: ) Počet citací - Proč jsou práce citovány - Celkový počet citací vs. distribuce počtu citací (h-index) - Problém autocitací O.H. Lowry, N.J. Rosebrough, A.L. Farr, R.J. Randall: Protein measurement with the Folin phenol reagent, J. Biol. Chem. 193 (1951) WoS: krát GS: krát

8 Analýza citovanosti prací Celkem prací Citováno alespoň 1x (tj.52,25%) Kvantitativní ukazatele

9 Citační ohlas prací z oblasti TAC 1.Homer E. Kissinger: Reaction kinetics in differential thermal analysis, Anal. Chem. 29 (1957) (5254 citací dle GS, 4629 citací dle WoS) Takeo Ozawa: A new method of analysing thermogravimetric data, Bull. Chem. Soc. Jpn. 38 (1965) (2491 citací dle GS, 2294 citací dle WoS)

10 Proč jsou publikace citovány - Délka názvu - Přítomnost zkratek, znaků (např. – nebo :) a určitých slov - Specifické geografické vymezení - … - Aktivní/pasivní citace - Specifické preference (autor, zdroj, „indukční efekt“, …) - Negativní citace - Autocitace

11 Jorg E. Hirsch: An index to quantify an individual's scientific research output, Proc. Natl. Acad. Sci. USA. 102 (2005) citací dle GS, 1017 citací dle WoS ( ) N cit Hirschův index

12 O.H. Lowry, N.J. Rosebrough, A.L. Farr, R.J. Randall: Protein measurement with the Folin phenol reagent, J. Biol. Chem. 193 (1951) 265. Rosebrough N.J. Suma citací h-index 3 h-index: výhody - Eliminuje vliv výrazně hodně/málo citovaných prací h-index: nevýhody - Výrazné rozdíly mezi obory (nelze porovnávat) - S rostoucím věkem roste/neklesá - Při výpočtu jsou uvažovány autocitace - Hodnota může záviset na databázi, ze které je vypočtena - … Hirschův index

13 Kvalitativní ukazatele Kvalita publikace = kvalita časopisu (IF) IF = Garfield story... Science, Vol:122, No:3159, p , July 15, 1955 Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas Eugene Garfield, Ph.D. SCImago Cites per Doc.(2y)

14 IF: nevýhody - Výrazné rozdíly mezi obory (nelze porovnávat) - Závisí na charakteru časopisu (obecný/specializovaný, původní/přehledné články, jazyk, …) - Při výpočtu jsou v některých případech uvažovány různé soubory pro publikace a citace (Letters to Editor) - Při výpočtu jsou uvažovány autocitace - Může se výrazně měnit v čase - Nevhodné použití - není mírou kvality jednotlivé práce Impakt-faktor časopisu „The use of journal impacts in evaluating individuals has its inherent dangers.“ (E. Garfield, 2005)

15 Impakt-faktor časopisu

16 Impakt-faktor časopisu

17 Lze impakt-faktor časopisu ovlivnit ? Proč ? Osobní zájem vydavatelů, redaktorů i autorů. Jak ? Zvýšením počtu autocitací (citace na články ve stejném časopise).

18 Časopisy s vysokým impakt-faktorem Journal (Country) Category N cit N pu b IF A Cancer Journal for Clinicians (USA)Oncology ,333 New England Journal of Medicine (USA)Medicine, Internal ,486 Reviews of Modern Physics (USA)Physics, Multidisciplinary ,695 Nature (GB)Multidisciplinary ,104 Chemical Reviews (USA)Chemistry, Multidisciplinary (1) ,036 Science (USA)Multidisciplinary ,377 Nature Materials (GB)Chemistry, Physical (1) ,920 Annual Review of Physical Chemistry (USA)Chemistry, Physical (3) ,245 Chemistry of Materials (USA)Chemistry, Physical (15) ,400 Journal of Physical Chemistry C (USA)Chemistry, Physical (27) Journal of Chemical Thermodynamics (GB)Chemistry, Physical (46) ,794 Thermochimica Acta (NL)Chemistry, Physical (71) ,908

19 Body RIV Články v prestižních časopisech Science a Nature (500 bodů). Články v mezinárodních časopisech s IF (10–305 bodů). Články v mezinárodních recenzovaných časopisech bez IF (Časopis musí být veden v databázi Scopus) (12 bodů). Články v českých recenzovaných časopisech (4 body). Články ve sbornících z konferencí (Sborník musí být evidován v databázi Conference Proceedings Citation Index - Science společnosti Thomson Reuters) (8 bodů). Institucionální podpora na dlouhodobý koncepční rozvoj výzkumné organizace

20 J imp vybraných časopisů Journal IF 2010 Category (P max ) P N av J imp Thermochim. Acta1,908 Chem., Analytical (73) Chem., Physical (127) ,50025,1 J. Therm. Anal. Calorim.1,752 Chem., Analytical (73) Chem., Physical (127) ,56221,9 J. Chem. Thermodyn.2,794 Chem., Physical (127) Thermodynamics (51) ,19962,7 Polymer3,829Polymer Sci. (79)90,103104,6 Eur. Polym. J.2,518Polymer Sci. (79)170,20561,0 J. Alloy Compd.2,138 Chem., Physical (127) Mater. Sci., Multi (225) Metall. Metall. Eng., (76) ,25550,2 J. Non-Cryst. Sol.1,492 Mater. Sci., Ceramics (25) Mater. Sci., Multi (225) ,25250,7 1 bod ≈

21 České univerzity NázevCelkem Na 1 a.p. Univerzita Karlova, Praha513337,71148,15 ČVUT, Praha211795,96 141,16 Masarykova Univerzita, Brno197255,59139,41 VUT, Brno134933,71135,26 Univerzita Palackého, Olomouc ,71 107,44 VŠCHT, Praha 79556,49 191,93 Jihočeská univerzita, České Budějovice65244,23110,96 Západočeská Univerzita, Plzeň 62430,50 75,94 Univerzita Pardubice 56924,88 110,96 VŠB-TU, Ostrava 52307,64 51,47 Body RIV v r ( ) 1 bod ≈

22 Hlavní nedostatky  Kvalita vědecké práce je velmi obtížně kvantifikovatelná.  Běžně užívané kvantitativní indikátory mají řadu zřejmých a obecně známých nedostatků, jejich hodnoty lze cíleně manipulovat.  Kvantitativní ukazatele jsou mnohdy nevhodně užívány a všeobecně přeceňovány. Důsledkem současného systému hodnocení vědy pouze/zejména podle počtu a kvality publikací vede k nadprodukci publikací a k účelové manipulaci s citacemi.

23 Lze to i jinak ? Projekt „Technopolis“ – Mezinárodní audit VVI v ČR ( ) Různé aspekty vědní politiky včetně hodnocení organizací zabývajících se VEVI  Systém není optimální – změna je nevyhnutelná.  Změny provádějte pomalu, aby systém mohl přirozeně reagovat na měnící se podmínky.  Nepoužívejte pouze přístupy založené na kvantitativních indikátorech (body RIV), kombinujte je s jinými principy rozdělování zdrojů (posouzení nezávislými experty, posouzení přínosů, sebehodnocení).  Berte v úvahu rozdíly mezi jednotlivými vědními obory.