Bohuslav Gaš Karolinum, UK 18. června 2009 Metodika hodnocení výsledků výzkumu a vývoje.

Prezentace na téma: "Bohuslav Gaš Karolinum, UK 18. června 2009 Metodika hodnocení výsledků výzkumu a vývoje."— Transkript prezentace:

1 Bohuslav Gaš Karolinum, UK 18. června 2009 Metodika hodnocení výsledků výzkumu a vývoje

2 Institucionální prostředky na podporu výzkumu na základě zhodnocení dosažených výsledků Výzkumné záměry „První generace“ výzkumných záměrů bude financována do roku 2011, „druhá generace“ do roku 2013. Institucionální prostředky na základě zhodnocení dosažených výsledků Mezinárodní spolupráci České republiky ve výzkumu a vývoji Operační programy ve výzkumu, vývoji a inovacích Ministerstvem školství, mládeže a tělovýchovy nebo Ministerstvem průmyslu a obchodu Účelové prostředky na podporu výzkumu Základní výzkum – projekty GAČR Aplikovaný výzkum – projekty TAČR MK – aplikovaný VaV v oblasti národní a kulturní identity MZe – aplikovaný zemědělský VaV MZ – aplikovaný zdravotnický výzkum MŠMT – projekty mezinárodní spolupráce České republiky ve výzkumu a vývoji, – projekty v rámci programu velké infrastruktury, specifický vysokoškolský výzkum – specifický vysokoškolský výzkum – účelové prostředky

3 Rejstřík informací o výsledcích – RIV Údaje do RIV předávají poskytovatelé účelové a institucionální podpory z veřejných prostředků, kterými jsou správci příslušných kapitol státního rozpočtu (ústřední orgány státní správy, Grantová agentura České republiky, Akademie věd České republiky) nebo územní samosprávné celky.

4 Druh výsledkuobory NRREostatní obory J imp článek v impaktovaném časopise5 + 140 × Faktor J neimp článek v recenzovaném časopise světově uznávané databáze128 seznam recenzovaných periodik 104 Bodborná kniha světový jazyk 40 ostatní jazyky20 Dčlánek ve sborníku8 Ppatent 40 / 200 500 Z (T) poloprovoz, ověřená technologie, odrůda, plemeno 100 S prototyp, uplatněná metodika, funkční vzorek, autorizovaný SW, užitný a průmyslový vzor 40 V výzkumná zpráva, která je výsledkem obsahujícím utajované informace 50

5 V roce 1960 založil Eugene Garfield The Institute for Scientific Information (ISI). Nyní Web of Knovledge – Thomson Reuters Výběrová databáze 6426 časopisů v databázi SCI 1866 časopisů v databázi SSCI Bibliografické informace o časopisech, zejména o jejich vzájemné citovanosti: citovanost (i) Jak je článek citován v ostatních článcích – citovanost H index (ii) Jak je citován autor ostatními autory – H index impaktní (iii) Jak je citován časopis ostatními časopisy – impaktní faktor časopisu faktor časopisu

6 Pavel HobzaAV ČR65 Antonín Holý AV ČR50 Václav HořejšíAV ČR48 Petr BočekAV ČR44 Pavel MartásekUK37 h-index některých českých vědců Laureáti Nobelovy ceny za rok 2007 Mario Capecchi61 Sir Martin Evans61 Oliver Smithies86 "for their discoveries for introducing specific gene modifications in mice by the use of embryonic stem cells"

7 V roce 1960 založil Eugene Garfield The Institute for Scientific Information (ISI). Nyní Web of Knovledge – Thomson Reuters Výběrová databáze 6426 časopisů v databázi SCI 1866 časopisů v databázi SSCI Bibliografické informace o časopisech, zejména o jejich vzájemné citovanosti: citovanost (i) Jak je článek citován v ostatních článcích – citovanost H index (ii) Jak je citován autor ostatními autory – H index impaktní (iii) Jak je citován časopis ostatními časopisy – impaktní faktor časopisu faktor časopisu

8

9 SCI

10 SCI

11 SCI

12 SSCI

13

14 Body = 5 + 140 × Faktor Faktor = (1-N)/(1+N/0,14), kde: N = (P-1)/(Pmax-1) P = pořadí časopisu v daném oboru dle WoS v řadě seřazené sestupně podle IF, Pmax = celkový počet časopisů v daném oboru WoS U časopisů, které jsou ve dvou a více oborech, se jako výsledné pořadí bere to nejlepší.

15 Body Jimp = 5 + 140 (1-N)/(1+N/0,14)

16 - článek v impaktovaném časopise článek v časopise, který je obsažen v databázi Web of Science - recenzovaný odborný časopis vydávaný v ČR Zpracován dotazník, na www.vyzkum.cz jako webovská aplikace, cca 450 periodik - světové databáze SCOPUS, ERIH

17

18 Problém: u časopisů, které jsou ve dvou a více oborech, se jako výsledné pořadí bere to nejlepší. Časopis Dyes and Pigments, IF 2,796 Vyskytuje se v oborech MATERIALS SCIENCE, PAPER & WOOD (145 bodů) ENGINEERING, CHEMICAL (119 bodů) CHEMISTRY, APPLIED (103 bodů)

19 Body = 5 + 295 × Faktor Faktor = (1-N)/(1+N/0,057), kde: N = (P-1)/(Pmax-1) P = pořadí časopisu v daném oboru dle WoS v řadě seřazené sestupně podle IF, Pmax = celkový počet časopisů v daném oboru WoS. U časopisů, které jsou ve dvou a více oborech, se vypočte průměrné pořadí NÁVRH článek v prestižním impaktovaném časopise - Nature, Science, Proc. Natl. Acad. Sci. USA 500 bodů

20 Názor: Článek do International Journal of Nursing Studies, může napsat i nevysokoškolák, kdežto do Science píšou většinou lidé mající za sebou veleváženou výzkumnickou kariéru (o titulech nemluvě). Přesto oba časopisy generují týž počet bodů. Prof Hořejší: Myslím, že ten problém řešitelný je - zavedením "superclusterů„. Podle mého názoru by správný systém měl (na rozdíl od toho stávajícího) ty špičkové žurnály spíše ještě "nadhodnocovat". Za celou historii časopisu International Journal of Nursing Studies tam nikdo z Česka ještě nepublikoval... Problém: malé obory

21

22 1. Materiálové vědy MATER SCI BIOMATER MATER SCI CERAMICS MATER SCI CHARACTER TESTING MATER SCI COATINGS FILMS MATER SCI COMPOSITES MATER SCI MULT MATER SCI PAPER WOOD MATER SCI TEXTILES METALLURGY METALL ENG 2. Inženýrství AUTOMAT CONTROL SYST CONSTR BUILD TECHNOL ENERGY FUELS ENG AEROSPACE ENG CHEM ENG CIV ENG ENV ENG IND ENG MANUFACT ENG MARINE ENG MECH ENG MULT ENG OCEAN ROBOTICS TRANSPORT SCI TECHNOL 3. Počítačové vědy a informatika 4. Vědy o Zemi 5. Zemědělské vědy 6. Biologicko-ekologické vědy 7. Chemické vědy 8. Matematika 9. Fyzikální vědy 10. Experimentální biologie 11. Klinická medicína a farmakologie 12. Psychologické vědy 13. Ekonomické vědy 14. Společenské vědy 15. Humanitní a umělecké obory 16. Ostatní (multidisciplinární) Superclustery

23 Cluster Experimentální biologie

24 Iritující příklady některých problémů v bodování jsou vyřešeny: Například časopis INT J ANDROL klesne z 300 bodů na 31,0 (prof. Hořejší kritizoval vysoké body) nebo DYES PIGMENTS klesne z 204 bodů na 54 Výhoda je také to, že doposud několikanásobné výskyty mnoha časopisů v několika oborech se eliminují, protože jsou sdruženy v jednom superclusteru. Cluster Experimentální biologie

25 Title: ELECTROCHEMICALLY INDUCED NUCLEAR-FUSION OF DEUTERIUM Author(s): FLEISCHMANN M, PONS S Source: JOURNAL OF ELECTROANALYTICAL CHEMISTRY ELECTROCHEMICALLY INDUCED NUCLEAR-FUSION OF DEUTERIUM Volume: 261 Issue: 2A Pages: 301-308 Published: APR 10 1989 Times Cited: 729729 Title: CAPILLARY ZONE ELECTROPHORESIS Author(s): JORGENSON JW, LUKACS KD Source: SCIENCE CAPILLARY ZONE ELECTROPHORESIS Volume: 222 Issue: 4621 Pages: 266-272 Published: 1983 Times Cited: 903903 Námět pro budoucí Metodiku… Posuzování článků podle citovanosti, nikoliv podle toho, v jak impaktovaném časopise je uveřejněna… Kombinace impaktovanosti časopisu a citovanosti práce…

26 Druh výsledku obory NRRE ostatní obory B odborná kniha světový jazyk 40 ostatní jazyky 20 Knihy Rozlišení kvality knihy podle vydavatele… Kritérium počtu stránek… Top 100…

27 Druh výsledkuBody D článek ve sborníku 8 - články ve sbornících evidovaných v databázi Conference Proceedings Citation Index – Science nebo Social Science & Humanities (dříve ISI Proceedings) Obory: například COMPUTER SCIENCE ENGINEERING, ELECTRICAL & ELECTRONIC, TELECOMMUNICATIONS Za rok 2007 je v databazi ISI Proceedings celkem 2411 clanku autorů z České republiky. Pro srovnání: za rok 2007 je na WoS 6 782 clanku v impaktovaných časopisech Články ve sbornících

28 Druh výsledku PPatent40 / 200 500 Z (T)poloprovoz, ověřená technologie, odrůda, plemeno100 S prototyp, uplatněná metodika, funkční vzorek, autorizovaný SW, užitný a průmyslový vzor40 Výsledky aplikovaného výzkumu

29

30 Problém: Definice a bodování výsledků aplikovaného výzkumu Jejich těžko kontrolovatelná expanze (funkční vzorek)