Evaluation of Performance Based on Information in Documents‘ Databases Hana Pessrová Tomáš Cahlík

Outline 1. Introduction 2. Evaluation of Universities n Thomson ISI Approach n Czech Methodology 3. Our Own Experiments 4. Outlooks

Introduction n What can be evaluated based on the information in documents´ databases? u Quality of journals F impact factor u Quality of authors F Number of publications F Impact measured by number of citing papers u Quality of research of sets of authors (departments, universities, states, EU) F Number again F Impact again

Introduction n Which databases are accessible at Charles University? u For everybody F Web of Knowledge The only database with citation information F Look at others at CUNI webpage “informační a poradenské služby, portály, brána k informacím”

Introduction u For libraries a lot of others, for example F EconLit

Evaluation of Universities - Thomson ISI Approach One of Products of the Thompson Research Service Group is Institutional Indicators n University Science Indicators (United States, United Kingdom, Canada, and Australia) u A database u Containes the number of ISI indexed papers for each university and the number of times the papers were cited through 2003

Evaluation of Universities - Thomson ISI Approach u For each university, information available is F Total number of papers F Total citations to papers F Citation impact statistics F World and university baselines for publication, citation and citation impact statistics

Evaluation of Universities - Thomson ISI Approach Conclusions n We have requested a „Virtual Study Tour“ n We believe that the same form can be used for our project n An open question: Is Thomson likely to deliver this product for Europe, too?

Evaluation of Universities - Czech Methodology Vláda ČR zvažuje změnu kriterií pro hodnocení výzkumu a vývoje. V návrhu usnesení vlády se uvádí, že kriteria hodnocení musí být n předem známá a závazná n jasně formulovaná n kvantifikovatelná, měřitelná, zhodnotitelná n vztahující se k danému cíli.

Evaluation of Universities - Czech Methodology Pro ekonomické a společenské vědy se předpokládá, že jako kriterium budou využity n články v impaktovaných vědeckých časopisech n články v odborných českých vědeckých časopisech n odborné knihy či články v knihách nebo sbornících v cizím jazyce n aplikované výsledky.

Our own experiments n Web of Knowledge u Možno najít záznamy z publikační činnosti UK a jiných českých univerzit v celistvosti a podle oborů a citace podle autorů, titulů ( vyhledávání v Social Science Citation Index a Science Citation Index) n JSTORE u Možno najít záznamy podle škol, podle autorů a titulů, pramenů a to s výjimkou posledních 2-3 let. Neobsahuje citace, ale plné texty obsahují bibliografické seznamy.

Our own experiments n Current Contents u Je možné hledat podle škol, oborů a záznamy obsahují plná jména autorů včetně jejich pracovišť a rozšířených přístupových adres. n EconLit u Je možné hledat především podle autorů a titulů, podle oborů a škol bylo třídění velmi hrubé.

Outlooks Provedeno investigativní šetření výskytu dalších nástrojů pro evaluaci publikační činnosti a zjištěno, že především firma Elsevier oznamuje na 2.pol zpřístupnění nejrozsáhlejšího registru publikací, časopisů a citačních parametrů „SCOPUS Service“ 1.shtml