Zkušenosti z kontroly údajů v RIV Kolokvium Řízení, financování a hodnocení SHV Praha, 17. 6. 2010.

Prezentace na téma: "Zkušenosti z kontroly údajů v RIV Kolokvium Řízení, financování a hodnocení SHV Praha, 17. 6. 2010."— Transkript prezentace:

1 Zkušenosti z kontroly údajů v RIV Kolokvium Řízení, financování a hodnocení SHV Praha, 17. 6. 2010

2 Kontrola RIV Zadání ke kontrole výstupů typu B (kniha) a aplikovaných výsledků typu P, S, T, Z byla vyzvána OK SHV v červnu 2008 (stejně jako ostatní komise); zadavatelem byla RVV, ve SHV šlo o celkem 3960 položek typu B a 114 položek typu P, S, T, Z za období 2003 až 2007, odborné komise měly označit ty výsledky, které dle jejich názoru nesplňují definice druhů výsledků, které byly (jsou) platné v roce jejich uplatnění. Nástroje kontrola záznamů v RIV, možnost fyzické kontroly v Národní knihovně.

3 Kontrola RIV – typ B Vstupní problémy definice knihy, monografie, odborné knihy se v průběhu let měnila (2003 - neexistovala Metodika, 2004 - v Metodice není definice knihy, 2005 - kniha = vědecká knižní publikace, 2006 - kniha = odborná kniha, 2007 - kniha = odborná kniha vytvořená jedním autorským kolektivem), hodnotitelé – členové OK SHV jsou ve střetu zájmů, kontrola položek v RIV je prováděna ryze na základě formálních znaků výstupu, OK je jen poradním orgánem; má minimální pravomoci, slabé materiální a finanční zázemí, nízké úvazky členů. Je problematické činit dostatečně transparentní a systematická rozhodnutí o kvalitě publikací (tj. doporučení, že výstup splňující formální kritéria je natolik nekvalitní, že by měl být vyřazen z hodnocení). Výsledky kontrol mohou být poměrně snadno napadnutelné.

4 Kontrola RIV – typ B Postup kontroly ke každému podoboru SHV (AA až AQ dle RIVu) byl z členů OK SHV ustaven garant kontroly, předseda OK SHV instruoval o přístupech doporučovaných KHV v případech, kdy nejsou pravidla pro kontroly nebo jejich uplatňování jednoznačná. V rámci toho předseda OK tlumočil stanovisko KHV, že v tomto prvním kole kontrol byl OK doporučen benevolentní přístup, garanti OK SHV zaslali výsledky předběžných kontrol, kde kromě položek k vyřazení označili položky k vizuální kontrole (kontrola vhodná, kontrola nutná), předseda OK SHV zpracoval kvalitativní a kvantitativní souhrnný přehled výsledků předběžných kontrol pro členy OK SHV, a to v zájmu sladění přístupu a přísnosti hodnocení. předseda OK SHV zajistil vyhledání a fyzické shromáždění položek doporučených k vizuální kontrole v čítárnách AV a NK. Na základě vizuálních kontrol garanti vypracovali finální seznamy, předseda OK SHV zpracoval kvalitativní a kvantitativní přehled výsledků a s členy OK provedl drobná doladění finálních výstupů. Na základě zkušeností členů OK SHV z kontroly byla vypracována zpráva.

5 Kontrola RIV – typ B Výsledky kontroly formální kontrola položek v RIV jako původní vědecké monografie byly v RIV běžně zařazeny cestopisy, beletrie, texty divadelních her, krásná literatura, výběrové bibliografie, ročenky a výroční zprávy, proslovy, učebnice, reportáže, soubory studentských soutěžních prací, turistické průvodce, komerční překlady z cizích jazyků, čtyřstránkové working papers, testy pro přijímací zkoušky na VŠ, příručky, učební texty, propagační brožury, sborníky z konferencí apod., co přesně je učebnice? Je to text, který slouží primárně pro výuku, neobsahuje nově vytvořené vědecké poznatky, ale pouze shrnutí existujících znalosti? Kde je hranice mezi skutečnou učebnicí a monografii shrnující stav oboru, která se využívá pro výuku? některé publikace byly zadány vícekrát se stejným ISBN, rozlišovány a označovány důvody vyřazení. fyzická kontrola v NK či AV řada publikací chyběla (vina vydavatele, ne autora), řada publikací splňujících formální kritéria zařazení do RIV jako typ B jsou z vědeckého hlediska problematické, subjektivní posuzování vědeckosti publikace, bez fyzické kontroly nelze poznat skutečný charakter publikace.

6 Kontrola RIV – typ B Výsledky kontroly kvantifikace výsledků kontroly různí hodnotitelé, různé výsledky (k vyřazení navrženo min. 0 %, max. 20 %; k fyzické kontrole min. 0 %, max. 18 %), různá míra přísnosti (v rámci OK i mezi OK) ovlivňuje ohodnocení výsledků předkladatelů – střet zájmu, benevolence není na místě, poškozuje dobré výsledky, celkově vyřazeno 28 % (tj. 1 110 výsledků); oborově nejvíce 48 % (AF), nejméně 12 % (AB, AK), podle poskytovatelů vyřazeno nejvíce 56 % (MPSV), nejméně 9 % (MO, MS) nejvíce vyřazeno za rok 2006 (32 %, tj. 385 výsledků), 15,3 % nesplňovalo kritérium 50 stran.

7 Kontrola RIV – typ B Závěry z kontroly kontrola záznamů typu B v RIV by měla být prováděna, OK nejsou vhodným hodnotitelem, byly shrnuty některé zkušenosti OK SHV → zpřesnění definice výstupu typu B, ale další kontroly se nekonaly, i když byly avizovány, přístup a přísnost kontrol velmi rozdílná → subjektivita hodnocení s dopadem na předkladatele, posuzování vědeckosti a kvality výstupů typu B je výrazně vázáno na obor, kontrolu by měli zajišťovat poskytovatelé, nutnost sankcí za nekvalitní záznam.

8 Kontrola RIV – typ B Děkuji za pozornost