Odborné sympózium Implementácia ESG: Príklady dobrej praxe UKF v Nitre, Kvalita a hodnocení akademických pracovníků Jana Talašová Přírodovědecká fakulta Univerzita Palackého v Olomouci

Obsah  Představení systému hodnocení vytvořeného na PřF UP včetně jeho softwarové implementace IS HAP  Zkušenosti z pilotního testování tohoto systému  Srovnání s jinými zahraničními i tuzemskými systémy  Závěr

Představení systému hodnocení akademických pracovníků vyvinutého na PřF UP

Historie vývoje systému hodnocení AP Historie vývoje systému hodnocení AP  PřF UP (2006) - záměr vytvořit model pro hodnocení akademických pracovníků (pedagogika a VaV)  Za tím účelem studováno: hodnocení kvality v terciárním vzdělávání (ESG), řízení lidských zdrojů obecně, existující modely rutinně používané v zahraničí (USA, Kanada, Austrálie…) a později i modely vznikající v ČR.  Postupně navrženy 2 třídy matematických modelů hodnocení.  Pilotní testování finálního modelu na datech PřF UP (2009, 2010, 2011) a FIS VŠE (2011).  Od r je pilotní testování systému součástí IPN Kvalita  PřF UP (2012) – IS HAP, SW implementace modelu hodnocení

Hledání jasně srozumitelného modelu Hledání jasně srozumitelného modelu  V první etapě ( ) vytvořené matematické modely hodnocení: agregace dílčích hodnocení v pedagogice a VaV pomocí stále sofistikovanějších agregačních operátorů (WA, OWA, WOWA), výsledné modely byly bohužel obtížně srozumitelné pro hodnotitele i hodnocené akademické pracovníky.  Pro konečné řešení (od r. 2010) bylo použito jazykově orientované fuzzy modelování – jazykové hodnotící škály, jazykově definované báze hodnotících pravidel: navržený model byl jednoznačně podpořen AS PřF (2010), vzhledem ke srozumitelnosti pro všechny zainteresované.

Cíle modelu hodnocení postihnout všechny typy aktivit akademických pracovníků, využívat jen měřitelná a snadno ověřitelná data, být snadno použitelný a dobře srozumitelný, odrážet přínos akademického pracovníka pro fakultu, akceptovat individuální zaměření akademických pracovníků (víc na pedagogiku nebo víc na VaV), oceňovat excelentní výkon v každé ze dvou hodnocených oblastí (pedagogika, VaV) a celkově zajišťovat co nejlepší informační podporu v oblasti řízení lidských zdrojů.

Základní charakteristika modelu  Cílem je periodické roční hodnocení výkonu akademických pracovníků ve dvou hlavních oblastech: –pedagogická činnost –vědeckovýzkumná činnost  Rozdílné požadavky jsou kladeny na různé pracovní pozice: ‒ asistent, odborný asistent, docent, profesor (doktorand, výzkumný pracovník, lektor)  Model rovněž zohledňuje: –zatížení pracovníka akademickými funkcemi a manažerskou činností a počítá celkové vytížení akademického pracovníka.

Použité matematické nástroje  Jazykově orientované fuzzy modely: Mají dvě úrovně popisu:  jazykovou – srozumitelnou člověku  fuzzy (matematickou) – srozumitelnou počítači Pracují s:  Jazykovými fuzzy škálami  Bázemi pravidel  Přibližnou dedukcí  Jazykovou aproximací fuzzy výsledků

Postup hodnocení - přehledně 1.Vyplnění aktivit a výsledků do dotazníku 2.Výpočet bodových hodnocení v pedagogice, VaV 3.Výpočet standardizovaných hodnocení (vzhledem k pracovním pozicím) v pedagogice, VaV 4.Výpočet celkového hodnocení (pedagogika + VaV) 5.Výpočet celkového vytížení pracovníka (celkové hodnocení + zatížení akad. funkcemi)

Hodnocené činnosti 1.Pedagogická oblast: a)Pedagogická činnost spojená s výukou b)Pedagogická činnost spojená s vedením studentů c)Organizační činnost spojená s rozvojem studia 2.Vědeckovýzkumná oblast: a)Bodované výsledky VaV b)Další výstupy VaV c)Organizační činnost spojená s VaV 3.Akademické funkce a manažerská činnost

Hodnocené činnosti - pedagogika 1a) Pedagogická činnost spojená s výukou: –Počet hodin přednášek (součet týdenních hodin za LS a ZS) –Počet hodin cvičení (součet týdenních hodin za LS a ZS) –Počet zkoušených studentů v daném roce –Počet udělených kolokvií –Počet udělených zápočtů –Počet zkoušených studentů u státních závěrečných zkoušek –Počet zkoušených studentů u státních doktorských zkoušek –Počet skript nebo e-lerningových studijních opor –…

Hodnocené činnosti - pedagogika 1b) Pedagogická činnost spojená s vedením studentů: –Počet bakalářských/diplomových prací –Počet oponentních posudků na bakalářské/diplomové práce –Počet doktorandů, kteří předložili disertačních práci k obhajobě, počet ostatních vedených doktorandů –Počet oponentních posudků na disertační práce –Počet vedených prací SVOČ –Počet oponentních posudků na práce SVOČ –….

Hodnocené činnosti - pedagogika 1c) Organizační činnost spojená s rozvojem studia: –Garant studijního oboru –Předseda rady doktorského studijního oboru –Příprava akreditace/reakreditace studijního oboru –Koordinátor projektu mezinárodní spolupráce (Erasmus …) –Koordinátor studentských praxí –Hlavní řešitel grantu organizačně-pedagogického charakteru –Organizátor soutěží SVOČ (O cenu děkana PřF…) –Organizátor středoškolských soutěží (olympiády, Klokan…) –Organizátor akcí sloužících k přímé propagaci studia (Den otevřených dveří, Gaudeamus) –…

Hodnocené činnosti – věda a výzkum 2a) Výsledky VaV započitatelné dle platné metodiky: –Článek v impaktovaném časopise, v recenzovaném časopise –Odborná kniha –Článek ve sborníku –Patent –Poloprovoz, ověřená technologie, odrůda, plemeno –Prototyp, uplatněná metodika, funkční vzorek, autorizovaný software, užitný a průmyslový vzor –Výzkumná zpráva, která je výsledkem obsahujícím utajované informace

Hodnocené činnosti – věda a výzkum 2b) Další výstupy VaV: –Článek v recenzovaném časopise nebo recenzovaném sborníku nespadající do hodnocení v rámci bodu 2a) s přiměřeně nižším bodovým hodnocením –Zvaná přednáška na mezinárodní nebo tuzemské konferenci –Příspěvek na mezinárodní nebo tuzemské konferenci –Zvaná přednáška na zahraniční nebo tuzemské univerzitě –Recenze článku do impaktovaného/neimpaktovaného časopisu nebo sborníku, recenze knihy –Oponentní posudek habilitační práce –Oponentní posudek přihlášky grantového projektu/závěrečné zprávy grantového projektu –…

Hodnocené činnosti – věda a výzkum 2c) Organizační činnosti související s VaV: –Hlavní řešitel /člen týmu grantu výzkumného charakteru –Člen výboru mezinárodní/národní vědecké společnosti –Člen organizačního výboru mezinárodní/národní konference –Šéfredaktor/člen redakční rady odborného časopisu –Popularizace vědního oboru na středních školách (vedení prací SOČ, Badatel, Otevřená věda atp.) –Popularizace vědního oboru v médiích a na veřejných akcích –…

Akademické funkce a manažerská činnost  Zohlednění časového zatížení akademického pracovníka vykonávajícího následující funkce: –rektor, děkan –prorektor, proděkan –předseda akademického senátu UP, PřF UP –člen akademického senátu UP, PřF UP –zástupce v Radě vysokých škol –zástupce PřF UP a UP v dalších institucích a výborech (FRVŠ,…) –předseda VPRO –vedoucí katedry –tajemník katedry –….

Výpočet bodového hodnocení pro každou oblast hodnocení  Akademický pracovník v dané pracovní pozici zadá kvantitativní údaje o svých činnostech v dané oblasti hodnocení např. počty týdenních hodin přednášek v LS a ZS  Pro jednotku každé z činností je stanoveno bodové hodnocení dle relativní časové náročnosti a důležitosti této aktivity v rámci dané skupiny činností např. výuka nového předmětu je 2x náročnější než rutinní výuka.  Bodová hodnocení pracovníka za danou skupinu činností se sečtou.

Výpočet standardizovaných hodnocení pro danou oblast a pracovní pozici  Standardizovaná hodnocení h 1,h 2 akademického pracovníka v pedagogice a VaV představují násobky standardu určeného pro danou oblast hodnocení a danou pracovní pozici: kde: b i,j..... dosažené bodové hodnocení akademického pracovníka na j-té pozici (1=asistent, 2=odb.asistent, 3=docent, 4=profesor) v i-té oblasti hodnocení (1=pedagogika, 2=výzkum), b i,j st... standardní bodové hodnocení pro i-tou oblast a j-tou pozici.

Výpočet celkového hodnocení v pedagogice+VaV - jazykové fuzzy škály pro vstupní proměnné  Jazyková fuzzy škála první vstupní proměnné:  Jazyková fuzzy škála druhé vstupní proměnné:

Výpočet celkového hodnocení v pedagogice+VaV - jazykové fuzzy škály pro vstupní proměnné  Jazyková fuzzy škála první vstupní proměnné:  Jazyková fuzzy škála druhé vstupní proměnné:

Výpočet celkového hodnocení v pedagogice+VaV - jazykově zadaná agregační funkce  Báze fuzzy pravidel: Celkový výkon pracovníka v pedagogice a VaV Vědeckovýzkumná činnost – výkon pracovníka Velmi nízkýNízkýStandardníVysokýExtrémní Pedagogická činnost – výkon pracovníka Velmi nízký Nevyhovující SubstandardníStandardníVelmi dobrý NízkýNevyhovující SubstandardníVelmi dobrýVynikající StandardníSubstandardní StandardníVelmi dobrýVynikající VysokýStandardníVelmi dobrý Vynikající ExtrémníVelmi dobrýVynikající

Výpočet celkového hodnocení v pedagogice+VaV - jazykově zadaná agregační funkce  Báze fuzzy pravidel:

Výpočet celkového hodnocení v pedagogice+VaV - inferenční algoritmus Sugeno-Yasukawa  Výsledná agregační hodnotící funkce H=f(h 1,h 2 ):

Výpočet celkového hodnocení v pedagogice+VaV - jazyková interpretace výsledku  Jazyková fuzzy škála výstupní proměnné:  Vypočtené hodnocení H je interpretováno jazykově: Je-li např. H=1,6, tj. VD(H)=0,8 a V(H)=0,2, pak celkové hodnocení je z 80% velmi dobré a z 20% vynikající.

Výpočet celkového hodnocení v pedagogice+VaV - jazyková interpretace výsledku  Jazyková fuzzy škála výstupní proměnné:  Vypočtené hodnocení H je interpretováno jazykově: Je-li např. H=1,6, tj. VD(H)=0,8 a V(H)=0,2, pak celkové hodnocení je z 80% velmi dobré a z 20% vynikající.

Výpočet celkového vytížení pracovníka - analogicky Celkové vytížení pracovníka Zatížení pracovníka akademickými funkcemi a manažerskou činností Téměř žádnéMenšíVýraznéExtrémní Celkový výkon pracovníka ve výuce, vědě a výzkumu NevyhovujícíVelmi nízkéNízkéStandardníExtrémní SubstandardníNízkéStandardníVysokéExtrémní Standardní VysokéExtrémní Velmi dobrýVysokéExtrémní VynikajícíExtrémní

Výpočet celkového vytížení pracovníka

Softwarová implementace modelu hodnocení  Informační systém pro hodnocení akademických pracovníků (realizace PřF UP, ):  Struktura dané vysoké školy (univerzita, fakulta, katedra)  Různé uživatelské role (děkan, vedoucí katedry, akademický pracovník, administrátor)  Databáze ročních výstupů akademických pracovníků  Hodnocení na různých úrovních agregace  Pole pro zaznamenávání cílů pro následující období  Záznam hodnotícího pohovoru

Přihlašovací stránka systému IS HAP 30

Ukázka zadávání dat v IS HAP

Ukázka hodnocení akademického pracovníka v IS HAP

Ukázka hodnocení pracovníků katedry

Zkušenosti z pilotního testování modelu hodnocení akademických pracovníků

Testování modelu hodnocení  Přírodovědecká fakulta UP v Olomouci:  2010 – Katedra experimentální fyziky  2011 – 14 kateder a pracovišť  2012 – 10 vybraných kateder (po dvou z každého oboru)  Získané zkušenosti:  Vítáno uložení všech informací o činnosti akademického pracovníka na jednom formuláři  Vyhovuje jednotná struktura činností napříč obory  Vyhovují jednotné standardy pro všechny obory fakulty  Požadovány byly datové pumpy z jiných systémů (STAG,…) a uživatelský komfort nutnost implementace modelu v podobě klasického informačního systému IS HAP

Oponentura modelu hodnocení a IS HAP  Realizace oponentury zadaná děkanem PřF: duben - květen 2012  Oponenti:  Celková filozofie hodnocení a matematický model: prof. Ramík (OPF SU Opava)  Softwarové řešení, IS HAP: Katedra informatiky PřF UP  Výsledky oponentury: jednoznačně pozitivní  Rozhodnutí děkana PřF UP: od r rutinní využívání IS HAP na PřF UP

Testování modelu hodnocení  Fakulta informatiky a statistiky VŠE Praha:  2012 – testování v rámci celé fakulty  Získané zkušenosti:  Vyhovuje struktura hodnocených činností (minimální úpravy).  Nastavením parametrů modelu je možné model přizpůsobit fakultě s velmi odlišným typem studijních oborů.  Do systému lze relativně snadno zapracovat speciální požadavky uživatele (zde specifický model hodnocení publikační činnosti).

Ohlasy modelu hodnocení a IS HAPu  Zájem z českých VŠ:  Jihočeská univerzita  Vysoká škola finanční a správní  UJEP v Ústí nad Labem  Technická univerzita v Liberci  Masarykova univerzita Brno  VŠB – TU Ostrava Systém hodnocení je třeba začlenit do různorodých informačních systémů univerzit, IS HAP je k tomu dobře připraven.  Ohlas ze zahraničí:  Finsko – univerzity v Turku a Lappeenrantě  Itálie – univerzity v Trentu a Benátkách Zájem o společný výzkum v oblasti modelů hodnocení akademických pracovníků.

Srovnání se zahraničními a tuzemskými modely

Analyzované zahraniční modely  Texas A&M University, Kingsville, USA,  University of Wisconsin, Oshkosh, USA  University of Technology, Sydney, Austrálie  Flinders University, Adelaide, Jižní Austrálie  Wayne State University, Detroit, Kanada Společné rysy modelů:  Výrazná role hodnotitelů (vedoucí pracovníci nebo profesionální hodnotitelé)  Uplatnění poznatků z teorie řízení lidských zdrojů  Není přímá vazba na finance

Analyzované tuzemské modely  Masarykova univerzita v Brně Právnická fakulta  Univerzita Tomáše Bati ve Zlíně Fakulta aplikované informatiky  UJEP v Ústí nad Labem Fakulta životního prostředí  Univerzita Pardubice Dopravní fakulta Společné rysy modelů:  Snaha eliminovat subjektivní vliv hodnotitele  Bodování činností, popř. převedení na hodiny a dělení fondu pracovní doby mezi jednotlivé oblasti  Snaha o přímou vazbu na finanční ohodnocení

Závěr

Přednosti navrženého modelu hodnocení  IS HAP slouží informační podpoře řízení lidských zdrojů v akademickém prostředí.  Využití nástrojů jazykově orientovaného fuzzy modelování zaručuje dobrou srozumitelnost modelu hodnocení i jeho výstupů jak pro hodnotitele, tak hodnocené (verbální popisy).  Model hodnocení je možné pomocí volitelných parametrů nastavit na podmínky vysokých škol velmi rozdílného typu, přizpůsobit jej různým cílům řízení.  IS HAP je zpracován tak, aby jej bylo možné dobře napojit na jiné informační systémy.

Děkuji za pozornost Kontakt: doc. RNDr. Jana Talašová, CSc.

Literatura 1.Torra, V., Narukawa, Y.: Modeling Decisions. Springer, Heidelberg, 2007, ISBN Sugeno, M. & Yasukawa, T.: A fuzzy-logic-based approach to qualitative modeling. IEEE Transactions on fuzzy systems, 1 (1), 1993, pp Stoklasa, J., Talašová, J., Holeček, P: Academic staff performance evaluation – variants of models. Acta Polytechnica Hungarica 8 (3), 2011, pp. 91 – 111.