Stáhnout prezentaci
Prezentace se nahrává, počkejte prosím
ZveřejnilKamil Musil
1
Odborné sympózium Implementácia ESG: Príklady dobrej praxe UKF v Nitre,15.11.2012 Kvalita a hodnocení akademických pracovníků Jana Talašová Přírodovědecká fakulta Univerzita Palackého v Olomouci
2
Obsah Představení systému hodnocení vytvořeného na PřF UP včetně jeho softwarové implementace IS HAP Zkušenosti z pilotního testování tohoto systému Srovnání s jinými zahraničními i tuzemskými systémy Závěr
3
Představení systému hodnocení akademických pracovníků vyvinutého na PřF UP
4
Historie vývoje systému hodnocení AP Historie vývoje systému hodnocení AP PřF UP (2006) - záměr vytvořit model pro hodnocení akademických pracovníků (pedagogika a VaV) Za tím účelem studováno: hodnocení kvality v terciárním vzdělávání (ESG), řízení lidských zdrojů obecně, existující modely rutinně používané v zahraničí (USA, Kanada, Austrálie…) a později i modely vznikající v ČR. Postupně navrženy 2 třídy matematických modelů hodnocení. Pilotní testování finálního modelu na datech PřF UP (2009, 2010, 2011) a FIS VŠE (2011). Od r. 2010 je pilotní testování systému součástí IPN Kvalita PřF UP (2012) – IS HAP, SW implementace modelu hodnocení
5
Hledání jasně srozumitelného modelu Hledání jasně srozumitelného modelu V první etapě (2006-2009) vytvořené matematické modely hodnocení: agregace dílčích hodnocení v pedagogice a VaV pomocí stále sofistikovanějších agregačních operátorů (WA, OWA, WOWA), výsledné modely byly bohužel obtížně srozumitelné pro hodnotitele i hodnocené akademické pracovníky. Pro konečné řešení (od r. 2010) bylo použito jazykově orientované fuzzy modelování – jazykové hodnotící škály, jazykově definované báze hodnotících pravidel: navržený model byl jednoznačně podpořen AS PřF (2010), vzhledem ke srozumitelnosti pro všechny zainteresované.
6
Cíle modelu hodnocení postihnout všechny typy aktivit akademických pracovníků, využívat jen měřitelná a snadno ověřitelná data, být snadno použitelný a dobře srozumitelný, odrážet přínos akademického pracovníka pro fakultu, akceptovat individuální zaměření akademických pracovníků (víc na pedagogiku nebo víc na VaV), oceňovat excelentní výkon v každé ze dvou hodnocených oblastí (pedagogika, VaV) a celkově zajišťovat co nejlepší informační podporu v oblasti řízení lidských zdrojů.
7
Základní charakteristika modelu Cílem je periodické roční hodnocení výkonu akademických pracovníků ve dvou hlavních oblastech: –pedagogická činnost –vědeckovýzkumná činnost Rozdílné požadavky jsou kladeny na různé pracovní pozice: ‒ asistent, odborný asistent, docent, profesor (doktorand, výzkumný pracovník, lektor) Model rovněž zohledňuje: –zatížení pracovníka akademickými funkcemi a manažerskou činností a počítá celkové vytížení akademického pracovníka.
8
Použité matematické nástroje Jazykově orientované fuzzy modely: Mají dvě úrovně popisu: jazykovou – srozumitelnou člověku fuzzy (matematickou) – srozumitelnou počítači Pracují s: Jazykovými fuzzy škálami Bázemi pravidel Přibližnou dedukcí Jazykovou aproximací fuzzy výsledků
9
Postup hodnocení - přehledně 1.Vyplnění aktivit a výsledků do dotazníku 2.Výpočet bodových hodnocení v pedagogice, VaV 3.Výpočet standardizovaných hodnocení (vzhledem k pracovním pozicím) v pedagogice, VaV 4.Výpočet celkového hodnocení (pedagogika + VaV) 5.Výpočet celkového vytížení pracovníka (celkové hodnocení + zatížení akad. funkcemi)
10
Hodnocené činnosti 1.Pedagogická oblast: a)Pedagogická činnost spojená s výukou b)Pedagogická činnost spojená s vedením studentů c)Organizační činnost spojená s rozvojem studia 2.Vědeckovýzkumná oblast: a)Bodované výsledky VaV b)Další výstupy VaV c)Organizační činnost spojená s VaV 3.Akademické funkce a manažerská činnost
11
Hodnocené činnosti - pedagogika 1a) Pedagogická činnost spojená s výukou: –Počet hodin přednášek (součet týdenních hodin za LS a ZS) –Počet hodin cvičení (součet týdenních hodin za LS a ZS) –Počet zkoušených studentů v daném roce –Počet udělených kolokvií –Počet udělených zápočtů –Počet zkoušených studentů u státních závěrečných zkoušek –Počet zkoušených studentů u státních doktorských zkoušek –Počet skript nebo e-lerningových studijních opor –…
12
Hodnocené činnosti - pedagogika 1b) Pedagogická činnost spojená s vedením studentů: –Počet bakalářských/diplomových prací –Počet oponentních posudků na bakalářské/diplomové práce –Počet doktorandů, kteří předložili disertačních práci k obhajobě, počet ostatních vedených doktorandů –Počet oponentních posudků na disertační práce –Počet vedených prací SVOČ –Počet oponentních posudků na práce SVOČ –….
13
Hodnocené činnosti - pedagogika 1c) Organizační činnost spojená s rozvojem studia: –Garant studijního oboru –Předseda rady doktorského studijního oboru –Příprava akreditace/reakreditace studijního oboru –Koordinátor projektu mezinárodní spolupráce (Erasmus …) –Koordinátor studentských praxí –Hlavní řešitel grantu organizačně-pedagogického charakteru –Organizátor soutěží SVOČ (O cenu děkana PřF…) –Organizátor středoškolských soutěží (olympiády, Klokan…) –Organizátor akcí sloužících k přímé propagaci studia (Den otevřených dveří, Gaudeamus) –…
14
Hodnocené činnosti – věda a výzkum 2a) Výsledky VaV započitatelné dle platné metodiky: –Článek v impaktovaném časopise, v recenzovaném časopise –Odborná kniha –Článek ve sborníku –Patent –Poloprovoz, ověřená technologie, odrůda, plemeno –Prototyp, uplatněná metodika, funkční vzorek, autorizovaný software, užitný a průmyslový vzor –Výzkumná zpráva, která je výsledkem obsahujícím utajované informace
15
Hodnocené činnosti – věda a výzkum 2b) Další výstupy VaV: –Článek v recenzovaném časopise nebo recenzovaném sborníku nespadající do hodnocení v rámci bodu 2a) s přiměřeně nižším bodovým hodnocením –Zvaná přednáška na mezinárodní nebo tuzemské konferenci –Příspěvek na mezinárodní nebo tuzemské konferenci –Zvaná přednáška na zahraniční nebo tuzemské univerzitě –Recenze článku do impaktovaného/neimpaktovaného časopisu nebo sborníku, recenze knihy –Oponentní posudek habilitační práce –Oponentní posudek přihlášky grantového projektu/závěrečné zprávy grantového projektu –…
16
Hodnocené činnosti – věda a výzkum 2c) Organizační činnosti související s VaV: –Hlavní řešitel /člen týmu grantu výzkumného charakteru –Člen výboru mezinárodní/národní vědecké společnosti –Člen organizačního výboru mezinárodní/národní konference –Šéfredaktor/člen redakční rady odborného časopisu –Popularizace vědního oboru na středních školách (vedení prací SOČ, Badatel, Otevřená věda atp.) –Popularizace vědního oboru v médiích a na veřejných akcích –…
17
Akademické funkce a manažerská činnost Zohlednění časového zatížení akademického pracovníka vykonávajícího následující funkce: –rektor, děkan –prorektor, proděkan –předseda akademického senátu UP, PřF UP –člen akademického senátu UP, PřF UP –zástupce v Radě vysokých škol –zástupce PřF UP a UP v dalších institucích a výborech (FRVŠ,…) –předseda VPRO –vedoucí katedry –tajemník katedry –….
18
Výpočet bodového hodnocení pro každou oblast hodnocení Akademický pracovník v dané pracovní pozici zadá kvantitativní údaje o svých činnostech v dané oblasti hodnocení např. počty týdenních hodin přednášek v LS a ZS Pro jednotku každé z činností je stanoveno bodové hodnocení dle relativní časové náročnosti a důležitosti této aktivity v rámci dané skupiny činností např. výuka nového předmětu je 2x náročnější než rutinní výuka. Bodová hodnocení pracovníka za danou skupinu činností se sečtou.
19
Výpočet standardizovaných hodnocení pro danou oblast a pracovní pozici Standardizovaná hodnocení h 1,h 2 akademického pracovníka v pedagogice a VaV představují násobky standardu určeného pro danou oblast hodnocení a danou pracovní pozici: kde: b i,j..... dosažené bodové hodnocení akademického pracovníka na j-té pozici (1=asistent, 2=odb.asistent, 3=docent, 4=profesor) v i-té oblasti hodnocení (1=pedagogika, 2=výzkum), b i,j st... standardní bodové hodnocení pro i-tou oblast a j-tou pozici.
20
Výpočet celkového hodnocení v pedagogice+VaV - jazykové fuzzy škály pro vstupní proměnné Jazyková fuzzy škála první vstupní proměnné: Jazyková fuzzy škála druhé vstupní proměnné:
21
Výpočet celkového hodnocení v pedagogice+VaV - jazykové fuzzy škály pro vstupní proměnné Jazyková fuzzy škála první vstupní proměnné: Jazyková fuzzy škála druhé vstupní proměnné:
22
Výpočet celkového hodnocení v pedagogice+VaV - jazykově zadaná agregační funkce Báze fuzzy pravidel: Celkový výkon pracovníka v pedagogice a VaV Vědeckovýzkumná činnost – výkon pracovníka Velmi nízkýNízkýStandardníVysokýExtrémní Pedagogická činnost – výkon pracovníka Velmi nízký Nevyhovující SubstandardníStandardníVelmi dobrý NízkýNevyhovující SubstandardníVelmi dobrýVynikající StandardníSubstandardní StandardníVelmi dobrýVynikající VysokýStandardníVelmi dobrý Vynikající ExtrémníVelmi dobrýVynikající
23
Výpočet celkového hodnocení v pedagogice+VaV - jazykově zadaná agregační funkce Báze fuzzy pravidel:
24
Výpočet celkového hodnocení v pedagogice+VaV - inferenční algoritmus Sugeno-Yasukawa Výsledná agregační hodnotící funkce H=f(h 1,h 2 ):
25
Výpočet celkového hodnocení v pedagogice+VaV - jazyková interpretace výsledku Jazyková fuzzy škála výstupní proměnné: Vypočtené hodnocení H je interpretováno jazykově: Je-li např. H=1,6, tj. VD(H)=0,8 a V(H)=0,2, pak celkové hodnocení je z 80% velmi dobré a z 20% vynikající.
26
Výpočet celkového hodnocení v pedagogice+VaV - jazyková interpretace výsledku Jazyková fuzzy škála výstupní proměnné: Vypočtené hodnocení H je interpretováno jazykově: Je-li např. H=1,6, tj. VD(H)=0,8 a V(H)=0,2, pak celkové hodnocení je z 80% velmi dobré a z 20% vynikající.
27
Výpočet celkového vytížení pracovníka - analogicky Celkové vytížení pracovníka Zatížení pracovníka akademickými funkcemi a manažerskou činností Téměř žádnéMenšíVýraznéExtrémní Celkový výkon pracovníka ve výuce, vědě a výzkumu NevyhovujícíVelmi nízkéNízkéStandardníExtrémní SubstandardníNízkéStandardníVysokéExtrémní Standardní VysokéExtrémní Velmi dobrýVysokéExtrémní VynikajícíExtrémní
28
Výpočet celkového vytížení pracovníka
29
Softwarová implementace modelu hodnocení Informační systém pro hodnocení akademických pracovníků (realizace PřF UP, 2011-2012): Struktura dané vysoké školy (univerzita, fakulta, katedra) Různé uživatelské role (děkan, vedoucí katedry, akademický pracovník, administrátor) Databáze ročních výstupů akademických pracovníků Hodnocení na různých úrovních agregace Pole pro zaznamenávání cílů pro následující období Záznam hodnotícího pohovoru
30
Přihlašovací stránka systému IS HAP 30
31
Ukázka zadávání dat v IS HAP
32
Ukázka hodnocení akademického pracovníka v IS HAP
33
Ukázka hodnocení pracovníků katedry
34
Zkušenosti z pilotního testování modelu hodnocení akademických pracovníků
35
Testování modelu hodnocení Přírodovědecká fakulta UP v Olomouci: 2010 – Katedra experimentální fyziky 2011 – 14 kateder a pracovišť 2012 – 10 vybraných kateder (po dvou z každého oboru) Získané zkušenosti: Vítáno uložení všech informací o činnosti akademického pracovníka na jednom formuláři Vyhovuje jednotná struktura činností napříč obory Vyhovují jednotné standardy pro všechny obory fakulty Požadovány byly datové pumpy z jiných systémů (STAG,…) a uživatelský komfort nutnost implementace modelu v podobě klasického informačního systému IS HAP
36
Oponentura modelu hodnocení a IS HAP Realizace oponentury zadaná děkanem PřF: duben - květen 2012 Oponenti: Celková filozofie hodnocení a matematický model: prof. Ramík (OPF SU Opava) Softwarové řešení, IS HAP: Katedra informatiky PřF UP Výsledky oponentury: jednoznačně pozitivní Rozhodnutí děkana PřF UP: od r. 2012 rutinní využívání IS HAP na PřF UP
37
Testování modelu hodnocení Fakulta informatiky a statistiky VŠE Praha: 2012 – testování v rámci celé fakulty Získané zkušenosti: Vyhovuje struktura hodnocených činností (minimální úpravy). Nastavením parametrů modelu je možné model přizpůsobit fakultě s velmi odlišným typem studijních oborů. Do systému lze relativně snadno zapracovat speciální požadavky uživatele (zde specifický model hodnocení publikační činnosti).
38
Ohlasy modelu hodnocení a IS HAPu Zájem z českých VŠ: Jihočeská univerzita Vysoká škola finanční a správní UJEP v Ústí nad Labem Technická univerzita v Liberci Masarykova univerzita Brno VŠB – TU Ostrava Systém hodnocení je třeba začlenit do různorodých informačních systémů univerzit, IS HAP je k tomu dobře připraven. Ohlas ze zahraničí: Finsko – univerzity v Turku a Lappeenrantě Itálie – univerzity v Trentu a Benátkách Zájem o společný výzkum v oblasti modelů hodnocení akademických pracovníků.
39
Srovnání se zahraničními a tuzemskými modely
40
Analyzované zahraniční modely Texas A&M University, Kingsville, USA, University of Wisconsin, Oshkosh, USA University of Technology, Sydney, Austrálie Flinders University, Adelaide, Jižní Austrálie Wayne State University, Detroit, Kanada Společné rysy modelů: Výrazná role hodnotitelů (vedoucí pracovníci nebo profesionální hodnotitelé) Uplatnění poznatků z teorie řízení lidských zdrojů Není přímá vazba na finance
41
Analyzované tuzemské modely Masarykova univerzita v Brně Právnická fakulta Univerzita Tomáše Bati ve Zlíně Fakulta aplikované informatiky UJEP v Ústí nad Labem Fakulta životního prostředí Univerzita Pardubice Dopravní fakulta Společné rysy modelů: Snaha eliminovat subjektivní vliv hodnotitele Bodování činností, popř. převedení na hodiny a dělení fondu pracovní doby mezi jednotlivé oblasti Snaha o přímou vazbu na finanční ohodnocení
42
Závěr
43
Přednosti navrženého modelu hodnocení IS HAP slouží informační podpoře řízení lidských zdrojů v akademickém prostředí. Využití nástrojů jazykově orientovaného fuzzy modelování zaručuje dobrou srozumitelnost modelu hodnocení i jeho výstupů jak pro hodnotitele, tak hodnocené (verbální popisy). Model hodnocení je možné pomocí volitelných parametrů nastavit na podmínky vysokých škol velmi rozdílného typu, přizpůsobit jej různým cílům řízení. IS HAP je zpracován tak, aby jej bylo možné dobře napojit na jiné informační systémy.
44
Děkuji za pozornost Kontakt: doc. RNDr. Jana Talašová, CSc. e-mail: jana.talasova@upol.cz
45
Literatura 1.Torra, V., Narukawa, Y.: Modeling Decisions. Springer, Heidelberg, 2007, ISBN 978-3-540-68789-4 2.Sugeno, M. & Yasukawa, T.: A fuzzy-logic-based approach to qualitative modeling. IEEE Transactions on fuzzy systems, 1 (1), 1993, pp. 7-31. 3.Stoklasa, J., Talašová, J., Holeček, P: Academic staff performance evaluation – variants of models. Acta Polytechnica Hungarica 8 (3), 2011, pp. 91 – 111.
Podobné prezentace
© 2024 SlidePlayer.cz Inc.
All rights reserved.