Zasedání předsednictva Rady vysokých škol , Praha V zorec pro rozdělování dotace na specifický výzkum z obecného pohledu metod vícekriteriálního hodnocení (rozšířená verze) Jana Talašová, Iveta Bebčáková PřF, Univerzita Palackého v Olomouci

2 Obsah  K matematickým metodám hodnocení VŠ obecně  Navržený vzorec pro SV  Pro srovnání - dosud platný vzorec  Pozitivní stránky nově navržené formule  Sporné stránky navržené formule  Ilustrativní příklady  Celkové zhodnocení navržené formule  Návrh alternativního řešení vzorce pro SV

3 K matematickým metodám hodnocení VŠ obecně  Problematika hodnocení VŠ:  různé úlohy z pohledu teorie vícekriteriálního hodnocení (uspořádání, porovnání se standardy, naplnění stanovených cílů, podíl na celkovém výsledku) (uspořádání, porovnání se standardy, naplnění stanovených cílů, podíl na celkovém výsledku)  tomu odpovídající různé matematické metody  Hodnocení VŠ s přímou vazbou na financování (např. SV):  vhodný typ hodnocení: podíl dané VŠ na celkovém výkonu všech VŠ v dotované oblasti podíl dané VŠ na celkovém výkonu všech VŠ v dotované oblasti  vhodná metoda pro tento typ hodnocení: Saatyho Analytický hierarchický proces (AHP) Saatyho Analytický hierarchický proces (AHP)

4 Navržený vzorec  Podíl i-tého uchazeče na celkové dotaci na specifický výzkum je stanoven podle vzorce: kde:  V i je bodové hodnocení výsledků uchazeče ve VaV za posledních 5let  D i je počet doktorandů uchazeče k minulého roku  M i je počet absolventů magisterského studia uchazeče za 12 měsíců před minulého roku  A i je počet absolventů doktorského studia uchazeče za 12 měsíců před minulého roku

5 Navržený vzorec - poznámka k textu Pravidel  Pravidla pro poskytování účelové podpory na specifický vysokoškolský výzkum, čl.III, bod 1:  Formulace „Ministerstvo poskytne uchazeči podporu odpovídající jeho podílu na specifickém výzkumu, který se stanoví dle vzorce:...“ je nepřesná, neboť vzorec nevyjadřuje podíl dané VŠ na SV.  Vhodnější formulace: „Podíl uchazeče na celkové dotaci poskytované ministerstvem na specifický výzkum se stanoví dle vzorce: …“  Vzorec není formálně zcela správně zapsán; správný zápis:

6 Pro srovnání - dosud platný vzorec  Hodnocení uchazeče pro daný rok včetně nutného znormování:  Skutečný podíl na dotaci je dán průměrem vypočteného podílu pro daný rok a skutečného podílu na dotaci v minulém roce: KiKi

7 Pro srovnání - dosud platný vzorec Význam symbolů:  G i - prostředky získané i-tou VŠ na VaV v roce předcházejícím roku poskytnutí podpory,  G 3i - prostředky získané i-tou VŠ na VaV za tři roky předcházející roku, který předchází roku poskytnutí podpory,  C 3i - prostředky získané i-tou VŠ na VaV za tři roky předcházející roku, který předchází roku poskytnutí podpory, které mají výsledek v RIVu,  K i = C 3i / G 3i - sporný „koeficient úspěšnosti“ výzkumu i-té VŠ,  P i - přepočtený počet profesorů i-té VŠ v předcházejícím roce,  D i - přepočtený počet docentů i-té VŠ v předcházejícím roce,  U i - přepočtený počet akad. pracovníků i-té VŠ v předcházejícím roce,  S i - počet studentů v doktorských studijních programech i-té VŠ v předcházejícím roce,  A i - počet absolventů magisterských studijních programů i-té VŠ v předcházejícím roce.

8 Pozitiva navrženého vzorce  Vzorec znamená pokrok ve srovnání s dosavadní formulí:  jednoduchost  srozumitelnost základních kritérií:  výsledky ve VaV  studenti podílející se na SV  matematická korektnost vzorce v tom směru, že:  dílčí hodnocení - vyjadřují podíly dané VŠ na celkových hodnotách v rámci všech VŠ v ČR  agregace - průměrovány jsou průměrovatelné veličiny

9 Sporné stránky navrženého vzorce  Kritéria:  nevyjadřují podíl dané VŠ na realizovaném specifickém výzkumu; vhodnější kritéria ale narazí na nedostatek dostupných informací o výsledcích SV.  Váhy:  Třeba zdůvodnit volbu konkrétních vah, zejména u skupin studentů.  Velká váha bodového hodnocení VaV bude znamenat značnou diferenciaci VŠ a podíly na dotaci odlišné od současného stavu.  Kontinuitu financování není vhodné řešit „doladěním vah“ tak, aby rozdíly vzhledem k dosavadní formuli byly minimalizovány.  Plynulost financování je dobré začlenit přímo do výpočtu dotace; např. průměrovat vypočtený podíl a skutečný podíl předchozího roku (vážený aritmetický průměr, váha minulého období se může postupně snižovat).

10 Sporné stránky navrženého vzorce  Agregace váženým geometrickým průměrem:  Jen zdánlivě dobře hlídá provázanost mezi studenty a vědeckým výkonem pracoviště (zkreslení vlivem sumace hodnot kritérií v rámci celé VŠ). Důsledky neaditivnost formule viz příklady 1 a 2. Podíl příjemce na dotaci v závislosti na jeho podílu na celkových dosažených výsledcích ve VaV a studentech započitatelných pro SV (předpoklad nenulového počtu doktorandů příjemce):

11 Agregace váženým geometrickým průměrem Příklad 1: změna rozdělení dotace na SV při fůzi dvou VŠ  Předpokládejme, že existují pouze 3 VŠ; jejich podíly na celkových výsledcích VaV jsou v1, v2 a v3, podíly na studentech realizujících specifický výzkum s1, s2 a s3.  Ukážeme, že v případě fůze dvou VŠ se může změnit rozdělení dotace, aniž by se na vědeckém výkonu i počtech studentů cokoliv změnilo.  K výraznému nárůstu dotace u spojených VŠ dojde tehdy, když jedna má nízký počet studentů započitatelných pro SV a velký výkon ve VaV a druhá naopak (fůzí se nastolí zdánlivá vyváženost výsledků výzkumu a počtu studentů v něm zapojených).  Důsledek pro praktické použití formule – nadhodnocuje VŠ s kombinací výrazně výzkumných a vzdělávacích fakult.

12  Podíl každé VŠ na dotaci:  Podíly na dotaci po fůzi prvních dvou VŠ:  Protože (viz obr. dále) zmenší se podíl na dotaci u třetí VŠ a zvětší u zfůzované dvojice VŠ (beze změny pouze pro v 2 =k.v 1, s 2 =k.s 1 ). zmenší se podíl na dotaci u třetí VŠ a zvětší u zfůzované dvojice VŠ (beze změny pouze pro v 2 =k.v 1, s 2 =k.s 1 ). Agregace váženým geometrickým průměrem Příklad 1: změna rozdělení dotace na SV při fůzi dvou VŠ

13  Nezáporný rozdíl snižující podíl třetí univerzity na dotaci v důsledku fůze prvních dvou: Agregace váženým geometrickým průměrem Příklad 1: změna rozdělení dotace na SV při fůzi dvou VŠ

14 Agregace váženým geometrickým pr ů m ě rem Příklad 2: Různá dotace na SV pro identická pracoviště dvou VŠ  Předpokládejme, že existují jen dvě VŠ, univerzita 1 a univerzita 2.  Každá z univerzit sestává ze dvou pracovišť (fakult) – univerzita 1 z pracovišť A a B, univerzita 2 z pracovišť C a D.  Předpokládejme, že pracoviště A a C jsou co do hodnot kritérií uplatňovaných při stanovení dotace identická.  Předpokládejme, že na obou univerzitách se používá pro rozdělování dotace na pracoviště stejný vzorec jako na centrální úrovni.  Sledujme podíl pracovišť A a C na celkové dotaci při měnícím se podílu první univerzity na celkových výsledcích ve VaV.  Uvidíme, že identická pracoviště mohou dostat výrazně rozdílné dotace.  Důsledek pro použití formule: není vhodná pro rozdělování dotace uvnitř univerzit (studentské grantové agentury na úrovni univerzit)

15 Agregace váženým geometrickým pr ů m ě rem Příklad 2: Různá dotace na SV pro identická pracoviště dvou VŠ Univerzita 2 D=100, M=1200, A=10,V=(100-x) % Pracoviště C D=50, M=80, A=8, V=30% Pracoviště D D=50, M=1120, A=2,V=(100-x-30)% Univerzita 1 D=100, M=200, A=25,V=x % Pracoviště A D=50, M=80, A=8, V=30% Pracoviště B D=50, M=120, A=17,V=(x-30)%

16 Agregace váženým geometrickým pr ů m ě rem Příklad 2: Různá dotace na SV pro identická pracoviště dvou VŠ  Rozdíl podílu na celkové dotaci na SV pracovišť A a C při měnících se hodnotách parametrů první z obou univerzit:

17 Celkové zhodnocení navržené formule  Optimální stav:  Formule, která by vyjádřila podíl dané vysoké školy na specifickém výzkumu v rámci českých VŠ.  Překážky:  Chybí potřebná data o výsledcích SV; použitá kritéria vyjadřují nikoliv výstupy SV, ale podmínky realizace SV.  Není-li optimální, je navržená formule alespoň přijatelná?  řídí VŠ směrem ke zlepšování podmínek pro SV,  mírně zvýhodňuje některé VŠ proti jiným,  není vhodná pro dělení dotace prostředků uvnitř VŠ.

18 Alternativní návrh formule pro SV Saatyho metoda AHP  Výhody:  standardizovaný postup pro stanovení vah i dílčích hodnocení,  celková hodnocení mají jasnou interpretaci podílů na agregovaném cíli, netřeba uměle normalizovat.  aditivita formule vylučuje zmíněné problémy multiplikativní formule; vzorec vhodný i pro dělení dotace uvnitř VŠ  Nevýhoda:  nepostihuje disproporci mezi podílem na výsledcích VaV a na studentech započitatelných pro SV (lze řešit omezeními pro poskytnutí podpory – např. minimální bodové hodnocení VaV na studenta započitatelného pro SV) (lze řešit omezeními pro poskytnutí podpory – např. minimální bodové hodnocení VaV na studenta započitatelného pro SV)

19 Literatura   Návrh pravidel pro poskytování účelové podpory na specifický vysokoškolský výzkum podle zákona o podpoře výzkumu, experimentálního vývoje a inovací. MŠMT,   Saaty, T. L.: The Analytic Hierarchy Process. New York, McGraw-Hill,   Ramík, J.: Vícekriteriální rozhodování – Analytický hierarchický proces (AHP). OPF, Slezská univerzita, Karviná   Talašová, J., Bebčáková, I.: Formule pro rozdělování prostředků na specifický výzkum – analýza současného stavu, návrh nového řešení. Hodnocení kvality vysokých škol. Sborník příspěvků z 8. semináře, Ústí nad Labem ledna 2007, MINO, Ústí nad Labem 2007, Kontakt: Doc. RNDr. Jana Talašová, CSc. Katedra matematické analýzy a aplikací matematiky Přírodovědecká fakulta Univerzity Palackého v Olomouci tř. Svobody 26, Olomouc