Měření výkonu a kvality služeb akademických knihoven přednáška pro Klub vysokoškolských knihovníků Praha, 3. 11. 2015Martin Krčál.

Prezentace na téma: "Měření výkonu a kvality služeb akademických knihoven přednáška pro Klub vysokoškolských knihovníků Praha, 3. 11. 2015Martin Krčál."— Transkript prezentace:

1 Měření výkonu a kvality služeb akademických knihoven přednáška pro Klub vysokoškolských knihovníků Praha, 3. 11. 2015Martin Krčál

2 Obsah přednášky  úvod do měření výkonu knihoven  používané metody  metoda benchmarkingu  data z ročních výkazů  systémy benchmarkingu  návrh české platformy pro akademické knihovny

3 Měření výkonu knihoven  snaha knihoven obstát v konkurenci  kdo je konkurencí knihoven?  rozdíly ve službách  zkvalitnění a zefektivnění procesů  děláme služby dobře?  jsme dostatečně efektivní?  nesmíme zůstat uzavření  sdílení zkušeností  library advocacy  obhájení služeb knihoven (projekt APLS)

4 výkon knihovna x kvalita služeb Výkon knihovny Kvalita služeb

5 Metody měření  evidence-based librarianship  uživatelské výzkumy (design služeb)  standardy kvality  ROI = return on investments  benchmarking  …

6 Evidence-based librarianship

7 EBL Evidence-based librarianship (EBL) is a means to improve the profession of librarianship by asking questions as well as finding, critically appraising and incorporating research evidence from library science (and other disciplines) into daily practice. It also involves encouraging librarians to conduct high quality qualitative and quantitative research. Zdroj: Ellen Crumley, Denise KoufogiannakisEllen Crumley, Denise Koufogiannakis

8 Co je tedy EBL?  koncept převzatý z medicíny  cílem zlepšit knihovnickou profesi, její procesy a služby  neustálé hledání nejlepšího řešení  na základě důkazů  důležitá znalost uživatelů a jejich potřeb  výzkumy zaměřené na uživatele a jsoucí do praxe  rychlá implementace do praxe  průběžná realizace

9 Cyklus EBL Zdroj: http://vyzkumy.knihovna.czhttp://vyzkumy.knihovna.cz

10 Příklady výzkumných otázek  Proč má knihovna malé procento čtenářů mezi obsluhovanou populací?  Proč nechodí muži v produktivním věku do knihoven?  Je stavění fondu v knihovně pro uživatele pochopitelné?

11 Kvalita výzkumů  teoretická připravenost  ze školy  znát různé výzkumné metody  zkušenosti s realizací výzkumů  potřeba zkoušet něco nového  dokázat je implementovat do praxe  podpora od všech zaměstnanců  mohou knihovníci část pracovní doby věnovat výzkumům?

12 Druhy výzkumů  kvantitativní  Co? Jak? Kolik?  testování teorií a hypotéz  velký výzkumný vzorek, redukce informací  dotazníky, ankety,…  kvalitativní  Proč?  menší výzkumný vzorek, vyčerpávající informace  rozhovory, focus group, orální historie,…

13 Standardy kvality

14 Knihovní služby  služby definovány zákonem  Jaká je jejich úroveň???  Je všude stejná???  Jak to poznat???

15 Standardy kvality knihovních služeb  definovat minimální úroveň služeb pro daný typ knihovny  délka provozní doby  minimální přírůstek  počet PC s internetem  množství financí na nákup knih  počet studijních míst  …  základním kritériem je obsluhovaná populace

16 Cíle standardů  zlepšit dostupnost a kvalitu služeb pro uživatele  možnost srovnání a kontrola kvality služeb  nástroj pro plánování a rozvoj služeb  systematická podpora rozvoje služeb  zřizovatelé, knihovnické orgány, stát,…  financování

17 Dostupné standardy  IFLA IFLA  přeloženo do 13-ti jazyků (i CZ)  národní  některé státy USA, GB (Cilip), ŠPA některé státy USAGB  české veřejné knihovny  MK ČR + vyhodnocení standardů MK ČRvyhodnocení standardů  standard vydán i knižně NK ČR  Standard pro dobrou knihovnu (2012) Standard pro dobrou knihovnu  v současnosti i analýzy na úrovni krajů (regionální funkce)

18 Parametry standardu kvality KategorieProvoz/týdenPřírůstky/rokNákup/1obyv.PC s internetemStudijní místa 1–5005 - 1045 - 8025 - 351 - 24 - 5 501-100010 - 1580 - 15025 - 3526 - 8 1001–300015 - 20150 - 35025 - 352 - 39 - 10 3001–500020 - 25350 - 75025 - 353 - 510 - 18 5001-1000025 - 30750 - 150025 - 355 - 720 - 28 10 001-20 00035 - 451500 - 400025 - 357 - 1028 - 40 20 001–40 00045 - 504000 - 750025 - 3510 - 1540 - 75 Nad 40 00050 a více7500 a více25 - 3515 a více75 a více Zdroj: KnihovnaPlusKnihovnaPlus

19 ROI Return on investments

20 ROI  návratnost investic  ekonomická metoda  cíl  ukázat hodnotu knihoven a jejích služeb pro mateřské instituce (např. univerzity), pro společnost a stát  využití  library advocacy  pro rozvoj knihovny

21 Výpočet ROI Návratnost investice = ((čistý zisk - počáteční investice) / počáteční investice) x 100 [%]

22 Využití v praxi  poukázání na přínos vybraných služeb a oddělení knihovny  získání respektu vedení knihovny (např. při vyjednávání o rozpočtu)  obhájení rozpočtu  prosazování nových služeb  zvýšení prestiže knihovny  identifikace (ne)efektivních služeb, oddělení (rozšíření, změna, zrušení)

23 Benchmarking knihoven

24 Benchmarking „ Nepřetržitý a systematický proces porovnávání a měření produktů, procesů a metod vlastní organizace s těmi, kdo byli uznáni jako vhodní pro toto měření, za účelem definovat cíle zlepšování vlastních aktivit. “ (Nenadál)

25 Benchmarking  proces měření vlastních služeb a jejich porovnávání za účelem jejich zlepšení  srovnávat srovnatelné!!!  metoda strategického řízení  vznik v komerčním prostředí  80. léta, Xerox  využívá statistiky  roční výkazy knihoven

26 Fungování benchmarkingu  co děláme, jak to děláme, je to efektivní???  co dělají jiní, jak to dělají, je to efektivnější???  benchmarking = učení se od sebe = učení se od jiných

27 Cíle BM  hledání silných a slabých stránek  hledat možnosti zlepšení  zamyšlení se nad vlastními službami  hledání inspirace u jiných  lepší pochopení chování a potřeb uživatelů  neustálý rozvoj instituce - aplikace změn  motivovat zaměstnance ke změnám

28 Výhody BM  neustálý rozvoj instituce  podpora spolupráce mezi institucemi  úspora času  nezavádět zbytečnosti, neztrácet čas zkoušením věcí, které uživatel nepotřebují,…  nemusíme vymýšlet nové věci, ale inspirovat se  identifikace chyb ve statistikách  identifikace obecných trendů

29 Nevýhody BM  pouze obecná definice metody  specifika institucí  každá instituce je jiná, může mít specifické podmínky  nutné s tím počítat  omezení na podobné instituce  nutnost přijetí metody zaměstnanci  chyby ve statistikách  nejednotnost metrik

30 Nevýhody BM  nepokrývá celé spektrum služeb a procesů  kvantitativní metoda  dnes kombinace s kvalitativními uživatelskými výzkumy  nutnost spolupráce  špatná interpretace výsledků analýz  zneužití výsledků!!!!!!!  kodex využití výsledků  pouhá komparace výsledků

31 Co není benchmarking???

32 Proces benchmarkingu 1. plánování 2. hledání partnerů 3. sběr dat 4. anaýza dat 5. aplikace změn Zdroj: Peter Brophy

33 Údaje pro analýzu  parametry  základní údaje sbírané z knihoven  např. počet uživatelů  výkonové/poměrové indikátory  vypočítávají se s parametrů  např. výdaje na nákup literatury na 1 obyvatele

34 Druhy benchmarkingu  interní  uvnitř instituce  např. pobočky, oddělení apod.  externí  s jinými institucemi  musí být srovnatelné

35 Druhy benchmarkingu  výkonový  zaměřuje se na výkon produktů a služeb, orientace na uživatele  jaká je návštěvnost, využívání služeb apod.  procesní  sleduje jednotlivé procesy v instituci  např. jak funguje půjčování knih  funkcionální  orientace na funkce a druhy služeb  např. jaké druhy výpůjček knihovna poskytuje

36 Benchmarking v ČR  ve světě již v 90. letech  2005 – projekt Benchmarking knihoven  NKP + NIPOS  pouze knihovny základní  248 českých a 49 slovenských knihoven  analytický nástroj:  www.benchmarking.cz

37 Parametry a indikátory v BKČR 1KF/1000 obyv. 2% obnovy KF 3Přírůstek/1000 obyv. 4Periodika/1000 obyv. 5Internet/1000 obyv. 6Plocha/1000 obyv. 7Stud.míst./1000 obyv. 8Úvazky/1000 obyv. 9Úvazky/1000 čten. 10Úvazky/1000 návšť. 11roční provoz. doba/1000 obyv. 12% roč. provoz. doby/prac. fond zam. 13Provozní doba 14%výdajů/rozp. města 15% obsl. popul. 16% mládeže 17Návštěvy/obyv. 18Virtual. navšťěvy/obyv. 19% návštěv internet 20Výpůjčky/čtenář 21Obrat KF 22Kult. a vzděl. akce/1000 obyv. 23Inter. služby 24Provoz. nákl/1000 obyv. 25Náklady KF/obyv. 26Náklady EIZ/obyv. 27Náklady KF/výpůjčky 28%provoz.nákl. 29% nákladů na KF 30% osobních nákl. 31% získaných dotací 32% vlast. příjmů Zdroj: Vít Richter. Benchmarking: prezentace v MZK, 2014.

38 Systémy benchmarkingu  aktivity v rámci Výzkumného semináře  M. Krčál, J. Fryš, P. Kalíšek, A. Chodounská  výzkum nástrojů benchmarkingu ve světě  rozdělení dle funkcionality do tří skupin  článek na ProinflowProinflow

39 Základní dělení  systémy pro sběr ročních statistických výkazů  jen statistiky, pro členy obvykle zdarma, obvykle národní  Academic Library Survey (ALS), Performance Analysis for Polish Research Libraries (PAPRL), ARL Statistics (součást StatsQUAL),…  systémy pro benchmarking kvalitativních dat  klasický benchmarking, národní nebo institucionální  BIX, ROBLE, REBUIN, CAUL Library statistics, ACRL metrics, Sveriges officiella biblioteksstatistik,…  systémy pro benchmarking uživatelské spokojenosti  kombinace s výzkumy uživatelské spokojenosti  LibQUAL+, Insync Surveys

40 Bix  založen v roce 1999, původně pro veřejné knihovny v SRN  dnes 2000+ knihoven (GER, AUT, SWI, SLO, SVK, CZE,…)  rozděleno na veřejné a akademické knihovny  výsledky veřejné

41 LIBQUAL+  vznik v roce 1999  komerční systém vyvíjený ARL (USA)  zapojeno celkem přes 1200 knihoven z celého světa, zejména akademické  ale 171 v roce 2012  zahrnuto i uživatelské testování  22 otázek, škála 1-9  výsledky jen pro účastníky

42 Insync Surveys  novozélandský systém  pro univerzitní knihovny  provozují CAUL a CONSUL  funkčně podobný LibQUAL+  dnes zejména NEZ a AUS  38 účastníků  data i analýzy jen členům

43 LAMP - Library Analytics and Metrics Project  vzniká v prostředí britských akademických knihoven  kombinuje statistiky, průzkumy uživatelů a data jejich chování ze systémů  cílem získat komplexní přehled o fungování knihovny a jejím výkonu  v současnosti prototyp

44 Výzkumy v oblasti měření výkonu knihoven

45 Analýza ročních výkazů českých akademických knihoven od roku 2001

46 Dvě analýzy  KRČÁL, Martin a Martin FASURA. Statistiky nově a plánovaná česká platforma pro benchmarking akademických knihoven. Bibliotheca academica 2014 [online]. Ústí na Labem: UJEP, 15.10. 2014 [cit. 2014-01-03]. Dostupné z: http://www.akvs.cz/aktivity/ba-2014/ba2014-krcal.pptx. Prezentace obsahuje analýzu dat a základní výstupy ze sběru ročních výkazů akademické knihovny z let 2001-2013.http://www.akvs.cz/aktivity/ba-2014/ba2014-krcal.pptx  FRYŠ, Jakub. Analýza ročních výkazů českých akademických knihoven od roku 2001. Brno, 2015. 105 s. Dostupné tak z: http://is.muni.cz/th/415407/ff_b/thesis_fulltext.pdf. Bakalářská práce. Masarykova univerzita, Filozofická fakulta, Ústav české literatury a knihovnictví, Kabinet informačních studií a knihovnictví. Vedoucí práce PhDr. Martin Krčál. http://is.muni.cz/th/415407/ff_b/thesis_fulltext.pdf

47 J. Fryš – Analýza ročních výkazů…  vymezení základní terminologie  historický vývoj  popis procesu měření na vlastním obecném modelu  popis metody benchmarkingu  analýza sekundárních dat od AKVŠ  hodnocení konzistence, úplnosti a chybovosti dat  zpracování dat pomocí deskriptivní statistiky  prezentace výsledků  doporučení a návrhy změn

48 Výpůjčky 38,4 2,9 mil. výpůjček v letech 2001-2013 mil. výpůjček v průměru za rok 20 477 výpůjček v instituci za rok (medián)

49 Výpůjčky

50 Uživatelé 4,7 364 304 mil. registrovaných uživatelů v letech 2001-2013 registrovaných uživatelů za rok 5 217 registrovaných uživatelů na instituci za rok (průměr)

51 Fond 12 2012 mil. knihovních jednotek v akademických knihovnách v tomto roce mají AK nejvyšší počet k.j. 99 581 knihovních jednotek na jednu akademickou knihovnu (medián) 1,1 mil. největší fond měla Univerzita Karlova

52 Fond 3,8 297 546 mil. knihovních jednotek bylo v letech 2001-13 zakoupeno do AK průměrný počet přírůstků za rok 4 232 průměrný přírůstek na jednu knihovnu, středová hodnota je 2614 k.j. (medián)

53 Počet k.j. celkem a ve volném výběru

54 Podíl jednotek ve volném výběru k velikosti fondu

55 Obměna fondu

56 Počet titulů seriálů

57 Náklady na akvizici 344 2010 mil. Kč utratily v roce 2013 za akvizici dokumentů AK v tomto roce klesly výdaje na akvizici o více než polovinu 3 mil. Kč utratí průměrně knihovny za akvizici dokumentů, středová hodnota je 1,5 mil. (medián)

58 Náklady na nákup/reg. uživatele

59 Knihovníci 916 2007 knihovníků pracovalo v roce 2013 v akademických knihovnách nejvíce zaměstnanců (979) i úvazků (883) 13 knihovníků pracuje v průměrné knihovně, středová hodnota je pouze 9 knihovníků (medián)

60 Počet zaměstnanců na 1000 uživ.

61 Provozní doba 214 45 dnů v roce mají AK otevřeno (medián) hodin v týdnu mají AK otevřeno (průměr i medián)

62 Budova 9470 studijních míst nabízely AK v roce 2013 853 počítačů je nyní k dispozici v akademických knihovnách

63 Počet míst/1000 uživatelů

64 Přínosy práce J. Fryše  nový pohled na data  ukázka možností benchmarkingu  identifikace chyb ve výkazech  doporučení pro sběr dat v závěru

65 Měření a řízení výkonu v knihovnách MU

66 P. Kalíšek – Měření výkonu na MU  KALÍŠEK, Petr. Měření a řízení výkonu v knihovnách MU. Brno, 2015. 182 s. Dostupné také z: http://is.muni.cz/th/415437/ff_b/BP_kalisek_verejna.pdf. Bakalářská práce. Masarykova univerzita, Filozofická fakulta, Ústav české literatury a knihovnictví, Kabinet informačních studií a knihovnictví. Vedoucí práce PhDr. Martin Krčál. http://is.muni.cz/th/415437/ff_b/BP_kalisek_verejna.pdf  vykazování statistik na MU  analýza dat v knihovnách MU  polostrukturované rozhovory s řediteli knihoven MU nad daty s ročních výkazů  FF, FSS, PřF,PraF, PedF, FI, ESF a KUK

67 Analýza parametrů v ročním výkazu

68 Pilotní průzkum  dotazník  cílem zjistit důležitost údajů v ročním výkazu z pohledu knihovníků a jak se s daty pracuje  distribuci zajišťovala AKVŠ  osloveni členové AKVŠ (24 institucí)  dotazník měli vyplňovat knihovníci, kteří mají v popisu práce vypracovávání statistik  možné přeposlání i na fakulty  sběr v termínu: 26.11.-10.12.2014  SurveyMonkey

69 Návratnost dotazníku  24 institucí  6 škol neodpovědělo  urgence  e-mailem znovu osloveni ředitelé knihoven (+4)  návratnost  22 institucí  32 respondentů  9x fakulty MU, 3x fakulty VUT

70 Návratnost dotazníku

71 Vyhodnocujete data z výkazů? OdpověďPočetProcenta ANO2994% NE26% Celkem31100%

72 Jak s daty pracujete?

73 Proč data nevyhodnocujete?  „Pracovalo se s nimi v rámci knihovny, ne na úrovni školy, pokud je mi známo.“  „Data vyhodnocují kolegové a vedoucí knihovníci na fakultách, já zajišťuji stahování a archivaci uživatelských dat v systému pro analýzu statistik.“

74 Fondy

75 Uživatelé

76  fyzické a virtuální návštěvy  sjednotit metodiku sběru  registrovaní/aktivní uživatelé

77 Výpůjčky

78  příliš složité na vyplňování  mnoho parametrů  větší členění „výpůjček“ EIZ

79 Elektronické informační zdroje

80  příliš podrobné  zbytečné údaje  přístupy přes lokální stanici,…  financování  různé způsoby financování (něco hradí univerzita a ne knihovna)  více rozlišovat  nevykazují se repozitáře a discovery služby  ano/ne  statistiky - Counter

81 Informační vzdělávání

82  rešerše  klasické nebo i konzultace k rešerším???  rešerše již nejsou využívaná služba, zanedbatelný počet požadavků  počet školení a účastníků  zvlášť exkurze a výstavy (můžou hodně zkreslovat)  nedůležité, často odhady  zjišťovat formy infovzdělávání  e-learning, workshopy, přednášky,…  počet knihovníků, kteří učí, školení knihovníků

83 Studovny

84

85

86  PC a přístup – příliš detailní  sledovat  plocha na uživatele  počet míst pro postižené

87 Technika a vybavení

88

89  sledovat  čtečky k půjčování  selfchecky a zařízení na vracení knih  počet tiskáren atd. pro veřejné užití mimo knihovnu

90 Zaměstnanci ÚdajProcentaOdpovědí Počet zaměstnanců knihovny celkem (fyzických osob) 100,0%31 Počet zaměstnanců knihovny (fyzických osob) dle dosaženého vzdělání (VŠ/VOŠ/SŠ) 80,65%25 Počet zaměstnanců knihovny (fyzických osob) dle dosaženého knihovnického vzdělání (VŠ/VOŠ/SŠ) 83,87%26 Počet zaměstnanců knihovny celkem (přepočtený počet) 77,42%24 Počet zaměstnanců knihovny (přepočtený počet) dle dosaženého vzdělání (VŠ/VOŠ/SŠ) 61,29%19 Počet zaměstnanců knihovny (přepočtený počet) dle dosaženého knihovnického vzdělání (VŠ/VOŠ/SŠ) 61,29%19

91 Zaměstnanci  DPP, DPČ a nekmenové osoby – jak je započítávat  dělit dle oddělení???

92 Finance ÚdajProcentaOdpovědí Náklady na akvizici 100,0%31  celkové náklady na provoz knihovny  náklady na zaměstnance  náklady dle oddělení

93 Závěry pilotního průzkumu  Je nutné prodiskutovat potřebné údaje v jednotlivých částech dotazníku  Nutno vytvořit podrobnou metodiku k jednotlivým indikátorům  Stálice – výpůjčky, registrace, přírůstky, velikost fondu, vzdělávání, náklady na akvizici  Zvážit zastaralé údaje (technika, sítě)  Zjednodušit formulář, je nutné jej mít tak složitý?  Více se zaměřit na financování a EIZ  Důležité informační vzdělávání

94 Statistiky, jak je znáte, statistiky, jak je neznáte

95 Seminář VUT  prezentace pilotního průzkumu  workshop  metoda focus group  3 skupiny po 5-6 lidech  M. Fasura, Z. Dohnálková, M. Krčál  diskuze nad parametry z výzkumu  co je důležité  jak složitě se získávají  hledání optimální podoby výkazů

96 Výstupy  dokument XLSX dokument XLSX  podklady pro 2. kolo připomínkování  z části potvrzení výsledků z pilotního průzkumu  ale některé původně nejasné byly v diskuzi obhájeny

97 Fondy  „stálice“ – pro knihovny důležité  nerozhodnuto  seriálové publikace – exempláře, dle forem  přidat  náklady financování dle zdrojů  účast v projektech (do zaměstnanců???)  možná přidat  financování – náklady na provoz knihovny, akvizice  počet knihovníků ve zpracování (ale úvazky, počet???)

98 Uživatelé  nerozhodnuto  návštěvy dle druhu  uživatel v dílčí a centrální DB  přidat  virtuální návštěvy  počet akademiků

99 Výpůjčky  nerozhodnuto  první výpůjčky, prodloužení, MVS a MMVS  zrušit  MVS a MMVS dle druhu (výpůjčka, kopie, el. kopie)  možná přidat  počet prezenčních výpůjček (ale jak to zjišťovat???)

100 Elektronické informační zdroje  zachovat jen počet EIZ  nerozhodnuto  EIZ vytvářených knihovnou (lepší definice),  možná přidat  statistiky přístupů  stažení FT (jak to jednoduše zjišťovat???, Counter???)

101 Informační vzdělávání  nerozhodnuto  počet rešerší  přidat  formy infovzdělávání  pracovníci ve vzdělávání  počet školících akcí pro knihovníky  možná přidat  počet prezenčních výpůjček (ale jak to zjišťovat???)

102 Studovny  snaha o zrušení většiny parametrů  zachovat jen  počet ÚK, dílčích knihoven, provozní doba ÚK, dílčích knihoven, počet k.j. ve volném výběru, počet PC celkem  nerozhodnuto  počet míst, dostupnost hlavních služeb (co to je???) ÚK i dílčích, počet k.j. ve volném výběru v dílčích knihovnách, počet míst celkem a na pobočkách  přidat  plocha knihovny, Wi-Fi (ano/ne), bezbariérový přístup (ano/ne)

103 Technika a vybavení knihovny  zachovat  počet tiskáren  nerozhodnuto  skenery, kopírky, multifunkce, dělení žařízení dle pobočkových a ÚK  přidat  discovery služby (ano/ne), institucionální repozitář (ano/ne), selfchecky a biblioboxy  možná přidat  čtečky k půjčování, název knihovního systému

104 Zaměstnanci  zachovat všechny stávající  přidat  stáže zaměstnanců v zahraničí  možná přidat  náklady na zaměstnance i dle činností, počet zaměstnanců dle činností, počet hodin vzdělávání knihovníků, stáže, publikační činnost zaměstnanců, vystoupení na konferencích v ČR i zahraničí

105 Další navrhované paramery  financování dle zdrojů  průzkumy spokojenosti (ano/ne)  rozpočet univerzity, fakulty, knihovny  poměry knihovna/instituce

106 Prozatimní závěry  prozatím nebyly řešeny indikátory  ale nutno k nim sbírat parametry  často protichůdné názory  nedomýšlí se složitost sběru  nutno porovnat se zahraničními systémy

107 Plán  delfská metoda s odborníky (cca. 6)  zaměřit se i na sběr údajů  provést podrobnou analýzu systémů  zohlednit ve finálním návrhu  navrhnout formulář pro sběr dat

108 Budoucnost sběru ročních výkazů

109 Roční výkazy  V 21-01 Roční výkaz o vysokoškolské knihovně  data od roku 2000 -2014  výraznější úpravy v roce 2010  problém s metodikou  nejasnosti vyplňování  upřesňování  málo podrobná

110 Sběr ročních výkazů  2001-2013 – MŠMT  2014 – AKVŠ, využit SW a formuláře MŠMT  2015 – AKVŠ, formulář stejný, SW pro sběr???

111 Vývoj SW pro AKVŠ  výzkumy nad parametry a indikátory  analýza systmů  návrh formuláře pro sběr dat  návrh analytického nástroje  co vše porovnávat  metodika vyplňování  etický kodex práce s daty  realizace??? – kdo to údělá, financování

112 Diskuze?

113 Děkuji za pozornost Martin Krčál KISK, Filozofická fakulta, Masarykova univerzota e-mail: krcal@phil.muni.cz