Měření výkonu a kvality služeb akademických knihoven přednáška pro Klub vysokoškolských knihovníků Praha, Martin Krčál
Obsah přednášky úvod do měření výkonu knihoven používané metody metoda benchmarkingu data z ročních výkazů systémy benchmarkingu návrh české platformy pro akademické knihovny
Měření výkonu knihoven snaha knihoven obstát v konkurenci kdo je konkurencí knihoven? rozdíly ve službách zkvalitnění a zefektivnění procesů děláme služby dobře? jsme dostatečně efektivní? nesmíme zůstat uzavření sdílení zkušeností library advocacy obhájení služeb knihoven (projekt APLS)
výkon knihovna x kvalita služeb Výkon knihovny Kvalita služeb
Metody měření evidence-based librarianship uživatelské výzkumy (design služeb) standardy kvality ROI = return on investments benchmarking …
Evidence-based librarianship
EBL Evidence-based librarianship (EBL) is a means to improve the profession of librarianship by asking questions as well as finding, critically appraising and incorporating research evidence from library science (and other disciplines) into daily practice. It also involves encouraging librarians to conduct high quality qualitative and quantitative research. Zdroj: Ellen Crumley, Denise KoufogiannakisEllen Crumley, Denise Koufogiannakis
Co je tedy EBL? koncept převzatý z medicíny cílem zlepšit knihovnickou profesi, její procesy a služby neustálé hledání nejlepšího řešení na základě důkazů důležitá znalost uživatelů a jejich potřeb výzkumy zaměřené na uživatele a jsoucí do praxe rychlá implementace do praxe průběžná realizace
Cyklus EBL Zdroj:
Příklady výzkumných otázek Proč má knihovna malé procento čtenářů mezi obsluhovanou populací? Proč nechodí muži v produktivním věku do knihoven? Je stavění fondu v knihovně pro uživatele pochopitelné?
Kvalita výzkumů teoretická připravenost ze školy znát různé výzkumné metody zkušenosti s realizací výzkumů potřeba zkoušet něco nového dokázat je implementovat do praxe podpora od všech zaměstnanců mohou knihovníci část pracovní doby věnovat výzkumům?
Druhy výzkumů kvantitativní Co? Jak? Kolik? testování teorií a hypotéz velký výzkumný vzorek, redukce informací dotazníky, ankety,… kvalitativní Proč? menší výzkumný vzorek, vyčerpávající informace rozhovory, focus group, orální historie,…
Standardy kvality
Knihovní služby služby definovány zákonem Jaká je jejich úroveň??? Je všude stejná??? Jak to poznat???
Standardy kvality knihovních služeb definovat minimální úroveň služeb pro daný typ knihovny délka provozní doby minimální přírůstek počet PC s internetem množství financí na nákup knih počet studijních míst … základním kritériem je obsluhovaná populace
Cíle standardů zlepšit dostupnost a kvalitu služeb pro uživatele možnost srovnání a kontrola kvality služeb nástroj pro plánování a rozvoj služeb systematická podpora rozvoje služeb zřizovatelé, knihovnické orgány, stát,… financování
Dostupné standardy IFLA IFLA přeloženo do 13-ti jazyků (i CZ) národní některé státy USA, GB (Cilip), ŠPA některé státy USAGB české veřejné knihovny MK ČR + vyhodnocení standardů MK ČRvyhodnocení standardů standard vydán i knižně NK ČR Standard pro dobrou knihovnu (2012) Standard pro dobrou knihovnu v současnosti i analýzy na úrovni krajů (regionální funkce)
Parametry standardu kvality KategorieProvoz/týdenPřírůstky/rokNákup/1obyv.PC s internetemStudijní místa 1– – – – Nad a více7500 a více a více75 a více Zdroj: KnihovnaPlusKnihovnaPlus
ROI Return on investments
ROI návratnost investic ekonomická metoda cíl ukázat hodnotu knihoven a jejích služeb pro mateřské instituce (např. univerzity), pro společnost a stát využití library advocacy pro rozvoj knihovny
Výpočet ROI Návratnost investice = ((čistý zisk - počáteční investice) / počáteční investice) x 100 [%]
Využití v praxi poukázání na přínos vybraných služeb a oddělení knihovny získání respektu vedení knihovny (např. při vyjednávání o rozpočtu) obhájení rozpočtu prosazování nových služeb zvýšení prestiže knihovny identifikace (ne)efektivních služeb, oddělení (rozšíření, změna, zrušení)
Benchmarking knihoven
Benchmarking „ Nepřetržitý a systematický proces porovnávání a měření produktů, procesů a metod vlastní organizace s těmi, kdo byli uznáni jako vhodní pro toto měření, za účelem definovat cíle zlepšování vlastních aktivit. “ (Nenadál)
Benchmarking proces měření vlastních služeb a jejich porovnávání za účelem jejich zlepšení srovnávat srovnatelné!!! metoda strategického řízení vznik v komerčním prostředí 80. léta, Xerox využívá statistiky roční výkazy knihoven
Fungování benchmarkingu co děláme, jak to děláme, je to efektivní??? co dělají jiní, jak to dělají, je to efektivnější??? benchmarking = učení se od sebe = učení se od jiných
Cíle BM hledání silných a slabých stránek hledat možnosti zlepšení zamyšlení se nad vlastními službami hledání inspirace u jiných lepší pochopení chování a potřeb uživatelů neustálý rozvoj instituce - aplikace změn motivovat zaměstnance ke změnám
Výhody BM neustálý rozvoj instituce podpora spolupráce mezi institucemi úspora času nezavádět zbytečnosti, neztrácet čas zkoušením věcí, které uživatel nepotřebují,… nemusíme vymýšlet nové věci, ale inspirovat se identifikace chyb ve statistikách identifikace obecných trendů
Nevýhody BM pouze obecná definice metody specifika institucí každá instituce je jiná, může mít specifické podmínky nutné s tím počítat omezení na podobné instituce nutnost přijetí metody zaměstnanci chyby ve statistikách nejednotnost metrik
Nevýhody BM nepokrývá celé spektrum služeb a procesů kvantitativní metoda dnes kombinace s kvalitativními uživatelskými výzkumy nutnost spolupráce špatná interpretace výsledků analýz zneužití výsledků!!!!!!! kodex využití výsledků pouhá komparace výsledků
Co není benchmarking???
Proces benchmarkingu 1. plánování 2. hledání partnerů 3. sběr dat 4. anaýza dat 5. aplikace změn Zdroj: Peter Brophy
Údaje pro analýzu parametry základní údaje sbírané z knihoven např. počet uživatelů výkonové/poměrové indikátory vypočítávají se s parametrů např. výdaje na nákup literatury na 1 obyvatele
Druhy benchmarkingu interní uvnitř instituce např. pobočky, oddělení apod. externí s jinými institucemi musí být srovnatelné
Druhy benchmarkingu výkonový zaměřuje se na výkon produktů a služeb, orientace na uživatele jaká je návštěvnost, využívání služeb apod. procesní sleduje jednotlivé procesy v instituci např. jak funguje půjčování knih funkcionální orientace na funkce a druhy služeb např. jaké druhy výpůjček knihovna poskytuje
Benchmarking v ČR ve světě již v 90. letech 2005 – projekt Benchmarking knihoven NKP + NIPOS pouze knihovny základní 248 českých a 49 slovenských knihoven analytický nástroj:
Parametry a indikátory v BKČR 1KF/1000 obyv. 2% obnovy KF 3Přírůstek/1000 obyv. 4Periodika/1000 obyv. 5Internet/1000 obyv. 6Plocha/1000 obyv. 7Stud.míst./1000 obyv. 8Úvazky/1000 obyv. 9Úvazky/1000 čten. 10Úvazky/1000 návšť. 11roční provoz. doba/1000 obyv. 12% roč. provoz. doby/prac. fond zam. 13Provozní doba 14%výdajů/rozp. města 15% obsl. popul. 16% mládeže 17Návštěvy/obyv. 18Virtual. navšťěvy/obyv. 19% návštěv internet 20Výpůjčky/čtenář 21Obrat KF 22Kult. a vzděl. akce/1000 obyv. 23Inter. služby 24Provoz. nákl/1000 obyv. 25Náklady KF/obyv. 26Náklady EIZ/obyv. 27Náklady KF/výpůjčky 28%provoz.nákl. 29% nákladů na KF 30% osobních nákl. 31% získaných dotací 32% vlast. příjmů Zdroj: Vít Richter. Benchmarking: prezentace v MZK, 2014.
Systémy benchmarkingu aktivity v rámci Výzkumného semináře M. Krčál, J. Fryš, P. Kalíšek, A. Chodounská výzkum nástrojů benchmarkingu ve světě rozdělení dle funkcionality do tří skupin článek na ProinflowProinflow
Základní dělení systémy pro sběr ročních statistických výkazů jen statistiky, pro členy obvykle zdarma, obvykle národní Academic Library Survey (ALS), Performance Analysis for Polish Research Libraries (PAPRL), ARL Statistics (součást StatsQUAL),… systémy pro benchmarking kvalitativních dat klasický benchmarking, národní nebo institucionální BIX, ROBLE, REBUIN, CAUL Library statistics, ACRL metrics, Sveriges officiella biblioteksstatistik,… systémy pro benchmarking uživatelské spokojenosti kombinace s výzkumy uživatelské spokojenosti LibQUAL+, Insync Surveys
Bix založen v roce 1999, původně pro veřejné knihovny v SRN dnes knihoven (GER, AUT, SWI, SLO, SVK, CZE,…) rozděleno na veřejné a akademické knihovny výsledky veřejné
LIBQUAL+ vznik v roce 1999 komerční systém vyvíjený ARL (USA) zapojeno celkem přes 1200 knihoven z celého světa, zejména akademické ale 171 v roce 2012 zahrnuto i uživatelské testování 22 otázek, škála 1-9 výsledky jen pro účastníky
Insync Surveys novozélandský systém pro univerzitní knihovny provozují CAUL a CONSUL funkčně podobný LibQUAL+ dnes zejména NEZ a AUS 38 účastníků data i analýzy jen členům
LAMP - Library Analytics and Metrics Project vzniká v prostředí britských akademických knihoven kombinuje statistiky, průzkumy uživatelů a data jejich chování ze systémů cílem získat komplexní přehled o fungování knihovny a jejím výkonu v současnosti prototyp
Výzkumy v oblasti měření výkonu knihoven
Analýza ročních výkazů českých akademických knihoven od roku 2001
Dvě analýzy KRČÁL, Martin a Martin FASURA. Statistiky nově a plánovaná česká platforma pro benchmarking akademických knihoven. Bibliotheca academica 2014 [online]. Ústí na Labem: UJEP, [cit ]. Dostupné z: Prezentace obsahuje analýzu dat a základní výstupy ze sběru ročních výkazů akademické knihovny z let FRYŠ, Jakub. Analýza ročních výkazů českých akademických knihoven od roku Brno, s. Dostupné tak z: Bakalářská práce. Masarykova univerzita, Filozofická fakulta, Ústav české literatury a knihovnictví, Kabinet informačních studií a knihovnictví. Vedoucí práce PhDr. Martin Krčál.
J. Fryš – Analýza ročních výkazů… vymezení základní terminologie historický vývoj popis procesu měření na vlastním obecném modelu popis metody benchmarkingu analýza sekundárních dat od AKVŠ hodnocení konzistence, úplnosti a chybovosti dat zpracování dat pomocí deskriptivní statistiky prezentace výsledků doporučení a návrhy změn
Výpůjčky 38,4 2,9 mil. výpůjček v letech mil. výpůjček v průměru za rok výpůjček v instituci za rok (medián)
Výpůjčky
Uživatelé 4, mil. registrovaných uživatelů v letech registrovaných uživatelů za rok registrovaných uživatelů na instituci za rok (průměr)
Fond mil. knihovních jednotek v akademických knihovnách v tomto roce mají AK nejvyšší počet k.j knihovních jednotek na jednu akademickou knihovnu (medián) 1,1 mil. největší fond měla Univerzita Karlova
Fond 3, mil. knihovních jednotek bylo v letech zakoupeno do AK průměrný počet přírůstků za rok průměrný přírůstek na jednu knihovnu, středová hodnota je 2614 k.j. (medián)
Počet k.j. celkem a ve volném výběru
Podíl jednotek ve volném výběru k velikosti fondu
Obměna fondu
Počet titulů seriálů
Náklady na akvizici mil. Kč utratily v roce 2013 za akvizici dokumentů AK v tomto roce klesly výdaje na akvizici o více než polovinu 3 mil. Kč utratí průměrně knihovny za akvizici dokumentů, středová hodnota je 1,5 mil. (medián)
Náklady na nákup/reg. uživatele
Knihovníci knihovníků pracovalo v roce 2013 v akademických knihovnách nejvíce zaměstnanců (979) i úvazků (883) 13 knihovníků pracuje v průměrné knihovně, středová hodnota je pouze 9 knihovníků (medián)
Počet zaměstnanců na 1000 uživ.
Provozní doba dnů v roce mají AK otevřeno (medián) hodin v týdnu mají AK otevřeno (průměr i medián)
Budova 9470 studijních míst nabízely AK v roce počítačů je nyní k dispozici v akademických knihovnách
Počet míst/1000 uživatelů
Přínosy práce J. Fryše nový pohled na data ukázka možností benchmarkingu identifikace chyb ve výkazech doporučení pro sběr dat v závěru
Měření a řízení výkonu v knihovnách MU
P. Kalíšek – Měření výkonu na MU KALÍŠEK, Petr. Měření a řízení výkonu v knihovnách MU. Brno, s. Dostupné také z: Bakalářská práce. Masarykova univerzita, Filozofická fakulta, Ústav české literatury a knihovnictví, Kabinet informačních studií a knihovnictví. Vedoucí práce PhDr. Martin Krčál. vykazování statistik na MU analýza dat v knihovnách MU polostrukturované rozhovory s řediteli knihoven MU nad daty s ročních výkazů FF, FSS, PřF,PraF, PedF, FI, ESF a KUK
Analýza parametrů v ročním výkazu
Pilotní průzkum dotazník cílem zjistit důležitost údajů v ročním výkazu z pohledu knihovníků a jak se s daty pracuje distribuci zajišťovala AKVŠ osloveni členové AKVŠ (24 institucí) dotazník měli vyplňovat knihovníci, kteří mají v popisu práce vypracovávání statistik možné přeposlání i na fakulty sběr v termínu: SurveyMonkey
Návratnost dotazníku 24 institucí 6 škol neodpovědělo urgence em znovu osloveni ředitelé knihoven (+4) návratnost 22 institucí 32 respondentů 9x fakulty MU, 3x fakulty VUT
Návratnost dotazníku
Vyhodnocujete data z výkazů? OdpověďPočetProcenta ANO2994% NE26% Celkem31100%
Jak s daty pracujete?
Proč data nevyhodnocujete? „Pracovalo se s nimi v rámci knihovny, ne na úrovni školy, pokud je mi známo.“ „Data vyhodnocují kolegové a vedoucí knihovníci na fakultách, já zajišťuji stahování a archivaci uživatelských dat v systému pro analýzu statistik.“
Fondy
Uživatelé
fyzické a virtuální návštěvy sjednotit metodiku sběru registrovaní/aktivní uživatelé
Výpůjčky
příliš složité na vyplňování mnoho parametrů větší členění „výpůjček“ EIZ
Elektronické informační zdroje
příliš podrobné zbytečné údaje přístupy přes lokální stanici,… financování různé způsoby financování (něco hradí univerzita a ne knihovna) více rozlišovat nevykazují se repozitáře a discovery služby ano/ne statistiky - Counter
Informační vzdělávání
rešerše klasické nebo i konzultace k rešerším??? rešerše již nejsou využívaná služba, zanedbatelný počet požadavků počet školení a účastníků zvlášť exkurze a výstavy (můžou hodně zkreslovat) nedůležité, často odhady zjišťovat formy infovzdělávání e-learning, workshopy, přednášky,… počet knihovníků, kteří učí, školení knihovníků
Studovny
PC a přístup – příliš detailní sledovat plocha na uživatele počet míst pro postižené
Technika a vybavení
sledovat čtečky k půjčování selfchecky a zařízení na vracení knih počet tiskáren atd. pro veřejné užití mimo knihovnu
Zaměstnanci ÚdajProcentaOdpovědí Počet zaměstnanců knihovny celkem (fyzických osob) 100,0%31 Počet zaměstnanců knihovny (fyzických osob) dle dosaženého vzdělání (VŠ/VOŠ/SŠ) 80,65%25 Počet zaměstnanců knihovny (fyzických osob) dle dosaženého knihovnického vzdělání (VŠ/VOŠ/SŠ) 83,87%26 Počet zaměstnanců knihovny celkem (přepočtený počet) 77,42%24 Počet zaměstnanců knihovny (přepočtený počet) dle dosaženého vzdělání (VŠ/VOŠ/SŠ) 61,29%19 Počet zaměstnanců knihovny (přepočtený počet) dle dosaženého knihovnického vzdělání (VŠ/VOŠ/SŠ) 61,29%19
Zaměstnanci DPP, DPČ a nekmenové osoby – jak je započítávat dělit dle oddělení???
Finance ÚdajProcentaOdpovědí Náklady na akvizici 100,0%31 celkové náklady na provoz knihovny náklady na zaměstnance náklady dle oddělení
Závěry pilotního průzkumu Je nutné prodiskutovat potřebné údaje v jednotlivých částech dotazníku Nutno vytvořit podrobnou metodiku k jednotlivým indikátorům Stálice – výpůjčky, registrace, přírůstky, velikost fondu, vzdělávání, náklady na akvizici Zvážit zastaralé údaje (technika, sítě) Zjednodušit formulář, je nutné jej mít tak složitý? Více se zaměřit na financování a EIZ Důležité informační vzdělávání
Statistiky, jak je znáte, statistiky, jak je neznáte
Seminář VUT prezentace pilotního průzkumu workshop metoda focus group 3 skupiny po 5-6 lidech M. Fasura, Z. Dohnálková, M. Krčál diskuze nad parametry z výzkumu co je důležité jak složitě se získávají hledání optimální podoby výkazů
Výstupy dokument XLSX dokument XLSX podklady pro 2. kolo připomínkování z části potvrzení výsledků z pilotního průzkumu ale některé původně nejasné byly v diskuzi obhájeny
Fondy „stálice“ – pro knihovny důležité nerozhodnuto seriálové publikace – exempláře, dle forem přidat náklady financování dle zdrojů účast v projektech (do zaměstnanců???) možná přidat financování – náklady na provoz knihovny, akvizice počet knihovníků ve zpracování (ale úvazky, počet???)
Uživatelé nerozhodnuto návštěvy dle druhu uživatel v dílčí a centrální DB přidat virtuální návštěvy počet akademiků
Výpůjčky nerozhodnuto první výpůjčky, prodloužení, MVS a MMVS zrušit MVS a MMVS dle druhu (výpůjčka, kopie, el. kopie) možná přidat počet prezenčních výpůjček (ale jak to zjišťovat???)
Elektronické informační zdroje zachovat jen počet EIZ nerozhodnuto EIZ vytvářených knihovnou (lepší definice), možná přidat statistiky přístupů stažení FT (jak to jednoduše zjišťovat???, Counter???)
Informační vzdělávání nerozhodnuto počet rešerší přidat formy infovzdělávání pracovníci ve vzdělávání počet školících akcí pro knihovníky možná přidat počet prezenčních výpůjček (ale jak to zjišťovat???)
Studovny snaha o zrušení většiny parametrů zachovat jen počet ÚK, dílčích knihoven, provozní doba ÚK, dílčích knihoven, počet k.j. ve volném výběru, počet PC celkem nerozhodnuto počet míst, dostupnost hlavních služeb (co to je???) ÚK i dílčích, počet k.j. ve volném výběru v dílčích knihovnách, počet míst celkem a na pobočkách přidat plocha knihovny, Wi-Fi (ano/ne), bezbariérový přístup (ano/ne)
Technika a vybavení knihovny zachovat počet tiskáren nerozhodnuto skenery, kopírky, multifunkce, dělení žařízení dle pobočkových a ÚK přidat discovery služby (ano/ne), institucionální repozitář (ano/ne), selfchecky a biblioboxy možná přidat čtečky k půjčování, název knihovního systému
Zaměstnanci zachovat všechny stávající přidat stáže zaměstnanců v zahraničí možná přidat náklady na zaměstnance i dle činností, počet zaměstnanců dle činností, počet hodin vzdělávání knihovníků, stáže, publikační činnost zaměstnanců, vystoupení na konferencích v ČR i zahraničí
Další navrhované paramery financování dle zdrojů průzkumy spokojenosti (ano/ne) rozpočet univerzity, fakulty, knihovny poměry knihovna/instituce
Prozatimní závěry prozatím nebyly řešeny indikátory ale nutno k nim sbírat parametry často protichůdné názory nedomýšlí se složitost sběru nutno porovnat se zahraničními systémy
Plán delfská metoda s odborníky (cca. 6) zaměřit se i na sběr údajů provést podrobnou analýzu systémů zohlednit ve finálním návrhu navrhnout formulář pro sběr dat
Budoucnost sběru ročních výkazů
Roční výkazy V Roční výkaz o vysokoškolské knihovně data od roku výraznější úpravy v roce 2010 problém s metodikou nejasnosti vyplňování upřesňování málo podrobná
Sběr ročních výkazů – MŠMT 2014 – AKVŠ, využit SW a formuláře MŠMT 2015 – AKVŠ, formulář stejný, SW pro sběr???
Vývoj SW pro AKVŠ výzkumy nad parametry a indikátory analýza systmů návrh formuláře pro sběr dat návrh analytického nástroje co vše porovnávat metodika vyplňování etický kodex práce s daty realizace??? – kdo to údělá, financování
Diskuze?
Děkuji za pozornost Martin Krčál KISK, Filozofická fakulta, Masarykova univerzota