1 Měření kvality a výkonu činnosti veřejných knihoven Projekt „Benchmarking knihoven“ CASLIN června 2006 Národní knihovna ČR Tel

2 Hlavní témata  Proč měřit kvalitu činnosti knihovny?  Drobné problémy měření výkonu a kvality v ČR  Co je to „benchmarking“  Měření výkonu knihoven v SRN – BIX– Bibliotheksindex  Projekt „Benchmarking knihoven“

3 Knihovny pod dvojím tlakem

4 Knihovna musí:  Poskytovat kvalitní služby  Získat kladné hodnocení od svých uživatelů  Prokázat, že knihovna je užitečnou a využívanou institucí  Prokázat svou ekonomickou efektivnost   Jak měřit výkon a kvalitu svých služeb?  Jak prokázat svou efektivnost?  Jak a s čím se srovnávat?

5 Problémy měření výkonu a kvality  Ze statistických dat nelze vždy odvodit kvalitativní ukazatele  Sbíráme velké množství statistických dat, ale to samo o sobě nic nevypovídá o výkonu a kvalitě  Statistický výkaz pro veřejné knihovny = 130 údajů  Chyběla obsluhovaná populace, ekonomické údaje  Statistická data knihoven nejsou veřejná  Nelze provádět vzájemné srovnání knihoven stejné velikosti a funkce  Známe pouze celostátní či krajské průměry  Nelze efektivně použít pro knihovny různých velikostí

6 Úskalí veřejných statistických dat STATISTICKÁ DATA BY MĚLA BÝT VEŘEJNÁ  Hospodaříme s veřejnými prostředky – maximální průhlednost  Provozovatel i veřejnost je informován, jak a k čemu jsou peníze využity ALE MÁME OBAVU:  Výsledky měření výkonu mohou být zneužity jako zbraň proti knihovně

7 2 metody srovnávání a měření  Porovnávání se „standardem nejlepší možné praxe“  Metodicky pokyn MK - standard kvality poskytování VKIS v ČR  Mezikrok k vzájemnému porovnávání mezi knihovnami  Porovnávání s jinou knihovnou - benchmarking

8 Indikátory standardu VKIS  Provozní doba knihovny (hod./týden)  Doplňování knihovního fondu (sv./rok)  Výdaj na doplňování knihovního fondu (Kč/obyvatele)  Počet veřejně přístupných stanic připojených k internetu  Studijní místa a prostory pro uživatele knihovny  Obecné principy dostupnosti:  Rovný přístup  Webová stránka + blind friendly  Docházková vzdálenost  Pobočky

9 Co je BENCHMARKING?  Benchmarking =  Standard  Značka zeměměřiče pro měření výšky  Komparativní bod  Porovnávací ukazatel  Srovnávání vlastní výkonnosti s nejlepší praxí  Je to neustále pokračující činnost, která se snaží nalézt nejlepší praktické postupy uvnitř knihovny a jejím smyslem je dosáhnout lepších výkonů ve vlastní knihovně  Poprvé použit v r – Xerox Corporation  Benchmarking – externí, interní, odvětvový, funkční

10 CO MY DĚLÁME? JAK TO MY DĚLÁME? JAK DOBŘE TO MY DĚLÁME? CO DĚLAJÍ JINÍ? JAK TO DĚLAJÍ JINÍ? JAK DOBŘE TO JINÍ DĚLAJÍ? PŘÍLEŽITOSTI A NÁMĚTY KE ZLEPŠOVÁNÍ SROVNEJTE A UČTE SE Co je BENCHMARKING? Převzato: A. Plášková: Benchmarking. VŠE

11 Postup benchmarkingu Benchmarking nekončí definování indikátorů nebo pouhým měřením!!!

12 Přínosy benchmarkingu  Definuje nejlepší výkony  Pružná metoda pro srovnávání – možnost zjistit silné a slabé stránky  Dává včasné varování, pokud knihovna zaostává  Podporuje tvořivé uvažování o vnitřních procesech  Podporuje inovační chování  Pomáhá rozvíjet spolupráci, navázání nových dynamických kontaktů  V ČR používá: veřejná správa, sociální služby, ČD, CzechInvest: Český benchmarkingový index

13 Omezení benchmarkingu  Každá knihovna pracuje v jiném kontextu – omezení vypovídací hodnoty zjištění  Sdílení strategických informací – může přinést problémy  Napodobování postupů nemusí vždy přinést úspěch  Nemusí se vždy podařit najít inspirativní partnery  Pokud má být benchmarking užitečný, musíme ho my i celá knihovna vnímat jako něco užitečného – participace

14 Příklad využití benchmarkingu

15 BIX – Bibliotheksindex  Podporováno Berstelmannovou nadací  Projekt trvá již 7 let, účast cca 245 knihoven  BIX – Bibliotheksindex  Veřejné knihovny – 5 velikostních kategorií knihoven - (cca 200 knihoven)  Vědecké (vysokoškolské) knihovny - (cca 45 knihoven)  Nejsou stanoveny standardy  Provádí se vzájemné srovnání kvantitativních akvalitativních parametrů, které dosahují konkrétní knihovny  Určuje se pořadí knihoven – zjištěná data jsou převáděna na indexy  Vstup knihovny do projektu je dobrovolný ale placený 170,- EUR  Každá knihovna vyplní dotazník: statistická data + slovní popis  Poskytnutá data jsou veřejná - databáze

16 Bibliotheksindex pro veřejné knihovny  4 cílové dimenze, 17 indikátorů  Základní podmínky pro uspokojení požadavků uživatelů  Orientace na uživatele  Ekonomická efektivnost  Pracovníci knihovny  Přepočet hodnoty indikátoru na počet bodů  Každý indikátor má svůj váhový koeficient  Lze vypočítat celkový index a pořadí

17 Základní podmínky pro uspokojení požadavků uživatelů StředMaximumMinimum Knihovní fond na obyvatele 2,44,51,4 Plocha m2 na 1000 obyvatel Počet pracovníků na 1000 obyvatel 0,260,600,13 % obnovy knihovního fondu 11,234,55,5 Nabídka počítačů v hodinách na obyvatele 0,591,410,13 Internetové služby 360 Pro uspokojení oprávněných požadavků uživatelů jsou nezbytné určité zdroje. Zajištění těchto zdrojů je úkolem provozovatelů knihoven.

18 Orientace na uživatele StředMaximumMinimum Počet návštěv na obyvatele 4,214,21,5 Počet výpůjček na obyvatele 9,217,64,5 Obrat knihovního fondu 4,17,02,0 Týdenní provozní doba pro veřejnost 23,442,06,7 Počet obslužných míst 131 Odpovídá nabídka médií a služeb přáním a požadavkům uživatelů? Vysoká míra využívání knihovny je závislá na tom, zda jsou posouzeny všechny uživatelské potřeby.

19 Ekonomická efektivnost StředMaximumMinimum Výdaj na nákup KF na výpůjčku 0,230,460,06 Počet pracovních hodin na jednu otevírací hodinu 4,19,71,7 Počet návštěv na jednu otevírací hodinu 35,3105,57,6 Výdaje na jednu návštěvu (EUR) 4,298,571,39 Knihovny jako nevýdělečná zařízení nemohou pracovat na pokrytí svých nákladů. Jsou ale povinny využívat všechny zdroje s maximální efektivností. Cílem je, aby veškeré vybavení a využívání zdrojů bylo ve vzájemné rovnováze se službami knihovny.

20 Pracovníci knihovny StředMaximumMinimum Čistá pracovní kapacita knihovny 97,299,877,6 Procento pracovní kapacity věnované na zvyšování kvalifikace pracovníků 2,220,80,0 Míra fluktuace 7,733,30,0 Pro plnění úkolů knihovny musí být k dispozici dostatečné množství kvalifikovaných pracovníků. Vysoká fluktuace, například na základě termínovaných úvazků nebo vysoký podíl důchodců způsobují růst nákladů na organizaci a zajištění činnosti.

21

22

23

24 Bibliotheksindex – vědecké knihovny

25 Cílová dimenze: NABÍDKA  Plocha knihovny pro uživatele v m² na 1000 členů obsluhované populace  Počet zaměstnanců (úvazků) na 1000 členů obsluhované populace  Výdaje na literaturu a informační zdroje na 1000 členů obsluhované populace  Podíl výdajů na elektronické informační zdroje na celkových nákladech na nákup inf. zdrojů  Týdenní provozní doba Obsluhovaná populace = studenti + vědecký personál, tj. profesoři a vědečtí pracovníci, ale nikoliv vědecké pomocné síly

26 Cílová dimenze: VYUŽÍVÁNÍ  Počet návštěv na člena obsluhované populace  Počet virtuálních návštěv člena obsluhované populace  Počet hodin informační výchovy uživatelů na 1000 členů obsluhované populace  % okamžitých výpůjček z celkového počtu výpůjček (včetně rezervací a žádanek MVS)  Podíl kladně vyřízených on-line dotazů

27 Cílová dimenze: EFEKTIVITA  Výdaje na registrovaného uživatele  Poměr výdajů na nákup informačních zdrojů a personálních nákladů  Pracovní produktivita (počet získaných médií/počet pracovníků)

28 Cílová dimenze: ROZVOJ  Počet dní školení na jednoho pracovníka  Podíl výdajů na knihovnu na celkových výdajích školy  Podíl příjmů z vlastní činnosti a grantů na celkových příjmech knihovny  Podíl pracovníků technického rozvoje a elektronických sloužen na celkovém počtu pracovníků

29 Projekt „Benchmarking knihoven“ příprava, postup, výběr indikátorů Garant projektu: Národní knihovna ČR

30 Cíle projektu 1.Vytvořit a testovat benchmarkingový systém pro hodnocení činnosti veřejných knihoven. 2.Pomoci veřejným knihovnám různých velikostních kategorií analyzovat metodou benchmarkingu vlastní výkony a porovnat je s jinými knihovnami a nalézt nejlepší způsoby řešení. 3.Efektivně využít existující statistická data 4.Ověřit možnost využití metody benchmarkingu pro knihovny v oblasti zdravotnictví Doba trvání projektu: Listopad 2005 – březen 2007

31 Hlavní kroky projektu – co jsme udělali?  Zjištění zájmu knihoven o projekt  Získání NIPOS pro spolupráci – grant z VISK3  Informační příprava projektu, elektronická konference „Mereni“, webová stránka  Vytvoření řídícího týmu projektu  Proškolení pracovního týmu projektu - seminář „Měření výkonu knihoven“ – Goethe-Institut  Přijetí pravidel spolupráce  Kategorizace knihoven  Analýza statistických dat spolupracujících knihoven  Návrh indikátorů

32 Co a kdy ještě musíme udělat? Výběr indikátorů, definice indikátorů (ISO11620) Testování, výběr nejlepšího řešení, zpracování formulářů = data+komentáře Zadání pro vybudování databáze Benchmarking pro NIPOS Vytvoření a zprovoznění databáze Benchmarking Sběr dat, zpracování dat, analýza, výsledky, porovnávání Prezentace výstupů z projektu na odborných seminářích a v tisku 2007 Optimalizace indikátorů 2007…

33 Jaké zvolit velikostní kategorie? Základní východisko: kategorizace dle standardu VKIS Smilovice u Třince (okr. FM)612 Žabeň606 Jarošov nad Nežárkou1067 Hnojník1427 Řepiště1610 Volyně3190 Paskov3747 Vratimov6554 Kaplice7195 Sedlčany7836 Bystřice pod Hostýnem8727 Třeboň8862 Říčany11329 Rokycany13826 Chodov14454 Ústí nad Orlicí15031 Slaný15070 Jičín16328 Žďár nad Sázavou24030 Vsetín28575 Šumperk28768 Strakonice34545 Třinec38415 Třebíč38785 Prostějov47374 Jihlava50100 Chomutov50251 Děčín52000 Opava60252 Karviná63677 Most67905 Karlovy Vary51807 Zlín79177 HK95195 Ústí nad Labem94105 Plzeň Olomouc Brno Ostrava313088

34 Kategorizace knihoven Počet obyvatel obce 1 – Více než Krajská knihovna Krajská knihovna s městskou funkcí

35 Jaké indikátory charakterizují výkon a kvalitu?  Indikátor musí být „zrcadlem“ kvality čí výkonu = validita  Indikátor musí být měřitelný  Indikátor musí být jednoznačně vymezen  Indikátor musí být spolehlivý, ověřitelný - nízká míra subjektivity  Indikátor musí být praktický - měření nesmí být časově a personálně náročné  Indikátor musí splnit očekávání knihovny i jejího provozovatele

36 Kolik indikátorů vybrat?  Indikátory by měly odpovídat stanoveným cílům  Pokrýt celé spektrum služeb, vyloučit duplicity  Zvolit indikátory, které mohou knihovny ovlivnit (obrat, pracovní kapacita, provozní doba)  Skupiny indikátorů – všeobecné podmínky pro činnost, efektivita, hospodaření, služby, zaměstnanci, učení a růst, interní procesy, rozvoj…  Společné indikátory  Specifické indikátory pro různé typy a kategorie knihoven (velké a malé knihovny, krajské knihovny, zdravotnické knihovny)  Optimální počet 15 – 25  Indikátory uplatňované standardem VKIS  Indikátory vycházející ze statistického výkazu – není nutno redukovat  Další indikátory – problémy s měřením

37 Návrh indikátorů pro benchmarking  Druhé kolo návrhů: 30 indikátorů Tři skupiny  Podmínky pro činnost knihovny: 9 indikátorů  Uživatelé, služby: 13 indikátorů  Financování - výdaje – efektivita: 9 indikátorů

38 Podmínky pro činnost knihovny 1) Objem knihovního fondu na 1000 obyvatel 2)% obnovy knižního fondu 3)Počet exemplářů docházejících periodik na registrovaného uživatele 4) Internetové služby: webová stránka, OPAC, interaktivní funkce, soubor odkazů, virtuální informační služba, elektronické informační zdroje, pro-aktivní informační služby ( , SMS, newsletter) 5) Počet zaměstnanců (úvazků) na 1000 obyvatel 6)Počet zaměstnanců (úvazků) na 1000 registrovaných čtenářů 7)Počet internetových stanic na 1000 obyvatel 8) Plocha knihovny pro uživatele v m² na 1000 obyvatel 9)Počet studijních míst na 1000 obyvatel

39 Uživatelé - služby 1.Registrovaní čtenáři – % z obsluhované populace 2.Registrovaní čtenáři do 15 let – % z obsluhované populace mládeže do 14 let 3. Počet hodin pro veřejnost týdně 4.Počet návštěv na jednoho obyvatele 5.Počet virtuálních návštěv na obyvatele 6.% návštěvníků internetu z obsluhované populace 7.Počet výpůjček na jednoho obyvatele ??? 8.Počet výpůjček na registrovaného čtenáře 9. Obrat knihovního fondu 10.Doba zpřístupnění nového přírůstku 11.Vzdělávací a výchovné kolektivní akce 12. Semináře, odborné porady a konzultace 13.Průzkum spokojenosti uživatelů

40 Financování - výdaje - efektivita 1. Podíl financování knihovny na rozpočtu obce 2.Celkové výdaje v přepočtu na jednoho obyvatele 3.Výdaje na nákup knihovního fondu na jednoho obyvatele 4. Výdaj na nákup knihovního fondu na výpůjčku 5.Výpůjčky na zaměstnance (pracovní úvazek) 6.% čistých provozních nákladů (bez osobních nákladů a nákladů na knihovní fond) 7.% nákladů na pořízení knihovního fondu z celkových provozních nákladů 8.% osobních nákladů z celkových provozních nákladů 9.Školení pro zaměstnance % z celkové pracovní kapacity

41 Dílčí problémy  Krajské knihovny – zvláštní kategorie  Krajská knihovna s nebo bez městské funkce  Obsluhovaná populace: město – kraj, mládež  Povinný výtisk, archivní funkce, % naučné literatury  Regionální funkce – redukce zjištěných údajů  Financování malých knihoven – nezjišťuje se  Definice indikátorů  Návštěvy – nepřesná definice, různé systémy evidence  Mládež – statistický výkaz=15 let, ČSÚ=14 let

42 Proč měřit výkon:  Když se neměří výsledky, potom není možné rozeznat úspěch od neúspěchu  Když nelze rozeznat úspěch, potom není možné za něj odměnit  Když se neodměňuje úspěch, potom se pravděpodobně odměňuje neúspěch  Když se nerozpozná úspěch, potom se z něj není možné poučit  Když se nerozpozná neúspěch, potom není možné ho napravit  Když není možné seznámit veřejnost s výsledky, potom není možné získat podporu veřejnosti oproti tomu - co se dá měřit dá se i realizovat

43 Měření kvality a výkonu činnosti veřejných knihoven Projekt „Benchmarking knihoven“ CASLIN června 2006 Národní knihovna ČR Tel