Statistický modul EZproxy a další aktuální vývoj MULTIDATA Praha

Prezentace na téma: "Statistický modul EZproxy a další aktuální vývoj MULTIDATA Praha"— Transkript prezentace:

1 Statistický modul EZproxy a další aktuální vývoj MULTIDATA Praha
Mgr. Petr Novák Knihovna psychologie FF UK 6.října 2009

2 Proč statistický modul?
OCLC (výrobce EZproxy) nabízí výčet různých nástrojů, komerčních i freeware / OSS Neposkytují podporu pro skupiny Neposkytují podporu pro různé způsoby autentizace zdlouhavá práce s logy na pracovní stanici limity, nelze pracovat v dávkách

3 Statistický modul Autor RNDr. Vladimír Pávek
Využívá XSLT procesor Saxon Vyžaduje Java Virtual Machine Otestováno na Windows 2003 server a Linux Testovací demo ke stažení z Konfigurace = editace XML souborů práce přímo na serveru EZproxy Generuje výstupy v ČJ a AJ

4 Skupiny v EZproxy Jsou využívány:
pro korektní autorizaci uživatelů dle součásti instituce (fakulty a základní součásti na VŠ, zaměstnanci x čtenáři x testeři ve všech knihovnách) pro generování log souborů využívaných pro statistický modul předávány jsou různé kombinace skupin

5 Jak EZproxy ukládá logy
Konfigurace v config.txt Ukládání v týdenních intervalech 2 druhy logů: LogSPU -> spu%Y-%W.log = výchozí URL zdroje Hlavní log -> ezp%Y-%W.log = kompletní komunikace uživatel-zdroj bez *.jpg a *.gif

6 Jak EZproxy ukládá logy - co se loguje
IP adresa, uživatelské jméno, výčet skupin uživatele oddělený „+“, identifikátor session, datum a čas, kompletní HTTP request (např. GET HTTP/1.0), číslelný status HTTP žádosti (200 aj.), přenesená data v bajtech, (v případě hlavního logu ještě user-agent)

7 Ukázka SPU logu johndoe Default+UNI+MEDICINE+Student a05db43a-6c0b-40d6-b0ff-2502eddb337d [10/Aug/2009:01:37: ] "GET HTTP/1.1" 200 0 marysmith Default+UNI+LAW+Student e87bd19a-677a-41a1-bcb8-4309a4818e84 [10/Aug/2009:01:37: ] "GET HTTP/1.1" 200 0 billking Default+UNI+ARTS+THEOLOGY+Student+Staff 94b a4-97e0-e6497f2b8546 [10/Aug/2009:01:58: ] "GET HTTP/1.1" 200 0 mikelee Default+UNI+ARTS+MATH+Staff da-d3ac-42c1-a07b-1131fb1c01e8 [10/Aug/2009:01:58: ] "GET HTTP/1.1" 200 0 tracylong Default+UNI+COMPSCI+Student 6ea828af-6c11-4f66-90ae-093be1d73026 [10/Aug/2009:03:35: ] "GET HTTP/1.1" 200 0

8 Způsoby zpřístupnění elektronických inf. zdrojů
Autentizace na IP adresu (poskytovatel zdroje zařadí IP adresu EZproxy serveru na seznam povolených IP adres) = typ 1 Autentizace jménem a heslem (poskytovatel zdroje zašle autentizační data - uživ.jméno a heslo -, ta jsou zadána do EZproxy a uživatel se jimi transparentně autentizuje vůči skrytému formuláři = typ 2

9 Ukázka SPU logu typ 1 typ 2 johndoe Default+UNI+MEDICINE+Student a05db43a-6c0b-40d6-b0ff-2502eddb337d [10/Aug/2009:01:37: ] "GET HTTP/1.1" 200 0 marysmith Default+UNI+LAW+Student e87bd19a-677a-41a1-bcb8-4309a4818e84 [10/Aug/2009:01:37: ] "GET HTTP/1.1" 200 0 billking Default+UNI+ARTS+THEOLOGY+Student+Staff 94b a4-97e0-e6497f2b8546 [10/Aug/2009:01:58: ] "GET HTTP/1.1" 200 0 mikelee Default+UNI+ARTS+MATH+Staff da-d3ac-42c1-a07b-1131fb1c01e8 [10/Aug/2009:01:58: ] "GET HTTP/1.1" 200 0 tracylong Default+UNI+COMPSCI+Student 6ea828af-6c11-4f66-90ae-093be1d73026 [10/Aug/2009:03:35: ] "GET HTTP/1.1" 200 0

10 Rozdíl v logování SPU log – srovnatelně zaznamená jak typ 1 (autentizace IP adresou), tak typ 2 (autentizace jménem a heslem) Hlavní log - zaznamená kompletní komunikaci EZproxy se zdrojem dle typu 1, avšak pouhé otevření zdroje typu 2 -> jako zdroj pro statistiky využívanosti se hodí spíše SPU log, Hlavní log má doplňkovou funkci

11 Workflow práce se statistickým modulem – generování HTML výstupů
Realizováno každý týden Nakopírování čerstvého souboru LogSPU do /statistika (adresář se statistickým modulem) Spuštění dávky Nakopírování výstupních HTML souborů do požadované lokace – např. /docs/public (do této lokace lze obecně umístit jakékoli HTML a grafické soubory ke kterým není třeba ověřovat přístup) Kontrola errorlog.html

12

13

14 Workflow práce se statistickým modulem - tit-url.xml
Editace souboru tit-url.xml tit-url.xml obsahuje seznam zdrojů včetně URL a výčtu přiřazených skupin Vždy při přidání nového zdroje Konvence pojmenování zdroje Pokud zdroj již není předplácen – nutno konfiguraci v tit-url ponechat Ukázka záznamu

15

16 Workflow práce se statistickým modulem – analýza chybových URL
soubor errorlog.html slouží k nalezení chybných konfigurací v tit-url.xml

17 Statistika dle zdrojů a měsíců pro celou knihovnu

18 K čemu může sloužit Statistika dle zdrojů a měsíců
pro celou knihovnu pro jednotlivé skupiny Využití pro marketing: sledování krátkodobých přístupů (trialy) meziměsíční změny celkové úhrny

19 Statistika dle skupin

20 K čemu může sloužit Statistika dle skupin Využití pro marketing:
pro celou knihovnu pro jednotlivé skupiny Využití pro marketing: rozdíly mezi jednotlivými skupinami (fakultami) zdroj pro přepočet dle počtu reálných uživatelů (studenti + akademičtí pracovníci, všichni čtenáři / aktivní uživatelé vzdáleného přístupu)

21

22 K čemu může sloužit Statistika dle skupin a dle zdrojů
pro jednotlivé skupiny Využití pro marketing: rozdíly mezi jednotlivými skupinami (fakultami) pro konkrétní zdroje zdroj pro analýzu využívanosti zdrojů -> podklad pro akvizici

23 Další práce s výstupy v Excelu
Všechny prezentované tabulky lze z HTML přes schránku snadno metodou CTRL+C, CTRL+V zkopírovat do Excelu a dále zpracovávat Výstup např. do CSV se ukázal jako zbytečný

24 K nabídce statistického modulu
Dodávka zahrnuje budoucí aktualizace Cena mírná , na dotázání Dotazy ke statistickému modulu?

25 Čas na švestkovou buchtu 

26 Autentizační modul možnosti autentizace a autorizace EZproxy: built-in by OCLC :-) textový soubor s hesly LDAP LDAP dle RFC 2307 (např. OpenLDAP) Active Directory, eDirectory Shibboleth doména Windows pro ČR exotické knihovní systémy – Voyager, III, … více viz

27 ALEPH...? Nativní podpora autentizace a autorizace uživatelů EZproxy v systému ALEPH chybí Akademické knihovny disponují LDAP adresáři pro autentizaci k různým informačním procesům v rámci svých informačních systémů Veřejné a vědecké knihovny LDAP podporu pro čtenáře nemívají ->>> potřeba autentizačního modulu

28 Autentizační modul Autoři
Jiří Rataj Lukáš Hlůže Martin Vojnar testován na EZproxy serveru draco.multidata.cz

29

30 Výhoda řešení standardizované LDAP rozhraní podporující
EZproxy Shibboleth Identity Provider libovolné další služby (tiskové fronty, autentizace pracovních stanic, …) aktuální data via LDAP – např. účet aktivní ihned po vystavení průkazky účet odblokován okamžitě po uhrazení pokuty lze stanovit specifickou skupinu uživatelů pro vzdálený přístup (nikoli nutně všichni registrovaní čtenáři)

31 Podrobnosti možné zabezpečení komunikace
EZproxy-LDAP: SSL (ldaps) + fixní IP adresa LDAP-mezivrstva-ALEPH: omezení jen pro localhost komunikaci, pokud nebude LDAP a ALEPH na jednom serveru – lze implementovat https + fixní IP adresu propustnost v řádu desítek autentizačních dotazů za minutu mezivrstva LDAP – ALEPH je napsána v perlu vyžaduje ALEPH v.18 a vyšší s licencí X-services

32 Obsah datagramu mezivrstvy
<?xml version="1.0" encoding="UTF-8"?> <bor-auth> <bor-id>carovy_kod_uzivatele</bor-id> <bor-uid>primarni_id_uzivatele</bor-uid> <bor-name>jmeno_uzivatele</bor-name> <bor- > _uzivatele</bor- > <bor-lang>jazyk_komunikace_s_uzivatelem</bor-lang> <bor-auth-ok>vysledek_verifikace</bor-auth-ok> <bor-credit>stav_penezniho_uctu</bor-credit> <bor-status>kategorie_uzivatele</bor-status> <error>textova_zprava_o_vysledku_verifikace_v_pripade_chyby </error> </bor-auth>

33 Ukázka http://boa.ruk.cuni.cz:8991
ldapsearch -x -D 'uid=333,ou=EZPROXY,dc=ruk,dc=cuni,dc=cz' -W -v -h boa.ruk.cuni.cz -b 'uid=333,ou=EZPROXY,dc=ruk,dc=cuni,dc=cz' uid=333,ou=ezproxy,dc=ruk,dc=cuni,dc=cz boa.ruk.cuni.cz ou=EZPROXY,dc=ruk,dc=cuni,dc=cz(objectClass=person) uid 333

34 Vaše dotazy a komentáře…
… za které děkuji