LOCKSS Lots Of Copies Keep Stuff Safe Miroslav Bartošek Masarykova univerzita ÚVT MU.

Prezentace na téma: "LOCKSS Lots Of Copies Keep Stuff Safe Miroslav Bartošek Masarykova univerzita ÚVT MU."— Transkript prezentace:

1 LOCKSS Lots Of Copies Keep Stuff Safe Miroslav Bartošek Masarykova univerzita ÚVT MU

2 LOCKSS – primární motivace Knihovny – uchovávat získaný obsah pro budoucnost Vědecké časopisy jen v e-podobě (na webu vydavatele) knihovny nekupují kopii obsahu, ale časově omezenou licenci na přístup Jak zajistit uchování při zániku předplatného/vydavatele? Inspirace v tištěném světě (purchase-and-own) každá knihovna archivuje svůj materiál knihoven je hodně – hodně kopií – lepší šance na přežití Uchování nezávislé na vydavatelích Jak na to? Implementovat systém sdílený mezi knihovnami. Požadavky: snadné finančně nenáročné dlouhodobě udržitelné spolehlivé (kontrola správnosti archivovaného obsahu) M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 20162

3 LOCKSS – historie Stanford University Libraries Victoria Reich (Stanford HighWire Press) David Rosenthal (Sun Microsystems) 2014 LITA/Library Hi Tech Award for Outstanding Communication in Library and IT Legislativa – Digital Millenium Copyright Act Vydavatelé musí umožnit knihovně archivovat zakoupený obsah Vývoj a provoz 1998 – první idea, implementace 2000 – zkušební provoz LOCKSS (50 knihoven po světě) 2004 – ostrá produkční verze 2005 – demonstrace principů logické ochrany 2007 – samofinancující systém (free SW, paid support) 2015 – 500 knihoven, 500 vydavatelů, různé modely nasazení M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 20163

4 LOCKSS – 3 modely Global LOCKSS Network síť knihoven uchovávajících svůj obsah (e-časopisy, e-books) LOCKSS Alliance – poplatky podle velikosti knihoven Stanford – centrální podpora CLOCKSS (Controlled LOCKSS) Dark archive pro vědecké časopisy vydavatelů – od 2006 Nevýdělečná organizace sdružující knihovny (275) a vydavatele (200) 12 archivačních uzlů po světě (strážci obsahu), Stanford TRAC audit (2014) – důvěryhodný repozitář Private LOCKSS Networks (PLNs) Speciální sítě lokálních komunit Libovolný obsah (nejen e-časopisy) Provoz v režii komunity (15 PLNs) M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 20164

5 LOCKSS – charakteristiky Bezplatný open-source software LOCKSS deamon ( >200K řádků kódu v Javě) Peer-to-peer distribuovaná decentralizovaná síť LOCKSS uzly, každý komunikuje s každým každá knihovna uchovává svůj obsah (přirozené duplicity; min 7 kopií) Dlouhodobá archivace původně e-časopisy, dnes už cokoliv Udržitelný finanční model systém si vydělá na svůj provoz i rozvoj, tým na Stanfordu Rozsáhlá mezinárodní komunita knihovny a vydavatelé vědecké literatury (přes 1000 partnerů) Nejen bit-level, ale komplexní LTP-system (?) alespoň podle letákových tvrzení… M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 20165

6 LOCKSS – technologie LOCKSS deamon (Java) Instaluje se na běžné linuxové PC Přetvoří linuxový systém na archivační aplikaci – LOCKSS box Ingest dat (web harvesting a FTP) – archivační jednotky (AU, ročník časopisu) Kontrola integrity AU (LOCKSS: Polling and Repair Protocol) Zpřístupnění obsahu (proxy na vydavatele x lokální kopie z LOCKSS boxu) Stav a statistiky Administrace přes webové rozhraní Plugins adaptují obecné chování LOCKSS deamona pro konkrétní chráněný obsah (např. časopisy vydavatele Taylor & Francis) Instance java-programu parametrizovatelná přes XML-soubor LOCKSS box – provádí kontinuálně: 1. Ingest : shromažďuje nový obsah (nová čísla časopisů apod.) 2. Preserve : porovnává obsah se stejným obsahem v jiných LOCKSS boxích – oprava poškození 3. Disseminate : monitoruje přístup uživatelů k obsahu, při výpadku vydavatele ho sám poskytuje M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 20166

7 1. Global LOCKSS Network Celosvětová peer-to-peer síť (aktuálně 150 uzlů) Každá knihovna – lokální LOCKSS box s vlastním obsahem sklízení obsahu z webu vydavatelů – archivační jednotky AU (ročník časopisu) lokalizace uzlů uchovávající stejné AU (25 – medián počtu kopií AU) ověřování shody obsahu AU detekce poškození obsahu a opravy AU nahrazením chybné za správnou poskytnutí obsahu z LOCKSS boxu, pokud je nedostupný od vydavatele Přes 10.000 časopisů od 530 vydavatelů (long-tail 70 %, 1000 titulů) Lokální provoz uzlů (knihovny) + centrální správa sítě (Stanford) LOCKSS Alliance – financování; členské poplatky knihoven dle velikosti, 2 – 12K USD/rok (vydavatelé zdarma) technická podpora při nastavení a provozu lokálního LOCKSS uzlu začleňování nových vydavatelů/časopisů rozvoj systému LOCKSS M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 20167

8 2. CLOCKSS – jak pracuje 1. Nastavení přístupu k e ‐ časopisu Vydavatel zřídí přístup (web, FTP) 2. Ingest: sklízení webu Tři spec CLOCKSS uzly provedou sklizeň 3. Verifikace obsahu Jsou všechny 3 verze identické? 4. Archivace Nakopírování obsahu na 12 arch uzlů 5. Ochrana Průběžná kontrola integrity + opravy 6. Trigger event Migrace + přenos na 2 veřejné servery 7. Přístup OA přístup k uvolněnému obsahu M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 20168 Dark-archive vědeckých časopisů 200 vydavatelů, 275 supporting libraries (Nature, Elsevier, Springer, Wiley, …) Trigger event – časopis se stává OA

9 2. CLOCKSS Přes 200 vydavatelů Velcí hráči (Nature, Elsevier, Springer, Wiley, …) Snaha přilákat i malé vydavatele, jejichž uchování je nejvíce ohroženo Motivace: ochrana obsahu bez nutnosti vlastního LTP řešení Roční poplatek podle obratu vydavatelství (225 USD – 26.500 USD) Archivace e-časopisů, e-knih a dalšího obsahu Aktuálně 29 triggered časopisů Přes 275 supporting libraries Motivace: přispět k ochraně světového e-obsahu Roční poplatek podle výše akvizičního rozpočtu (450 USD pro rozpočet pod 1 milión USD – 15.000 USD pro rozpočet nad 25 mil USD) CLOCKSS Advisory Council CLOCKSS Boards of Directors M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 20169

10 3. Private LOCKSS Networks MetaArchive Cooperative (největší, 50 institucí ze 3 zemí, noviny, ETD, fotky, hudba, …) Alabama Digital Preservation Network (historické archiválie, obrazové kolekce, databáze) Canadian Government Information (11 CA institucí, vládní informace) CARINIANA Instituto Brasileiro de Informaçãoem Ciência e Tecnologia (1000 e-časopisů, ETDs) CLOCKSS Archive Council of Prairie and Pacific University Libraries (COPPUL) Consortium (9 CA universit) Data Preservation Alliance for the Social Sciences (social science data, vedoucí Harvard) Digital Commons (materials published on BePress platform) Digital Federal Depository Library Program (preserving born-digital government documents) LOCKSS und KOPAL Infrastrucktur und Interoperabilitat (Germany) PKP Public Knowledge Project (archivace pro časopisy pod OJS) PNAS Proceedings of the National Academy of Sciences (e-journals of US Academy of Science) Persistent Digital Archives and Library System – PeDALS (knihovny a archivy v Arizoně) SAFE Archiving Federation (5 institucí z BE, CA, DE – localy published OA sci publication & data) Synergies (Canadian humanities & socsci research results) M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 201610

11 LOCKSS a logická ochrana „The LOCKSS system is sometimes criticized as providing only bit-level preservation, but this is a misunderstanding“ Systém využívá i běžné postupy/nástroje logické ochrany Identifikace a ověřování formátů (FITS) Migrace formátů Extrakce a tvorba metadat Rozdíl je v tom, kdy se tyto postupy uplatní Vše s výjimkou kontroly integrity se odkládá tak dlouho, jak jen to jde Neprovádí se preemptivní hromadné migrace/normalizace Migrace jen individuálních uživatelem vyžádaných souborů (je-li nutná) Uchovávají se vždy jen a pouze původní bity (ne nové verze z migrací) Demonstrace koncepce 2005, v praxi se ale nevyužívá (formáty v LOCKSS nepodléhají zastarávání) Zastarávání aktuálně nehrozí -> neplýtvejme na to naše omezené zdroje Čím pozdější migrace/emulace, tím kvalitnější nástroje budou k dispozici M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 201611

12 LOCKSS – pilotní projekt v ČR? Konference PASIG 2016 v NTK (březen) Schůzka Rosenthal/Taylor se zástupci českých knihoven „Neměli byste zájem LOCKSS v ČR vyzkoušet/nasadit?“ Pilotní projekt na PLN How to set up a Private LOCKSS Network http://www.lockss.org/support/build-a-lockss-box/ PLN – minimálně 6 uzlů CZ-pilot – najdou se vážní zájemci k odzkoušení technologie? Archivace OA časopisů Bit-level technologie pro ARCLib Archivace zakoupeného obsahu konsorciálních EIZ atd. M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 201612

13 M. BARTOŠEK: LOCKSS -- OTEVŘENÉ REPOZITÁŘE 201613 Děkuji za pozornost. Dotazy?