Dlouhodobá ochrana digitálních dat a systém Archivematica

Prezentace na téma: "Dlouhodobá ochrana digitálních dat a systém Archivematica"— Transkript prezentace:

1 Dlouhodobá ochrana digitálních dat a systém Archivematica
Miroslav Bartošek ÚVT MU

2 Úvod

3 „Digital information is forever
„Digital information is forever. It doesn’t deteriorate and requires little in the way of material media”. Andy Grove, Intel Corp. „Digital information lasts forever – or five years, whichever comes first.“ Jeff Rothenberg, RAND, 1995

4 Uchování informací Důležitý úkol (podmínka rozvoje) civilizace
Knihovny (GLAM): dlouhodobě = mnoho staletí digitální technologie: inovační cyklus = cca 5 let (v průměru po 5 letech je daná technologie zastaralá  ) The trouble with technological progress is that it seems to come at the expense of preservation (Ian H.Witten) Computer technology is made for information processing, not for long term storage (M. Wettengel)

5 Problém s digitální informací
bity – OK nosič, formát, SW, HW – problém! Životnost Dostupnost Použitelnost

6

7 Nosiče informací - trendy
Médium Kapacita (bits/cm2) Životnost (roky) kámen 10 10.000 papír 104 1.000 film 107 100 disk 1010 Zdroj: Richard Wright ( Analogové záznamy – postupná degradace Digitální záznamy – zmizí najednou

8

9 Domesday Book/Project
1086 Vilém Dobyvatel pozemková kniha (kniha posledního soudu) – výběr daní BBC projekt záznam života UK na dalších 1000 let, špičkové technologie LV-ROM 2002 data nedostupná technologická zastaralost záchranná mise projekty – emulace, konverze, … 2011 BBC Domesday Reloaded aktualizovaná webová verze

10 Digital preservation

11 Digital Preservation Digital preservation combines policies, strategies and actions that ensure access to digital content over time. (ALA – Short definition) Digital preservation combines policies, strategies and actions to ensure access to content that is born digital or converted to digital form regardless of the challenges of file corruption, media failure and technological change. The goal of digital preservation is the most accurate rendering possible of authenticated content over time. (ALA – Medium definition) DP – Digital Preservation LTP – Long-Term (digital) Preservation

12 DP trojnožka Technologie HW, SW, sítě, technické dovednosti
Organizace Mandát, strategie, plány ochrany, sbírkové plány, bezpečnost Zdroje Lidé a jejich kvalifikace, prostory, financování

13 Úrovně digitální ochrany
Fyzická (bitová) ochrana – ochrana bitů Bitová replikace Vícenásobné kopie Různá média Rozdílné lokality Fixity – neměnnost, problém bit-rot Logická ochrana – ochrana informačního obsahu Ochrana před zastaráváním technologií a formátů Identifikace formátů, plánování, migrace formátů, emulace prostředí, … Použitelnost a srozumitelnost obsahu v budoucnosti Metadata, kontext, porozumění – OAIS Zachování integrity a autenticity

14 Standardy ISO 14721:2012 OAIS – Open Archival Information Systém referenční model pro dlouhodobý archiv Model prostředí (tvůrci, archiv, uživatelé, určená komunita, správa) Informační model (SIP, AIP, DIP, …) Funkční model (Ingest, Archival storage, Data Management, Preservation Planning, Administration, Access) 2014 český překlad ČSN ISO 14721 Skvělý přehled od Lavoie v rámci DPC Technology Watch Reports ISO 16363:2012 Audit a certifikace důvěryhodných digitálních repozitářů

15 Aktivity Obrovské množství projektů ve světě Velká komerční řešení
Řada open-source nástrojů Systémy a best-practices V ČR Národní digitální knihovna (NK) – vlastní řešení Centralizovaný projekt MŠMT (spisová služba?) LTP-pilot (FR Cesnet 2014/ /10) NAKI-LTP (návrh projektu ) Ale pořád jsme teprve na začátku, systémové řešení není

16 Přístupy Velké projekty/systémy Nízkonákladové projekty
Národní knihovny/archivy ve vyspělých zemích Velké drahá řešení (komerční nebo vývoj na zakázku) KB e-Depot (NK Holandska + IBM, DIAS) Archives New Zealand (ExLibris – Rosetta,Honza Hutař) Nízkonákladové projekty Nečekat, až s čím přijdou velcí hráči Začít se dá i v malém, postupné kroky Využít komunitní nástroje, řešení, zkušenosti POWRR – Preserving Digital Objects With Restricted Resources LTP-pilot NAKI-LTP

17 LTP-pilot Projekt FR CESNET (MU, MZK 2014/09-2015/10)
Pilotní implementace a ověření nízkobariérového přístupu k LTP prostřednictvím systému Archivematica Prozkoumat možnosti, nároky a omezení systému Archivematika Propojení Archivematiky s úložnou infrastrukturou Cesnet Ověřit použitelnost systému Archivematica pro ukládání, správu a logickou dlouhodobou ochranu vybraných typů dokumentů a sbírek Vytvořit základní dokumentaci pro správce systému a kurátory digitálních dat

18 LTP-pilot 6 pracovních skupin Závěrečný LTP-workshop (spolu s NA ČR)
Systém a vývoj Úložiště Uživatelské scénáře Kurátoři dat Standardy Publicita Závěrečný LTP-workshop (spolu s NA ČR) Satelitní akce konference Archivy, knihovny a muzea v digitálním světě 2015 (počátkem prosince)

19 Archivematica

20 Archivematica - vznik Open-source SW na podporu DP
Artefactual Systems Inc., vývoj od 2008, v1.3.1 Spolupráce s UNESCO, archiv Vancouveru, MMF, univ, … ZIB Berlín, Finská NDL, NA ČR Impuls vzniku: Poptávka po nízkonákladovém řešení Dostupnost velké škály volných open-source nástrojů Propojit dostupná nástroje do „pragmatického“ řešení dle OAIS

21 Archivematica - rysy Propojená sada dostupných nástrojů pro realizací základních funkcí DP Neřeší vše – integrace s externími systémy používanými institucí a doplnění těchto systémů o DP funkcionalitu Příjem a zpracování dat (normalizace), vytvoření kvalitních AIP balíčků Best practices – formátově orientované ochranné postupy FPR – Format Policy Registr Kontrola a normalizace na vstupu, migrace a emulace později Technologie mikroslužeb Open-source nástroje Řetězení mikroslužeb do pracovních postupů – funkční entity OAIS Řídicí webová aplikace Dashboard Programovací jazyk Python, open-source produkt po licencí AGPL 3.0 Průběžný vývoj + uživateli sponzorované nové funkcionality + wish-list

22 OAIS a Archivematica Transfer příprava dat -> SIP
Ingest zpracování -> AIP, DIP Archival Storage uložení AIP, DIP Data Mngmt AtoM, externí systém Preservation Planning FPR Administration Access AtoM, externí systém

23 Archivematica - architektura
access DAM storage

24 Archivematica - standardy
UUID identifikace všech interních objektů (soubory, procesy, paměťové lokace, aj.) BagIt zabalení informačních balíčků AIP, SIP (kontrolní součty – fixity) METS integrace všech metadatových popisů v rámci AIP Premis zachycení všech událostí a historie změn během vzniku a života AIP DC popisná metadata pro vyhledávání informačních balíčků

25 Archivematica - dashboard

26 NAKI-LTP ARCLib - komplexní řešení pro dlouhodobou archivaci digitálních (knihovních) sbírek Návrh projektu do NAKI II – KNAV, MU, MZK, NK + externisté Podáno , rozhodnutí 2015/12, doba řešení 2016/3-2020 Hlavní řešitel: M.Lhoták Výstupy Komplexní SW řešení pro LTP (open-source) Certifikovaná metodika pro LTP Certifikovaná metodika pro fyzické ukládání dat a bit-level ochranu Cílem projektu je vytvoření komplexního LTP (Long Term Preservation) řešení ARCLib na bázi open source, které využije volně dostupné nástroje a systémy. Součástí projektu a jeho dalším významným výstupem je vytvoření metodiky na dlouhodobou logickou ochranu digitálních dat zohledňující mezinárodní standardy v této oblasti (referenční model OAIS – ČSN ISO a ČSN ISO 16363) a systémy využívané pro vytváření a zpřístupňování digitálních dat v českých knihovnách. Současně bude připravena metodika a řešení pro fyzické ukládání dat a zajištění bit-level ochrany. Funkčnost celého řešení bude ověřena v praxi formou poloprovozu minimálně v jedné ze zapojených institucí.

27 Děkuji za pozornost. Dotazy?