Kvalita dat IS z pohledu jejího procesního zabezpečení. Bohumil MINIBERGER 1, Milan SLAVÍK 2 1 Bankovní institut vysoká škola, a.s., Nárožní 2600/95, 158.

Prezentace na téma: "Kvalita dat IS z pohledu jejího procesního zabezpečení. Bohumil MINIBERGER 1, Milan SLAVÍK 2 1 Bankovní institut vysoká škola, a.s., Nárožní 2600/95, 158."— Transkript prezentace:

1 Kvalita dat IS z pohledu jejího procesního zabezpečení. Bohumil MINIBERGER 1, Milan SLAVÍK 2 1 Bankovní institut vysoká škola, a.s., Nárožní 2600/95, 158 00, Praha 5 bminiberger@bivs.cz bminiberger@bivs.cz 2 BOC Unternehmensberatung GmbH, Beranových 130, 199 00 Praha 9 milan.slavik@boc-cz.com

2 2 Úvod Kvalita dat je neodmyslitelným atributem kteréhokoliv informačního systému, počínaje transakčními systémy (TPS-Transaction Processing System), mezi které počítáme podnikové informační systémy - ERP (Enterprise Resource Planning), SCM (Supply Chain Management) - systém pro řízení dodavatelského řetězce, nebo CRM (Customer Relationship Management) - systém řízení vztahů se zákazníky. Rovněž tak je důležitá pro systémy sloužící pro manažerské řízení (MIS-Management Information System) a v neposlední řadě i pro systémy pro rozhodování EIS (Executive Information Systems), využívající převážně OLAP architekturu (On-line Analytical Processing). Důležitou úlohu pro reportování z těchto informačních systémů pak sehrává kvalita dat Datawarehouse (DWH), a to v celém procesu jeho tvorby a využívání

3 3 Kvalita dat IS Kvalita dat je neodmyslitelným atributem kteréhokoliv informačního systému, počínaje transakčními systémy (TPS), systémy sloužícími pro manažerské řízení (MIS) a neposledními v řadě i systémy pro rozhodování EIS), využívající převážně OLAP architekturu (On-line Analytical Processing). Ztráty způsobené nekvalitními daty se odhadují jen v USA dle různých poradenských firem na stovky miliard dolarů ročně.

4 4 Hierarchická struktura IS podniku, založená na vzájemně propojených datech Vzájemná souvislost a hierarchie informačních systémů je pak znázorněna na tomto obrázku Potřebná data pro OLAP systémy jsou přebírána z OLTP systémů pomocí ETL (včetně potenciálních chyb).

5 5 Co je kvalita dat? Datová kvalita je více než jména a adresy: Dimenze kvality dat: –Přesnost. –Úplnost. –Konzistentnost. –Včasnost. Typy chyb –Nestejná granularita. –Překlepy při pořizování dat. –Chybná metadata. –Implicitní a explicitní hodnoty „Null“. –Smíšení formátů struktur. –Transformační chyby. –Překrývání atributů. Definice podle Davida Loshina [1]:

6 6 EDW & BI Challenges for Retailers Odkaz: MA_Teradata-Microsoft_3878.pdfMA_Teradata-Microsoft_3878.pdf

7 7 Data Usefulness ≠ Not Just Quality Pro typickou organizaci je informace o finanční síle (pákový efekt) jako hra "zabij krtka", při níž sotvaže jeden aspekt přístupu k datům je vylepšen, jiný se ukáže být ještě větší překážkou úspěchu.

8 8 Kritický faktor úspěchu: Obvykle: Všichni o ní víme. Všem nám vadí. Nemáme čas ji řešit, protože máme hodně práce. Máme hodně práce, protože nám stále vytváří nové a nové problémy, které musíme odstraňovat. Nesourodost (ne-integrita) dat

9 9 Je vůbec nějaké řešení? Nedá se nic dělat anebo TQM

10 10 Předpoklad jejího řešení funkcemi v organizaci, rolemi a činnostmi: –kdo je zodpovědný za jednotl. činnosti a koho se týkají, funkcemi a entitami: –kdo je zodpovědný za tvorbu dat a kdo je používá, informačními systémy a entitami: –které IS vytváří, která data a které IS je používají, informačními systémy a činnostmi: –které IS podporují uvedené činnosti. Vyžaduje mj. zmapování a křížovou kontrolu mezi: Nejlépe zmapovat pomocí metainformačního systému tak, aby mj. každá činnost a entita měla svého gestora.

11 11 Kvalita dat DW a BI je dána Kvalitou dat v systémech z nichž se data čerpají (transakční systémy). Kvalitou dat v externích souborech a číselnících, převzatých z jiných organizací a institucí (ČSÚ, ČNB, aj.) Kvalitou přenosových a transformačních procesů (ETL), včetně jejich procesního zabezpečení. Permanentními potenciálními narušovateli jsou změnová řízení ať již formou projektů či jen formou dílčích uživatelských požadavků ( i například ‚jen‘ opravy v transakčních systémech, nebo v číselnících.

12 12 Metainformační systém Obecně pojem metasystém označuje systém, který popisuje, resp. modeluje jiný systém, v našem případě systém informační. Metainformační systém je jednotou metadatabáze (metadat) a operací, které umožňují uchování a zpracování metadat. Metadata popisují IS/IT podniku a jejich významné vazby. „Základní charakteristika metainformačního systému“, podle Voříška [5 ] je následující:

13 13 Metainformační systém a DW Role a činnosti jsou pak uvedeny dále, kdežto nástroje typu glosář (definici pojmů) a tezaurus (definici vztahů mezi jednotlivými pojmy) implicitně předpokládáme, že jsou součástí SW dodaného pro tvorbu DW a ETL procesů. Výčet a funkčnosti nástrojů pro ETL procesy lze nalézt např. v [7]. Nutno dodat, že pracnost realizace ETL procesů podle [6] představuje nadpoloviční část pracnosti tvorby celého DW. Pokud útvar Správa dat jej nemá, musí si jej vytvořit sám. K tomuto účelu je vhodné použít nějaký CASE nástroj např. ERWin (http://erwin.com/products/detail/ca_erwin_data_modeler/, umožňující vytváření entitně relačního modelu, důležitého předpokladu pak pro tvorbu skriptů a uložených procedur SQL.http://erwin.com/products/detail/ca_erwin_data_modeler/

14 14 MIS-struktura, role a činnosti

15 15 Jedná se o definování přesných odpovědností a pravomocí, workflow odpovídajících dokumentů a přístupů do všech částí DW tak, aby existovalo jedno místo, které je odpovědno za obsah všech souborů ve všech částech DW. Tento způsob je velice náročný na přesnost a včasnost práce lidského činitele a tedy je náchylný k chybám. Personifikace této činnosti bude spadat do náplně „Správce DW“ (DW Stewarda), jehož role i organizační zabezpečení, jsou odvislé od způsobu provádění ETL procesů v dané organizaci a použitého programového vybavení. Vzhledem ke způsobu pořizování dat z různých „legacy“systémů v procesu ETL, je nutno pro potřebu čištění dat použít další nástroje, umožňující syntakticko- sémantickou kontrolu dat, (např. Trillium, DataFlux aj. [8,10] Organizační zabezpečení správy DW

16 16 Zjednodušená OS útvaru IT Ke každému objektu lze vložit popis činnosti, který se současně ukládá do repozitory

17 17 Popis role administrátor DWH

18 18 Správa DW sestává z těchto činností Přijímání požadavků na změnu DW (požadavek na novou aplikaci, úpravu atributů existujícího datového modelu či úpravu obsahu stávajících aplikací). Analýza požadavku a definice dalšího postupu – zvláště z pohledu konsolidovaného provedení změny do všech fyzických výskytů zdrojových informačních systémů). Promítnutí změny obsahu do všech „datamartů“ a evidence o změnách. Hlídání integrity dat z hlediska jak obsahové, tak časové správnosti v návaznosti na zdrojová data ze zdrojových systémů a dalších činností vyjádřených v předchozím schématu jako např. realizace ETL procesů, čištění dat, vytváření statistik o chybách, jejich analýze apod.). Někdy bývá tento útvar vyčleněn z IT a převeden do EKO, aby se po čase vrátil odkud byl vyčleněn, protože problémy s kvalitou dat přetrvávají.

19 19 Schéma procesu správy DWH Správa DWH, vyjádřena graficky pomocí systému ADONIS ® těmito typickými činnostmi: 1.Přijímání požadavků na změnu DWH (požadavek na novou aplikaci, úpravu atributů existujícího datového modelu či úpravu obsahu stávajících aplikací). 2.Analýza požadavku a definice dalšího postupu – zvláště z pohledu konsolidovaného provedení změny do všech fyzických výskytů zdrojových informačních systémů). 3.Promítnutí změny obsahu DWH a její zdokumentování.

20 20 Výhody ADONISu oproti „kreslítkům“ Výhodou modelování procesů v ADONISu (obdobně jako u jiných CASE nástrojů tohoto typu) je skutečnost, že uchovává popisy těchto modelů ve své „repozitory” (databáze SQL). Ta se pak využívá pro tvorbu různých výstupních reportů a dokumentace použitelných pro konfigurační řízení. Další vlastností ADONISu je skutečnost, že umožňuje prověřování konsistence popisu a logických souvislostí namodelovaných procesů, příp i k jejich simulaci, což se dá s výhodou využít pro následný audit IS.

21 21 Audit BI a DW Podle ISACA (Information System Audit and Control Association), je auditem IS jakýkoliv audit, který zahrnuje prověření a hodnocení všech nebo jen některých aspektů systémů automatizovaného zpracování dat, včetně neautomatizovaných procesů a interface mezi nimi. ISACA® - Serving IT Governance Professionals.mht ISACA® - Serving IT Governance Professionals.mht Proto by se audit BI a DW měl podle [ 12] zaměřit na : –obsah řešení (jaká data a informace auditované řešení poskytuje); –funkcionalitu řešení (jaké prostředky pro získání informací dané/zkoumané řešení poskytuje – např. statické/dynamické/ad-hoc reporty, rozesílání informací e-mailem, publikace reportů na intranetu apod.); –strategické a plánovací řídící procesy, zahrnující řízení a plánování rozsahu řešení, strategické a metodické řízení provozu a vývoje řešení, řízení finančních atributů řešení apod. Pro podrobnější postup auditu BI a DW lze vycházet také z metodiky ISACA – COBIT (Control Objectives for Information and related Technology)

22 22 Co umožňuje COBIT? Umožňuje zkoumat, vyvíjet, publikovat a rozšiřovat směrodatný, aktuální a mezinárodně přijímaný řídící rámec IT governance určený k podnikovému nasazení a každodennímu používání business manažery, IT odborníky a specialisty na oblast „assurance“. COBIT umožňuje prezentovat IT činnosti vůči okolí, jež nemá detailní znalosti o IT prostředí a o IT technologiích. Cílem COBIT je vytvořit rámec pro řídící a kontrolní systém fungující nad IT prostředím, který bude nastaven ve shodě s ostatními řídícími a kontrolními systémy podniku. Podrobněji in: http://www.isaca.org/Template.cfm?Section=COBIT6&Template=/TaggedPag e/TaggedPageDisplay.cfm&TPLID=55&ContentID=7981http://www.isaca.org/Template.cfm?Section=COBIT6&Template=/TaggedPag e/TaggedPageDisplay.cfm&TPLID=55&ContentID=7981

23 23 Metodologie COBIT Metodologie COBIT (Control objectives for Information and Related Technology)

24 24 COBIT - IT zdroje a procesy Lidé (people) Aplikace (application systems) Technologie (technology) Vybavení (facilities) Data (data) Základní COBIT rozlišuje následující IT zdroje Základní COBIT definuje 34 procesů seskupených do čtyř následujících procesních domén : plánování a organizace, akvizice a implementace, poskytování a podpora, monitorování

25 25 Podpora COBIT pomocí CASE nástrojů

26 26 Nástroj ADOit TM pro podporu COBITu Převzato z: adoit_cobit_adoit_flyer_eng.pdf

27 27 Sumář Kvalita dat informačního systému úzce souvisí s jeho procesním zabezpečením. Procesní zabezpečení kvality dat by mělo být prováděno podle nějaké uznávané metodiky, jako je např. metodika COBIT ®, která může sloužit i jako návod pro provádění metodického auditu. Metodický audit by se proto měl zaměřit nejen na objekty organizace a řízení IS, ale i na základní i aplikační software, technické vybavení, telekomunikační systémy, procesy tvorby a údržby systému, data, databáze apod. Pro popis těchto objektů a následný audit je vhodné využít odpovídající nástroje, které podporují některou z uznávaných metodik. Jedním z nich může být i ADONIS ® respektive ADOit ®. Vybraný nástroj by měl být významným pomocníkem nejen pro řízení kvality IS v celém životním cyklu projektu, ale také účinným pomocníkem pro další „Reengineering podnikových procesů“.

28 28 Literatura [1] BOC produkty. [on line] [cit. 2010-05-22]. Dostupný z http://www.boc- eu.com/documents/products/adoit_cobit_adoit_flyer_eng.pdfhttp://www.boc- eu.com/documents/products/adoit_cobit_adoit_flyer_eng.pdf [2] Data Usefulness, Not Just Quality:Where´s The Real Pain? In: The 2008 Aberdeen Research Agenda. Febuary 2009. [on line] [cit. 2009-10-11]. Dostupný z http://www.aberdeen.com/http://www.aberdeen.com/ [3] David Furlonger: Surveys Indicate a Disconnect Between Financial Services CEOs and CIOs, Gartner Group 2006. [on line][cit. 2006-01-04]. Dostupný z http://www.gartner.com/technology/home.jsp. http://www.gartner.com/technology/home.jsp [4] David Loshin:Business Intelligence, Morgan Kaufmann Publishers, San Francisco, CA 94111, ISBN-13: 978-1-55860-916-7 [5] Gartner's Enterprise Architecture Process and Framework Help Meet 21st Century Challenges, [on line][ [cit. 2010 18-05]. Dostupný z : http://my.gartner.com/portal/server.pt?open=512&objID=260&mode=2&PageID=3460702&resId=4 86650&ref=QuickSearch&sthkw=META+GroupGartner's Enterprise Architecture Process and Framework Help Meet 21st Century Challenges http://my.gartner.com/portal/server.pt?open=512&objID=260&mode=2&PageID=3460702&resId=4 86650&ref=QuickSearch&sthkw=META+Group [6] COBIT [on line] [cit. 2010-05-22]. Dostupný z http://www.isaca.org/Template.cfm?Section=COBIT6&Template=/TaggedPage/TaggedPageDisp lay.cfm&TPLID=55&ContentID=7981http://www.isaca.org/Template.cfm?Section=COBIT6&Template=/TaggedPage/TaggedPageDisp lay.cfm&TPLID=55&ContentID=7981 [7] Bohumil Miniberger: Kvalita dat datových skladů – nezbytný předpoklad předcházení rizik manažerského rozhodování. Sborník z 11. ročníku mezinárodní konference „Současnost a budoucnost krizového řízení“. Praha 2009, ISBN 978-80-254-5912-6. [8] Bohumil Miniberger a kol: Metodický audit Veřejné databáze. Český statistický úřad 2007. [on line] [cit. 03-04-2007]. Dostupný z http://vdb.czso.cz/vdb/http://vdb.czso.cz/vdb/ [9] Václav Řepa: Podnikové procesy. Procesní řízení Grada Publishing, Praha 2006. ISBN 80-247- 1281-4. [10] Jiří Voříšek: Strategické řízení informačního systému a systémová integrace. Management Press, Praha 2003. ISBN 80-85943-40-9.

29 29 Diskuse