Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování Doc. Ing. B. Miniberger, CSc., © BIVŠ 2010

Obsah Hierarchie IS Vymezení pojmů kvalita dat, BI a DW Kritický faktor úspěchu Metoda BSP Metainformační systém (MtS) Organizační zabezpečení správy DW a BI COBIT Metodologie BI a její podpora CASE nástroji Audit BI a DW

Obvyklá hierarchie IS ETL TPS Představenstvo, Dozorčí rada TOP management Střední management TPS Představenstvo, Dozorčí rada Vrchní ředitelé Modelování BI MIS DataMart (datový pult) ŘedItelé odborů Odborní pracovníci OIS EDI ETL Data Warehouse Analýzy WHAT-IF, GOAL-SEEK, a pod.

Vymezení pojmu BI Dostupný z WWW: http://cs.wikipedia.org/wiki/Business_Intelligence Business intelligence (BI) jsou dovednosti, znalosti, technologie, aplikace, kvalita, rizika, bezpečnostní otázky a postupy používané v podnikání pro získání lepšího pochopení chování na trhu a obchodních souvislostech. Za tímto účelem provádí sběr, integraci, analýzu, interpretaci a prezentaci obchodních informací. Můžou zahrnovat samotné shromážděné informace nebo explicitní znalosti získané z informací . Běžné funkce BI aplikací zahrnují OLAP, reporting, podporu analýz, přehledové zobrazení), dolování dat, podnikové řízení výkonnosti (CPM) a prediktivní analýzy . Business intelligence jsou často využívány k podpoře rozhodování, proto se také nazývají systémy pro rozhodování (decision support systém -DSS).

Další definice: „Business intelligence (BI) je definována jako schopnost organizace použít všechny své zdroje a dovednosti a přeměnit je na vědomosti. Dostat správné informace ke správným lidem ve správném čase, prostřednictvím odpovídajících kanálů. Tím vzniká velké množství informací, které mohou vést k rozvoji nových příležitostí pro samotnou organizaci. Pokud tyto příležitosti jsou identifikovány a následně firemní strategie byla jimi ovlivněna, mohou poskytnout organizaci konkurenční výhodu na trhu a stabilitu v dlouhodobém horizontu.“ Zdroj: Rud, Olivia, Business Intelligence Success Factors: Tools for Aligning Your Business in the Global Economy. Wiley & Sons, 2009, překlad Richard Štefan BP BIVŠ, 2012 "Business Intelligence je soubor metod, postupů, architektur a technologií, které přemění raw data do smysluplné a užitečné informace, která dále slouží k umožnění efektivnějšího strategického, taktického a operačního rozhodování. Zdroj: Evelson, Boris, Topic Overview: Business Intelligence, Forrester, 2007, str. 1, překlad Richard Štefan BP BIVŠ, 2012 Náplní BI je přetvářet strukturovaná či nestrukturovaná data z podnikových aplikací do podoby přívětivé z pohledu informačních služeb. Zjednodušeně řečeno, zpracovat data tak, aby pomohla uživatelům naplnit jejich business cíle.

Kvalita dat BI a DW. Kvalita dat je neodmyslitelným atributem kteréhokoliv informačního systému, počínaje transakčními systémy (TPS), systémy sloužícími pro manažerské řízení (MIS) a neposledními v řadě i systémy pro rozhodování EIS), využívající převážně OLAP architekturu (On-line Analytical Processing). Ztráty způsobené nekvalitními daty se odhadují jen v USA dle různých poradenských firem na stovky miliard dolarů ročně. Další podrobnosti lze získat na seminářích k tomu určených např.: http://www.irmuk.co.uk/dm2009/ Data Quality A Survival Guide for Marketing.htm Data Management, Information Quality, and Data Warehouse & Business Intelligence Conferences, 2-4 November 2009, London, UK.mht

Co je kvalita dat? Datová kvalita je více než jména a adresy: Definice podle Davida Loshina [1]: Datová kvalita je více než jména a adresy: Dimenze kvality dat: Přesnost Úplnost Konzistentnost Včasnost Typy chyb Nestejná granularita Překlepy při pořizování dat Chybná metada Implicitní a explicitní hodnoty „Null“ Smíšení formátů struktur Transformační chyby Překrývání (overloaded) atributů

EDW & BI Challenges for Retailers http://www.aberdeen.com/c/report/market_alert/MA_Teradata-Microsoft_3878.pdf

Kritický faktor úspěchu: Nesourodost (ne-integrita) dat Obvykle: Všichni o ní víme. Všem nám vadí. Nemáme čas ji řešit, protože máme hodně práce. Máme hodně práce, protože nám stále vytváří nové a nové problémy, které musíme odstraňovat.

Je vůbec nějaké řešení? Nedá se nic dělat anebo TQM

Předpoklad jejího řešení Vyžaduje mj. zmapování a křížovou kontrolu mezi funkcemi v organizaci a činnostmi: kdo je zodpovědný za jednotl. činnosti a koho se týkají, funkcemi a entitami: kdo je zodpovědný za tvorbu dat a kdo je používá, informačními systémy a entitami: které IS vytváří která data a které IS je používají, informačními systémy a činnostmi: které IS podporujií které činnosti. Nejlépe zmapovat pomocí metainformačního systému tak, aby mj. každá činnost a entita měla svého gestora.

Zmapování odpovědnosti a stanovení postupů její naplnění kdo je zodpovědný za jednotl. činnosti a koho se týkají které IS podporujií které činnosti Procesy ČINNOSTI Organizační místa Výstupy z IS I S FUNKCE ENTITY které IS vytváří která data a které IS je používají Data kdo je zodpovědný za tvorbu dat a kdo je používá

Analýza odpovědnosti Organizační odpovědnost Kvalita podpory IS Procesy ČINNOSTI Organizační místa Výstupy z IS I S FUNKCE ENTITY Informační architektura Odpovědnost za tvorbu dat Data

Kvalita dat DW a BI je dána Kvalitou dat v systémech z nichž se data čerpají (transakční systémy). Kvalitou dat v externích souborech a číselnících, převzatých z jiných organizací a institucí (ČSÚ, ČNB, aj.) Kvalitou přenosových a transformačních procesů (ETL), včetně jejich procesního zabezpečení. Permanentními potenciálními narušovateli jsou změnová řízení ať již formou projektů či jen formou dílčích uživatelských požadavků ( i například ‚jen‘ opravy v transakčních systémech, nebo v číselnících.

Organizační zabezpečení správy DW Jedná se o definování přesných odpovědností a pravomocí, workflow odpovídajících dokumentů a přístupů do všech částí DW tak, aby existovalo jedno místo, které je odpovědno za obsah všech souborů ve všech částech DW. Tento způsob je velice náročný na přesnost a včasnost práce lidského činitele a tedy je náchylný k chybám. Personifikace této činnosti bude spadat do náplně „Správce DW“ (DW Stewarda), jehož role i organizační zabezpečení, jsou odvislé od způsobu provádění ETL procesů v dané organizaci a použitého programového vybavení. Vzhledem ke způsobu pořizování dat z různých „legacy“systémů v procesu ETL, je nutno pro potřebu čištění dat použít další nástroje, umožňující syntakticko- sémantickou kontrolu dat, (např. Trillium, DataFlux aj. [8,10]

Metainformační systém (MtS) „Základní charakteristika metainformačního systému“ , podle Voříška [5 ] je následující: Obecně pojem metasystém označuje systém, který popisuje, resp. modeluje jiný systém, v našem případě systém informační. Metainformační systém je jednotou metadatabáze (metadat) a operací, které umožňují uchování a zpracování metadat. Metadata popisují IS/IT podniku a jejich významné vazby. Metasystém je neodmyslitelným nástrojem systémové integrace IS

Dimenze MtS Důležitým východiskem pro tvorbu metainformačního systému BI a DW je nejen popis datových struktur a jejich použití v entitách, databázích, dokladech atp., ale i popisy významu těchto datových struktur, jejich definice na logické a fyzické úrovni a v neposlední řadě i vazeb mezi těmito strukturami. Rovněž pak i způsobu jejich zpracování, definování a kontroly. Podle metodologie MDIS [5], MtS umožňuje v tomto pojetí popisovat, analyzovat a řídit IS/IT z pohledu všech významných dimenzí z hlediska : datového, funkčního a procesního, softwarového, hardwarového, organizačního, personálního, ekonomického, metodického a časového

Metainformační systém BI a DW Role a činnosti jsou pak uvedeny dále, kdežto nástroje typu glosář (definici pojmů) a tezaurus (definici vztahů mezi jednotlivými pojmy) implicitně předpokládáme, že jsou součástí SW dodaného pro tvorbu DW a ETL procesů. Výčet a funkčnosti nástrojů pro ETL procesy lze nalézt např. v [7]. Nutno dodat, že pracnost realizace ETL procesů podle [6] tvoří nadpoloviční část pracnosti tvorby celého DW. Pokud útvar Správa dat jej nemá, musí si jej vytvořit sám. K tomuto účelu je vhodné použít nějaký CASE nástroj např. ERWin (http://www.ca.com/us/data-modeling.aspx), umožňující vytváření entitně relačního modelu, důležitého předpokladu pak pro tvorbu skriptů a uložených procedur SQL.

ERD části metadat v ERwinu

Role a činnosti správy DW

Správa informačních zdrojů DW Správa informačních zdrojů DW spočívá z: Přijímání požadavků na změnu DW (požadavek na novou aplikaci, úpravu atributů existujícího datového modelu či úpravu obsahu stávajících aplikací). Analýza požadavku a definice dalšího postupu – zvláště z pohledu konsolidovaného provedení změny do všech fyzických výskytů zdrojových bankovních informačních systémů). Promítnutí změny obsahu do všech „datamartů“ a evidence o změnách. Hlídání integrity dat z hlediska jak obsahové, tak časové správnosti v návaznosti na zdrojová data ze zdrojových systémů a dalších činností vyjádřených v předchozím schématu jako např. realizace ETL procesů, čištění dat, vytváření statistik o chybách, jejich analýze apod.). Někdy bývá tento útvar vyčleněn z IT a převeden do EKO, aby se po čase vrátil odkud byl vyčleněn.

Metodologie COBIT Metodologie COBIT (Control objectives for Information and Related Technology)

COBIT - IT zdroje a procesy Základní COBIT rozlišuje následující IT zdroje Lidé (people) Aplikace (application systems) Technologie (technology) Vybavení (facilities) Data (data) Základní COBIT definuje 34 procesů seskupených do čtyř následujících procesních domén : plánování a organizace, akvizice a implementace, poskytování a podpora, monitorování

Podpora COBIT pomocí CASE nástrojů

Nástroj ADOitTM pro podporu COBITu http://www.boc-eu.com/documents/products/adoit_cobit_adoit_flyer_eng.pdf

BI metodologie ATRE Odkaz: Business Intelligence Navigator.mht

Audit BI a DW Podle ISACA (Information System Audit and Control Association), www.isaca.org je auditem IS jakýkoliv audit, který zahrnuje prověření a hodnocení všech nebo jen některých aspektů systémů automatizovaného zpracování dat, včetně neautomatizovaných procesů a interface mezi nimi. Proto by se audit BI a DW měl podle [ 10] zaměřit na : obsah řešení (jaká data a informace auditované řešení poskytuje); funkcionalitu řešení (jaké prostředky pro získání informací dané/zkoumané řešení poskytuje – např. statické/dynamické/ad-hoc reporty, rozesílání informací e-mailem, publikace reportů na intranetu apod.); strategické a plánovací řídící procesy, zahrnující řízení a plánování rozsahu řešení, strategické a metodické řízení provozu a vývoje řešení, řízení finančních atributů řešení apod.

Porovnání stavu řešení BI V rámci všech oblastí (podle 12), by měl být současný stav řešení podroben porovnání s: požadavky uživatelů řešení dané organizace, best-practices v rámci dané tržní vertikály a regionu, resp. země, mezinárodními best-practices. Konkrétní výčet použitých oblastí a hloubka analýzy jsou pak determinovány očekáváním od projektu, vyspělostí řešení BI a podnikovou kulturou organizace. Pro podrobnější postup auditu BI a DW lze vycházet také z metodiky ISACA – COBIT (Control Objectives for Information and related Technology

Literatura Loshin, D.: Business Intelligence, Morgan Kaufmann Publishers, San Francisco, 2003, ISBN-13: 978-1-5-55860-916-7 Miniberger, B.:Methodology of building MIS at IPB. Referát na mezinárodní konferenci SEUGI 16, Praha 1998 Miniberger, B., Kučera, M.: Použití datového slovníku pro návrh MIS. Seminář LBMS Praha 1998. Miniberger, B. a kol: Metodický audit Veřejné databáze. Český statistický úřad 2007 http://vdb.czso.cz/vdb/ Voříšek,J.: Informační systémy a jejich řízení, BIVŠ, 1997 ISACA (Information System Audit and Control Association, dostupné z www.isaca.org http://www.aberdeen.com/c/report/market_alert/MA_Teradata-Microsoft_3878.pdf http://en.wikipedia.org/wiki/Extract,_transform,_load#Tools http://www.gartner.com/reprints/informatica/106602.html http://www.systemonline.cz/clanky/etl-a-kvalita-dat.htm http://www.boc-eu.com/documents/products/adoit_cobit_adoit_flyer_eng.pdf Slánský D., Audit datového skladu, IT Systems, č.3/ 2006 http://www.ca.com/us/data-modeling.aspx

Diskuse