Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování Doc. Ing. B. Miniberger, CSc., © BIVŠ 2010.

Podobné prezentace


Prezentace na téma: "Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování Doc. Ing. B. Miniberger, CSc., © BIVŠ 2010."— Transkript prezentace:

1 Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování Doc. Ing. B. Miniberger, CSc., © BIVŠ 2010

2 Obsah Hierarchie IS Vymezení pojmů kvalita dat, BI a DW Kritický faktor úspěchu Metoda BSP Metainformační systém (MtS) Organizační zabezpečení správy DW a BI COBIT Metodologie BI a její podpora CASE nástroji Audit BI a DW

3 Analýzy WHAT-IF, GOAL-SEEK, a pod. Obvyklá hierarchie IS Data Warehouse TOP management Střední management TPS Představenstvo, Dozorčí rada Vrchní ředitelé Modelování BI MIS DataMart (datový pult) ŘedItelé odborů Odborní pracovníci OIS EDI ETL

4 Vymezení pojmu BI Business intelligence (BI) jsou dovednosti, znalosti, technologie, aplikace, kvalita, rizika, bezpečnostní otázky a postupy používané v podnikání pro získání lepšího pochopení chování na trhu a obchodních souvislostech. Za tímto účelem provádí sběr, integraci, analýzu, interpretaci a prezentaci obchodních informací. Můžou zahrnovat samotné shromážděné informace nebo explicitní znalosti získané z informací. Běžné funkce BI aplikací zahrnují OLAP, reporting, podporu analýz, přehledové zobrazení), dolování dat, podnikové řízení výkonnosti (CPM) a prediktivní analýzy. Business intelligence jsou často využívány k podpoře rozhodování, proto se také nazývají systémy pro rozhodování (decision support systém -DSS). Dostupný z WWW:

5 Další definice: „Business intelligence (BI) je definována jako schopnost organizace použít všechny své zdroje a dovednosti a přeměnit je na vědomosti. Dostat správné informace ke správným lidem ve správném čase, prostřednictvím odpovídajících kanálů. Tím vzniká velké množství informací, které mohou vést k rozvoji nových příležitostí pro samotnou organizaci. Pokud tyto příležitosti jsou identifikovány a následně firemní strategie byla jimi ovlivněna, mohou poskytnout organizaci konkurenční výhodu na trhu a stabilitu v dlouhodobém horizontu.“ Zdroj: Rud, Olivia, Business Intelligence Success Factors: Tools for Aligning Your Business in the Global Economy. Wiley & Sons, 2009, překlad Richard Štefan BP BIVŠ, 2012 "Business Intelligence je soubor metod, postupů, architektur a technologií, které přemění raw data do smysluplné a užitečné informace, která dále slouží k umožnění efektivnějšího strategického, taktického a operačního rozhodování. Zdroj: Evelson, Boris, Topic Overview: Business Intelligence, Forrester, 2007, str. 1, překlad Richard Štefan BP BIVŠ, 2012 Náplní BI je přetvářet strukturovaná či nestrukturovaná data z podnikových aplikací do podoby přívětivé z pohledu informačních služeb. Zjednodušeně řečeno, zpracovat data tak, aby pomohla uživatelům naplnit jejich business cíle.

6 Kvalita dat BI a DW. Kvalita dat je neodmyslitelným atributem kteréhokoliv informačního systému, počínaje transakčními systémy (TPS), systémy sloužícími pro manažerské řízení (MIS) a neposledními v řadě i systémy pro rozhodování EIS), využívající převážně OLAP architekturu (On-line Analytical Processing). Ztráty způsobené nekvalitními daty se odhadují jen v USA dle různých poradenských firem na stovky miliard dolarů ročně. Další podrobnosti lze získat na seminářích k tomu určených např.: Data Quality A Survival Guide for Marketing.htm Data Management, Information Quality, and Data Warehouse & Business Intelligence Conferences, 2-4 November 2009, London, UK.mht

7 Co je kvalita dat? Datová kvalita je více než jména a adresy: Dimenze kvality dat: –Přesnost –Úplnost –Konzistentnost –Včasnost Typy chyb –Nestejná granularita –Překlepy při pořizování dat –Chybná metada –Implicitní a explicitní hodnoty „Null“ –Smíšení formátů struktur –Transformační chyby –Překrývání (overloaded) atributů Definice podle Davida Loshina [1]:

8 EDW & BI Challenges for Retailers

9 Kritický faktor úspěchu: Obvykle: Všichni o ní víme. Všem nám vadí. Nemáme čas ji řešit, protože máme hodně práce. Máme hodně práce, protože nám stále vytváří nové a nové problémy, které musíme odstraňovat. Nesourodost (ne-integrita) dat

10 Je vůbec nějaké řešení? Nedá se nic dělat anebo TQM

11 Předpoklad jejího řešení funkcemi v organizaci a činnostmi: –kdo je zodpovědný za jednotl. činnosti a koho se týkají, funkcemi a entitami: –kdo je zodpovědný za tvorbu dat a kdo je používá, informačními systémy a entitami: –které IS vytváří která data a které IS je používají, informačními systémy a činnostmi: –které IS podporujií které činnosti. Vyžaduje mj. zmapování a křížovou kontrolu mezi Nejlépe zmapovat pomocí metainformačního systému tak, aby mj. každá činnost a entita měla svého gestora.

12 Zmapování odpovědnosti a stanovení postupů její naplnění ČINNOSTI ENTITY FUNKCEI S kdo je zodpovědný za tvorbu dat a kdo je používá Procesy Organizační místa Data Výstupy z IS kdo je zodpovědný za jednotl. činnosti a koho se týkají které IS vytváří která data a které IS je používají které IS podporujií které činnosti

13 Analýza odpovědnosti ČINNOSTI ENTITY FUNKCEI S Organizační odpovědnost Odpovědnost za tvorbu dat Kvalita podpory IS Informační architektura Procesy Organizační místa Data Výstupy z IS

14 Kvalita dat DW a BI je dána Kvalitou dat v systémech z nichž se data čerpají (transakční systémy). Kvalitou dat v externích souborech a číselnících, převzatých z jiných organizací a institucí (ČSÚ, ČNB, aj.) Kvalitou přenosových a transformačních procesů (ETL), včetně jejich procesního zabezpečení. Permanentními potenciálními narušovateli jsou změnová řízení ať již formou projektů či jen formou dílčích uživatelských požadavků ( i například ‚jen‘ opravy v transakčních systémech, nebo v číselnících.

15 Jedná se o definování přesných odpovědností a pravomocí, workflow odpovídajících dokumentů a přístupů do všech částí DW tak, aby existovalo jedno místo, které je odpovědno za obsah všech souborů ve všech částech DW. Tento způsob je velice náročný na přesnost a včasnost práce lidského činitele a tedy je náchylný k chybám. Personifikace této činnosti bude spadat do náplně „Správce DW“ (DW Stewarda), jehož role i organizační zabezpečení, jsou odvislé od způsobu provádění ETL procesů v dané organizaci a použitého programového vybavení. Vzhledem ke způsobu pořizování dat z různých „legacy“systémů v procesu ETL, je nutno pro potřebu čištění dat použít další nástroje, umožňující syntakticko- sémantickou kontrolu dat, (např. Trillium, DataFlux aj. [8,10] Organizační zabezpečení správy DW

16 Metainformační systém (MtS) Obecně pojem metasystém označuje systém, který popisuje, resp. modeluje jiný systém, v našem případě systém informační. Metainformační systém je jednotou metadatabáze (metadat) a operací, které umožňují uchování a zpracování metadat. Metadata popisují IS/IT podniku a jejich významné vazby. Metasystém je neodmyslitelným nástrojem systémové integrace IS „Základní charakteristika metainformačního systému“, podle Voříška [5 ] je následující:

17 Dimenze MtS Důležitým východiskem pro tvorbu metainformačního systému BI a DW je nejen popis datových struktur a jejich použití v entitách, databázích, dokladech atp., ale i popisy významu těchto datových struktur, jejich definice na logické a fyzické úrovni a v neposlední řadě i vazeb mezi těmito strukturami. Rovněž pak i způsobu jejich zpracování, definování a kontroly. Podle metodologie MDIS [5], MtS umožňuje v tomto pojetí popisovat, analyzovat a řídit IS/IT z pohledu všech významných dimenzí z hlediska : –datového, –funkčního a procesního, –softwarového, –hardwarového, –organizačního, –personálního, –ekonomického, –metodického a –časového

18 Metainformační systém BI a DW Role a činnosti jsou pak uvedeny dále, kdežto nástroje typu glosář (definici pojmů) a tezaurus (definici vztahů mezi jednotlivými pojmy) implicitně předpokládáme, že jsou součástí SW dodaného pro tvorbu DW a ETL procesů. Výčet a funkčnosti nástrojů pro ETL procesy lze nalézt např. v [7]. Nutno dodat, že pracnost realizace ETL procesů podle [6] tvoří nadpoloviční část pracnosti tvorby celého DW. Pokud útvar Správa dat jej nemá, musí si jej vytvořit sám. K tomuto účelu je vhodné použít nějaký CASE nástroj např. ERWin (http://www.ca.com/us/data-modeling.aspx), umožňující vytváření entitně relačního modelu, důležitého předpokladu pak pro tvorbu skriptů a uložených procedur SQL.http://www.ca.com/us/data-modeling.aspx

19 ERD části metadat v ERwinu

20 Role a činnosti správy DW

21 Správa informačních zdrojů DW Správa informačních zdrojů DW spočívá z: Přijímání požadavků na změnu DW (požadavek na novou aplikaci, úpravu atributů existujícího datového modelu či úpravu obsahu stávajících aplikací). Analýza požadavku a definice dalšího postupu – zvláště z pohledu konsolidovaného provedení změny do všech fyzických výskytů zdrojových bankovních informačních systémů). Promítnutí změny obsahu do všech „datamartů“ a evidence o změnách. Hlídání integrity dat z hlediska jak obsahové, tak časové správnosti v návaznosti na zdrojová data ze zdrojových systémů a dalších činností vyjádřených v předchozím schématu jako např. realizace ETL procesů, čištění dat, vytváření statistik o chybách, jejich analýze apod.). Někdy bývá tento útvar vyčleněn z IT a převeden do EKO, aby se po čase vrátil odkud byl vyčleněn.

22 Metodologie COBIT Metodologie COBIT (Control objectives for Information and Related Technology)

23 COBIT - IT zdroje a procesy Lidé (people) Aplikace (application systems) Technologie (technology) Vybavení (facilities) Data (data) Základní COBIT rozlišuje následující IT zdroje Základní COBIT definuje 34 procesů seskupených do čtyř následujících procesních domén : plánování a organizace, akvizice a implementace, poskytování a podpora, monitorování

24 Podpora COBIT pomocí CASE nástrojů

25 Nástroj ADOit TM pro podporu COBITu

26 BI metodologie ATRE Odkaz: Business Intelligence Navigator.mhtBusiness Intelligence Navigator.mht

27 Audit BI a DW Podle ISACA (Information System Audit and Control Association), je auditem IS jakýkoliv audit, který zahrnuje prověření a hodnocení všech nebo jen některých aspektů systémů automatizovaného zpracování dat, včetně neautomatizovaných procesů a interface mezi nimi.www.isaca.org Proto by se audit BI a DW měl podle [ 10] zaměřit na : –obsah řešení (jaká data a informace auditované řešení poskytuje); –funkcionalitu řešení (jaké prostředky pro získání informací dané/zkoumané řešení poskytuje – např. statické/dynamické/ad-hoc reporty, rozesílání informací e- mailem, publikace reportů na intranetu apod.); –strategické a plánovací řídící procesy, zahrnující řízení a plánování rozsahu řešení, strategické a metodické řízení provozu a vývoje řešení, řízení finančních atributů řešení apod.

28 Porovnání stavu řešení BI V rámci všech oblastí (podle 12), by měl být současný stav řešení podroben porovnání s: požadavky uživatelů řešení dané organizace, best-practices v rámci dané tržní vertikály a regionu, resp. země, mezinárodními best-practices. Konkrétní výčet použitých oblastí a hloubka analýzy jsou pak determinovány očekáváním od projektu, vyspělostí řešení BI a podnikovou kulturou organizace. Pro podrobnější postup auditu BI a DW lze vycházet také z metodiky ISACA – COBIT (Control Objectives for Information and related Technology

29 Literatura 1.Loshin, D.: Business Intelligence, Morgan Kaufmann Publishers, San Francisco, 2003, ISBN-13: Miniberger, B.:Methodology of building MIS at IPB. Referát na mezinárodní konferenci SEUGI 16, Praha Miniberger, B., Kučera, M.: Použití datového slovníku pro návrh MIS. Seminář LBMS Praha Miniberger, B. a kol: Metodický audit Veřejné databáze. Český statistický úřad Voříšek,J.: Informační systémy a jejich řízení, BIVŠ, ISACA (Information System Audit and Control Association, dostupné z 7.http://www.aberdeen.com/c/report/market_alert/MA_Teradata- Microsoft_3878.pdfhttp://www.aberdeen.com/c/report/market_alert/MA_Teradata- Microsoft_3878.pdf 8.http://en.wikipedia.org/wiki/Extract,_transform,_load#Toolshttp://en.wikipedia.org/wiki/Extract,_transform,_load#Tools 9.http://www.gartner.com/reprints/informatica/ htmlhttp://www.gartner.com/reprints/informatica/ html 10.http://www.systemonline.cz/clanky/etl-a-kvalita-dat.htmhttp://www.systemonline.cz/clanky/etl-a-kvalita-dat.htm 11.http://www.boc- eu.com/documents/products/adoit_cobit_adoit_flyer_eng.pdfhttp://www.boc- eu.com/documents/products/adoit_cobit_adoit_flyer_eng.pdf 12.Slánský D., Audit datového skladu, IT Systems, č.3/ http://www.ca.com/us/data-modeling.aspxhttp://www.ca.com/us/data-modeling.aspx

30 Diskuse


Stáhnout ppt "Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování Doc. Ing. B. Miniberger, CSc., © BIVŠ 2010."

Podobné prezentace


Reklamy Google