Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování

Podobné prezentace


Prezentace na téma: "Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování"— Transkript prezentace:

1 Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování
Doc. Ing. B. Miniberger, CSc., © BIVŠ 2010

2 Obsah Hierarchie IS Vymezení pojmů kvalita dat, BI a DW
Kritický faktor úspěchu Metoda BSP Metainformační systém (MtS) Organizační zabezpečení správy DW a BI COBIT Metodologie BI a její podpora CASE nástroji Audit BI a DW

3 Obvyklá hierarchie IS ETL TPS Představenstvo, Dozorčí rada
TOP management Střední management TPS Představenstvo, Dozorčí rada Vrchní ředitelé Modelování BI MIS DataMart (datový pult) ŘedItelé odborů Odborní pracovníci OIS EDI ETL Data Warehouse Analýzy WHAT-IF, GOAL-SEEK, a pod.

4 Vymezení pojmu BI Dostupný z WWW: Business intelligence (BI) jsou dovednosti, znalosti, technologie, aplikace, kvalita, rizika, bezpečnostní otázky a postupy používané v podnikání pro získání lepšího pochopení chování na trhu a obchodních souvislostech. Za tímto účelem provádí sběr, integraci, analýzu, interpretaci a prezentaci obchodních informací. Můžou zahrnovat samotné shromážděné informace nebo explicitní znalosti získané z informací . Běžné funkce BI aplikací zahrnují OLAP, reporting, podporu analýz, přehledové zobrazení), dolování dat, podnikové řízení výkonnosti (CPM) a prediktivní analýzy . Business intelligence jsou často využívány k podpoře rozhodování, proto se také nazývají systémy pro rozhodování (decision support systém -DSS).

5 Další definice: „Business intelligence (BI) je definována jako schopnost organizace použít všechny své zdroje a dovednosti a přeměnit je na vědomosti. Dostat správné informace ke správným lidem ve správném čase, prostřednictvím odpovídajících kanálů. Tím vzniká velké množství informací, které mohou vést k rozvoji nových příležitostí pro samotnou organizaci. Pokud tyto příležitosti jsou identifikovány a následně firemní strategie byla jimi ovlivněna, mohou poskytnout organizaci konkurenční výhodu na trhu a stabilitu v dlouhodobém horizontu.“ Zdroj: Rud, Olivia, Business Intelligence Success Factors: Tools for Aligning Your Business in the Global Economy. Wiley & Sons, 2009, překlad Richard Štefan BP BIVŠ, 2012 "Business Intelligence je soubor metod, postupů, architektur a technologií, které přemění raw data do smysluplné a užitečné informace, která dále slouží k umožnění efektivnějšího strategického, taktického a operačního rozhodování. Zdroj: Evelson, Boris, Topic Overview: Business Intelligence, Forrester, 2007, str. 1, překlad Richard Štefan BP BIVŠ, 2012 Náplní BI je přetvářet strukturovaná či nestrukturovaná data z podnikových aplikací do podoby přívětivé z pohledu informačních služeb. Zjednodušeně řečeno, zpracovat data tak, aby pomohla uživatelům naplnit jejich business cíle.

6 Kvalita dat BI a DW. Kvalita dat je neodmyslitelným atributem kteréhokoliv informačního systému, počínaje transakčními systémy (TPS), systémy sloužícími pro manažerské řízení (MIS) a neposledními v řadě i systémy pro rozhodování EIS), využívající převážně OLAP architekturu (On-line Analytical Processing). Ztráty způsobené nekvalitními daty se odhadují jen v USA dle různých poradenských firem na stovky miliard dolarů ročně. Další podrobnosti lze získat na seminářích k tomu určených např.: Data Quality A Survival Guide for Marketing.htm Data Management, Information Quality, and Data Warehouse & Business Intelligence Conferences, 2-4 November 2009, London, UK.mht

7 Co je kvalita dat? Datová kvalita je více než jména a adresy:
Definice podle Davida Loshina [1]: Datová kvalita je více než jména a adresy: Dimenze kvality dat: Přesnost Úplnost Konzistentnost Včasnost Typy chyb Nestejná granularita Překlepy při pořizování dat Chybná metada Implicitní a explicitní hodnoty „Null“ Smíšení formátů struktur Transformační chyby Překrývání (overloaded) atributů

8 EDW & BI Challenges for Retailers

9 Kritický faktor úspěchu:
Nesourodost (ne-integrita) dat Obvykle: Všichni o ní víme. Všem nám vadí. Nemáme čas ji řešit, protože máme hodně práce. Máme hodně práce, protože nám stále vytváří nové a nové problémy, které musíme odstraňovat.

10 Je vůbec nějaké řešení? Nedá se nic dělat anebo TQM

11 Předpoklad jejího řešení
Vyžaduje mj. zmapování a křížovou kontrolu mezi funkcemi v organizaci a činnostmi: kdo je zodpovědný za jednotl. činnosti a koho se týkají, funkcemi a entitami: kdo je zodpovědný za tvorbu dat a kdo je používá, informačními systémy a entitami: které IS vytváří která data a které IS je používají, informačními systémy a činnostmi: které IS podporujií které činnosti. Nejlépe zmapovat pomocí metainformačního systému tak, aby mj. každá činnost a entita měla svého gestora.

12 Zmapování odpovědnosti a stanovení postupů její naplnění
kdo je zodpovědný za jednotl. činnosti a koho se týkají které IS podporujií které činnosti Procesy ČINNOSTI Organizační místa Výstupy z IS I S FUNKCE ENTITY které IS vytváří která data a které IS je používají Data kdo je zodpovědný za tvorbu dat a kdo je používá

13 Analýza odpovědnosti Organizační odpovědnost Kvalita podpory IS
Procesy ČINNOSTI Organizační místa Výstupy z IS I S FUNKCE ENTITY Informační architektura Odpovědnost za tvorbu dat Data

14 Kvalita dat DW a BI je dána
Kvalitou dat v systémech z nichž se data čerpají (transakční systémy). Kvalitou dat v externích souborech a číselnících, převzatých z jiných organizací a institucí (ČSÚ, ČNB, aj.) Kvalitou přenosových a transformačních procesů (ETL), včetně jejich procesního zabezpečení. Permanentními potenciálními narušovateli jsou změnová řízení ať již formou projektů či jen formou dílčích uživatelských požadavků ( i například ‚jen‘ opravy v transakčních systémech, nebo v číselnících.

15 Organizační zabezpečení správy DW
Jedná se o definování přesných odpovědností a pravomocí, workflow odpovídajících dokumentů a přístupů do všech částí DW tak, aby existovalo jedno místo, které je odpovědno za obsah všech souborů ve všech částech DW. Tento způsob je velice náročný na přesnost a včasnost práce lidského činitele a tedy je náchylný k chybám. Personifikace této činnosti bude spadat do náplně „Správce DW“ (DW Stewarda), jehož role i organizační zabezpečení, jsou odvislé od způsobu provádění ETL procesů v dané organizaci a použitého programového vybavení. Vzhledem ke způsobu pořizování dat z různých „legacy“systémů v procesu ETL, je nutno pro potřebu čištění dat použít další nástroje, umožňující syntakticko- sémantickou kontrolu dat, (např. Trillium, DataFlux aj. [8,10]

16 Metainformační systém (MtS)
„Základní charakteristika metainformačního systému“ , podle Voříška [5 ] je následující: Obecně pojem metasystém označuje systém, který popisuje, resp. modeluje jiný systém, v našem případě systém informační. Metainformační systém je jednotou metadatabáze (metadat) a operací, které umožňují uchování a zpracování metadat. Metadata popisují IS/IT podniku a jejich významné vazby. Metasystém je neodmyslitelným nástrojem systémové integrace IS

17 Dimenze MtS Důležitým východiskem pro tvorbu metainformačního systému BI a DW je nejen popis datových struktur a jejich použití v entitách, databázích, dokladech atp., ale i popisy významu těchto datových struktur, jejich definice na logické a fyzické úrovni a v neposlední řadě i vazeb mezi těmito strukturami. Rovněž pak i způsobu jejich zpracování, definování a kontroly. Podle metodologie MDIS [5], MtS umožňuje v tomto pojetí popisovat, analyzovat a řídit IS/IT z pohledu všech významných dimenzí z hlediska : datového, funkčního a procesního, softwarového, hardwarového, organizačního, personálního, ekonomického, metodického a časového

18 Metainformační systém BI a DW
Role a činnosti jsou pak uvedeny dále, kdežto nástroje typu glosář (definici pojmů) a tezaurus (definici vztahů mezi jednotlivými pojmy) implicitně předpokládáme, že jsou součástí SW dodaného pro tvorbu DW a ETL procesů. Výčet a funkčnosti nástrojů pro ETL procesy lze nalézt např. v [7]. Nutno dodat, že pracnost realizace ETL procesů podle [6] tvoří nadpoloviční část pracnosti tvorby celého DW. Pokud útvar Správa dat jej nemá, musí si jej vytvořit sám. K tomuto účelu je vhodné použít nějaký CASE nástroj např. ERWin ( umožňující vytváření entitně relačního modelu, důležitého předpokladu pak pro tvorbu skriptů a uložených procedur SQL.

19 ERD části metadat v ERwinu

20 Role a činnosti správy DW

21 Správa informačních zdrojů DW
Správa informačních zdrojů DW spočívá z: Přijímání požadavků na změnu DW (požadavek na novou aplikaci, úpravu atributů existujícího datového modelu či úpravu obsahu stávajících aplikací). Analýza požadavku a definice dalšího postupu – zvláště z pohledu konsolidovaného provedení změny do všech fyzických výskytů zdrojových bankovních informačních systémů). Promítnutí změny obsahu do všech „datamartů“ a evidence o změnách. Hlídání integrity dat z hlediska jak obsahové, tak časové správnosti v návaznosti na zdrojová data ze zdrojových systémů a dalších činností vyjádřených v předchozím schématu jako např. realizace ETL procesů, čištění dat, vytváření statistik o chybách, jejich analýze apod.). Někdy bývá tento útvar vyčleněn z IT a převeden do EKO, aby se po čase vrátil odkud byl vyčleněn.

22 Metodologie COBIT Metodologie COBIT (Control objectives
for Information and Related Technology)

23 COBIT - IT zdroje a procesy
Základní COBIT rozlišuje následující IT zdroje Lidé (people) Aplikace (application systems) Technologie (technology) Vybavení (facilities) Data (data) Základní COBIT definuje 34 procesů seskupených do čtyř následujících procesních domén : plánování a organizace, akvizice a implementace, poskytování a podpora, monitorování

24 Podpora COBIT pomocí CASE nástrojů

25 Nástroj ADOitTM pro podporu COBITu

26 BI metodologie ATRE Odkaz: Business Intelligence Navigator.mht

27 Audit BI a DW Podle ISACA (Information System Audit and Control Association), je auditem IS jakýkoliv audit, který zahrnuje prověření a hodnocení všech nebo jen některých aspektů systémů automatizovaného zpracování dat, včetně neautomatizovaných procesů a interface mezi nimi. Proto by se audit BI a DW měl podle [ 10] zaměřit na : obsah řešení (jaká data a informace auditované řešení poskytuje); funkcionalitu řešení (jaké prostředky pro získání informací dané/zkoumané řešení poskytuje – např. statické/dynamické/ad-hoc reporty, rozesílání informací em, publikace reportů na intranetu apod.); strategické a plánovací řídící procesy, zahrnující řízení a plánování rozsahu řešení, strategické a metodické řízení provozu a vývoje řešení, řízení finančních atributů řešení apod.

28 Porovnání stavu řešení BI
V rámci všech oblastí (podle 12), by měl být současný stav řešení podroben porovnání s: požadavky uživatelů řešení dané organizace, best-practices v rámci dané tržní vertikály a regionu, resp. země, mezinárodními best-practices. Konkrétní výčet použitých oblastí a hloubka analýzy jsou pak determinovány očekáváním od projektu, vyspělostí řešení BI a podnikovou kulturou organizace. Pro podrobnější postup auditu BI a DW lze vycházet také z metodiky ISACA – COBIT (Control Objectives for Information and related Technology

29 Literatura Loshin, D.: Business Intelligence, Morgan Kaufmann Publishers, San Francisco, 2003, ISBN-13: Miniberger, B.:Methodology of building MIS at IPB. Referát na mezinárodní konferenci SEUGI 16, Praha 1998 Miniberger, B., Kučera, M.: Použití datového slovníku pro návrh MIS. Seminář LBMS Praha Miniberger, B. a kol: Metodický audit Veřejné databáze. Český statistický úřad Voříšek,J.: Informační systémy a jejich řízení, BIVŠ, 1997 ISACA (Information System Audit and Control Association, dostupné z  Slánský D., Audit datového skladu, IT Systems, č.3/ 2006

30 Diskuse


Stáhnout ppt "Kvalita dat BI a DW - nezbytný předpoklad manažerského rozhodování"

Podobné prezentace


Reklamy Google