Master Data Management Konsolidace databází a kvalita dat ve státní správě a samosprávě Konference ISSS Hradec Králové, 2.-3.4. 2007 michal.klaus@adastracorp.com.

Prezentace na téma: "Master Data Management Konsolidace databází a kvalita dat ve státní správě a samosprávě Konference ISSS Hradec Králové, 2.-3.4. 2007 michal.klaus@adastracorp.com."— Transkript prezentace:

1 Master Data Management Konsolidace databází a kvalita dat ve státní správě a samosprávě Konference ISSS Hradec Králové, © 2006, 2007 Adastra Corporation. All rights reserved.

2 Business–Software Solutions
O Adastře Kanadsko-česká společnost založená v roce 1994, působící v Evropě a severní Americe Přes 400 zaměstnanců Výnosy za rok 2006 více než 700 mil. Kč ISO 9001:2000 Moody’s certifikace Business–Software Solutions Master Data Management Integration MDM Consulting Data Quality Adastra Purity Business Intelligence DWH development Reporting ETL Development Data Mining Application Development Custom development Enterprise architecture

3 Vybraní zákazníci

4 Partnerství

5 Ocenění za rok 2006 Adastra je jednou z TOP 10 ICT firem roku 2006
Adastra patří mezi TOP 10 systémových integrátorů v letech 2006 a 2004 Adastra se dvakrát umístila mezi 50 nejlépe řízenými společnostmi v Kanadě v letech 2006 a 2005 Adastra se opět umístila mezi nejrychleji rostoucími firmami ve střední Evropě v žebříčku "Technology Fast 50" Adastra v žebříčku Fast 500 mezi pěti sty nejrychleji rostoucími firmami v regionu EMEA Adastra získala titul Progresivní zaměstnavatel roku 2006, partnerem ocenění je společnost CzechInvest

6 Adastra – ocenění 2004 Oracle Consulting Award (CEE)
2002 Oracle Partner of the Year (CZ) Microsoft Gold Certified Partner for Business Intelligence (CEE) 2002 Best Practices in CRM 2001 Best Practices in Data Warehousing The Best Data Warehouse 2000 2000 Innovator Award in Data Warehousing 1999 Excellence in Business Information Award

7 Agenda Místo úvodu Master Data Management je když… Adastra Purity
Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

8 Namísto úvodu Poznámka:
Hypotetický, ale ne příliš přehnaný příklad vzorku záznamů ze 4 systémů dvou organizací, které je třeba zkonsolidovat

9 Co je v jádru Master Data Managementu
Unifikace Rozpoznání všech instancí jednoho subjektu v databázích Jednoduchá – s využitím jednoduchých pravidel, bez čištění a standardizace unifikovaných dat (databáze, jednoduché algoritmy) Pokročilá – s využitím sofistikovaných algoritmů unifikace po předchozím vyčištění a standardizaci unifikovaných dat (specializované nástroje) Merge Následný krok - fyzické vytvoření jednoho nového záznamu ze všech identifikovaných instancí

10 Unifikace 1 - lidský mozek
Algoritmus: ?????? Výsledek Záznamy 1-11 téměř jistě označují jednu osobu 3 záznamy by bylo vhodné prověřit 2 záznamy označují jiné osoby

11 Unifikace 2 – jednoduchý algoritmus
Úplná shoda na atributy Jmeno, Prijmeni a RČ, Čištění: Diakritika, odstranění titulů, odstranění lomítek Výsledek Tyto záznamy pravděpodobně označují 11(!) různých osob

12 Unifikace 3 – specializovaná technologie
Algoritmus: Parsing,čištení a standardizace dat z využitím báze pravidel pro danou lokalitu (ČR, SR) Hierarchická unifikace - pravděpodobnostní shoda na Jmeno, Prijmeni, RC, Titul1 a Titul2 s využitím asociativního párování Výsledek Téměř jistě tyto záznamy 1-11 označují jednu osobu 2 záznamy by bylo vhodné prověřit (možno předrozhodnout na základě pravidel) Záznamy 12, 13 patří dalším osobám

13 Využití a přínosy kvalitní unifikace
Konsolidace údajů o firmách a organizacích ve městech a krajích Konsolidace informací o občanech tamtéž Sběr dat a jejich konsolidace na úrovních krajů a centrálních orgánů Vytvoření a provoz jednotných centrálních registrů – prvotní konsolidace bude velmi náročná na ruční kontrolu a automatizované „předčištění“ může znamenat významné úspory Identifikaci daného subjektu v registru i při neúplném/chybném vstupu Veškeré aplikace portálového typu a elektronických podání, kdy uživatel vkládá svoji identifikaci, adresu, identifikaci firmy apod. Vyčištění a deduplikace historických dat v rámci migrace na nové systémy ministerstev Obecně kdekoliv, kde je potřeba jednorázově nebo pravidelně konsolidovat více zdrojů dat a nalézt v nich záznamy týkající se jedné entity

14 Agenda Místo úvodu Master Data Management je když… Adastra Purity
Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

15 MDM je když … Master Data Management se zabývá konsolidací klíčových master (referenčních, vzorových) dat tak, aby byla jednotná, správná, spolehlivá a aktuální vždy, když jsou používána, kdekoliv v celé organizaci. MDM se realizuje pomocí: technických prostředků (klasických i nových, specializovaných technologií) procesů, lidí, jejich organizace znalostí (metodik, know-how) Na rozdíl od předchozích způsobů správy dat přináší „nemechanickou“ integraci dat, tj. konsolidace dat s ohledem na jejich obsah. Cílem zavedení MDM v organizaci je: konsolidace kritických podnikových informací zajištění integrity dat, jejich správnosti, platnosti a úplnosti zjednodušení správy komplexních dat zavedení jednoznačné zodpovědnosti za data zvýšení efektivity business rozhodování spolehlivé měření výkonnosti celé organizace Klíčové organizační koncepty v MDM jsou: Implementací pravidel zacházení s podnikovými daty (Data Governance) Výkonným mechanismem procesu vlastnictví, sdílení a péče o data (Data Stewardship)

16 + MDM je nejen o technologiích Správa dat Integrace master dat Sponzor
MDM Front end Správa a údržba master dat Databáze Master dat Datová integrace / vstup Kvalita dat Datová a aplikační integrace / výstup Metadata Procesy datové kvality Správa dat (Data Governance) Sponzor Účastníci Organizace Procesy Integrace master dat +

17 MDI komponenty Datová integrace / vstup Technologie
MDM Front end Správa a údržba master dat Databáze Master dat Datová integrace / vstup Technologie pro kvalitu dat Datová a aplikační integrace / výstup Metadata

18 Adastra, MDM a kvalita dat
10 let zkušeností Konsolidace dat Kvalita dat Vývoj vlastního produktu a metodiky Nejprve jednoúčelová řešení Pak samostatný produkt Dnes samostatná divize Vývoj Implementace Profesionální služby – oblast řízení kvality dat 20 realizovaných projektů v ČR, SR a Kanadě Adastra Purity – produkt pro čištění a unifikaci dat primárně určený pro střední Evropu a východ

19 Agenda Místo úvodu MDM je když… Adastra Purity
Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

20 MDI komponenty – Adastra Purity
Datová integrace / vstup Adastra Purity Databáze Master dat Metadata MDM Front end Správa a údržba master dat Datová a aplikační integrace / výstup

21 Adastra Purity Specializovaná technologie pro čištění a unifikaci (nejen) adresních dat a dat o osobách Nástroj pro řízení kvality dat Prostředek pro verifikaci kvality dat na vstupu do systémů Dodáváno s bohatou bází pravidel a číselníky pro příslušný region (ČR, SK) Doplněno metodikou pro procesy řízení kvality dat Kvalitní a výkonné řešení vyzkoušené mnoha implementacemi S plány vývoje do roku 2010, orientace na regiony CEE

22 Vyčištění názvu města

23 Vyčištění křestního jména

24 Konsolidace informací o osobách

25 Unifikace přes rč - změna příjmení u žen

26 Postup zpracování Adresy Osoby Čištění
Náhrady chybných částí adresy (obce, ulice) Parsing ( vzorů) Dohledávání vazeb Výběr nejlepšího vzoru Určení adresního bodu Spojení stejných adres do skupin (unifikace) Čištění Určení typu osoby (z RČ, IČO, příjmení, název firmy) Čištění a validace RČ, IČO, dokladů, data narození, pohlaví, jmen a příjmení Parsing jmen (tituly, křestní, příjmení) Kde je třeba využijí se náhrady (cca ) Unifikace - spojení záznamů o jedné osobě do skupiny

27 Adastra Purity

28 Adastra Purity = technologie+metodiky
Pokrývá technologie nebo metodika Purity Pokrývá obecná metodika nezávislá na technologii

29 Purity web service interface
Adastra Purity v IT architektuře DWH DQ historie Reporty Klientská data Analytická část CDI front end CDI ETL Metadata ETL Adastra Purity DQ metadata ETL Operativní část Klientská data Purity web service interface Produkční systémy

30 Purity Manager

31 Purity On-line

32 Adastra Purity – klíčové vlastnosti
Škálovatelnost 64 bit architektura Paměť Multi-threading On-line i batch mode Výkon On-line – odezvy v řádu milisekund v prostředí velkých finančních institucí Batch mode – desítky milionů záznamů v řádu hodin-dnů Batch mode – závisí na přírůstku, ne na velikosti dat Řádově rychlejší než jakýkoliv RDBMS Integrace Purity navrženo jako komponenta do architektury Různé možnosti integrace Nezávislé na databázi Jedna verze kódu pro různé platformy (pure Java) Flexibilita a otevřenost Možnost konfigurovat na úrovni modulů nebo low-level algoritmů Otevřený datový model Vhodné pro jakékoliv business entity UNICODE Lokální know-how Metodiky Pravidla Jazyk Kultura Vyzkoušené řešení (15 instalací)

33 Purity Roadmap

34 Vybrané reference – MDM, kvalita dat
Istrobanka Allianz Bell Canada Bank of Montreal ČSOB Pojišťovna (KBC Group) ČSOB (KBC Group) Česká pojišťovna Česká spořitelna (ERSTE) Consumer Finance Holding GE Money Bank HVB Bank ING Group Ministerstvo dopravy Poštová banka VÚB Dexia banka Union pojišťovna

35 Agenda Místo úvodu MDM je když… Adastra Purity
Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

36 + Procesy čištění dat Automatizované Manuální Dávkové (sekundární)
On-line Preventivní („DQ firewall“) Manuální Metodika řízení datové kvality Organizace a procesy Data Governance MDM Front end Správa a údržba master dat Databáze Master dat Datová integrace / vstup Kvalita dat Datová a aplikační integrace / výstup Metadata Procesy datové kvality Správa dat (Data Governance) Sponzor Účastníci Organizace Procesy Integrace master dat +

37 Data Governance – účel, cíl, očekávání
Akční program pro řízení datové kvality na globální - celopodnikové úrovni se zahrnutím zástupců všech dotčených systémů procházející napříč liniemi, útvary, projekty a iniciativami Soubor rolí, jejich zodpovědností a procesů, které jsou potřebné pro řízení informační hodnoty uchovávaných dat Pokrývá oblasti: správa datové architektury z pohledu business potřeb a její provázání na IT architekturu datová integrace správa metadat řízení datové kvality (DQM)

38 Program Data Governance
Aktivity programu DG Přesahují horizont samotné databáze CCD Jejich úspěch závisí na efektivním pokrytí celého životního cyklu dat od okamžiku pořízení v primárních systémech, přes zpracování v CCD, až po prezentaci na front-endu JOK PK a zpětné promítnutí do PS Nároky programu DG Zasazení vysoko v organizační struktuře (náměstci, GŘ) Existence sponzora na exekutivní úrovni Zavedení procesů, pokrývajících veškeré informační systémy pojišťovny

39 Program Data Governance
Klíčové součásti Sponzor Organizační schéma Procesy Klíčové role Sponzor programu DG Vlastník procesů DQM (Data Quality Manager) Správci dat (Data Stewardship) Korporátní datový správce (stevard) Doménoví (linioví) datoví správci (stevardi) Systémoví datoví správci (stevardi) Klíčové skupiny (stakeholders) Vlastníci dat Správci dat (datoví stevardi) Odběratelé (konzumenti, beneficienti) dat

40 Data Governance – organizační schema

41 Popis skupin DG Vlastníci dat Datoví správci (stevardi)
Oddělení nebo skupiny, které produkují data a poskytují je organizaci Vlastní „obsah“ dat Jsou zodpovědní za definici a kvalitu tohoto obsahu Datoví správci (stevardi) Pověření zástupci, kteří jménem organizace spravují data a řídí související procesy Zajišťují plnění SLA na rozsah a kvalitu datového obsahu Odběratelé dat (beneficienti) Konzumenti dat, kteří jejich používáním získávají určitou měřitelnou hodnotu Koncoví uživatelé Navazující systémy a procesy Partneři pojišťovny

42 Agenda Místo úvodu MDM je když… Adastra Purity
Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

43 Kde začít s MDM projektem?
Typický první inkrement MDM

44 První krok k lepší kvalitě dat - příklad
Analýza kvality adresních dat a osob Vyčištění a identifikace adres Vyčištění a unifikace informací o osobách Jednorázově Na přání kompletní outsourcing – bez nutnosti investovat do SW a HW infrastruktury Data Integration HW PROJECT START, Data and HW ready Profiling Cleansing Unification Matching Business Rules defined Final presentation PROJECT END Doc. SW working days 3 10 15 23

45 Kde začít s MDI projektem?
Pokročilejší přístup

46 Děkuji za pozornost Doplňující informace viz sborník konference ISSS 2007

47 CANADA ADASTRA Corporation Le Parc Office Tower 8500 Leslie Street, Suite 600 Markham, Ontario, L3T 7M8 CANADA Tel: Fax: GERMANY ADASTRA GmbH Bockenheimer Landstraße 17/ Frankfurt GERMANY Tel: +49 (0) Fax: +49 (0) CZECH REPUBLIC ADASTRA, s.r.o. Nile House Karolinská 654/ Praha 8 - Karlín CZECH REPUBLIC Tel.: Fax: SLOVAKIA ADASTRA, s.r.o. Francisciho Bratislava SLOVAKIA tel: fax: © 2006, 2007 Adastra Corporation. All rights reserved.

48 Vybrané reference HVB Bank – DQ, CDI
Projekt pravidelného čištění a unifikace klientských záznamů v rámci projektu vývoje zákaznického DW, Purity.360 Consumer Finance Holding – DQ, CDI Projekt čištění a unifikace osob, součást komplexního projektu budování DW, Purity.360 Všeobecná úverová banka – SK – DQ, CDI Komplexní projekt konsolidace klienta, jeho součástí čištění dat o zákaznících a a deduplikace a obohacení klientských záznamů z 8 primárních systémů včetně zpětné propagace, Purity.360 Allianz – DQ, CDI Budování Customer DW, realisace klientského pohledu Integrální součástí je Purity.360

49 Vybrané reference ČSOB – DQ ČSOB Pojišťovna – DQ, CDI, PIM
Konsolidace dat postupně migrovaných do centrální databáze ČSOB Pojišťovna – DQ, CDI, PIM Systém pro trvalé čištění a obohacování zákaznických dat včetně on-line identifikace, Purity.360 Česká pojišťovna – DQ, CDI, MDM Studie CCD (Purity.360 využito v analýze, dnes realisace plnohodnotné online konsolidace) Česká spořitelna – DQ, CDI Konsolidace dat v rámci velkého projektu GE – DQ, CDI Integrace dat ze 4 dceřiných společností Konsolidace klinetských dat pro reporting (Basel II) On-line identifikace klientů, kontaktů a motorových vozidel Householding (domácnosti a komerční)

50 Vybrané reference – ostatní
Český telecom – DQ Čištění, unifikace a obohacení osobních údajů všech klientů Českého telecomu, Purity.360 Ministerstvo dopravy – DQ Čištění dat o držitelích řidičských průkazů Další reference ING Group Mapa SK Istrobanka Dexia