Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Master Data Management Konsolidace databází a kvalita dat ve státní správě a samosprávě Konference ISSS Hradec Králové, 2.-3.4. 2007

Podobné prezentace


Prezentace na téma: "Master Data Management Konsolidace databází a kvalita dat ve státní správě a samosprávě Konference ISSS Hradec Králové, 2.-3.4. 2007"— Transkript prezentace:

1 Master Data Management Konsolidace databází a kvalita dat ve státní správě a samosprávě Konference ISSS Hradec Králové, © 2006, 2007 Adastra Corporation. All rights reserved.

2 Customer Intelligence Solutions O Adastře Kanadsko-česká společnost založená v roce 1994, působící v Evropě a severní Americe Přes 400 zaměstnanců Výnosy za rok 2006 více než 700 mil. Kč ISO 9001:2000 Moody’s certifikace Business–Software Solutions Master Data Management Master Data Integration MDM Consulting Data Quality Adastra Purity Business Intelligence DWH development Reporting ETL Development Data Mining Application Development Custom development Integration Enterprise architecture

3 Customer Intelligence Solutions Vybraní zákazníci

4 Customer Intelligence Solutions Partnerství

5 Customer Intelligence Solutions Ocenění za rok 2006 Adastra patří mezi TOP 10 systémových integrátorů v letech 2006 a 2004 Adastra se dvakrát umístila mezi 50 nejlépe řízenými společnostmi v Kanadě v letech 2006 a 2005 Adastra v žebříčku Fast 500 mezi pěti sty nejrychleji rostoucími firmami v regionu EMEA Adastra se opět umístila mezi nejrychleji rostoucími firmami ve střední Evropě v žebříčku "Technology Fast 50" Adastra je jednou z TOP 10 ICT firem roku 2006 Adastra získala titul Progresivní zaměstnavatel roku 2006, partnerem ocenění je společnost CzechInvest

6 Customer Intelligence Solutions Adastra – ocenění The Best Data Warehouse Innovator Award in Data Warehousing 1999 Excellence in Business Information Award 2002 Best Practices in CRM 2001 Best Practices in Data Warehousing 2004 Oracle Consulting Award (CEE) 2002 Oracle Partner of the Year (CZ) Microsoft Gold Certified Partner for Business Intelligence (CEE)

7 Customer Intelligence Solutions Agenda Místo úvodu Master Data Management je když… Adastra Purity Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

8 Customer Intelligence Solutions Namísto úvodu Poznámka: Hypotetický, ale ne příliš přehnaný příklad vzorku záznamů ze 4 systémů dvou organizací, které je třeba zkonsolidovat

9 Customer Intelligence Solutions Co je v jádru Master Data Managementu Unifikace Rozpoznání všech instancí jednoho subjektu v databázích ­ Jednoduchá – s využitím jednoduchých pravidel, bez čištění a standardizace unifikovaných dat (databáze, jednoduché algoritmy) ­ Pokročilá – s využitím sofistikovaných algoritmů unifikace po předchozím vyčištění a standardizaci unifikovaných dat (specializované nástroje) Merge Následný krok - fyzické vytvoření jednoho nového záznamu ze všech identifikovaných instancí

10 Customer Intelligence Solutions Unifikace 1 - lidský mozek Algoritmus: ?????? Výsledek Záznamy 1-11 téměř jistě označují jednu osobu 3 záznamy by bylo vhodné prověřit 2 záznamy označují jiné osoby

11 Customer Intelligence Solutions Algoritmus: Úplná shoda na atributy Jmeno, Prijmeni a RČ, Čištění: Diakritika, odstranění titulů, odstranění lomítek Výsledek Tyto záznamy pravděpodobně označují 11(!) různých osob Unifikace 2 – jednoduchý algoritmus

12 Customer Intelligence Solutions Unifikace 3 – specializovaná technologie Algoritmus: Parsing,čištení a standardizace dat z využitím báze pravidel pro danou lokalitu (ČR, SR) Hierarchická unifikace - pravděpodobnostní shoda na Jmeno, Prijmeni, RC, Titul1 a Titul2 s využitím asociativního párování Výsledek Téměř jistě tyto záznamy 1-11 označují jednu osobu 2 záznamy by bylo vhodné prověřit (možno předrozhodnout na základě pravidel) Záznamy 12, 13 patří dalším osobám

13 Customer Intelligence Solutions Využití a přínosy kvalitní unifikace Konsolidace údajů o firmách a organizacích ve městech a krajích Konsolidace informací o občanech tamtéž Sběr dat a jejich konsolidace na úrovních krajů a centrálních orgánů Vytvoření a provoz jednotných centrálních registrů – prvotní konsolidace bude velmi náročná na ruční kontrolu a automatizované „předčištění“ může znamenat významné úspory Identifikaci daného subjektu v registru i při neúplném/chybném vstupu Veškeré aplikace portálového typu a elektronických podání, kdy uživatel vkládá svoji identifikaci, adresu, identifikaci firmy apod. Vyčištění a deduplikace historických dat v rámci migrace na nové systémy ministerstev Obecně kdekoliv, kde je potřeba jednorázově nebo pravidelně konsolidovat více zdrojů dat a nalézt v nich záznamy týkající se jedné entity

14 Customer Intelligence Solutions Agenda Místo úvodu Master Data Management je když… Adastra Purity Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

15 Customer Intelligence Solutions MDM je když … Master Data Management se zabývá konsolidací klíčových master (referenčních, vzorových) dat tak, aby byla jednotná, správná, spolehlivá a aktuální vždy, když jsou používána, kdekoliv v celé organizaci. MDM se realizuje pomocí: ­ technických prostředků (klasických i nových, specializovaných technologií) ­ procesů, lidí, jejich organizace ­ znalostí (metodik, know-how) Na rozdíl od předchozích způsobů správy dat přináší „nemechanickou“ integraci dat, tj. konsolidace dat s ohledem na jejich obsah. Cílem zavedení MDM v organizaci je: konsolidace kritických podnikových informací zajištění integrity dat, jejich správnosti, platnosti a úplnosti zjednodušení správy komplexních dat zavedení jednoznačné zodpovědnosti za data zvýšení efektivity business rozhodování spolehlivé měření výkonnosti celé organizace Klíčové organizační koncepty v MDM jsou: Implementací pravidel zacházení s podnikovými daty (Data Governance) Výkonným mechanismem procesu vlastnictví, sdílení a péče o data (Data Stewardship)

16 Customer Intelligence Solutions MDM je nejen o technologiích MDM Front end Správa a údržba master dat Databáze Master dat Datová integrace / vstup Kvalita dat Datová a aplikační integrace / výstup Metadata Procesy datové kvality Správa dat (Data Governance) Sponzor Účastníci Organizace Procesy Integrace master dat +

17 Customer Intelligence Solutions MDI komponenty MDM Front end Správa a údržba master dat Databáze Master dat Datová integrace / vstup Technologie pro kvalitu dat Datová a aplikační integrace / výstup Metadata

18 Customer Intelligence Solutions Adastra, MDM a kvalita dat 10 let zkušeností ­ Konsolidace dat ­ Kvalita dat Vývoj vlastního produktu a metodiky ­ Nejprve jednoúčelová řešení ­ Pak samostatný produkt ­ Dnes samostatná divize ­ Vývoj ­ Implementace ­ Profesionální služby – oblast řízení kvality dat 20 realizovaných projektů v ČR, SR a Kanadě Adastra Purity – produkt pro čištění a unifikaci dat primárně určený pro střední Evropu a východ

19 Customer Intelligence Solutions Agenda Místo úvodu MDM je když… Adastra Purity Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

20 Customer Intelligence Solutions MDI komponenty – Adastra Purity MDM Front end Správa a údržba master dat Databáze Master dat Datová integrace / vstup Adastra Purity Datová a aplikační integrace / výstup Metadata

21 Customer Intelligence Solutions Adastra Purity Specializovaná technologie pro čištění a unifikaci (nejen) adresních dat a dat o osobách Nástroj pro řízení kvality dat Prostředek pro verifikaci kvality dat na vstupu do systémů Dodáváno s bohatou bází pravidel a číselníky pro příslušný region (ČR, SK) Doplněno metodikou pro procesy řízení kvality dat Kvalitní a výkonné řešení vyzkoušené mnoha implementacemi S plány vývoje do roku 2010, orientace na regiony CEE

22 Customer Intelligence Solutions Vyčištění názvu města

23 Customer Intelligence Solutions Vyčištění křestního jména

24 Customer Intelligence Solutions Konsolidace informací o osobách

25 Customer Intelligence Solutions Unifikace přes rč - změna příjmení u žen

26 Customer Intelligence Solutions Postup zpracování 1.Čištění 2.Náhrady chybných částí adresy (obce, ulice) 3.Parsing ( vzorů) 4.Dohledávání vazeb 5.Výběr nejlepšího vzoru 6.Určení adresního bodu 7.Spojení stejných adres do skupin (unifikace) 1.Čištění 2.Určení typu osoby (z RČ, IČO, příjmení, název firmy) 3.Čištění a validace RČ, IČO, dokladů, data narození, pohlaví, jmen a příjmení 4.Parsing jmen (tituly, křestní, příjmení) 5.Kde je třeba využijí se náhrady (cca 4 000) 6.Unifikace - spojení záznamů o jedné osobě do skupiny Adresy Osoby

27 Customer Intelligence Solutions Adastra Purity

28 Customer Intelligence Solutions Adastra Purity = technologie+metodiky Pokrývá technologie nebo metodika Purity Pokrývá obecná metodika nezávislá na technologii

29 Customer Intelligence Solutions Produkční systémy CDI DWH Operativní část Analytická část Klientská data Adastra Purity ETL DQ metadata Purity web service interface ETL DQ historie Reporty Adastra Purity v IT architektuře CDI front end Metadata Klientská data

30 Customer Intelligence Solutions Purity Manager

31 Customer Intelligence Solutions Purity On-line

32 Customer Intelligence Solutions Adastra Purity – klíčové vlastnosti Škálovatelnost ­ 64 bit architektura ­ Paměť ­ Multi-threading ­ On-line i batch mode Výkon ­ On-line – odezvy v řádu milisekund v prostředí velkých finančních institucí ­ Batch mode – desítky milionů záznamů v řádu hodin-dnů ­ Batch mode – závisí na přírůstku, ne na velikosti dat ­ Řádově rychlejší než jakýkoliv RDBMS Integrace ­ Purity navrženo jako komponenta do architektury ­ Různé možnosti integrace ­ Nezávislé na databázi ­ Jedna verze kódu pro různé platformy (pure Java) Flexibilita a otevřenost ­ Možnost konfigurovat na úrovni modulů nebo low-level algoritmů ­ Otevřený datový model ­ Vhodné pro jakékoliv business entity ­ UNICODE Lokální know-how ­ Metodiky ­ Pravidla ­ Jazyk ­ Kultura ­ Vyzkoušené řešení (15 instalací)

33 Customer Intelligence Solutions Purity Roadmap

34 Customer Intelligence Solutions Vybrané reference – MDM, kvalita dat Istrobanka Allianz Bell Canada Bank of Montreal ČSOB Pojišťovna (KBC Group) ČSOB (KBC Group) Česká pojišťovna Česká spořitelna (ERSTE) Consumer Finance Holding GE Money Bank HVB Bank ING Group Ministerstvo dopravy Poštová banka VÚB Dexia banka Union pojišťovna

35 Customer Intelligence Solutions Agenda Místo úvodu MDM je když… Adastra Purity Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

36 Customer Intelligence Solutions Procesy čištění dat Automatizované ­ Dávkové (sekundární) ­ On-line ­ Preventivní („DQ firewall“) Manuální ­ Metodika řízení datové kvality ­ Organizace a procesy ­ Data Governance MDM Front end Správa a údržba master dat Databáze Master dat Datová integrace / vstup Kvalita dat Datová a aplikační integrace / výstup Metadata Procesy datové kvality Správa dat (Data Governance) Sponzor Účastníci Organizace Procesy Integrace master dat +

37 Customer Intelligence Solutions Data Governance – účel, cíl, očekávání Akční program pro řízení datové kvality ­ na globální - celopodnikové úrovni ­ se zahrnutím zástupců všech dotčených systémů ­ procházející napříč liniemi, útvary, projekty a iniciativami Soubor rolí, jejich zodpovědností a procesů, které jsou potřebné pro řízení informační hodnoty uchovávaných dat Pokrývá oblasti: ­ správa datové architektury z pohledu business potřeb a její provázání na IT architekturu ­ datová integrace ­ správa metadat ­ řízení datové kvality (DQM)

38 Customer Intelligence Solutions Program Data Governance Aktivity programu DG ­ Přesahují horizont samotné databáze CCD ­ Jejich úspěch závisí na efektivním pokrytí celého životního cyklu dat od okamžiku pořízení v primárních systémech, přes zpracování v CCD, až po prezentaci na front-endu JOK PK a zpětné promítnutí do PS Nároky programu DG ­ Zasazení vysoko v organizační struktuře (náměstci, GŘ) ­ Existence sponzora na exekutivní úrovni ­ Zavedení procesů, pokrývajících veškeré informační systémy pojišťovny

39 Customer Intelligence Solutions Program Data Governance Klíčové součásti ­ Sponzor ­ Organizační schéma ­ Procesy Klíčové role ­ Sponzor programu DG ­ Vlastník procesů DQM (Data Quality Manager) ­ Správci dat (Data Stewardship) ­ Korporátní datový správce (stevard) ­ Doménoví (linioví) datoví správci (stevardi) ­ Systémoví datoví správci (stevardi) Klíčové skupiny (stakeholders) ­ Vlastníci dat ­ Správci dat (datoví stevardi) ­ Odběratelé (konzumenti, beneficienti) dat

40 Customer Intelligence Solutions Data Governance – organizační schema

41 Customer Intelligence Solutions Popis skupin DG Vlastníci dat ­ Oddělení nebo skupiny, které produkují data a poskytují je organizaci ­ Vlastní „obsah“ dat ­ Jsou zodpovědní za definici a kvalitu tohoto obsahu Datoví správci (stevardi) ­ Pověření zástupci, kteří jménem organizace spravují data a řídí související procesy ­ Zajišťují plnění SLA na rozsah a kvalitu datového obsahu Odběratelé dat (beneficienti) ­ Konzumenti dat, kteří jejich používáním získávají určitou měřitelnou hodnotu ­ Koncoví uživatelé ­ Navazující systémy a procesy ­ Partneři pojišťovny

42 Customer Intelligence Solutions Agenda Místo úvodu MDM je když… Adastra Purity Organizační opatření pro MDM Kde začít s MDM a řízením kvality dat? Dotazy

43 Customer Intelligence Solutions Kde začít s MDM projektem? Typický první inkrement MDM

44 Customer Intelligence Solutions První krok k lepší kvalitě dat - příklad Data Integration HW PROJECT START, Data and HW ready Profiling Cleansing Unification Matching Business Rules defined Final presentation PROJECT END Doc. SW working days Analýza kvality adresních dat a osob Vyčištění a identifikace adres Vyčištění a unifikace informací o osobách Jednorázově Na přání kompletní outsourcing – bez nutnosti investovat do SW a HW infrastruktury

45 Customer Intelligence Solutions Pokročilejší přístup Kde začít s MDI projektem?

46 Customer Intelligence Solutions Děkuji za pozornost Doplňující informace viz sborník konference ISSS 2007

47 CANADA ADASTRA Corporation Le Parc Office Tower 8500 Leslie Street, Suite 600 Markham, Ontario, L3T 7M8 CANADA Tel: Fax: GERMANY ADASTRA GmbH Bockenheimer Landstraße 17/ Frankfurt GERMANY Tel: +49 (0) Fax: +49 (0) CZECH REPUBLIC ADASTRA, s.r.o. Nile House Karolinská 654/ Praha 8 - Karlín CZECH REPUBLIC Tel.: Fax: SLOVAKIA ADASTRA, s.r.o. Francisciho Bratislava SLOVAKIA tel: fax: © 2006, 2007 Adastra Corporation. All rights reserved.

48 Customer Intelligence Solutions Vybrané reference HVB Bank – DQ, CDI ­ Projekt pravidelného čištění a unifikace klientských záznamů v rámci projektu vývoje zákaznického DW, Purity.360 Consumer Finance Holding – DQ, CDI ­ Projekt čištění a unifikace osob, součást komplexního projektu budování DW, Purity.360 Všeobecná úverová banka – SK – DQ, CDI ­ Komplexní projekt konsolidace klienta, jeho součástí čištění dat o zákaznících a a deduplikace a obohacení klientských záznamů z 8 primárních systémů včetně zpětné propagace, Purity.360 Allianz – DQ, CDI ­ Budování Customer DW, realisace klientského pohledu Integrální součástí je Purity.360

49 Customer Intelligence Solutions Vybrané reference ČSOB – DQ ­ Konsolidace dat postupně migrovaných do centrální databáze ČSOB Pojišťovna – DQ, CDI, PIM ­ Systém pro trvalé čištění a obohacování zákaznických dat včetně on-line identifikace, Purity.360 Česká pojišťovna – DQ, CDI, MDM ­ Studie CCD (Purity.360 využito v analýze, dnes realisace plnohodnotné online konsolidace) Česká spořitelna – DQ, CDI ­ Konsolidace dat v rámci velkého projektu GE – DQ, CDI ­ Integrace dat ze 4 dceřiných společností ­ Konsolidace klinetských dat pro reporting (Basel II) ­ On-line identifikace klientů, kontaktů a motorových vozidel ­ Householding (domácnosti a komerční)

50 Customer Intelligence Solutions Vybrané reference – ostatní Český telecom – DQ ­ Čištění, unifikace a obohacení osobních údajů všech klientů Českého telecomu, Purity.360 Ministerstvo dopravy – DQ ­ Čištění dat o držitelích řidičských průkazů Další reference ­ ING Group ­ Mapa SK ­ Istrobanka ­ Dexia


Stáhnout ppt "Master Data Management Konsolidace databází a kvalita dat ve státní správě a samosprávě Konference ISSS Hradec Králové, 2.-3.4. 2007"

Podobné prezentace


Reklamy Google