Nenechte se ovládat svými daty

Prezentace na téma: "Nenechte se ovládat svými daty"— Transkript prezentace:

1 Nenechte se ovládat svými daty
Martin Pavlík 7.-8.dubna 2008 ibm.com/cz/public

2 Datová / informační integrace
ibm.com/cz/public | 18-Sep-18

3 Proč je vůbec datová integrace takovou výzvou?
Data sídlí ve velkém množství nejrůznějších systémů … Data mají nejrůznější velikost a formát Data mají různý význam v různém kontextu Každý den přicházejí nová a nová data a je jich stále víc a víc Každý chce mít ale k dispozici ty správné použitelné informace . . . A co hůř ???! Chce je hned !!! Řešením je datová integrace ibm.com/cz/public | 18-Sep-18 3

4 Kde nachází datová integrace největší uplatnění ?
Racionalizace infrastruktury Datová kvalita a čistění dat Budování datového skladu ibm.com/cz/public | 18-Sep-18

5 Uplatnění: Racionalizace infrastruktury
Řešení pro následující situace: Několik informačních systémů, které nespolupracují Speciálním případem je slučování systémů / registrů Chybějící detailní znalost datových zdrojů informačních systémů Nemožnost zjistit přirozené vazby mezi klíčovými daty ibm.com/cz/public | 18-Sep-18

6 Uplatnění: Datová kvalita a čistění dat
Řešení pro následující situace: Existence duplicitních záznamů odpovídající jedné realné entitě Osoby, Dodavatelé, Zaměstnanci, Adresy, ... Nepořádek ve volných textových polích Jméno, Adresa, ... Neschopnost správného napárování stejných entit mezi systémy Je pan Vonásek v systému A stejný jako pan Vonásek v systému B? Ověření konzistence dat mezi různými datovými zdroji a rychlá náprava případných nesrovnalostí ibm.com/cz/public | 18-Sep-18

7 Uplatnění: Budování datového skladu
Řešení pro následující situace: Velké množství nehomogenních datových zdrojů pro datový sklad Požadavek na absolutní věrohodnost dat, která jsou prezentována vedoucím pracovníkům a mají tak zásadní vliv na rozhodování instituce Do datového skladu proudí obrovské množství dat ibm.com/cz/public | 18-Sep-18

8 IBM Information Server – Information Analyzer
Servisně-orientovaná architektura (SOA) Porozumění Čistění Transformace Federace Porozumění skutečným vlastnostem všech datových zdrojů Zkoumání akt. stavu, standardizace, párování a náprava situace Transformace dat a obohacování informací Virtuální přístup k nejrůznějším datovým zdrojům Integrovaná správa metadat Paralelní zpracování dat Data Konektivita Obsah Zpřístupnění, publikování a replikace informací ibm.com/cz/public | 18-Sep-18

9 IBM Information Server – Information Analyzer
Úplné porozumění Vašim datům Před tím, než se začnete zabývat tím, co s daty dělat, je potřeba vědět Co za data máte skutečně k dispozici Jestli jsou tím, čím se zdají být nebo co o nich někdo tvrdí Proboha, kdo dal do té cukřenky SŮL !!!? ibm.com/cz/public | 18-Sep-18

10 IBM Information Server – QualityStage
Servisně-orientovaná architektura (SOA) Porozumění Čistění Transformace Federace Porozumění skutečným vlastnostem všech datových zdrojů Zkoumání akt. stavu, standardizace, párování a náprava situace Transformace dat a obohacování informací Virtuální přístup k nejrůznějším datovým zdrojům Integrovaná správa metadat Paralelní zpracování dat Data Konektivita Obsah Zpřístupnění, publikování a replikace informací ibm.com/cz/public | 18-Sep-18

11 IBM Information Server – QualityStage
Typičtí „znečisťovatelé“ dat: Filip Dušek Krnov , nám. Bří Synků 1187/12 p. Ing. Dušek náměstí bratří Synků 12, Krnov pan Dušek Krnov, náměstí bří Synků 1187 Nedostatek standardů Nikdo neříká kam co a jak zadávat A když už to říká, tak v každém systému jinak Za jakých podmínek má vznikat nový záznam Zadávání dat do špatných polí Adresy v polích pro jména „Zneužívání“ polí k jiným účelům Překlepy Jana Novotná Průběžná 2243/48, Praha 10 Petra Švrčková Opavská 32, Ostrava - Poruba M: p.Divný, Nové Strašecí, Hlavní 17 So it is clear to see that understanding is important in any integration project, but why is cleansing important? The unfortunate truth is that every enterprise has to deal with data quality issues. Gartner estimates that data degrades at 2% per month. This causes many problems, where data can no longer be trusted, and often gives inconsistent results. There are five types of problems that we generally see within enterprise data stores. The first is a lack of information standards. Names, addresses, part numbers, and other data are entered in inconsistent ways, particularly across different systems. These differences make records look different, even when they are actually the same – like in the example with Kate Roberts represented in three different ways, with different address standards. Another common issue involves data surprises in individual fields. Data in the database is often misplaced, or fields are used for multiple purposes – as in the example, where the name field contains company and address information, tax id contains telephone numbers, and the telephone field has a variety of mistakes. This often leads to program and application errors, or it can result in misidentification of key products and customers. A third common problem is information buried in free-form fields. In this case valuable information is hidden away in text fields, Since these fields are difficult to query using SQL, this information is often not leveraged, although it likely has value to the business. This type of problem is common in product information and help desk case records. The fourth problem is data myopia – our term for the lack of consistent identifiers across different systems. Without adequate foreign-key relationships, it is impossible to get a complete view of information across systems. This example shows three products that look very different, but are actually the same. The final problem is redundancy within individual tables. This is extremely common, where data is re-entered into systems because the data entry mechanism is not aware that the original record is already there. This is a common side effect of lack of standards, but it is one of the worst data quality problems, since it links directly to costs and customer dissatisfaction. Jana Novotná Zázračná 6, Městec Králové Jana Nocotná Yáyračná 6, Městec Králové ibm.com/cz/public | 18-Sep-18 11

12 IBM Information Server – QualityStage
Insert Your Header Here. IBM Information Server – QualityStage 1. Zkoumání volných textových polí 2. Standardizace dat 3. Párování duplicitních dat 4. Definice “přeživších“ záznamů Čistící proces Fyzické osoby Právnické osoby Cílová DB Databáze s konsolidovanými pohledy Zaměstnanci Dodavatelé ibm.com/cz/public | 18-Sep-18

13 IBM Information Server – DataStage
Servisně-orientovaná architektura (SOA) Porozumění Čistění Transformace Federace Porozumění skutečným vlastnostem všech datových zdrojů Zkoumání akt. stavu, standardizace, párování a náprava situace Transformace dat a obohacování informací Virtuální přístup k nejrůznějším datovým zdrojům Integrovaná správa metadat Paralelní zpracování dat Data Konektivita Obsah Zpřístupnění, publikování a replikace informací ibm.com/cz/public | 18-Sep-18

14 IBM Information Server – DataStage
Intuitivní grafické prostředí pro modelování datových toků ibm.com/cz/public | 18-Sep-18

15 IBM Information Server – Information Services Director
Servisně-orientovaná architektura (SOA) Porozumění Čistění Transformace Federace Porozumění skutečným vlastnostem všech datových zdrojů Zkoumání akt. stavu, standardizace, párování a náprava situace Transformace dat a obohacování informací Virtuální přístup k nejrůznějším datovým zdrojům Integrovaná správa metadat Paralelní zpracování dat Data Konektivita Obsah Zpřístupnění, publikování a replikace informací ibm.com/cz/public | 18-Sep-18

16 IBM Information Server – příklad využití principů SOA
1.) Zadávání nové osoby Portál Jméno: Melicharová Martina Adresa: Opavská 9, OSTRAVA 2.) Čistící proces zavolaný jako Web Service 4.) Propagace informace o již existujících podobných záznamech zpět na portál Jméno Příjmení Titul Ulice Č. Domu Obec PSČ Martina Melicharová Opavská 9 Ostrava 705 01 Konsolidovaná DB osob 3.) Porovnání Jméno Příjmení Titul Ulice Č. Domu Obec PSČ Martina Melicharová Mgr. Opavská 9 Ostrava 705 01 ibm.com/cz/public | 18-Sep-18