Ing. David Pejčoch Cvičení č. 1 Řízení datové kvality Ing. David Pejčoch Cvičení č. 1

Osnova Cíle praktických cvičení Výstupy ze cvičení Analýza zadání praktické úlohy Proč se zabývat datovou kvalitou Architektura auditované firmy Popis situace Seznámení s dostupnými datovými zdroji pro úlohu Popis nástroje Talend Open Studio Popis nástroje CADaQuES

Cíle praktických cvičení Seznámit s funkcionalitou nástrojů pro řízení datové kvality Na praktických úlohách vyzkoušet audit datové kvality a návrh nápravných opatření Praktická demonstrace metod pro zvyšování datové kvality

Zadání praktické úlohy – 1. část S pomocí nástroje Talend Open Studio for Data Quality vytvořte profilaci dat (základní popisné statistiky, četnosti jednotlivých vzorů, …) Proveďte verifikaci proti dostupným číselníkům, registrům a validaci pomocí regulárních výrazů) Spočtěte úroveň kvantitativních vlastností dat (správnost, úplnost, konzistentnost, …) Na příkladu modelové firmy odhadněte roční výši nákladů na nekvalitní data Porovnejte možné přínosy nápravných opatření s vynaloženými náklady Proveďte prioritizaci scope řízení datové kvality Navrhněte externí datové zdroje pro obohacení Navrhněte strategii pro doplnění chybějících hodnot Výstup: dokument Zpráva auditora (viz šablona)

Zadání praktické úlohy – 2. část Proveďte standardizaci hodnot vybraných atributů Doplňte chybějící hodnoty podle navržené strategie Proveďte unifikaci a deduplikaci klientů Navrhněte byznys pravidla pro předcházení dalšímu vzniku chyb v datech Výstup: příloha k dokumentu Zpráva auditora, výstupní data (viz pokyny níže)

Pokyny pro formát odevzdaných dat Datová kvalita je vždy dodatečná informace, proto imputované / opravené hodnoty, informaci o slučování klientů, určení master záznamu vkládejte vždy do nových atributů označených suffixem _CL. Data odevzdejte formou txt extraktu (textový soubor oddělený svislítkem jako oddělovačem, kódování UTF8)

Architektura auditované firmy: jak to má být

Popis situace V architektuře pojišťovny zcela chybí MDM Hub centralizující kmenová data klientů. Vstupní kontroly duplicit jsou realizovány pouze na úrovni dvou oddělených provozních systémů. Online pojištění má svou vlastní datovou bázi a je s provozním systémem neživotního pojištění integrováno až v okamžiku, kdy dojde k platbě prvního pojistného. Klienti jsou v rámci aplikace pro online pojištění vždy nově zakládáni a stejně tak následně při jejich importu do systému neživotního pojištění. Provizní systém je napojen na oba systémy pro správu smluv, nicméně v rámci něj opět nedochází k deduplikaci klienta, neboť pro něj je stěžejní pohled přes jednotlivé získatele jednotlivých smluv, kteří mohou být u jednoho klienta rozdílní. K deduplikaci nedochází ani na úrovni datového skladu. Klient je na jeho úrovni definován na bázi identifikátoru z primárního systému, resp. rodného čísla / IČa.

Architektura auditované firmy

Datový model: PART_PARTY Název atributu Popis Datový typ PARTY_ID Primární klíč BIGINT PARTY_TYPE Typ klienta (C = Commercial, P = Private) CHAR(1) PARTY_FNAME Křestní jméno klienta VARCHAR(45) PARTY_LNAME Příjmení klienta VARCHAR(60) PARTY_NAME Název společnosti VARCHAR(255) PARTY_FORM Právní forma společnosti SMALLINT PARTY_CREGNUM Komerční registrační číslo VARCHAR(8) PARTY_RC Rodné číslo VARCHAR(10) PARTY_COUNTRY Kód země původu CHAR(3) PARTY_POFBIRTH Místo narození PARTY_AGE Věk klienta INT PARTY_GENDER Pohlaví klienta (M = Male, F = Female, O = Other) PARTY_DOFBIRTH Datum narození DATE PARTY_TITBEF Titul před jménem PARTY_TITAFT Titul za jménem PARTY_ESA95 Kód institucionálního sektoru PARTY_OKEC OKEČ kód CHAR(5) PARTY_SINCE Datum počátku statutu klient

Datový model: PART_ADDRESS Název atributu Popis Datový typ ADDR_ID Primární klíč BIGINT PARTY_ID Odkaz na ID tabulky PART_PARTY ADDR_TYPE Typ adresy (R = Resident, C = Correspondential, O = Other) CHAR(1) ADDR_COUNTRY Kód země CHAR(3) ADDR_CITY Město VARCHAR(60) ADDR_STREET Ulice VARCHAR(100) ADDR_NUM1 Číslo popisné VARCHAR(10) ADDR_NUM2 Číslo orientační ADDR_ZIP PSČ CHAR(5)

Datový model: PART_CONTACT Název atributu Popis Datový typ CONT_ID Primární klíč BIGINT PARTY_ID Odkaz na ID tabulky PART_PARTY CONT_TYPE Typ kontaktu (M = Mobil Phone, T = Telephone, E = Email, W = web) CHAR(1) CONT_PRIMARY_FLG Příznak primárního kontaktu (Y = Yes) CONT_VALUE Konkrétní kontakt VARCHAR(100)

Datový model: PROD_CONTRACT Název atributu Popis Datový typ CNTR_ID Primární klíč BIGINT PARTY_ID Odkaz na ID tabulky PART_PARTY PRODUCT_CODE Identifikátor produktu CHAR(3) CNTR_VALIDFROM Datum počátku kontraktu DATE CNTR_VALIDTO Datum konce kontraktu CNTR_CANCTYPE Typ ukončení kontraktu SMALLINT CNTR_PAY_FREQ Frekvence placení pojistného

Relevantní datové zdroje UIR-ADR Registr ekonomických subjektů (není volně dostupný) Číselníky České pošty Registr vozidel MVČR Číselníky titulů, jmen a příjmení na MVČR Credit Info – možný extrakt? Číselníky ČSÚ Kódy měn – ČNB Kody zemí - ČSÚ