© Adastra, Confidential Řešení datového skladu v prostředí Celní správy ČR Data pod kontrolou Připraveno pro konferenci ISSS 2008 David Kaláb , Hradec Králové

2 Hlavní motto 1/2 Je pěkné mít data nashromážděná, ještě lepší je však mít data vhodně uspořádaná a dostupná

3 Hlavní motto 2/2  Sběr dat ̶ Obvykle není problém ̶ Úloha primárních systémů  Vhodné uspořádání dat ̶ Často problematické ̶ Úloha datového skladu  Dostupnost dat ̶ Problematické ̶ Úloha datového skladu

4 Situace před nasazením Datového skladu

5 Situace před nasazením datového skladu - hlavní charakteristiky  Data jsou rozmístěna po několika až mnoha primárních systémech  Vzájemná provázanost primárních systémů je na nízké úrovni  Požadavky na datové výstupy (reporty, exporty, datové pohledy, …) jsou řešeny prostřednictvím mnoha tzv. „tvůrců reportů“ (informatici, správci systémů, administrátoři, vývojáři, analytici, power users …)  Datové výstupy různých tvůrců jsou díky neexistující jednotné metodice těžko porovnatelné

6 Situace před nasazením datového skladu - nevýhody  Obtížné, problémové i nemožné vytváření konsolidovaných datových výstupů  Obtížná porovnatelnost datových výstupů z různých oblastí (primárních systémů)  Obtížná porovnatelnost dat i v rámci 1 systému např. po změně aplikace primárního systému  Data primárních systémů jsou často nevalidovaná na číselníky (nejasná čistota dat)  Velké nároky na „tvůrce reportů“  Dlouhá doba na uspokojování požadavků (dny, týdny)  Nemožnost zadávání mlhavých požadavků  Nemožnost analýzy dat

7 Situace po nasazení Datového skladu … co je Datový sklad? Datový sklad CS ČR je řešení (komponenty, nástroje, způsob zpracování dat, způsob práce s daty, prezentace dat…)

8 Hlavní přínosy datového skladu pro CS ČR  Konsolidace dat  Možnost analýzy dat  Jediná verze pravdy  Snadná dostupnost dat  Nové reporty a pohledy na data  Podpora čištění dat  Odlehčení primárním systémům  DS jako zdroj pro specializované aplikace  Centralizace dat

9 Konsolidace dat 1/2 Xyz, s.r.o. Xyz XYZ s.r.o. Xzy  Konsolidace číselníků  Např. číselníky organizací

10  Konsolidace oblastí / agend / evidencí Konsolidace dat 2/2

11 Možnost analýzy dat  DS obsahuje data ve strukturách podporujících efektivní analýzu dat ̶ Podpora analytických funkcí ̶ Zajištění rychlé odezvy  DS je věcně orientovaný ̶ Analytik neztrácí čas studiem datových struktur, vztahů mezi daty, …  DS obsahuje analytické nástroje umožňující efektivně využívat data v DS pro provádění analýz. ̶ Uživatelské rozhraní ̶ Analytické funkce ̶ Grafické výstupy  DS umožňuje zadávat mlhavé dotazy a postupně je zpřesňovat  DS umožňuje zadávat ad-hoc dotazy

12 Jediná verze pravdy  Pravda může mít mnoho verzí  Výstupy z různých systémů mohou být obtížně porovnatelné  Datový sklad definuje společné principy, pravidla a algoritmy, kterými jsou zpracována veškerá data

13 Snadná dostupnost dat  Data v datovém skladu mohou být snadno dostupná všem pracovníkům organizace  Stačí pouze přidělit patřičná přístupová oprávnění  Pomocí klientských analytických nástrojů a obecného dotazovacího nástroje si může uživatel během několika sekund vytvořit vlastní datové výstupy (reporty, datové pohledy, …)

14 Nové reporty a pohledy na data 1/2  Nové možnosti DS (konsolidace dat, možnost zadávání mlhavých dotazů a možnost ad-hoc dotazování, …) umožňují vznik novým reportům a pohledům na data

15 Nové reporty a pohledy na data 2/2 Pozn. Jedná se o surové agregace dat datového skladu, které nejsou očištěným výstupem dle metodiky vykazování zahraničního obchodu ČR.

16 Podpora „čištění“ dat 1/2  Primární data vykazují různou „čistotu“ ̶ Překlepy ve jménech, názvech, … ̶ Odkazy na neexistující číselníkové záznamy a neexistující dokumenty ̶ Zjevně nesprávné hodnoty (např. budoucí data, prehistorická data, …) ̶ Nezadané hodnoty ̶ …  DS „nečistotu“ identifikuje  DS umožňuje kvantifikovat objem chybných dat  DS chybná data neopravuje!

17 Podpora čištění dat 2/2 Zboží2006-Q12006-Q22006-Q32006-Q42007-Q12007-Q22007-Q32007-Q4 #Neuvedeno1141 #Neznámo  Počet položek dovozních deklarací dle zboží HS2 (absolutně)  Počet položek dovozních deklarací dle zboží HS2 (relativně) 2006-Q12006-Q22006-Q32006-Q42007-Q12007-Q22007-Q32007-Q4 #Neuvedeno0, , , #Neznámo0, , , , , ,002990, , , , , , , , , , , , , , , ,079310, , ,000140, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,018075

18 Odlehčení primárním systémům  DS přebírá úlohu primárních systémů: ̶ Reportingu ̶ do nasazení DS reporting řešen zpravidla primárními systémy ̶ Exportingu ̶ do nasazení DS exporting řešen zpravidla primárními systémy ̶ Analytického dotazování ̶ Ad-hoc dotazování  Fyzické zatížení přechází na datový sklad

19 DS jako zdroj pro specializované aplikace  DS bývá vhodným zdrojem pro další specializované aplikace vyžadující konsolidovaná data  Příklady: ̶ Dataminingové aplikace ̶ Analýza rizik celních deklarací

20 Centralizace dat  Data z různých oblastí jsou dostupná na jednom místě, jednotným způsobem a prostřednictvím jednotného uživatelského rozhraní

21 Výsledek budování datového skladu

22 Problematika řešená datovým skladem CS ČR Dluhy Vývoz Dovoz Delikty... Spotřební daněIntrastat Kontroly (fyzické, následné, dokumentační, …) Tranzit VzorkyRiziková analýza Globální záruky

23 Základní komponenty datového skladu CS ČR Vzorky Vývoz Dovoz Databáze datového skladu Tranzit... Zdrojové systémy Specializované aplikace Aplikace pro podporu rozhodování Spotřební daně Statistické analýzy Riziková analýza Data mining Reporting Exporting Analytické prostory Intrastat CesDic TARIC Kontrolní protokoly Dotazovací oblasti QDS Reporty Exporty Datový sklad Obecné dotazování Analytické dotazování

24 Použité technologie  Relační vrstva ̶ Microsoft SQL Server 2000 Enterprise Edition IAP64 databázový stroj (Failover cluster)  ETL ̶ Microsoft SQL Server 2000 DTS, Job Agent  Multidimenzionální vrstva ̶ Server: Microsoft SQL Server 2000 Analysis Services (Failover cluster) ̶ Klient: ̶ Microsoft Excel 2007 ̶ ProClarity Desktop  Reporty ̶ Reportovací server: Microsoft SQL Server 2000 Reporting Services ̶ Klient: Internet Explorer  Exporty ̶ bcp utilita ̶ Uživatelské rozhraní: Reporting Services, Internet Explorer  Obecný dotazovací nástroj ̶ QDS – Na zakázku vyrobený systém

25 Komu doporučit DS  DS lze doporučit zejména tam, ̶ kde nelze nebo je obtížné provádět dotazy do primárních systémů z důvodu: ̶ Roztříštěnosti dat ̶ Nečistoty dat ̶ Zajištění chodu primárních aplikací ̶ Kde je potřeba provádět analýzu dat ̶ Kde je potřeba data centralizovat a srovnávat ̶ Kde existuje potřeba nasazení dalších BI řešení (datamining, vyhledávání podvodů, vyhodnocení rizik, apod.)

26 CZECH REPUBLIC Adastra, s.r.o. Karolinská 654/ Praha 8 CANADA Adastra Corporation 8500 Leslie St. Markham, Ontario, L3T 7M8 SLOVAK REPUBLIC Adastra, s.r.o. Francisciho Bratislava GERMANY Adastra GmbH Bockenheimer Landstr. 17/ Frankfurt am Main BULGARIA Adastra Bulgaria EOOD 29 Panayot Volov street Sofia