© Adastra, Confidential Řešení datového skladu v prostředí Celní správy ČR Data pod kontrolou Připraveno pro konferenci ISSS 2008 David Kaláb 7. 4. 2008,

Prezentace na téma: "© Adastra, Confidential Řešení datového skladu v prostředí Celní správy ČR Data pod kontrolou Připraveno pro konferenci ISSS 2008 David Kaláb 7. 4. 2008,"— Transkript prezentace:

1 © Adastra, Confidential Řešení datového skladu v prostředí Celní správy ČR Data pod kontrolou Připraveno pro konferenci ISSS 2008 David Kaláb 7. 4. 2008, Hradec Králové

2 2 Hlavní motto 1/2 Je pěkné mít data nashromážděná, ještě lepší je však mít data vhodně uspořádaná a dostupná

3 3 Hlavní motto 2/2  Sběr dat ̶ Obvykle není problém ̶ Úloha primárních systémů  Vhodné uspořádání dat ̶ Často problematické ̶ Úloha datového skladu  Dostupnost dat ̶ Problematické ̶ Úloha datového skladu

4 4 Situace před nasazením Datového skladu

5 5 Situace před nasazením datového skladu - hlavní charakteristiky  Data jsou rozmístěna po několika až mnoha primárních systémech  Vzájemná provázanost primárních systémů je na nízké úrovni  Požadavky na datové výstupy (reporty, exporty, datové pohledy, …) jsou řešeny prostřednictvím mnoha tzv. „tvůrců reportů“ (informatici, správci systémů, administrátoři, vývojáři, analytici, power users …)  Datové výstupy různých tvůrců jsou díky neexistující jednotné metodice těžko porovnatelné

6 6 Situace před nasazením datového skladu - nevýhody  Obtížné, problémové i nemožné vytváření konsolidovaných datových výstupů  Obtížná porovnatelnost datových výstupů z různých oblastí (primárních systémů)  Obtížná porovnatelnost dat i v rámci 1 systému např. po změně aplikace primárního systému  Data primárních systémů jsou často nevalidovaná na číselníky (nejasná čistota dat)  Velké nároky na „tvůrce reportů“  Dlouhá doba na uspokojování požadavků (dny, týdny)  Nemožnost zadávání mlhavých požadavků  Nemožnost analýzy dat

7 7 Situace po nasazení Datového skladu … co je Datový sklad? Datový sklad CS ČR je řešení (komponenty, nástroje, způsob zpracování dat, způsob práce s daty, prezentace dat…)

8 8 Hlavní přínosy datového skladu pro CS ČR  Konsolidace dat  Možnost analýzy dat  Jediná verze pravdy  Snadná dostupnost dat  Nové reporty a pohledy na data  Podpora čištění dat  Odlehčení primárním systémům  DS jako zdroj pro specializované aplikace  Centralizace dat

9 9 Konsolidace dat 1/2 Xyz, s.r.o. Xyz XYZ s.r.o. Xzy  Konsolidace číselníků  Např. číselníky organizací

10 10  Konsolidace oblastí / agend / evidencí Konsolidace dat 2/2

11 11 Možnost analýzy dat  DS obsahuje data ve strukturách podporujících efektivní analýzu dat ̶ Podpora analytických funkcí ̶ Zajištění rychlé odezvy  DS je věcně orientovaný ̶ Analytik neztrácí čas studiem datových struktur, vztahů mezi daty, …  DS obsahuje analytické nástroje umožňující efektivně využívat data v DS pro provádění analýz. ̶ Uživatelské rozhraní ̶ Analytické funkce ̶ Grafické výstupy  DS umožňuje zadávat mlhavé dotazy a postupně je zpřesňovat  DS umožňuje zadávat ad-hoc dotazy

12 12 Jediná verze pravdy  Pravda může mít mnoho verzí  Výstupy z různých systémů mohou být obtížně porovnatelné  Datový sklad definuje společné principy, pravidla a algoritmy, kterými jsou zpracována veškerá data

13 13 Snadná dostupnost dat  Data v datovém skladu mohou být snadno dostupná všem pracovníkům organizace  Stačí pouze přidělit patřičná přístupová oprávnění  Pomocí klientských analytických nástrojů a obecného dotazovacího nástroje si může uživatel během několika sekund vytvořit vlastní datové výstupy (reporty, datové pohledy, …)

14 14 Nové reporty a pohledy na data 1/2  Nové možnosti DS (konsolidace dat, možnost zadávání mlhavých dotazů a možnost ad-hoc dotazování, …) umožňují vznik novým reportům a pohledům na data

15 15 Nové reporty a pohledy na data 2/2 Pozn. Jedná se o surové agregace dat datového skladu, které nejsou očištěným výstupem dle metodiky vykazování zahraničního obchodu ČR.

16 16 Podpora „čištění“ dat 1/2  Primární data vykazují různou „čistotu“ ̶ Překlepy ve jménech, názvech, … ̶ Odkazy na neexistující číselníkové záznamy a neexistující dokumenty ̶ Zjevně nesprávné hodnoty (např. budoucí data, prehistorická data, …) ̶ Nezadané hodnoty ̶ …  DS „nečistotu“ identifikuje  DS umožňuje kvantifikovat objem chybných dat  DS chybná data neopravuje!

17 17 Podpora čištění dat 2/2 Zboží2006-Q12006-Q22006-Q32006-Q42007-Q12007-Q22007-Q32007-Q4 #Neuvedeno1141 #Neznámo2 7842 4102 1203 6912 4882 2782 2033 327 269481 2229269388189781 075824 8554 35766 89976 58482 46474 68260 41662 97175 772 86107120102114116117149169 879 39810 3268 6849 2409 43711 3659 48510 700 88512487407476479476446544 9010 65011 36711 15913 38611 75511 82211 22213 769  Počet položek dovozních deklarací dle zboží HS2 (absolutně)  Počet položek dovozních deklarací dle zboží HS2 (relativně) 2006-Q12006-Q22006-Q32006-Q42007-Q12007-Q22007-Q32007-Q4 #Neuvedeno0,000001 0,000005 0,000001 #Neznámo0,0036550,0031640,0027830,0048450,0032660,002990,0028920,004367 260,0012440,0016040,0012160,0012310,0010740,0012840,0014110,001082 850,0713560,0878210,1005350,1082530,0980380,079310,0826640,099469 860,000140,0001580,0001340,0001500,0001520,0001540,0001960,000222 870,0123370,0135550,0114000,0121300,0123880,0149190,0124510,014046 880,0006720,0006390,0005340,0006250,0006290,0006250,0005850,000714 900,0139810,0149220,0146490,0175720,0154310,0155190,0147320,018075

18 18 Odlehčení primárním systémům  DS přebírá úlohu primárních systémů: ̶ Reportingu ̶ do nasazení DS reporting řešen zpravidla primárními systémy ̶ Exportingu ̶ do nasazení DS exporting řešen zpravidla primárními systémy ̶ Analytického dotazování ̶ Ad-hoc dotazování  Fyzické zatížení přechází na datový sklad

19 19 DS jako zdroj pro specializované aplikace  DS bývá vhodným zdrojem pro další specializované aplikace vyžadující konsolidovaná data  Příklady: ̶ Dataminingové aplikace ̶ Analýza rizik celních deklarací

20 20 Centralizace dat  Data z různých oblastí jsou dostupná na jednom místě, jednotným způsobem a prostřednictvím jednotného uživatelského rozhraní

21 21 Výsledek budování datového skladu

22 22 Problematika řešená datovým skladem CS ČR Dluhy Vývoz Dovoz Delikty... Spotřební daněIntrastat Kontroly (fyzické, následné, dokumentační, …) Tranzit VzorkyRiziková analýza Globální záruky

23 23 Základní komponenty datového skladu CS ČR Vzorky Vývoz Dovoz Databáze datového skladu Tranzit... Zdrojové systémy Specializované aplikace Aplikace pro podporu rozhodování Spotřební daně Statistické analýzy Riziková analýza Data mining Reporting Exporting Analytické prostory Intrastat CesDic TARIC Kontrolní protokoly Dotazovací oblasti QDS Reporty Exporty Datový sklad Obecné dotazování Analytické dotazování

24 24 Použité technologie  Relační vrstva ̶ Microsoft SQL Server 2000 Enterprise Edition IAP64 databázový stroj (Failover cluster)  ETL ̶ Microsoft SQL Server 2000 DTS, Job Agent  Multidimenzionální vrstva ̶ Server: Microsoft SQL Server 2000 Analysis Services (Failover cluster) ̶ Klient: ̶ Microsoft Excel 2007 ̶ ProClarity Desktop  Reporty ̶ Reportovací server: Microsoft SQL Server 2000 Reporting Services ̶ Klient: Internet Explorer  Exporty ̶ bcp utilita ̶ Uživatelské rozhraní: Reporting Services, Internet Explorer  Obecný dotazovací nástroj ̶ QDS – Na zakázku vyrobený systém

25 25 Komu doporučit DS  DS lze doporučit zejména tam, ̶ kde nelze nebo je obtížné provádět dotazy do primárních systémů z důvodu: ̶ Roztříštěnosti dat ̶ Nečistoty dat ̶ Zajištění chodu primárních aplikací ̶ Kde je potřeba provádět analýzu dat ̶ Kde je potřeba data centralizovat a srovnávat ̶ Kde existuje potřeba nasazení dalších BI řešení (datamining, vyhledávání podvodů, vyhodnocení rizik, apod.)

26 26 CZECH REPUBLIC Adastra, s.r.o. Karolinská 654/2 186 00 Praha 8 info@adastra.cz www.adastra.cz CANADA Adastra Corporation 8500 Leslie St. Markham, Ontario, L3T 7M8 info@adastracorp.com www.adastracorp.com SLOVAK REPUBLIC Adastra, s.r.o. Francisciho 4 811 08 Bratislava info@adastracorp.sk www.adastracorp.sk GERMANY Adastra GmbH Bockenheimer Landstr. 17/19 60325 Frankfurt am Main info@adastracorp.de www.adastracorp.de BULGARIA Adastra Bulgaria EOOD 29 Panayot Volov street Sofia info@adastracorp.com www.adastracorp.com