Stáhnout prezentaci
Prezentace se nahrává, počkejte prosím
ZveřejnilPatricie Králová
1
© Adastra, Confidential Řešení datového skladu v prostředí Celní správy ČR Data pod kontrolou Připraveno pro konferenci ISSS 2008 David Kaláb 7. 4. 2008, Hradec Králové
2
2 Hlavní motto 1/2 Je pěkné mít data nashromážděná, ještě lepší je však mít data vhodně uspořádaná a dostupná
3
3 Hlavní motto 2/2 Sběr dat ̶ Obvykle není problém ̶ Úloha primárních systémů Vhodné uspořádání dat ̶ Často problematické ̶ Úloha datového skladu Dostupnost dat ̶ Problematické ̶ Úloha datového skladu
4
4 Situace před nasazením Datového skladu
5
5 Situace před nasazením datového skladu - hlavní charakteristiky Data jsou rozmístěna po několika až mnoha primárních systémech Vzájemná provázanost primárních systémů je na nízké úrovni Požadavky na datové výstupy (reporty, exporty, datové pohledy, …) jsou řešeny prostřednictvím mnoha tzv. „tvůrců reportů“ (informatici, správci systémů, administrátoři, vývojáři, analytici, power users …) Datové výstupy různých tvůrců jsou díky neexistující jednotné metodice těžko porovnatelné
6
6 Situace před nasazením datového skladu - nevýhody Obtížné, problémové i nemožné vytváření konsolidovaných datových výstupů Obtížná porovnatelnost datových výstupů z různých oblastí (primárních systémů) Obtížná porovnatelnost dat i v rámci 1 systému např. po změně aplikace primárního systému Data primárních systémů jsou často nevalidovaná na číselníky (nejasná čistota dat) Velké nároky na „tvůrce reportů“ Dlouhá doba na uspokojování požadavků (dny, týdny) Nemožnost zadávání mlhavých požadavků Nemožnost analýzy dat
7
7 Situace po nasazení Datového skladu … co je Datový sklad? Datový sklad CS ČR je řešení (komponenty, nástroje, způsob zpracování dat, způsob práce s daty, prezentace dat…)
8
8 Hlavní přínosy datového skladu pro CS ČR Konsolidace dat Možnost analýzy dat Jediná verze pravdy Snadná dostupnost dat Nové reporty a pohledy na data Podpora čištění dat Odlehčení primárním systémům DS jako zdroj pro specializované aplikace Centralizace dat
9
9 Konsolidace dat 1/2 Xyz, s.r.o. Xyz XYZ s.r.o. Xzy Konsolidace číselníků Např. číselníky organizací
10
10 Konsolidace oblastí / agend / evidencí Konsolidace dat 2/2
11
11 Možnost analýzy dat DS obsahuje data ve strukturách podporujících efektivní analýzu dat ̶ Podpora analytických funkcí ̶ Zajištění rychlé odezvy DS je věcně orientovaný ̶ Analytik neztrácí čas studiem datových struktur, vztahů mezi daty, … DS obsahuje analytické nástroje umožňující efektivně využívat data v DS pro provádění analýz. ̶ Uživatelské rozhraní ̶ Analytické funkce ̶ Grafické výstupy DS umožňuje zadávat mlhavé dotazy a postupně je zpřesňovat DS umožňuje zadávat ad-hoc dotazy
12
12 Jediná verze pravdy Pravda může mít mnoho verzí Výstupy z různých systémů mohou být obtížně porovnatelné Datový sklad definuje společné principy, pravidla a algoritmy, kterými jsou zpracována veškerá data
13
13 Snadná dostupnost dat Data v datovém skladu mohou být snadno dostupná všem pracovníkům organizace Stačí pouze přidělit patřičná přístupová oprávnění Pomocí klientských analytických nástrojů a obecného dotazovacího nástroje si může uživatel během několika sekund vytvořit vlastní datové výstupy (reporty, datové pohledy, …)
14
14 Nové reporty a pohledy na data 1/2 Nové možnosti DS (konsolidace dat, možnost zadávání mlhavých dotazů a možnost ad-hoc dotazování, …) umožňují vznik novým reportům a pohledům na data
15
15 Nové reporty a pohledy na data 2/2 Pozn. Jedná se o surové agregace dat datového skladu, které nejsou očištěným výstupem dle metodiky vykazování zahraničního obchodu ČR.
16
16 Podpora „čištění“ dat 1/2 Primární data vykazují různou „čistotu“ ̶ Překlepy ve jménech, názvech, … ̶ Odkazy na neexistující číselníkové záznamy a neexistující dokumenty ̶ Zjevně nesprávné hodnoty (např. budoucí data, prehistorická data, …) ̶ Nezadané hodnoty ̶ … DS „nečistotu“ identifikuje DS umožňuje kvantifikovat objem chybných dat DS chybná data neopravuje!
17
17 Podpora čištění dat 2/2 Zboží2006-Q12006-Q22006-Q32006-Q42007-Q12007-Q22007-Q32007-Q4 #Neuvedeno1141 #Neznámo2 7842 4102 1203 6912 4882 2782 2033 327 269481 2229269388189781 075824 8554 35766 89976 58482 46474 68260 41662 97175 772 86107120102114116117149169 879 39810 3268 6849 2409 43711 3659 48510 700 88512487407476479476446544 9010 65011 36711 15913 38611 75511 82211 22213 769 Počet položek dovozních deklarací dle zboží HS2 (absolutně) Počet položek dovozních deklarací dle zboží HS2 (relativně) 2006-Q12006-Q22006-Q32006-Q42007-Q12007-Q22007-Q32007-Q4 #Neuvedeno0,000001 0,000005 0,000001 #Neznámo0,0036550,0031640,0027830,0048450,0032660,002990,0028920,004367 260,0012440,0016040,0012160,0012310,0010740,0012840,0014110,001082 850,0713560,0878210,1005350,1082530,0980380,079310,0826640,099469 860,000140,0001580,0001340,0001500,0001520,0001540,0001960,000222 870,0123370,0135550,0114000,0121300,0123880,0149190,0124510,014046 880,0006720,0006390,0005340,0006250,0006290,0006250,0005850,000714 900,0139810,0149220,0146490,0175720,0154310,0155190,0147320,018075
18
18 Odlehčení primárním systémům DS přebírá úlohu primárních systémů: ̶ Reportingu ̶ do nasazení DS reporting řešen zpravidla primárními systémy ̶ Exportingu ̶ do nasazení DS exporting řešen zpravidla primárními systémy ̶ Analytického dotazování ̶ Ad-hoc dotazování Fyzické zatížení přechází na datový sklad
19
19 DS jako zdroj pro specializované aplikace DS bývá vhodným zdrojem pro další specializované aplikace vyžadující konsolidovaná data Příklady: ̶ Dataminingové aplikace ̶ Analýza rizik celních deklarací
20
20 Centralizace dat Data z různých oblastí jsou dostupná na jednom místě, jednotným způsobem a prostřednictvím jednotného uživatelského rozhraní
21
21 Výsledek budování datového skladu
22
22 Problematika řešená datovým skladem CS ČR Dluhy Vývoz Dovoz Delikty... Spotřební daněIntrastat Kontroly (fyzické, následné, dokumentační, …) Tranzit VzorkyRiziková analýza Globální záruky
23
23 Základní komponenty datového skladu CS ČR Vzorky Vývoz Dovoz Databáze datového skladu Tranzit... Zdrojové systémy Specializované aplikace Aplikace pro podporu rozhodování Spotřební daně Statistické analýzy Riziková analýza Data mining Reporting Exporting Analytické prostory Intrastat CesDic TARIC Kontrolní protokoly Dotazovací oblasti QDS Reporty Exporty Datový sklad Obecné dotazování Analytické dotazování
24
24 Použité technologie Relační vrstva ̶ Microsoft SQL Server 2000 Enterprise Edition IAP64 databázový stroj (Failover cluster) ETL ̶ Microsoft SQL Server 2000 DTS, Job Agent Multidimenzionální vrstva ̶ Server: Microsoft SQL Server 2000 Analysis Services (Failover cluster) ̶ Klient: ̶ Microsoft Excel 2007 ̶ ProClarity Desktop Reporty ̶ Reportovací server: Microsoft SQL Server 2000 Reporting Services ̶ Klient: Internet Explorer Exporty ̶ bcp utilita ̶ Uživatelské rozhraní: Reporting Services, Internet Explorer Obecný dotazovací nástroj ̶ QDS – Na zakázku vyrobený systém
25
25 Komu doporučit DS DS lze doporučit zejména tam, ̶ kde nelze nebo je obtížné provádět dotazy do primárních systémů z důvodu: ̶ Roztříštěnosti dat ̶ Nečistoty dat ̶ Zajištění chodu primárních aplikací ̶ Kde je potřeba provádět analýzu dat ̶ Kde je potřeba data centralizovat a srovnávat ̶ Kde existuje potřeba nasazení dalších BI řešení (datamining, vyhledávání podvodů, vyhodnocení rizik, apod.)
26
26 CZECH REPUBLIC Adastra, s.r.o. Karolinská 654/2 186 00 Praha 8 info@adastra.cz www.adastra.cz CANADA Adastra Corporation 8500 Leslie St. Markham, Ontario, L3T 7M8 info@adastracorp.com www.adastracorp.com SLOVAK REPUBLIC Adastra, s.r.o. Francisciho 4 811 08 Bratislava info@adastracorp.sk www.adastracorp.sk GERMANY Adastra GmbH Bockenheimer Landstr. 17/19 60325 Frankfurt am Main info@adastracorp.de www.adastracorp.de BULGARIA Adastra Bulgaria EOOD 29 Panayot Volov street Sofia info@adastracorp.com www.adastracorp.com
Podobné prezentace
© 2024 SlidePlayer.cz Inc.
All rights reserved.