Business Inteligence – Integrace, analýza a reporting v SQL Serveru 2005 Milan Štoček Principal Systems Engineer Microsoft s.r.o.

Proč “Business Intelligence”? Špatná vizibilita a špatná odezva na události trhu Vysoké provozní IT náklady Chabé porozumění zákaznických požadavků Neefiktivní dodavatelský kanál a generátor požadavků Slabé obchodní výsledky Řízení tabulky Znepokojení z ochrany dat a zahlcení informacemi Vyhovění (BASEL, Sarbanes Oxley) Dnešní TECHNOLOGIE 80% IS peněz na normální provoz

Data Marts Data Warehouses CRM LOB ERP Zdrojové systémy Analýza dat (OLAP, Data Mining) Proč je dnes tak náročné získat vysokou návratnost informace … Většina organizací má složité IT a lidské systémy. Tyto komplikované propletence jsou hodně neefektivní a riskantní. Lidské vstupy… náchylné k datům Mnoho řešení… drahé a znechucení uživatelé Mnoho rozpojených systémů… neúplná data… mnoho verzí pravdy Vysoké zapojení IT… dlouhá doba do realizace Mnoho bodů datové integrity… slabá datová integrita a spolehlivost Vysoký stupeň nečistot v datech …nutno laborovat Ručněpsanýkód Text Mining ETL ETL

Zdokonalování organizací poskytováním náhledů do podstaty byznysu všem zaměstnancům pro lepší, rychlejší a významnější rozhodnutí  Kompletní a integrovaná BI nabídka  Široká dostupnost BI přes Microsoft Office  Podniková kvalita a současně dosažitelnost Microsoft Business Intelligence Vize a Strategie

SQL Server 2000 SQL Server 2005 SQL Server 2000 Reporting Services  Vysoká dostupnost BI  Škálovatelnost  Ad Hoc Reporting  Rozšířená bezpečnost  Vývojářská produktivita  První zahrnul podnikový ETL a pokročilý Data Mining  První, který zahrnul řešení pro podnikový reporting  Bohatý návrh reportů, nasazení a správa  Real-Time OLAP  První RDBMS, který zahrnul Data Mining  Komplexní typy dimenzí  64Bit podpora  Nejnižší TCO  Automatické ladění  Spolehlivost a bezpečnost  Integrace Business Intelligence Společný cíl SQL Server 7.0  První RDBMS, který integroval OLAP a ETL  Excel integrace  Multi-vendor support  Clustering přímo v „krabici“  “OLAP pro všechny” 1 Generace 2 Generace 3 Generace Generace MS SQL Serveru Historie inovací Business Intelligence OLAP Services  Analysis Services

Vedoucí postavení v OLAPu

Získávání dat ze zdrojových systémů a integrace Transformace dat and syntéza Obohacená data s obchodní logikou, hierarchické pohledy Odhalovaní dat pomocí data mining-u Prezentace a distribuce dat Přístup k datům pro všechny IntegrovatAnalyzovatReportovat Připraveno pro rozhodování Business Intelligence Poskytuje kompletní sadu nástrojů pro Business Intelligence SQL Server Reporting Services je ve všech edicích

Kdy využijete výhody? Kolik práce je potřeba pro využití technologií?  Ad Hoc Reporting v Report Builder  KPI ukazetele v Analysis Services  Nové IS datové zdroje  Nové Data Mining algoritmy  BI průvodci  Proactive Caching pro Analysis Services Ihned po upgradu Minimum práce k využití Návrh a architektura  Společné prostředí pro vývoj a správu všech BI řešení  64 bit podpora pro všechny BI servery  Nové IS transformace  MDX Query Editor v Reporting Services  Pokročilé ETL funkce  Rozšířené reportovací možnosti  Analýza atributů v OLAPu  Funkčně bohaté reportovací modely  Vložený reporting  Vylepšená bezpečnost a škálovatelnsot od instalace k návrhu

Integration Services  Proč záleží na ETL  Průlomové ETL schopnosti  Architektura datové integrace  Nový vzor pro ETL platformu

 Sloučení dat z heterogenních datových uložišť :  Textové soubory  Mainframe  Excel tabulky  Více databází  Obnovení dat v datovém skladu a data martech  Čistění dat před vkládáním do dw  Vysokorychlostní vkládání dat do OLTP a OLAP databází  Posílání status notifikací při úspěchu/neúspěchu  Tvorba BI přímo v datové transformaci bez nutnosti redundantní „staging“ prostředí  Automatická funkce datové administrace Integration Services Proč záleží na ETL

 Podniková ETL platforma  Vysoký výkon  Velká škálovatelnost  Větší důvěryhodnost a spolehlivost  Nejlepší ve své třídě v použitelnosti  Vydatné vývojové prostředí  Source control  Vizuální ladění pro kontrolu toku a dat  Velký rozsah transformací v produktu  Velmi rozšiřitelné  Vlastní úlohy  Vlastní výčty  Vlastní transformace  Vlastní datové zdroje Integration Services Průlomové ETL schopnosti

Architektura datové integrace Před Integration Services Data z callcentra: nestrukturizovaná data Staré systémy: binární data Aplikační databáze ETL Warehouse Reporty Mobilní data Data mining Alerty a eskalace  Integrace a dw vyžaduje samostatně fázované operace  Příprava dat vyžaduje rozdílné, často nekompletní, nástroje  Reporting a eskalace je pomalý proces, který opožďuje rozhodovaní  Velké objemy dat dělá tento scénář nepoužitelný Ruční kódování Staging Text Mining ETL Staging Čistění a ETL Staging ETL

Data Integration Architecture With Integration Services Data z callcentra: nestrukturizovaná data Staré systémy: binární data Aplikační databáze Alerty a eskalace  Integrace dw je souvislá a řízená operace  Zdroje, příprava a vložení dat je jeden, auditovaný process  Reporting a eskalace může být paraleziván s vkládáním dat  Škáluje pro požadavky velkých objemů a komplexních dat SQL Server Integration Services Text mining komponenty Vlastní zdroj Standardní zdroj Čištění dat komponenty Sloučení Data mining komponenty Warehouse Reporty Mobilní data Architektura datové integrace S Integration Services

Jak SQL Server Integration Services pracují  Datové zdroje můžou být odlišné, včetně vlastních nebo skriptovaných adaptérů  Komponenty pro transformace dat přizpůsobují a modifikuji data mnoha různými způsoby  Data jsou směrována podle pravidel nebo chyb pro čištění a přizpůsobení  Tok dat může být stejně komplexní jako vaše obchodní pravidla  Plnění dat může být paralelní na mnoho různých destinací

 Čištění dat  Poskytuje data mining a expertní systém s umělou inteligencí  Fuzzy lookup  Porovnání podobných vzorků  Vyladěno pro nejlepší spárování  Odstranění duplicit  Odstranění podobných duplicit  Například “Windows XP” a “WinXP”  Správa „Slowly Changing Dimensions“  Např. organizační změna  Např. zákazník se přestěhoval  Např. kategorie produktu se změnila SQL Server Integration Services Nový vzor pro ETL platformu

Analysis Services  Proč záleží na OLAPu a Data Mining-u  Rozšířené OLAP a Data Mining možnosti  Funkcionalita Analysis Services  Nový vzor pro analytickou platformu

Analysis Services Proč záleží na OLAPu a Data Mining-u  Jedna verze pravdy  Silné modelování obchodních informací  Integrace dat napříč platforem  Integrace relačních a OLAP pohledů  To nejlepší od MOLAPu k ROLAPu  KPI a perspektivy  Real-time, velký výkon  Real-time data v OLAP kostkách  Velmi rychlá a flexibilní analýza  XML standard pro přístup k datům a Web Services integrace  Úspora peněz a času pro zákazníky integrující s ostatními systémy

 Unified Dimensional Model  Pro-active caching  Vyspělý Business Intelligence  KPI/Perspectivy  Custom/Limited Aggregations and Semi-Additive Measures  Web services  Data Mining v platformě  Integrované vývojářské nástroje  Podpora Clustering Decision Trees Clustering Time Series Sequence Clustering Association Naïve Bayes Neural Net Obsaženo v SQL Server 2000 Analysis Services Rozšířené OLAP a Data Mining možnosti plus…  Logistic Regression  Linear Regression  Text Mining

Co je SQL Server 2005 Analysis Services? Dashboardy Bohaté reporty BI klientské nástroje Excel tabulky Ad Hoc reporty SQLServer Teradata OracleDB2 LOB DW Datamart Analysis Services  Jedna verze pravdy  Pokročilá datová analýza  Real-time a velký výkon  Mission critical

Dashboardy Bohaté reporty BI klientské nástroje Excel tabulky Ad Hoc reporty Analysis Services Cache XML/A or ODBO UDM SQLServer Teradata OracleDB2 LOB DW Datamart Analysis Services Architektura

SQLServer Teradata OracleDB2 LOB DW Datamart Analysis Services Cache UDM XML/A or ODBO

Key Performance Indicators  Dostávat co je důležité  Vizuální indikátory

Business Intelligence Dostávat co je důležité  “Ochrnutí analýzou”  Risk s poskytování surových dat nebo dat ve velkých objemech  Paradox: je důležité mít detail aby jste pochopili příčinu dat

Business Intelligence Key Performance Indicators  Calculations that drive visual indicators  Quick and easy way to “manage by exception”  Set and Monitor Goals  Monitor the trend, up or down

Data Mining  Dostávat co je důležité

SQL Server 2005 Analysis Services Data Mining  Nové algoritmy  Dva vylepšené  8 nových algoritmů  Nové vizualizace  Vylepšené nástroje  Hluboce integrováno  Integrace v OLAPu, IS a RS .NET programovací model  Kompletně rozšiřitelný systém

SQL Server Hodnota Data Mining Byznys znalost Jednoduché Náročné Použitelnost Relativní hodnota pro byznys Statické reporty OLAP (interaktivní dotazy) Adhoc reportyData Mining

Kompletní množina algoritmů Decision Trees Clustering Time Series Sequence Clustering Association Naïve Bayes Neural Net Představeno v SQL Server 2000 LogisticRegression Linear Regression Text Mining

Reporting Services  Proč záleží na reportingu  Rozšířené možnosti reportingu  SQL Server 2005 BI Development Studio

 Real-time pohled na obchodní trendy  Lepší rozhodování napříč celou organizací  Tvorba reportů s více datových zdrojů  Umožňuje interaktivní přístup k informacím  Umožňuje koncovým uživatelům vytvořit si (nebo modifikovat) vlastní report  Poskytuje reporty ve formátech, které uživatelé chtějí  Jednoduchá integrace reportingu do aplikací Reporting Services Proč záleží na reportingu

© 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.