Manažerské informační systémy Business Intelligence a OLAP Prof. Ing. Zdeněk Molnár, CSc zdenek. molnar@fsv.cvut.cz Prof. Molnár

Motto Objem všech dat na světě se zdvojnásobí zhruba každé 2 roky, přičemž výraznou měrou se na tomto exponenciálním růstu podílejí podniky. Problém dnes není data shromažďovat a uchovávat, ale organizovat takovým způsobem, aby byla rychle a snadno k dispozici. Prof. Molnár

Transakční systémy - operační data Úloha MIS Požadují se : - trendy - souvislosti - struktury - what-if - flexibilita Model chování systému MIS/EIS Požaduje se: - rychlost odezvy - kapacita - integrita dat - konsistence dat Model stavu systému Transakční systémy - operační data Prof. Molnár

Základní rozlišení OLTP a OLAP Znak OLTP OLAP Charakteristika Provozní zpracování Informační zpracování Orientace Transakční Analytická Uživatel Úředník, databázový administrátor Znalostní pracovník (manažer, analytik) Funkce Každodenní operace Dlouhodobé informační požadavky, podpora rozhodování Návrh databáze Entitně-relační základ, aplikačně orientovaný Hvězda/sněžná vločka, věcná orientace Data Současná, zaručeně aktuální Historická Sumarizace dat Základní, vysoce detailní Shrnutá, kompaktní Prof. Molnár

OLTP OLAP Náhled Detailní Shrnutý, multidimensionální Jednotky práce Krátké, jednoduché transakce Komplexní dotazy Přístup Číst a zapisovat Většinou pouze číst Zaměření Vkládání dat Získávání informací Počet dostupných záznamů Desítky Miliony Počet uživatelů Tisíce Stovky Velikost databáze 100 MB až GB 100 GB až TB Přednosti Vysoký výkon, vysoká přístupnost Vysoká flexibilita, nezávislost koncového uživatele Míry hodnocení Propustnost transakcí Propustnost dotazů a doba odezvy Prof. Molnár

„Nedostatky zdrojových (transakčních) systémů Neustálá změna – neustálý (on-line) režim aktualizace – vysoká zátěž systému Nedostupnost historie – zachycují jen aktuální stav – případně mají „krátkou“ paměť Čistota dat (konsistence a integrita) – nedostatečná identifikace entit (duplicity), roztroušenost a nekonsistence hodnot atributů, odlišná fyzická struktura a formáty Prof. Molnár

Co je to OLAP? On-line Analytical Processing Rychlá analýza sdílených multidimenzionálních informací Multidimenzionální databáze (OLAP krychle) Klientská aplikace pro přístup k databázi OLAP Prof. Molnár

Datový sklad (Data Warehouse – DW) Datový sklad definujeme jako databázi, která je organizována tak, aby sloužila jako univerzální úložiště všech potenciálně užitečných dat. Data jsou organizována předmětně (náklady, prodeje a pod) a s každým záznamem je držena informace o čase, kdy byl do datového skladu přidán tj. je sledována jeho historie (Dohnal, Pour) Veškeré změny v databázi (aktualizace) probíhají dávkově (Batch Processing - nejčastěji v noci), zatímco uživatel spouští nad datovým skladem různé analytické (často velmi složit) dotazy v reálném čase (OLAP – On Line Analytical Processing) Prof. Molnár

DW se často používají jako systémy spojení dat pocházejících z různých transakčních (operačních) systémů (tzv. základní systémy) DataWarehouse Externí data Externí data Datová pumpa (Staging Area) odbyt zásobování výroba ekonomika Prof. Molnár

Účelem DW je vytvoření konsistentních informací potřebných pro taktické a strategické rozhodování v různých oblastech podniku. Za tím účelem se budují DataMarkt(s) „datová tržiště“, která obsahují vybrané dimenze a fakta, která bývají „předzpracována“ tak, aby podporovala určitou tématickou oblast DataMarkt Finance DataMarkt Marketing DataMarkt Personalistika DataWarehouse Prof. Molnár

Relační databáze (operační data) Relační databáze (operační data) Multidimensionální databáze Datová pumpa Relační databáze (operační data) Relační databáze (operační data) Prof. Molnár

OLAP v podnikové informační soustavě Provozní Informační systém OLAP aplikace Relační databáze OLAP databáze Prof. Molnár

Prof. Molnár

Multidimensionální databáze MIS pracuje na principu n-rozměrné Rubikovy kostky vytváření uživatelských řezů (výběrů) nabíjení Transakční databáze Prof. Molnár

Požadavky na funkčnost DW (1) Dostupnost, tj.DW musí být k dispozici uživatelům „neustále“. (Tento požadavek do jisté míry omezuje dobu, po kterou může být DW aktualizován) Aktuálnost, tj. DW by měl obsahovat co možná „nejčerstvější“ data z produkčních systémů. (Obyčejně je aktualizace DW aktualizován v noci, protože jde o proces, kdy HW je zatížen na maximum.) Odezva, tj. interaktivní zodpovídání rozmanitých analytických dotazů (OLAP) v „rozumné“ době (maximálně 3 minuty) i při značně rozsáhlých DW (až desítky GB) Prof. Molnár

Požadavky na funkčnost DW (2) Čistota (kvalita) dat, tj. jeden z fundamentálních požadavků (GIGO). Jde zejména o konsistenci „stejných“ dat vyskytujících se v různých produkčních systémů, jejich referenční a doménovou integritu. Právě zde vystupuje do popředí požadavek jasně definovaného datového modelu vybudování metainformačního systému (metadata – slovník a adresář) To je úkol zejména pro základní komponentu DW tj. program označovaný jako ETL (extraction, transformation, loading). Tato aplikace „sbírá“ data ze všech dostupných systémů, provádí jejich konsolidaci (čištění) a jejich následné nahrání do databáze DW. Prof. Molnár

ETL proces V datech přenášených do datového skladu se téměř vždy objevují duplicity a datové chyby, které není jednoduché odhalit. Tyto nepřesnosti způsobuje proměnlivé názvosloví („str. 56“/„stránka 56“), používání, či nepoužívání diakritiky („František Novák“/„Frantisek Novak“), pravopisné a jiné chyby, které způsobují nekonzistenci a je nutné je rozpoznat. Většinou neexistuje korekce chyb ve zdrojovém systému, proto je třeba nekonzistence dohledat, opravit a záznamy logicky spojit do jednoho při plnění datového skladu Tento proces čištění dat při plnění datového skladu může pak zpětně sloužit jako opravná zpětná vazba pro zdrojový provozní informační systém. Udává se, že až 15 % všech zdrojových dat je nekonzistentních nebo nesprávných. Prof. Molnár

Identifikace, kvantifikace, klasifikace a analýza chyb a problémů v datech Cílem tohoto okruhu činností je poznat stav kvality dat a na jeho základě stanovit postupy, pravidla a standardy pro zvýšení a udržení kvality dat. Současně podle nastavených pravidel a mezí identifikuje záznamy a skupiny záznamů, které: systém automaticky opraví a upraví pro dosažení vyšší kvality, systém opraví a upraví na základě explicitního rozhodnutí (případně ověření), bude třeba ručně opravit z důvodu velmi nízké kvality, neúplnosti nebo zjevné nesprávnosti, již nelze automaticky opravit. Prof. Molnár

Zpracování dat pomocí čistících a unifikačních algoritmů rozpoznání (parsing) obsahu datových položek, opravy datových položek (odstranění překlepů, nesprávných zápisů, formátů apod.), standardizace – převod datových položek na jednotný formát, který je pak možno použít pro porovnání s rejstříky a číselníky a pro porovnání hodnot datových položek spravovaných různými systémy, obohacení – doplnění chybějících položek, pokud je to možné (např. chybějících částí adresy), unifikace – určení všech záznamů, které představují jeden konkrétní subjekt – např. nalezení a jednoznačné označení všech evidovaných záznamů o konkrétní osobě, adrese, vozidle atd., deduplikaci – výběr nejlepšího záznamu, který bude nadále reprezentovat konkrétní subjekt, identifikaci – pro nové datové záznamy – určení konkrétního subjektu (například osoby), ke kterému záznam patří. Prof. Molnár

Vstupní data: Prof. Molnár Row FirstName LastName SSN Address Unit Zip 1 Jane Doe NULL 123 MainStreet 22222 2 111111111 3 J. Apt 4 4 Smith 5 Smith-Doe Prof. Molnár

Výstupní data (vyčištěná o duplicity a standardizována): Row FirstName LastName SSN Address Unit Zip 1 Jane Doe 111111111 123 MainStreet Apt 4 22222 Prof. Molnár

Pro ETL proces lze nastavit strategii pro čištění dat, jako například remove (data, která nesplňují pravidla se nepřenesou dále, jsou odstraněna), match (očištění dat na základě nejbližší shody hodnoty atributů – odstranění překlepů, velká/malá písmena apod.) nebo custom (libovolná vlastní logika čištění dat). Prof. Molnár

Vytvoření OLAP krychle Tabulka faktů Tabulky dimenzí Prof. Molnár

Analýza segmentů trhu OBOR SKUPINA ZÁKAZNÍKŮ REGION sever jih východ Obchodní domy Velkoobchod Maloobchod Sklo Keramika Plasty Ve druhém způsobu analýzy hospodářského výsledku se používá metoda nákladů na obrat, v níž se výsledky jednotlivých produktů srovnávají s vlastními náklady těchto výrobků. Změna hospodářského výsledku se tak projeví již při fakturaci ohodnocenou standardní kalkulací produktu. Výkaz ziskovosti je možno vytvořit jen tehdy, když dojde k obratům. V systému se nejprve definují tzv. atributy a množiny přípustných hodnot, jichž mohou nabývat. Mohou se použít buď atributy systémové nebo uživatelské. Příkladem atributu a jeho hodnot může například být: - “region” s hodnotami: sever, východ, západ, jih, Praha, Morava, - “skupina zákazníků“ s hodnotami: maloobchod, velkoobchod, obchodní domy, - “obor” s hodnotami: sklo, keramika, plasty, kovy, apod. Hodnoty atributů lze navzájem od sebe odvozovat. Při pořizování nákladů a výnosů je pak možné tyto hodnoty nechat systémem automaticky odvodit (tam, kde je to možné), případně ručně zadat. Objekt hospodářského výsledku pak vzniká kombinací hodnot definovaných atributů. Pro každý takový objekt si lze vyvolat výkaz ziskovosti. Dostáváme tak do rukou efektivní nástroj analýzy hospodářského výsledku například jednotlivých segmentů trhu a skupin produktů. V našem případě mohu třeba analyzovat ziskovost plastových výrobků prodaných do malobchodu v jižním regionu. OBOR Prof. Molnár 19

Analýza nákladů ČAS VÝROBEK STŘEDISKO NAKLADOVY DRUH S01 S02 S03 Materiál Mzdy Energie SU15 VOC25 NCU10 Ve druhém způsobu analýzy hospodářského výsledku se používá metoda nákladů na obrat, v níž se výsledky jednotlivých produktů srovnávají s vlastními náklady těchto výrobků. Změna hospodářského výsledku se tak projeví již při fakturaci ohodnocenou standardní kalkulací produktu. Výkaz ziskovosti je možno vytvořit jen tehdy, když dojde k obratům. V systému se nejprve definují tzv. atributy a množiny přípustných hodnot, jichž mohou nabývat. Mohou se použít buď atributy systémové nebo uživatelské. Příkladem atributu a jeho hodnot může například být: - “region” s hodnotami: sever, východ, západ, jih, Praha, Morava, - “skupina zákazníků“ s hodnotami: maloobchod, velkoobchod, obchodní domy, - “obor” s hodnotami: sklo, keramika, plasty, kovy, apod. Hodnoty atributů lze navzájem od sebe odvozovat. Při pořizování nákladů a výnosů je pak možné tyto hodnoty nechat systémem automaticky odvodit (tam, kde je to možné), případně ručně zadat. Objekt hospodářského výsledku pak vzniká kombinací hodnot definovaných atributů. Pro každý takový objekt si lze vyvolat výkaz ziskovosti. Dostáváme tak do rukou efektivní nástroj analýzy hospodářského výsledku například jednotlivých segmentů trhu a skupin produktů. V našem případě mohu třeba analyzovat ziskovost plastových výrobků prodaných do malobchodu v jižním regionu. VÝROBEK Prof. Molnár 19

OLAP krychle OLAP aplikace (Excel) OLAP krychle Řez krychlí Čas Druh účtu Kč (data) Org. jednotka Prof. Molnár

OLAP dimenze Rok Měsíc Přímé náklady Náklady na materiál Stavba Závod Prof. Molnár

Fakta a jejich aditivnost Aditivní fakta – mohou být agregována pomocí jednoduchých funkcí jako je průměr, součet apod. přes všechny dimenze (např. výše tržeb může být sečtena jak za libovolné časové období a za všechny prodejny) Semiaditivní fakta – mohou být agregována podle jednotlivých dimenzí jen částečně (např. hotovost v bance může být sečtena jen za všechny účty, nikoliv za nějaké časové období) Neaditivní fakta – nemohou být agregována jednoduchými funkcemi (např. průměrná produktivita v jednotlivých měsících nemůže být sečtena za za rok, ani za všechny organizační jednotky) Prof. Molnár

Vlastnosti dimenzí Hierarchie Granularita Sdílení Proměnlivost Prof. Molnár

Vlastnosti dimenzí (1) Hierarchie dimenze – umožňuje procházet daty od úrovně s nejvyšší mírou agregace k nižší úrovni (drill-down) a naopak (roll-up). Např. ústav, fakulta, univerzita, vysoké školy, nebo stavba, závod, divize, celá společnost. Granularita dimenze– základní úroveň detailu dat uložených v DW odpovídá nejnižší úrovni detailu u všech dimenzí. Tak vzniká problém balancování mezi objemem dat a mírou detailu zachycených dat. Daná metrika se může lišit podle dalších dimenzí Např. chceme-li sledovat denní výjezdy pohotovostních vozidel plynárenské služby v Praze, tak se může stát, že u řady dalších měst toto nemá smysl, protože stačí sledovat jen za týden. Prof. Molnár

Vlastnosti dimenzí (2) Sdílené dimenze (common shared dimension) – jsou společné pro všechna fakta a tím poskytují uživateli jednotný pohled na fakta a usnadňují implementaci. Typickými sdílenými dimenzemi jsou čas, organizační jednotka, produkt, zákazník apod. Proměnlivost dimenze (slowly changing dimension) – znamená, že atributy dimenze se mohou v čase měnit, což může komplikovat historické přehledy (sledování trendů). To je většinou řešeno ukládáním dvojích hodnot staré a nové. Pokud se dimenze mění často, vede to k nežádoucímu nárůstu atributů (dat). Např. zákazník se přejmenuje, sloučí s jiným či přestěhuje do jiného regionu. Prof. Molnár

Příklady dimenzí u aplikace prodeje Čas (rok, měsíc, případně den v roce či den v měsíci) Stav (prognóza, plán skutečnost) Útvar (dle konkrétního organizačního uspořádání) Zákazník (obchodní zástupce, významný zákazník, přímý odběratel apod.) Segment trhu (státní sektor, soukromý sektor, bytová výstavba apod.) Produkt/zakázka (typ, provedení apod.) Teritorium (Evropa, ČR, kraj apod.) Nákladový druh (materiál, mzdy, cestovné,provize a pod.) a další dle konkrétních požadavků obchodníků Prof. Molnár

Příklady fakt u aplikace prodeje Objem tržeb Náklady Zisk Počet zákazníků a další dle konkrétních požadavků obchodníků Z hodnot fakt a jejich dimenzí pak systém tvoří ukazatele Např. % nákladů na provize z celkových tržeb či z celkového zisku a jejich vývoj v čase a to dle jednotlivých útvarů Prof. Molnár

Hierarchie dimensí Prof. Molnár

Tabulka vazeb faktů a dimensí Prof. Molnár

Datový model - prodeje Dimenze: čas FAKTA: tržba produkt zisk zákazník způsob prodeje region FAKTA: tržba zisk pohledávky granularita čas produkt zákazník způsob prodeje kraj den komedie fanoušci e-shop Praha týden psycho teaneagers řetězce Střední čechy měsíc thriller singels maloobchod Karlovarský rok love story others dealer atd. Prof. Molnár

Vazba pohledávky - dimense čas pohledávky způsob zákazník Prof. Molnár

Vazba tržba - dimense kraj produkt čas tržba zákazník způsob Prof. Molnár

Vazba zisk - dimense čas zisk produkt způsob Prof. Molnár

Model fakta-dimenze čas produkt tržba pohledávky zisk kraj způsob zákazník Prof. Molnár

Uživatelské vlastnosti MIS grafická a tabulková prezentace intuitivní ovládání panelů možnost detailních pohledů (drill-down) agregace a integrace dat multidimensionální řezy(slice and dice) víceuživatelský přístup diagnostika extrémních hodnot (alert) spouštění externích aplikací simulace (what-if) tiskové výstupy - Prof. Molnár

Prof. Molnár

Prof. Molnár

Základní operace v OLAP systémech Drill-down – umožňuje uživateli ve zvolené(-ých) instanci(-ích) jisté agregační úrovně nastavit nižší(jemnější) agregační úroveň Roll-up – jde o opak předešlé operace. Ve zvolených instancích jisté agregační úrovně nastavuje vyšší (hrubší) agregační úroveň. Pivoting – umožňuje „otáčet“ datovou krychlí, tj. měnit úhel pohledu na data na úrovni presentace obsahu datového skladu. Slicing – dovoluje provádět řezy datovou kostkou, tj. nalézt pohled, v němž je jedna dimenze fixována v jisté(-ých) instanci(-ích) jisté agregační úrovně. Jinými slovy tato dimenze aplikuje filtr na instance příslušné agregační úrovně dané dimenze. Dicing – je obdobou „slicingu“, jenž umožňuje nastavit takový filtr pro více dimenzí Prof. Molnár

Postup budování MIS/DW Identifikace problému (nejsložitější etapa) – projekt musí být podložen nějakým problémem, v důsledku jehož vyřešení se očekává přínos pro podnik. Vytvoření prototypu – identifikace určitého podproblému (například jenom problém sledování a vyhodnocování nákladů), jehož vyřešení nevyžaduje příliš mnoho úsilí, ale výsledek bude jasně naznačovat, jak bude vypadat cílový systém. Prototyp má dva efekty Koncovému uživateli jasně ukazuje jak bude vypadat výsledek a co lze od budovaného řešení očekávat Dává možnost řešiteli vyzkoušet si i ověřit své předpoklady a získat konkrétná zkušenosti z analýzy, návrhu a technické realizace prototypu včetně seznámení se s prostředím uživatele a navázání komunikace s budoucími uživateli Rozvinutí (roll-out) systému - postupné (step-by-step) rozšiřování řešení do dalších oblastí podnikového řízení. Prof. Molnár

Pořízení MIS Vlastním vývojem (většinou na bázi EXCEL) Nákupem modulu MIS, který je součástí komplexního podnikového IS jako nadstavba ERP (SAP, ORACLE, NAVISION, MFG/Pro a pod.) tzv. systém all-in-one nákupem specializovaného MIS, který je přes standardizovaný interface napojen na libovolný základní ERP systém (COGNOS, SAS Institute, ADASTRA, MIS Alea apod.) tzv. systém best-of breed Prof. Molnár

Hlavní nedostatky současných MIS/EIS 1) mají tendenci spoléhat se ve značné míře na finanční ukazatele 2) zabývají se většinou historickými daty 3) vycházejí v drtivé míře z interních zdrojů podniku a ignorují vnější prostředí a konkurenci 4) pokud se zabývají budoucností, tak jenom na základě jednoduchých extrapolací minulosti 5) slouží účelově jednotlivým organizačním útvarům podniku a ignorují průřezové integrující pohledy Prof. Molnár

IS pro strategické řízení musí zabezpečit selektivní sběr, zpracování a komunikování informací, které 1) jsou většinou nefinanční povahy 2) jsou orientované na budoucnost 3) pocházejí zejména z externích zdrojů 4) jsou založené na prognózách budoucnosti a ne na jednoduché extrapolaci minulosti Prof. Molnár

Úroveň turbulence (Ansoff a Sullivan) Prof. Molnár

Pro zvládnutí turbulence musí IS zabezpečit Zpracování signálů o možné změně turbulence Analýzu konkurence k identifikaci změn v jejích tržních strategiích a technologiích Generování scénářů alternativních strategií Analýzu proveditelnosti projektů alternativních strategií včetně analýzy kompetencí k provedení změny Sledování plnění strategie a hodnocení dosahovaných efektů Prof. Molnár

zachycení a zpracování signálů o změně turbulence Funkce IS Realizuje Monitorovací analýzu konkurence zachycení a zpracování signálů o změně turbulence Rozhodovací a plánovací analýzu scénářů kapacitní analýzu analýzu proveditelnosti změn Řízení a kontroly sledování odchylek vyhodnocovat efektivnost projektu sledování postupu projektu Prof. Molnár

S rostoucí turbulencí roste náročnost na IS Prof. Molnár

Business/Competitive Intelligence je termín pro celou množinu konceptů a metodologií zlepšujících rozhodovací procesy v podnikání, které jsou založeny na - analýze faktů - odhalování souvislostí mezi nimi Na informace získané z různých zdrojů aplikujeme zkušenosti (znalosti) k získání předpovědi vývoje podnikání a ke zlepšení rozhodovacích procesů Prof. Molnár

Produkty podporující BI Executive/Enterprise Information Systems (EIS) Management Support Systems (MSS) Decision Support Systems (DSS) Expert Systems (ES) On-Line Analytical Processing (OLAP) Data Mining Data Visualisation Knowledge management (KM) Prof. Molnár

Obecná definice data miningu proces výběru, prohledávání a modelování ve velkých objemech dat, sloužící k odhalení dříve neznámých vztahů mezi daty, za účelem získání konkurenční výhody. DM bývá v širším slova smyslu definován jako získávání dosud neznámých, ověřených a použitelných znalostí z rozsáhlých databází pro provádění klíčových manažerských rozhodnutí. Prof. Molnár

Příklady obchodního zadání, které mohou vést k zavádění technik DM Deskripce (např. „Které atributy nejvíce charakterizují chování určité skupiny zákazníků?“). : Klasifikace (např. „Představuje toto hlášení o škodní události pojišťovací podvod?“); Odhad (např. „Jaká je obchodní hodnota zákazníka?“); Předpovídání (např. „Kteří zákazníci od nás pravděpodobně odejdou v průběhu nejbližších šesti měsíců?“); Analýza nákupního košíku (např. „Které produkty se obvykle kupují společně?“); Seskupování podle podobností (např. „Které skupiny zákazníků mají nějaké společné charakteristiky?“); Prof. Molnár