Manažerské informační systémy Business Intelligence a OLAP

Prezentace na téma: "Manažerské informační systémy Business Intelligence a OLAP"— Transkript prezentace:

1 Manažerské informační systémy Business Intelligence a OLAP
Prof. Ing. Zdeněk Molnár, CSc zdenek. Prof. Molnár

2 Motto Objem všech dat na světě se zdvojnásobí zhruba každé 2 roky, přičemž výraznou měrou se na tomto exponenciálním růstu podílejí podniky. Problém dnes není data shromažďovat a uchovávat, ale organizovat takovým způsobem, aby byla rychle a snadno k dispozici. Prof. Molnár

3 Transakční systémy - operační data
Úloha MIS Požadují se : - trendy - souvislosti - struktury - what-if - flexibilita Model chování systému MIS/EIS Požaduje se: - rychlost odezvy - kapacita - integrita dat - konsistence dat Model stavu systému Transakční systémy - operační data Prof. Molnár

4 Základní rozlišení OLTP a OLAP
Znak OLTP OLAP Charakteristika Provozní zpracování Informační zpracování Orientace Transakční Analytická Uživatel Úředník, databázový administrátor Znalostní pracovník (manažer, analytik) Funkce Každodenní operace Dlouhodobé informační požadavky, podpora rozhodování Návrh databáze Entitně-relační základ, aplikačně orientovaný Hvězda/sněžná vločka, věcná orientace Data Současná, zaručeně aktuální Historická Sumarizace dat Základní, vysoce detailní Shrnutá, kompaktní Prof. Molnár

5 OLTP OLAP Náhled Detailní Shrnutý, multidimensionální Jednotky práce
Krátké, jednoduché transakce Komplexní dotazy Přístup Číst a zapisovat Většinou pouze číst Zaměření Vkládání dat Získávání informací Počet dostupných záznamů Desítky Miliony Počet uživatelů Tisíce Stovky Velikost databáze 100 MB až GB 100 GB až TB Přednosti Vysoký výkon, vysoká přístupnost Vysoká flexibilita, nezávislost koncového uživatele Míry hodnocení Propustnost transakcí Propustnost dotazů a doba odezvy Prof. Molnár

6 „Nedostatky zdrojových (transakčních) systémů
Neustálá změna – neustálý (on-line) režim aktualizace – vysoká zátěž systému Nedostupnost historie – zachycují jen aktuální stav – případně mají „krátkou“ paměť Čistota dat (konsistence a integrita) – nedostatečná identifikace entit (duplicity), roztroušenost a nekonsistence hodnot atributů, odlišná fyzická struktura a formáty Prof. Molnár

7 Co je to OLAP? On-line Analytical Processing
Rychlá analýza sdílených multidimenzionálních informací Multidimenzionální databáze (OLAP krychle) Klientská aplikace pro přístup k databázi OLAP Prof. Molnár

8 Datový sklad (Data Warehouse – DW)
Datový sklad definujeme jako databázi, která je organizována tak, aby sloužila jako univerzální úložiště všech potenciálně užitečných dat. Data jsou organizována předmětně (náklady, prodeje a pod) a s každým záznamem je držena informace o čase, kdy byl do datového skladu přidán tj. je sledována jeho historie (Dohnal, Pour) Veškeré změny v databázi (aktualizace) probíhají dávkově (Batch Processing - nejčastěji v noci), zatímco uživatel spouští nad datovým skladem různé analytické (často velmi složit) dotazy v reálném čase (OLAP – On Line Analytical Processing) Prof. Molnár

9 DW se často používají jako systémy spojení dat pocházejících z různých transakčních (operačních) systémů (tzv. základní systémy) DataWarehouse Externí data Externí data Datová pumpa (Staging Area) odbyt zásobování výroba ekonomika Prof. Molnár

10 Účelem DW je vytvoření konsistentních informací potřebných pro taktické a strategické rozhodování v různých oblastech podniku. Za tím účelem se budují DataMarkt(s) „datová tržiště“, která obsahují vybrané dimenze a fakta, která bývají „předzpracována“ tak, aby podporovala určitou tématickou oblast DataMarkt Finance DataMarkt Marketing DataMarkt Personalistika DataWarehouse Prof. Molnár

11 Relační databáze (operační data) Relační databáze (operační data)
Multidimensionální databáze Datová pumpa Relační databáze (operační data) Relační databáze (operační data) Prof. Molnár

12 OLAP v podnikové informační soustavě
Provozní Informační systém OLAP aplikace Relační databáze OLAP databáze Prof. Molnár

13 Prof. Molnár

14 Multidimensionální databáze MIS
pracuje na principu n-rozměrné Rubikovy kostky vytváření uživatelských řezů (výběrů) nabíjení Transakční databáze Prof. Molnár

15 Požadavky na funkčnost DW (1)
Dostupnost, tj.DW musí být k dispozici uživatelům „neustále“. (Tento požadavek do jisté míry omezuje dobu, po kterou může být DW aktualizován) Aktuálnost, tj. DW by měl obsahovat co možná „nejčerstvější“ data z produkčních systémů. (Obyčejně je aktualizace DW aktualizován v noci, protože jde o proces, kdy HW je zatížen na maximum.) Odezva, tj. interaktivní zodpovídání rozmanitých analytických dotazů (OLAP) v „rozumné“ době (maximálně 3 minuty) i při značně rozsáhlých DW (až desítky GB) Prof. Molnár

16 Požadavky na funkčnost DW (2)
Čistota (kvalita) dat, tj. jeden z fundamentálních požadavků (GIGO). Jde zejména o konsistenci „stejných“ dat vyskytujících se v různých produkčních systémů, jejich referenční a doménovou integritu. Právě zde vystupuje do popředí požadavek jasně definovaného datového modelu vybudování metainformačního systému (metadata – slovník a adresář) To je úkol zejména pro základní komponentu DW tj. program označovaný jako ETL (extraction, transformation, loading). Tato aplikace „sbírá“ data ze všech dostupných systémů, provádí jejich konsolidaci (čištění) a jejich následné nahrání do databáze DW. Prof. Molnár

17 ETL proces V datech přenášených do datového skladu se téměř vždy objevují duplicity a datové chyby, které není jednoduché odhalit. Tyto nepřesnosti způsobuje proměnlivé názvosloví („str. 56“/„stránka 56“), používání, či nepoužívání diakritiky („František Novák“/„Frantisek Novak“), pravopisné a jiné chyby, které způsobují nekonzistenci a je nutné je rozpoznat. Většinou neexistuje korekce chyb ve zdrojovém systému, proto je třeba nekonzistence dohledat, opravit a záznamy logicky spojit do jednoho při plnění datového skladu Tento proces čištění dat při plnění datového skladu může pak zpětně sloužit jako opravná zpětná vazba pro zdrojový provozní informační systém. Udává se, že až 15 % všech zdrojových dat je nekonzistentních nebo nesprávných. Prof. Molnár

18 Identifikace, kvantifikace, klasifikace a analýza chyb a problémů v datech
Cílem tohoto okruhu činností je poznat stav kvality dat a na jeho základě stanovit postupy, pravidla a standardy pro zvýšení a udržení kvality dat. Současně podle nastavených pravidel a mezí identifikuje záznamy a skupiny záznamů, které: systém automaticky opraví a upraví pro dosažení vyšší kvality, systém opraví a upraví na základě explicitního rozhodnutí (případně ověření), bude třeba ručně opravit z důvodu velmi nízké kvality, neúplnosti nebo zjevné nesprávnosti, již nelze automaticky opravit. Prof. Molnár

19 Zpracování dat pomocí čistících a unifikačních algoritmů
rozpoznání (parsing) obsahu datových položek, opravy datových položek (odstranění překlepů, nesprávných zápisů, formátů apod.), standardizace – převod datových položek na jednotný formát, který je pak možno použít pro porovnání s rejstříky a číselníky a pro porovnání hodnot datových položek spravovaných různými systémy, obohacení – doplnění chybějících položek, pokud je to možné (např. chybějících částí adresy), unifikace – určení všech záznamů, které představují jeden konkrétní subjekt – např. nalezení a jednoznačné označení všech evidovaných záznamů o konkrétní osobě, adrese, vozidle atd., deduplikaci – výběr nejlepšího záznamu, který bude nadále reprezentovat konkrétní subjekt, identifikaci – pro nové datové záznamy – určení konkrétního subjektu (například osoby), ke kterému záznam patří. Prof. Molnár

20 Vstupní data: Prof. Molnár Row FirstName LastName SSN Address Unit Zip
1 Jane Doe NULL 123 MainStreet 22222 2 3 J. Apt 4 4 Smith 5 Smith-Doe Prof. Molnár

21 Výstupní data (vyčištěná o duplicity a standardizována):
Row FirstName LastName SSN Address Unit Zip 1 Jane Doe 123 MainStreet Apt 4 22222 Prof. Molnár

22 Pro ETL proces lze nastavit strategii pro čištění dat, jako například
remove (data, která nesplňují pravidla se nepřenesou dále, jsou odstraněna), match (očištění dat na základě nejbližší shody hodnoty atributů – odstranění překlepů, velká/malá písmena apod.) nebo custom (libovolná vlastní logika čištění dat). Prof. Molnár

23 Vytvoření OLAP krychle
Tabulka faktů Tabulky dimenzí Prof. Molnár

24 Analýza segmentů trhu OBOR SKUPINA ZÁKAZNÍKŮ REGION sever jih východ
Obchodní domy Velkoobchod Maloobchod Sklo Keramika Plasty Ve druhém způsobu analýzy hospodářského výsledku se používá metoda nákladů na obrat, v níž se výsledky jednotlivých produktů srovnávají s vlastními náklady těchto výrobků. Změna hospodářského výsledku se tak projeví již při fakturaci ohodnocenou standardní kalkulací produktu. Výkaz ziskovosti je možno vytvořit jen tehdy, když dojde k obratům. V systému se nejprve definují tzv. atributy a množiny přípustných hodnot, jichž mohou nabývat. Mohou se použít buď atributy systémové nebo uživatelské. Příkladem atributu a jeho hodnot může například být: - “region” s hodnotami: sever, východ, západ, jih, Praha, Morava, - “skupina zákazníků“ s hodnotami: maloobchod, velkoobchod, obchodní domy, - “obor” s hodnotami: sklo, keramika, plasty, kovy, apod. Hodnoty atributů lze navzájem od sebe odvozovat. Při pořizování nákladů a výnosů je pak možné tyto hodnoty nechat systémem automaticky odvodit (tam, kde je to možné), případně ručně zadat. Objekt hospodářského výsledku pak vzniká kombinací hodnot definovaných atributů. Pro každý takový objekt si lze vyvolat výkaz ziskovosti. Dostáváme tak do rukou efektivní nástroj analýzy hospodářského výsledku například jednotlivých segmentů trhu a skupin produktů. V našem případě mohu třeba analyzovat ziskovost plastových výrobků prodaných do malobchodu v jižním regionu. OBOR Prof. Molnár 19

25 Analýza nákladů ČAS VÝROBEK STŘEDISKO NAKLADOVY DRUH S01 S02 S03
Materiál Mzdy Energie SU15 VOC25 NCU10 Ve druhém způsobu analýzy hospodářského výsledku se používá metoda nákladů na obrat, v níž se výsledky jednotlivých produktů srovnávají s vlastními náklady těchto výrobků. Změna hospodářského výsledku se tak projeví již při fakturaci ohodnocenou standardní kalkulací produktu. Výkaz ziskovosti je možno vytvořit jen tehdy, když dojde k obratům. V systému se nejprve definují tzv. atributy a množiny přípustných hodnot, jichž mohou nabývat. Mohou se použít buď atributy systémové nebo uživatelské. Příkladem atributu a jeho hodnot může například být: - “region” s hodnotami: sever, východ, západ, jih, Praha, Morava, - “skupina zákazníků“ s hodnotami: maloobchod, velkoobchod, obchodní domy, - “obor” s hodnotami: sklo, keramika, plasty, kovy, apod. Hodnoty atributů lze navzájem od sebe odvozovat. Při pořizování nákladů a výnosů je pak možné tyto hodnoty nechat systémem automaticky odvodit (tam, kde je to možné), případně ručně zadat. Objekt hospodářského výsledku pak vzniká kombinací hodnot definovaných atributů. Pro každý takový objekt si lze vyvolat výkaz ziskovosti. Dostáváme tak do rukou efektivní nástroj analýzy hospodářského výsledku například jednotlivých segmentů trhu a skupin produktů. V našem případě mohu třeba analyzovat ziskovost plastových výrobků prodaných do malobchodu v jižním regionu. VÝROBEK Prof. Molnár 19

26 OLAP krychle OLAP aplikace (Excel) OLAP krychle Řez krychlí Čas
Druh účtu Kč (data) Org. jednotka Prof. Molnár

27 OLAP dimenze Rok Měsíc Přímé náklady Náklady na materiál Stavba Závod
Prof. Molnár

28 Fakta a jejich aditivnost
Aditivní fakta – mohou být agregována pomocí jednoduchých funkcí jako je průměr, součet apod. přes všechny dimenze (např. výše tržeb může být sečtena jak za libovolné časové období a za všechny prodejny) Semiaditivní fakta – mohou být agregována podle jednotlivých dimenzí jen částečně (např. hotovost v bance může být sečtena jen za všechny účty, nikoliv za nějaké časové období) Neaditivní fakta – nemohou být agregována jednoduchými funkcemi (např. průměrná produktivita v jednotlivých měsících nemůže být sečtena za za rok, ani za všechny organizační jednotky) Prof. Molnár

29 Vlastnosti dimenzí Hierarchie Granularita Sdílení Proměnlivost
Prof. Molnár

30 Vlastnosti dimenzí (1) Hierarchie dimenze – umožňuje procházet daty od úrovně s nejvyšší mírou agregace k nižší úrovni (drill-down) a naopak (roll-up). Např. ústav, fakulta, univerzita, vysoké školy, nebo stavba, závod, divize, celá společnost. Granularita dimenze– základní úroveň detailu dat uložených v DW odpovídá nejnižší úrovni detailu u všech dimenzí. Tak vzniká problém balancování mezi objemem dat a mírou detailu zachycených dat. Daná metrika se může lišit podle dalších dimenzí Např. chceme-li sledovat denní výjezdy pohotovostních vozidel plynárenské služby v Praze, tak se může stát, že u řady dalších měst toto nemá smysl, protože stačí sledovat jen za týden. Prof. Molnár

31 Vlastnosti dimenzí (2) Sdílené dimenze (common shared dimension) – jsou společné pro všechna fakta a tím poskytují uživateli jednotný pohled na fakta a usnadňují implementaci. Typickými sdílenými dimenzemi jsou čas, organizační jednotka, produkt, zákazník apod. Proměnlivost dimenze (slowly changing dimension) – znamená, že atributy dimenze se mohou v čase měnit, což může komplikovat historické přehledy (sledování trendů). To je většinou řešeno ukládáním dvojích hodnot staré a nové. Pokud se dimenze mění často, vede to k nežádoucímu nárůstu atributů (dat). Např. zákazník se přejmenuje, sloučí s jiným či přestěhuje do jiného regionu. Prof. Molnár

32 Příklady dimenzí u aplikace prodeje
Čas (rok, měsíc, případně den v roce či den v měsíci) Stav (prognóza, plán skutečnost) Útvar (dle konkrétního organizačního uspořádání) Zákazník (obchodní zástupce, významný zákazník, přímý odběratel apod.) Segment trhu (státní sektor, soukromý sektor, bytová výstavba apod.) Produkt/zakázka (typ, provedení apod.) Teritorium (Evropa, ČR, kraj apod.) Nákladový druh (materiál, mzdy, cestovné,provize a pod.) a další dle konkrétních požadavků obchodníků Prof. Molnár

33 Příklady fakt u aplikace prodeje
Objem tržeb Náklady Zisk Počet zákazníků a další dle konkrétních požadavků obchodníků Z hodnot fakt a jejich dimenzí pak systém tvoří ukazatele Např. % nákladů na provize z celkových tržeb či z celkového zisku a jejich vývoj v čase a to dle jednotlivých útvarů Prof. Molnár

34 Hierarchie dimensí Prof. Molnár

35 Tabulka vazeb faktů a dimensí
Prof. Molnár

36 Datový model - prodeje Dimenze: čas FAKTA: tržba produkt zisk zákazník
způsob prodeje region FAKTA: tržba zisk pohledávky granularita čas produkt zákazník způsob prodeje kraj den komedie fanoušci e-shop Praha týden psycho teaneagers řetězce Střední čechy měsíc thriller singels maloobchod Karlovarský rok love story others dealer atd. Prof. Molnár

37 Vazba pohledávky - dimense
čas pohledávky způsob zákazník Prof. Molnár

38 Vazba tržba - dimense kraj produkt čas tržba zákazník způsob
Prof. Molnár

39 Vazba zisk - dimense čas zisk produkt způsob Prof. Molnár

40 Model fakta-dimenze čas produkt tržba pohledávky zisk kraj způsob
zákazník Prof. Molnár

41 Uživatelské vlastnosti MIS
grafická a tabulková prezentace intuitivní ovládání panelů možnost detailních pohledů (drill-down) agregace a integrace dat multidimensionální řezy(slice and dice) víceuživatelský přístup diagnostika extrémních hodnot (alert) spouštění externích aplikací simulace (what-if) tiskové výstupy - Prof. Molnár

42 Prof. Molnár

43 Prof. Molnár

44 Základní operace v OLAP systémech
Drill-down – umožňuje uživateli ve zvolené(-ých) instanci(-ích) jisté agregační úrovně nastavit nižší(jemnější) agregační úroveň Roll-up – jde o opak předešlé operace. Ve zvolených instancích jisté agregační úrovně nastavuje vyšší (hrubší) agregační úroveň. Pivoting – umožňuje „otáčet“ datovou krychlí, tj. měnit úhel pohledu na data na úrovni presentace obsahu datového skladu. Slicing – dovoluje provádět řezy datovou kostkou, tj. nalézt pohled, v němž je jedna dimenze fixována v jisté(-ých) instanci(-ích) jisté agregační úrovně. Jinými slovy tato dimenze aplikuje filtr na instance příslušné agregační úrovně dané dimenze. Dicing – je obdobou „slicingu“, jenž umožňuje nastavit takový filtr pro více dimenzí Prof. Molnár

45 Postup budování MIS/DW
Identifikace problému (nejsložitější etapa) – projekt musí být podložen nějakým problémem, v důsledku jehož vyřešení se očekává přínos pro podnik. Vytvoření prototypu – identifikace určitého podproblému (například jenom problém sledování a vyhodnocování nákladů), jehož vyřešení nevyžaduje příliš mnoho úsilí, ale výsledek bude jasně naznačovat, jak bude vypadat cílový systém. Prototyp má dva efekty Koncovému uživateli jasně ukazuje jak bude vypadat výsledek a co lze od budovaného řešení očekávat Dává možnost řešiteli vyzkoušet si i ověřit své předpoklady a získat konkrétná zkušenosti z analýzy, návrhu a technické realizace prototypu včetně seznámení se s prostředím uživatele a navázání komunikace s budoucími uživateli Rozvinutí (roll-out) systému - postupné (step-by-step) rozšiřování řešení do dalších oblastí podnikového řízení. Prof. Molnár

46 Pořízení MIS Vlastním vývojem (většinou na bázi EXCEL)
Nákupem modulu MIS, který je součástí komplexního podnikového IS jako nadstavba ERP (SAP, ORACLE, NAVISION, MFG/Pro a pod.) tzv. systém all-in-one nákupem specializovaného MIS, který je přes standardizovaný interface napojen na libovolný základní ERP systém (COGNOS, SAS Institute, ADASTRA, MIS Alea apod.) tzv. systém best-of breed Prof. Molnár

47 Hlavní nedostatky současných MIS/EIS
1) mají tendenci spoléhat se ve značné míře na finanční ukazatele 2) zabývají se většinou historickými daty 3) vycházejí v drtivé míře z interních zdrojů podniku a ignorují vnější prostředí a konkurenci 4) pokud se zabývají budoucností, tak jenom na základě jednoduchých extrapolací minulosti 5) slouží účelově jednotlivým organizačním útvarům podniku a ignorují průřezové integrující pohledy Prof. Molnár

48 IS pro strategické řízení musí zabezpečit
selektivní sběr, zpracování a komunikování informací, které 1) jsou většinou nefinanční povahy 2) jsou orientované na budoucnost 3) pocházejí zejména z externích zdrojů 4) jsou založené na prognózách budoucnosti a ne na jednoduché extrapolaci minulosti Prof. Molnár

49 Úroveň turbulence (Ansoff a Sullivan)
Prof. Molnár

50 Pro zvládnutí turbulence musí IS zabezpečit
Zpracování signálů o možné změně turbulence Analýzu konkurence k identifikaci změn v jejích tržních strategiích a technologiích Generování scénářů alternativních strategií Analýzu proveditelnosti projektů alternativních strategií včetně analýzy kompetencí k provedení změny Sledování plnění strategie a hodnocení dosahovaných efektů Prof. Molnár

51 zachycení a zpracování signálů o změně turbulence
Funkce IS Realizuje Monitorovací analýzu konkurence zachycení a zpracování signálů o změně turbulence Rozhodovací a plánovací analýzu scénářů kapacitní analýzu analýzu proveditelnosti změn Řízení a kontroly sledování odchylek vyhodnocovat efektivnost projektu sledování postupu projektu Prof. Molnár

52 S rostoucí turbulencí roste náročnost na IS
Prof. Molnár

53 Business/Competitive Intelligence
je termín pro celou množinu konceptů a metodologií zlepšujících rozhodovací procesy v podnikání, které jsou založeny na - analýze faktů - odhalování souvislostí mezi nimi Na informace získané z různých zdrojů aplikujeme zkušenosti (znalosti) k získání předpovědi vývoje podnikání a ke zlepšení rozhodovacích procesů Prof. Molnár

54 Produkty podporující BI
Executive/Enterprise Information Systems (EIS) Management Support Systems (MSS) Decision Support Systems (DSS) Expert Systems (ES) On-Line Analytical Processing (OLAP) Data Mining Data Visualisation Knowledge management (KM) Prof. Molnár

55 Obecná definice data miningu
proces výběru, prohledávání a modelování ve velkých objemech dat, sloužící k odhalení dříve neznámých vztahů mezi daty, za účelem získání konkurenční výhody. DM bývá v širším slova smyslu definován jako získávání dosud neznámých, ověřených a použitelných znalostí z rozsáhlých databází pro provádění klíčových manažerských rozhodnutí. Prof. Molnár

56 Příklady obchodního zadání, které mohou vést k zavádění technik DM
Deskripce (např. „Které atributy nejvíce charakterizují chování určité skupiny zákazníků?“). : Klasifikace (např. „Představuje toto hlášení o škodní události pojišťovací podvod?“); Odhad (např. „Jaká je obchodní hodnota zákazníka?“); Předpovídání (např. „Kteří zákazníci od nás pravděpodobně odejdou v průběhu nejbližších šesti měsíců?“); Analýza nákupního košíku (např. „Které produkty se obvykle kupují společně?“); Seskupování podle podobností (např. „Které skupiny zákazníků mají nějaké společné charakteristiky?“); Prof. Molnár