Porovnání integračních technologií

Prezentace na téma: "Porovnání integračních technologií"— Transkript prezentace:

1 Porovnání integračních technologií
RNDr. Ondřej Zýka

2 Obsah Integrační technologie Porovnání Replikace
ETL – Extract/Transform/Load EAI – Enterprise Application Integration EII – Enterprise Information Integration Porovnání Rychlost Konzistence Reakce na chyby Úroveň abstrakce Architektura Bezpečnost Dostupnost

3 Integrační technologie
Replikace – 70 léta ETL – 80 léta EAI – 90 léta EII – dnes Vývoj kopíruje schopnosti techniky požadavky praxe rozhled a schopnosti uživatelů Vývoj nebyl takto přímočarý V rámci výkladu tolerujme toto zjednodušení.

4 Další termíny MDM Master Data Management
EIM Enterprise Information Management CDI Customer Data Integration PIM Product Information Management SOA Service Oriented Architecture ESA Enterprise Service Architecture EDQ Enterprise Data Quality

5 Replikace Synchronizace vícenásobného uložení dat
databáze souborové systémy Pracuje se nejčastěji na úrovni tabulek (nebo databází, souborů, adresářů) Replikace podmnožiny sloupců, řádků, replikování procedur Konsistence na úrovni transakcí

6 Technologie Asynchronní × Synchronní zpracování Snapshots × Transakce
Dvojfázový commit ?? Snapshots × Transakce kdy načítat snapshot čtení transakčního logu použití triggerů Publisher-subscriber × Point-to-point kdy považovat transakci za doručenou

7 Replikace Cíle Slabiny Zvládnout velké tabulky, velké objemy dat
Nízké nároky na komunikace Jednoduché nastavení Jednoduchá správa Slabiny Malá možnost transformace dat Malá možnost podmíněných transformací nebo složitějších konstrukcí Již zvládnutá technologie Standardní vybavení všech úložišť dat

8 Replikace - administrace
Sybase replication server - sledování a administrace replikačního systému

9 ETL Přenos dat mezi jednotlivými úložišti (souborové systémy, databáze) Konsolidace dat, úpravy dat, čištění dat Zdroje na úrovni tabulek (datasetů) Zpracování v dávkách, nástroje na správu dávek Řešení chybových stavů Důvod byl dostat data do datových stavů a přitom změnit schéma z relačního na vločkové

10 ETL Cíle Vytváření a správa složitých transformačních pravidel Použití metadat Zvládnutí velikých objemů dat Zvládnutí složitých plánovacích a transformačních schémat Slabé stránky Malá možnost reakce na události Určeno pro dávkové zpracování (datové sklady) Zdroje jsou zejména tabulky

11 ETL – návrh transformací
Informatika PowerCenter – design transformace

12 ETL – dohled zpracování
Informatika PowerCenter – dohled zpracování

13 Enterprise Application Integration
Analýza jednotlivých transformací mezi dvěma systémy

14 Enterprise Application Integration
Propojení systémů na vyšší abstraktní úrovni Maximální nezávislost (aplikací, operačních systémů, dodavatelů,…) Cíle Vytvořit univerzální koncepty (J2EE) Vytvořit univerzální protokoly (XML, JDBS, JMS, CORBA, COM, SOAP, WSDL, BPEL) Vytvořit univerzální prostředí (J2EE servery, BizTalk, Commerce Server 2000)

15 Enterprise Application Integration
„Slabá“ stránka – komplikovanost Snaha vyřešit vše Integrace na úrovni dat Integrace uživatelského prostředí Integrace aplikací Sjednocení metodologie integrace Vazba na obchodní procesy Identifying sources of data Building the enterprise metadata model Process integration Identifying application interfaces Mapping information movement Selecting and applying the technologies Testing Maintenance Netahat bussines procesy do integrace Dobře rozhodnout co se smí a co ne

16 Enterprise Application Integration
Vytváření transformačních schémat v BizTalk Serveru

17 SOAP SOAP (Simple Object Access Protocol, 1998) zpráva je XML dokument, který obsahuje následující elementy: Obálku (Envelope) element, která identifikuje XML dokument jako SOAP zprávu - povinný Hlavičku (Header) element, který obsahuje popis - nepovinný Tělo (Body), které obsahuje informace požadavku nebo odpovědi - povinné Chybový (Fault) element, který obsahuje informace o chybých při zpracování Některá pravidla syntaxe SOAP zpráva musí být XML SOAP zpráva musí použít SOAP Envelope jmenný prostor SOAP zpráva musí použít SOAP Encoding jmenný prostor SOAP zpráva nesmí obsahovat DTD SOAP zpráva nesmí obsahovat XML Procesní instrukce

18 WSDL WSDL (Web Services Description Language, 2001) je specifikace jak popsat web servisy společnou XML gramatikou. Popisuje čtyři základní části dat: Informace o interface popisuje veřejně dostupné funkce. Informace o datech pro všechny požadavky a odpovědi. Transportní informace o použitých protokolech. Adresní informace pro nalezení specifikovaných služeb

19 BPEL BPEL (Business Process Execution Language, 2003) je jazyk umožňující organizovat činnost systémů nabízející vebové služby. Používá XML Používá webové služby jako základní prvky Definuje (popisuje) podnikové procesy Definuje množinu operací protojující web servisy Podporuje operace s datovými prvky Podoruje definici instancí procesů Podporuje životní cyklus instancí procesů Podporuje transakční model Nedefinuje grafickou reprezentaci, neobsahuje metodologii

20 BPEL příklad <assign> <copy> <from variable="c1"/>
<to variable="c2"/> </copy> <from variable="c1" part = "address"/> <to variable="c3"/> </assign>

21 Příklady produktů pro EAI
Sun: Java Composite Application Platform Suite (SeeBeyond) Messaging Server Tibco DataExchange Rendezvous Enterprise servis bus Oracle BPEL Process Manager IBM WebSphere Enterprise Service Bus WebSphere MQ

22 Enterprise Information Integration
Provázanost koncových uživatelů s aktuálními a integrovanými daty Distribuce jednotných pohledů na data v celém podniku Cíle Vytvořit jednotné prostředí pro práci s daty z mnoha systémů Zapojení mnoha prostředí pro práci s daty Přístup k strukturovaným (databáze), semistrukturovaným ( , XML, spreadsheed) a nestrukturovaným (dokumenty, content management systems) datům Umožnit měnit některá data

23 Enterprise Information Integration
Důvody zvýšení typů koncových uživatelů mobilita koncových uživatelů Slabiny Extrémní komplikovanost Málo zkušeností Nutnost reagovat na vývoj technologií

24 Enterprise Information Integration
Architektura EII podle IPEDO. Inc

25 Shrnutí Replikace ETL EAI EII Distribuce dat a synchronizace dat
Konsolidace dat pro DSS aplikací Komunikace aplikací mezi sebou Zajištění aktuálních informací pro uživatele/aplikace Udržování kopií dat pro různé druhy zpracování Shromažďování dat do centrálního úložiště Point-to-point předávání informací Spoke-hub Service BUS Pohledy na existující data v celém podniku Distribuce transakcí Rozsáhlé přenosy a transformace dat Zprávy mezi aplikacemi Minimální migrace dat Pouze strukturovaná data Většinou strukturovaná data, složité transformace Transformace mezi jednotlivými formáty Strukturovaná data, Semistrukturovaná data, nestrukturovaná data. -- Přístup k historickým datům a snapshotům Přístup k aktuálním datům Univerzální distribuce transakcí Nikdy nemění data ve zdrojových systémech Může změnit data předáním příslušné zprávy Může měnit definovanou množinu dat

26 Architektura řešení Pattern Point-to-point Jednoúčelové aplikace
Podle Sun - J2EE

27 Architektura řešení Pattern Systém hub Založeno na midleware

28 Architektura řešení Pattern Spoke-hub Centralizované řešení

29 Architektura integračních technologií
Jádro Schopnosti Obsah vlastního katalogu Abstrakce dat Robustnost Škálovatelnost Propustnost Administrovatelnost Konektory Typy Množství Připravenost Složitost nastavení, konfigurovatelnost Upravovatelnost Možnost vlastního vývoje

30 Porovnání Rychlost Konzistence dat Chování v případě výpadků
Dostupnost, bezpečnost

31 Rychlost Synchronní přenos Asynchronní přenos Další faktory
Dvoufázový commit Distribuované transakce Asynchronní přenos Okamžitě Jak rychle infrastruktura dovolí Dávkově Na vyžádání Další faktory Jak zatížíme zdrojové systémy Jak zatížíme komunikaci Jak zatížíme cílové systémy

32 Konzistence dat Konzistence Otázky Na úrovni transakcí
Na úrovni aplikací Na úrovni podniku Otázky Jak zajistit konzistenci Jak zjistit, že je porušena Jak reagovat, když zjistíme, že je porušena

33 Chování v případě výpadků
Výpadky provozních systémů Výpadky integračních technologií Schopnost zálohovat konfiguraci Schopnost automatického zotavení po výpadku Schopnost technologií Uchovávat přenášená data Vypořádat se s duplicitou dat Zjistit výpadek v datech

34 Dostupnost Závislost jednotlivých komponent na dostupnost ostatních komponent Zvýšení nároků na dostupnost pro adresářové služby a služby autentizace Zvýšení nároků na dohled background systémů Zvýšení nároků na dostupnost pro všechny systémy

35 Bezpečnost Formát přenosu mezi systémy
Napadnutelnost, oprávněnost přístupu Důvěryhodnost middleware Jednotný systém ověření a práv

36 Závěr Dotazy Komentáře Připomínky Upřesnění Děkuji za pozornost