Porovnání integračních technologií RNDr. Ondřej Zýka ondrej.zyka@profinit.eu

Obsah Integrační technologie Porovnání Replikace ETL – Extract/Transform/Load EAI – Enterprise Application Integration EII – Enterprise Information Integration Porovnání Rychlost Konzistence Reakce na chyby Úroveň abstrakce Architektura Bezpečnost Dostupnost

Integrační technologie Replikace – 70 léta ETL – 80 léta EAI – 90 léta EII – dnes Vývoj kopíruje schopnosti techniky požadavky praxe rozhled a schopnosti uživatelů Vývoj nebyl takto přímočarý V rámci výkladu tolerujme toto zjednodušení.

Další termíny MDM Master Data Management EIM Enterprise Information Management CDI Customer Data Integration PIM Product Information Management SOA Service Oriented Architecture ESA Enterprise Service Architecture EDQ Enterprise Data Quality

Replikace Synchronizace vícenásobného uložení dat databáze souborové systémy Pracuje se nejčastěji na úrovni tabulek (nebo databází, souborů, adresářů) Replikace podmnožiny sloupců, řádků, replikování procedur Konsistence na úrovni transakcí

Technologie Asynchronní × Synchronní zpracování Snapshots × Transakce Dvojfázový commit ?? Snapshots × Transakce kdy načítat snapshot čtení transakčního logu použití triggerů Publisher-subscriber × Point-to-point kdy považovat transakci za doručenou

Replikace Cíle Slabiny Zvládnout velké tabulky, velké objemy dat Nízké nároky na komunikace Jednoduché nastavení Jednoduchá správa Slabiny Malá možnost transformace dat Malá možnost podmíněných transformací nebo složitějších konstrukcí Již zvládnutá technologie Standardní vybavení všech úložišť dat

Replikace - administrace Sybase replication server - sledování a administrace replikačního systému

ETL Přenos dat mezi jednotlivými úložišti (souborové systémy, databáze) Konsolidace dat, úpravy dat, čištění dat Zdroje na úrovni tabulek (datasetů) Zpracování v dávkách, nástroje na správu dávek Řešení chybových stavů Důvod byl dostat data do datových stavů a přitom změnit schéma z relačního na vločkové

ETL Cíle Vytváření a správa složitých transformačních pravidel Použití metadat Zvládnutí velikých objemů dat Zvládnutí složitých plánovacích a transformačních schémat Slabé stránky Malá možnost reakce na události Určeno pro dávkové zpracování (datové sklady) Zdroje jsou zejména tabulky

ETL – návrh transformací Informatika PowerCenter – design transformace

ETL – dohled zpracování Informatika PowerCenter – dohled zpracování

Enterprise Application Integration Analýza jednotlivých transformací mezi dvěma systémy

Enterprise Application Integration Propojení systémů na vyšší abstraktní úrovni Maximální nezávislost (aplikací, operačních systémů, dodavatelů,…) Cíle Vytvořit univerzální koncepty (J2EE) Vytvořit univerzální protokoly (XML, JDBS, JMS, CORBA, COM, SOAP, WSDL, BPEL) Vytvořit univerzální prostředí (J2EE servery, BizTalk, Commerce Server 2000)

Enterprise Application Integration „Slabá“ stránka – komplikovanost Snaha vyřešit vše Integrace na úrovni dat Integrace uživatelského prostředí Integrace aplikací Sjednocení metodologie integrace Vazba na obchodní procesy Identifying sources of data Building the enterprise metadata model Process integration Identifying application interfaces Mapping information movement Selecting and applying the technologies Testing Maintenance Netahat bussines procesy do integrace Dobře rozhodnout co se smí a co ne

Enterprise Application Integration Vytváření transformačních schémat v BizTalk Serveru

SOAP SOAP (Simple Object Access Protocol, 1998) zpráva je XML dokument, který obsahuje následující elementy: Obálku (Envelope) element, která identifikuje XML dokument jako SOAP zprávu - povinný Hlavičku (Header) element, který obsahuje popis - nepovinný Tělo (Body), které obsahuje informace požadavku nebo odpovědi - povinné Chybový (Fault) element, který obsahuje informace o chybých při zpracování Některá pravidla syntaxe SOAP zpráva musí být XML SOAP zpráva musí použít SOAP Envelope jmenný prostor SOAP zpráva musí použít SOAP Encoding jmenný prostor SOAP zpráva nesmí obsahovat DTD SOAP zpráva nesmí obsahovat XML Procesní instrukce

WSDL WSDL (Web Services Description Language, 2001) je specifikace jak popsat web servisy společnou XML gramatikou. Popisuje čtyři základní části dat: Informace o interface popisuje veřejně dostupné funkce. Informace o datech pro všechny požadavky a odpovědi. Transportní informace o použitých protokolech. Adresní informace pro nalezení specifikovaných služeb

BPEL BPEL (Business Process Execution Language, 2003) je jazyk umožňující organizovat činnost systémů nabízející vebové služby. Používá XML Používá webové služby jako základní prvky Definuje (popisuje) podnikové procesy Definuje množinu operací protojující web servisy Podporuje operace s datovými prvky Podoruje definici instancí procesů Podporuje životní cyklus instancí procesů Podporuje transakční model Nedefinuje grafickou reprezentaci, neobsahuje metodologii

BPEL příklad <assign> <copy> <from variable="c1"/> <to variable="c2"/> </copy> <from variable="c1" part = "address"/> <to variable="c3"/> </assign>

Příklady produktů pro EAI Sun: Java Composite Application Platform Suite (SeeBeyond) Messaging Server Tibco DataExchange Rendezvous Enterprise servis bus Oracle BPEL Process Manager IBM WebSphere Enterprise Service Bus WebSphere MQ

Enterprise Information Integration Provázanost koncových uživatelů s aktuálními a integrovanými daty Distribuce jednotných pohledů na data v celém podniku Cíle Vytvořit jednotné prostředí pro práci s daty z mnoha systémů Zapojení mnoha prostředí pro práci s daty Přístup k strukturovaným (databáze), semistrukturovaným (email, XML, spreadsheed) a nestrukturovaným (dokumenty, content management systems) datům Umožnit měnit některá data

Enterprise Information Integration Důvody zvýšení typů koncových uživatelů mobilita koncových uživatelů Slabiny Extrémní komplikovanost Málo zkušeností Nutnost reagovat na vývoj technologií

Enterprise Information Integration Architektura EII podle IPEDO. Inc

Shrnutí Replikace ETL EAI EII Distribuce dat a synchronizace dat Konsolidace dat pro DSS aplikací Komunikace aplikací mezi sebou Zajištění aktuálních informací pro uživatele/aplikace Udržování kopií dat pro různé druhy zpracování Shromažďování dat do centrálního úložiště Point-to-point předávání informací Spoke-hub Service BUS Pohledy na existující data v celém podniku Distribuce transakcí Rozsáhlé přenosy a transformace dat Zprávy mezi aplikacemi Minimální migrace dat Pouze strukturovaná data Většinou strukturovaná data, složité transformace Transformace mezi jednotlivými formáty Strukturovaná data, Semistrukturovaná data, nestrukturovaná data. -- Přístup k historickým datům a snapshotům Přístup k aktuálním datům Univerzální distribuce transakcí Nikdy nemění data ve zdrojových systémech Může změnit data předáním příslušné zprávy Může měnit definovanou množinu dat

Architektura řešení Pattern Point-to-point Jednoúčelové aplikace Podle Sun - J2EE

Architektura řešení Pattern Systém hub Založeno na midleware

Architektura řešení Pattern Spoke-hub Centralizované řešení

Architektura integračních technologií Jádro Schopnosti Obsah vlastního katalogu Abstrakce dat Robustnost Škálovatelnost Propustnost Administrovatelnost Konektory Typy Množství Připravenost Složitost nastavení, konfigurovatelnost Upravovatelnost Možnost vlastního vývoje

Porovnání Rychlost Konzistence dat Chování v případě výpadků Dostupnost, bezpečnost

Rychlost Synchronní přenos Asynchronní přenos Další faktory Dvoufázový commit Distribuované transakce Asynchronní přenos Okamžitě Jak rychle infrastruktura dovolí Dávkově Na vyžádání Další faktory Jak zatížíme zdrojové systémy Jak zatížíme komunikaci Jak zatížíme cílové systémy

Konzistence dat Konzistence Otázky Na úrovni transakcí Na úrovni aplikací Na úrovni podniku Otázky Jak zajistit konzistenci Jak zjistit, že je porušena Jak reagovat, když zjistíme, že je porušena

Chování v případě výpadků Výpadky provozních systémů Výpadky integračních technologií Schopnost zálohovat konfiguraci Schopnost automatického zotavení po výpadku Schopnost technologií Uchovávat přenášená data Vypořádat se s duplicitou dat Zjistit výpadek v datech

Dostupnost Závislost jednotlivých komponent na dostupnost ostatních komponent Zvýšení nároků na dostupnost pro adresářové služby a služby autentizace Zvýšení nároků na dohled background systémů Zvýšení nároků na dostupnost pro všechny systémy

Bezpečnost Formát přenosu mezi systémy Napadnutelnost, oprávněnost přístupu Důvěryhodnost middleware Jednotný systém ověření a práv

Závěr Dotazy Komentáře Připomínky Upřesnění Děkuji za pozornost