Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík 14. Června 2011.

Prezentace na téma: "Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík 14. Června 2011."— Transkript prezentace:

1 Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík (martin_pavlik@cz.ibm.com) 14. Června 2011

2 2 Napříč odvětvími Retail Telekomunikace Digitální media Zdravotnictví Věda a výzkum Finanční instituce Veřejný sektor Energetika Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování nad PB dat Datové sklady a pokročilé analýzy Filozofie Jednoduchost po všech stránkách Akvizice IBM 11.11.2010 Netezza se stává součástí portfolia produktů brandu Information Management Co je Netezza? Firma Špičková technologie pro oblast datových skladů Zaměstnanci 500+ Zákazníci 500+ Reference 400+ Kde působí? Po celém světě Zejména však v severní Americe

3 Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování se nad PB dat Datové sklady a pokročilé analýzy 3 Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování se nad PB dat Datové sklady a pokročilé analýzy  Rychlost  Škálovatelnost  Jednoduchost  Chytrost

4 Co je to appliance v případě Netezzy?

5 Aby to bylo komplikované Aby to bylo hooooodně drahé Proč appliance? Aby to EFEKTIVNĚ FUNGOVALO A co vlastně má efektivně fungovat? Vyhodnocování analytických / ad-hoc dotazů

6 Není OLTP databázovým serverem – Není vhodná jako db pod ERP, CRM,... Co Netezza není? Kde Netezza fakticky nemá konkurenci? Náročné Analytické dotazy Ad-hoc dotazy Když jsou konvenční technologie maximálně vyladěné pro konkrétní dotazovací potřebu Má co do činění s velmi malým objemem dat Kdy Netezza obvykle není rychlejší?

7 Analytik IT Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu. OK. Musíme udělat řadu statistik, nastavit správně indexy a partitioning. 5 dní práce to spraví

8 Analytik IT Paráda. Mockrát děkuji. Hned to zkusím. Hotovo. Můžete spustit Váš analytický dotaz.

9 Analytik IT Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak Ale ale, to jsou k nám hosti. No, tak to máme dalších 5 dní práce Neeee !!! Tady se nedá pracovat !

10 A teď s Netezzou...

11 Analytik IT Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu.

12 Analytik IT Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak. S Netezzou můžu dotaz zadat hned. Odpověď bude za stejnou dobu IT se může věnovat něčemu jinému

13 MPP architektura – Koncept “Shared Nothing” – Rozdělení práce na několik menších úloh Velká úloha je rozdělena vertikálně do série menších úloh Menší úlohy běží paralelně / naprosto nezávisle Pro každou menší úlohu je přiděleno stejné množství fyzických zdrojů Komunikace mezi jednotlivými úlohami je jen na začátku a konci Přínosy – Obrovské úlohy jsou vykonány ve významně kratším čase – Maximální využitelnost zdrojů Masivní paralelní architektura “Rozděl a panuj”

14 Massively Parallel Intelligent Storage 1 2 3 920  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader ODBC 3.X JDBC Type 4 OLE-DB SQL/92 Execution Engine SQL Compiler Query Plan Optimize Admin Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64 High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic

15 High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Execution Engine Massively Parallel Intelligent Storage 1 2 3 920  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader SQL Compiler Query Plan Optimize Admin SQL 123 123 123 123 Snippets 123 1 2 3 SQL Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64

16 Zpracování toku dat jednotkou S-Blade Jádro (Core) FPGAJádro CPU Dekomprese dat Projekce Selekce, Autorizace Komplexní ∑ Joiny, Aggr, atd. Datová Cache Select sex, age, count(*) From MultiBillionRowTable Where BirthDate < ’01/01/1967’ And PostCode like ’SW%’ Group by sex, age; Každý S-Blade obsahuje 8 n-tic s vlastním: Diskem Datovou cache Jádrem FPGA jednotky Jádrem CPU

17 High-Performance Database Engine Streaming joins, aggregations, sorts, etc. S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Asymmetric Massively Parallel Processing™ Massively Parallel Intelligent Storage 1 2 3 920  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader SQL Compiler Query Plan Optimize Admin 123 123 123 123 Consolidate Execution Engine ODBC 3.X JDBC Type 4 OLE-DB SQL/92 Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64

18 18 The Netezza TwinFin™ Appliance SQL Compiler Query Plan Optimalizátor Administrace Každý disk je rozdělen na 3 oblasti: Uživatelská data „Swap“ „Mirror“ SMP Servery Jednotky S-Blade™ (s databázovým akcelerátorem FPGA) Disky

19 19 Produkty rodiny Netezza SkimmerTwinFin Většinou jako: systém pro vývoj systém pro testování Datový sklad Náročné analytické úlohy 1 TB to 10 TB1 TB to 1.5 PB

20 20 Základní přínosy řešení NETEZZA Rychlost Datový streaming realizovaný přímo na úrovni HW (díky FPGA) Škálovatelnost skutečná MPP architektura Jednoduchost Black-box Žádné ladění Téměř žádná administrace Inteligence Vestavěné funkce pro pokročilé analýzy vykonávány přímo nad db s využitím masivního paralelismu

21 Konkurenční technologie mají obrovské množství parametrů a databázových objektů, které pomáhají výrazně zlepšovat výkonnost systémů. Musejí být tedy lepší. Netezza má celou řadu z nich taky, ale jejich hodnoty si spravuje sama a nezatěžuje tím uživatele. Používá tedy vlastně jakési implicitní hodnoty parametrů Jenže v případě Netezzy platí: Výkonnost systému s implicitními parametry je dostatečná Tak takhle nějak jsem se na to tvářil poprvé, podruhé,... a ještě mockrát,... Těším se na Vaše dotazy Martin Pavlík +420 731 435 691 martin_pavlik@cz.ibm.com