Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík 14. Června 2011

2 Napříč odvětvími Retail Telekomunikace Digitální media Zdravotnictví Věda a výzkum Finanční instituce Veřejný sektor Energetika Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování nad PB dat Datové sklady a pokročilé analýzy Filozofie Jednoduchost po všech stránkách Akvizice IBM Netezza se stává součástí portfolia produktů brandu Information Management Co je Netezza? Firma Špičková technologie pro oblast datových skladů Zaměstnanci 500+ Zákazníci 500+ Reference 400+ Kde působí? Po celém světě Zejména však v severní Americe

Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování se nad PB dat Datové sklady a pokročilé analýzy 3 Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování se nad PB dat Datové sklady a pokročilé analýzy  Rychlost  Škálovatelnost  Jednoduchost  Chytrost

Co je to appliance v případě Netezzy?

Aby to bylo komplikované Aby to bylo hooooodně drahé Proč appliance? Aby to EFEKTIVNĚ FUNGOVALO A co vlastně má efektivně fungovat? Vyhodnocování analytických / ad-hoc dotazů

Není OLTP databázovým serverem – Není vhodná jako db pod ERP, CRM,... Co Netezza není? Kde Netezza fakticky nemá konkurenci? Náročné Analytické dotazy Ad-hoc dotazy Když jsou konvenční technologie maximálně vyladěné pro konkrétní dotazovací potřebu Má co do činění s velmi malým objemem dat Kdy Netezza obvykle není rychlejší?

Analytik IT Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu. OK. Musíme udělat řadu statistik, nastavit správně indexy a partitioning. 5 dní práce to spraví

Analytik IT Paráda. Mockrát děkuji. Hned to zkusím. Hotovo. Můžete spustit Váš analytický dotaz.

Analytik IT Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak Ale ale, to jsou k nám hosti. No, tak to máme dalších 5 dní práce Neeee !!! Tady se nedá pracovat !

A teď s Netezzou...

Analytik IT Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu.

Analytik IT Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak. S Netezzou můžu dotaz zadat hned. Odpověď bude za stejnou dobu IT se může věnovat něčemu jinému

MPP architektura – Koncept “Shared Nothing” – Rozdělení práce na několik menších úloh Velká úloha je rozdělena vertikálně do série menších úloh Menší úlohy běží paralelně / naprosto nezávisle Pro každou menší úlohu je přiděleno stejné množství fyzických zdrojů Komunikace mezi jednotlivými úlohami je jen na začátku a konci Přínosy – Obrovské úlohy jsou vykonány ve významně kratším čase – Maximální využitelnost zdrojů Masivní paralelní architektura “Rozděl a panuj”

Massively Parallel Intelligent Storage  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader ODBC 3.X JDBC Type 4 OLE-DB SQL/92 Execution Engine SQL Compiler Query Plan Optimize Admin Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64 High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic

High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Execution Engine Massively Parallel Intelligent Storage  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader SQL Compiler Query Plan Optimize Admin SQL Snippets SQL Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64

Zpracování toku dat jednotkou S-Blade Jádro (Core) FPGAJádro CPU Dekomprese dat Projekce Selekce, Autorizace Komplexní ∑ Joiny, Aggr, atd. Datová Cache Select sex, age, count(*) From MultiBillionRowTable Where BirthDate < ’01/01/1967’ And PostCode like ’SW%’ Group by sex, age; Každý S-Blade obsahuje 8 n-tic s vlastním: Diskem Datovou cache Jádrem FPGA jednotky Jádrem CPU

High-Performance Database Engine Streaming joins, aggregations, sorts, etc. S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Asymmetric Massively Parallel Processing™ Massively Parallel Intelligent Storage  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader SQL Compiler Query Plan Optimize Admin Consolidate Execution Engine ODBC 3.X JDBC Type 4 OLE-DB SQL/92 Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64

18 The Netezza TwinFin™ Appliance SQL Compiler Query Plan Optimalizátor Administrace Každý disk je rozdělen na 3 oblasti: Uživatelská data „Swap“ „Mirror“ SMP Servery Jednotky S-Blade™ (s databázovým akcelerátorem FPGA) Disky

19 Produkty rodiny Netezza SkimmerTwinFin Většinou jako: systém pro vývoj systém pro testování Datový sklad Náročné analytické úlohy 1 TB to 10 TB1 TB to 1.5 PB

20 Základní přínosy řešení NETEZZA Rychlost Datový streaming realizovaný přímo na úrovni HW (díky FPGA) Škálovatelnost skutečná MPP architektura Jednoduchost Black-box Žádné ladění Téměř žádná administrace Inteligence Vestavěné funkce pro pokročilé analýzy vykonávány přímo nad db s využitím masivního paralelismu

Konkurenční technologie mají obrovské množství parametrů a databázových objektů, které pomáhají výrazně zlepšovat výkonnost systémů. Musejí být tedy lepší. Netezza má celou řadu z nich taky, ale jejich hodnoty si spravuje sama a nezatěžuje tím uživatele. Používá tedy vlastně jakési implicitní hodnoty parametrů Jenže v případě Netezzy platí: Výkonnost systému s implicitními parametry je dostatečná Tak takhle nějak jsem se na to tvářil poprvé, podruhé,... a ještě mockrát,... Těším se na Vaše dotazy Martin Pavlík