Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík 14. Června 2011.

Podobné prezentace


Prezentace na téma: "Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík 14. Června 2011."— Transkript prezentace:

1 Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík 14. Června 2011

2 2 Napříč odvětvími Retail Telekomunikace Digitální media Zdravotnictví Věda a výzkum Finanční instituce Veřejný sektor Energetika Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování nad PB dat Datové sklady a pokročilé analýzy Filozofie Jednoduchost po všech stránkách Akvizice IBM Netezza se stává součástí portfolia produktů brandu Information Management Co je Netezza? Firma Špičková technologie pro oblast datových skladů Zaměstnanci 500+ Zákazníci 500+ Reference 400+ Kde působí? Po celém světě Zejména však v severní Americe

3 Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování se nad PB dat Datové sklady a pokročilé analýzy 3 Co Netezza dodává Vysoce výkonné appliance Řešení pro ukládání a dotazování se nad PB dat Datové sklady a pokročilé analýzy  Rychlost  Škálovatelnost  Jednoduchost  Chytrost

4 Co je to appliance v případě Netezzy?

5 Aby to bylo komplikované Aby to bylo hooooodně drahé Proč appliance? Aby to EFEKTIVNĚ FUNGOVALO A co vlastně má efektivně fungovat? Vyhodnocování analytických / ad-hoc dotazů

6 Není OLTP databázovým serverem – Není vhodná jako db pod ERP, CRM,... Co Netezza není? Kde Netezza fakticky nemá konkurenci? Náročné Analytické dotazy Ad-hoc dotazy Když jsou konvenční technologie maximálně vyladěné pro konkrétní dotazovací potřebu Má co do činění s velmi malým objemem dat Kdy Netezza obvykle není rychlejší?

7 Analytik IT Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu. OK. Musíme udělat řadu statistik, nastavit správně indexy a partitioning. 5 dní práce to spraví

8 Analytik IT Paráda. Mockrát děkuji. Hned to zkusím. Hotovo. Můžete spustit Váš analytický dotaz.

9 Analytik IT Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak Ale ale, to jsou k nám hosti. No, tak to máme dalších 5 dní práce Neeee !!! Tady se nedá pracovat !

10 A teď s Netezzou...

11 Analytik IT Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu.

12 Analytik IT Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak. S Netezzou můžu dotaz zadat hned. Odpověď bude za stejnou dobu IT se může věnovat něčemu jinému

13 MPP architektura – Koncept “Shared Nothing” – Rozdělení práce na několik menších úloh Velká úloha je rozdělena vertikálně do série menších úloh Menší úlohy běží paralelně / naprosto nezávisle Pro každou menší úlohu je přiděleno stejné množství fyzických zdrojů Komunikace mezi jednotlivými úlohami je jen na začátku a konci Přínosy – Obrovské úlohy jsou vykonány ve významně kratším čase – Maximální využitelnost zdrojů Masivní paralelní architektura “Rozděl a panuj”

14 Massively Parallel Intelligent Storage  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader ODBC 3.X JDBC Type 4 OLE-DB SQL/92 Execution Engine SQL Compiler Query Plan Optimize Admin Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64 High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic

15 High-Performance Database Engine Streaming joins, aggregations, sorts S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Execution Engine Massively Parallel Intelligent Storage  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader SQL Compiler Query Plan Optimize Admin SQL Snippets SQL Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64

16 Zpracování toku dat jednotkou S-Blade Jádro (Core) FPGAJádro CPU Dekomprese dat Projekce Selekce, Autorizace Komplexní ∑ Joiny, Aggr, atd. Datová Cache Select sex, age, count(*) From MultiBillionRowTable Where BirthDate < ’01/01/1967’ And PostCode like ’SW%’ Group by sex, age; Každý S-Blade obsahuje 8 n-tic s vlastním: Diskem Datovou cache Jádrem FPGA jednotky Jádrem CPU

17 High-Performance Database Engine Streaming joins, aggregations, sorts, etc. S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic S-Blade Processor & streaming DB logic Asymmetric Massively Parallel Processing™ Massively Parallel Intelligent Storage  Network Fabric SMP Host Front End Netezza TwinFin Appliance High-Speed Loader/Unloader SQL Compiler Query Plan Optimize Admin Consolidate Execution Engine ODBC 3.X JDBC Type 4 OLE-DB SQL/92 Source Systems Client High Performance Loader 3rd Party Apps DBA CLI ETL Server SOLARIS LINUX HP-UX AIX WINDOWS TRU64

18 18 The Netezza TwinFin™ Appliance SQL Compiler Query Plan Optimalizátor Administrace Každý disk je rozdělen na 3 oblasti: Uživatelská data „Swap“ „Mirror“ SMP Servery Jednotky S-Blade™ (s databázovým akcelerátorem FPGA) Disky

19 19 Produkty rodiny Netezza SkimmerTwinFin Většinou jako: systém pro vývoj systém pro testování Datový sklad Náročné analytické úlohy 1 TB to 10 TB1 TB to 1.5 PB

20 20 Základní přínosy řešení NETEZZA Rychlost Datový streaming realizovaný přímo na úrovni HW (díky FPGA) Škálovatelnost skutečná MPP architektura Jednoduchost Black-box Žádné ladění Téměř žádná administrace Inteligence Vestavěné funkce pro pokročilé analýzy vykonávány přímo nad db s využitím masivního paralelismu

21 Konkurenční technologie mají obrovské množství parametrů a databázových objektů, které pomáhají výrazně zlepšovat výkonnost systémů. Musejí být tedy lepší. Netezza má celou řadu z nich taky, ale jejich hodnoty si spravuje sama a nezatěžuje tím uživatele. Používá tedy vlastně jakési implicitní hodnoty parametrů Jenže v případě Netezzy platí: Výkonnost systému s implicitními parametry je dostatečná Tak takhle nějak jsem se na to tvářil poprvé, podruhé,... a ještě mockrát,... Těším se na Vaše dotazy Martin Pavlík


Stáhnout ppt "Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík 14. Června 2011."

Podobné prezentace


Reklamy Google