Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

1 © Copyright 2010 EMC Corporation. All rights reserved. EMC deduplikace Data Domain a Avamar Petr Rada Technický konzultant, EMC.

Podobné prezentace


Prezentace na téma: "1 © Copyright 2010 EMC Corporation. All rights reserved. EMC deduplikace Data Domain a Avamar Petr Rada Technický konzultant, EMC."— Transkript prezentace:

1 1 © Copyright 2010 EMC Corporation. All rights reserved. EMC deduplikace Data Domain a Avamar Petr Rada Technický konzultant, EMC

2 Odhaduje se, že 40 exabajtů unikátních nových informací vzniklo loni na celém světě

3 To je více než za předchozích let

4 4 © Copyright 2010 EMC Corporation. All rights reserved. Digitální Svět: 2009 Vznik nových informací: Jediný růstový koeficient, který není v době ekonomické krize negativní Digitální Svět zdvojnásobuje objem každých 18 měsíců Source: IDC Digital Universe White Paper, Sponsored by EMC, May 2009

5 5 © Copyright 2010 EMC Corporation. All rights reserved. 0 1,000 1,500 2,000 2, DVD RFID Digital TV MP3 players Digital cameras Camera phones, VoIP Medical imaging, Laptops, Data center applications, Games Satellite images, GPS, ATMs, Scanners Sensors, Digital radio, DLP theaters, Telematics Peer-to-peer, , Instant messaging, Videoconferencing, CAD/CAM, Toys, Industrial machines, Security systems, Appliances 2,502 Exabajty Source: IDC Digital Universe White Paper, Sponsored by EMC, May Exabajty 5 x nárůst za 4 roky Exploze Digitálního Vesmíru 486 Exabajtů

6 6 © Copyright 2010 EMC Corporation. All rights reserved. 0 10,000 20,000 30,000 40,000 50, Source: IDC Digital Universe White Paper, Sponsored by EMC, May 2009 Úložiště podle typu dat (Petabajty) Digitální Svět – charakter dat Strukturovaná & Replikovaná Nestrukturovaná

7 7 © Copyright 2010 EMC Corporation. All rights reserved. Digitální svět v roce % Bude vytvořeno jednotlivci 85% Organizace budou zodpovědné za zabezpečení, ochranu soukr. údajů, soulad s legislativou a předpisy, důvěryhodnost … Paradox zodpovědnosti Source: IDC Digital Universe White Paper, Sponsored by EMC, May 2009

8 8 © Copyright 2010 EMC Corporation. All rights reserved. Zálohování pod lupou  palčivé výzvy zálohování –obrovský nárůst zálohovaných dat – primární data se zálohují 15-20x –dodržení doby zálohy/obnovy (SLA) –spotřeba energie, chlazení a zaplnění serverovny –nákladný a nebezpečný transport pásek mimo datové centrum –výzvy spojené s páskami  spolehlivost  manipulační náročnost  mechanická poškození  delší časy obnovy  technologické upgrady

9 9 © Copyright 2010 EMC Corporation. All rights reserved. Zálohovací schéma = potřebná kapacita Primární data 1x Záložní data 15x-20x

10 Řešení? DEDUPLIKACE

11 11 © Copyright 2010 EMC Corporation. All rights reserved. Deduplikace. Je to zázrak? Zákazník EMC konzultant Myslím, že by jste měl být více konkrétní zde, v kroku dva....a potom nastane zázrak...

12 12 © Copyright 2010 EMC Corporation. All rights reserved. Hlavní typy deduplikace Typy deduplikace dle různých kritérií SOUBOROVÁSUB-SOUBOROVÁ FIXNÍ DÉLKA BLOKU VARIABILNÍ DÉLKA BLOKU POST-PROCESINLINE NA ZDROJINA CÍLI

13 13 © Copyright 2010 EMC Corporation. All rights reserved. Logická data Fyzická data Storage 3.0 – další krok Storage 1.0 PRIMÁRNÍPÁSKY Storage 2.0 PRIMÁRNÍ SATA & RAID PÁSKY Storage 3.0 PRIMÁRNÍ DEDUPLIKOVANÁ STORAGE PÁSKY

14 14 © Copyright 2010 EMC Corporation. All rights reserved. Deduplikace mění zálohovací paradigma Deduplikace bez nutnosti cokoliv měnit Nikdy nezálohuje stejná data dvakrát Data Domain Deduplikační storage Avamar Deduplikační zálohovací řešení

15 15 © Copyright 2010 EMC Corporation. All rights reserved. Data Domain - profil společnosti  založena v roce 2001  vize deduplikované storage od samého začátku  900 zaměstnanců  součást EMC BRS divize  nejrychleji rostoucí storage společnost v roce 2004

16 16 © Copyright 2010 EMC Corporation. All rights reserved. Data Domain - lídr v deduplikaci Deduplikační storage systémy Data Domain  první a nejvíce rozšířený deduplikační systém  9500 systémů instalováno celosvětově  3600 koncových uživatelů  > 1650 petabajtů dat je bezpečně uloženo na Data Domain  řešení čtvrté generace  průměrný deduplikační poměr dosažený celosvětově - 13,4:1 Dedupe NAS Dedupe Replikace Dedupe Replikace Dedupe Gateway Největší dedupe pole Dedupe VTL Dedupe Nearline Storage Nejrychlejší Inline Kontroller Nejrychlejší Inline Kontroller

17 17 © Copyright 2010 EMC Corporation. All rights reserved. Deduplikační poměr aneb kolik kapacity ušetřím? Deduplikační poměr kapacita všech záloh uložených na zálohovací storage vůči kapacitě skutečně obsazené ušetřená kapacita v % = 100-(100/x), kde x=deduplikační poměr deduplikační poměr % ušetřené kapacity 2 : 150 % 5 : 180 % 10 : 190 % 13,4 : 192,5 % 15 : 193 % 20 : 195 % 25 : 196 %

18 18 © Copyright 2010 EMC Corporation. All rights reserved. Reálný zákazník: 20ti násobné snížení kapacity červená linka = množství dat uložených v Data Domain (virtuální storage) zelená linka = obsazená kapacita (fyzická storage) modrá linka = kumulovaný deduplikační faktor  DD560  180 TB uloženo  8 TB využité kapacity  20x redukce  5ti měsíční retence  6U v racku  replikace mimo lokalitu

19 19 © Copyright 2010 EMC Corporation. All rights reserved. Data Domain storage systémy DD610-DD660 Series DD140DD610DD630DD660DD690DD880 Rychlost (GB/hod.) TB/hr 1 2 TB/hr TB/hr TB/hr 2 Logická kap. (TB)* Hrubá kap. (TB) Použitelná kap. (TB) DD140 pro vzdálené pobočky DD690 DD880 *Logická kapacita je počítána pro deduplikační poměr 20:1 1 ) maximální propustnosti bylo dosaženo VTL protokolem přes 4 Gbps FC porty 2 ) maximální propustnosti bylo dosaženo OST protokolem přes 10 Gb Ethernet porty DDX Array Series

20 20 © Copyright 2010 EMC Corporation. All rights reserved. Data Domain architektura a nasazení disk DD OS a FileSystem CPU a Paměť CIFSNFSVTL OST Ethernet NIC (1/10 GbE)FC HBA Mohou být interní SATA nebo LUNy externí SAN storage Datové kontajney uloženy v optimalizovaném dedikovaném filesystému Inline deduplikace, komprese a prefetching Použijte protokol, který vám vyhovuje nebo je zkombinujte Použijte interface, který vám vyhovuje nebo oba zároveň REPL

21 21 © Copyright 2010 EMC Corporation. All rights reserved. Infrastruktura a ekosystém s Data Domain VMware Microsoft Microsoft SharePoint Oracle SAP Zálohamidrange a mainframe partneři LaserVault Luminex Archiv NAS, SAN, DAS EMC Symantec CommVault CA HP Vizioncore Zálohovací aplikace Symantec CommVault F5 Archivační aplikace EMC Data Domain deduplikační storage Disaster Recovery IBM Tivoli Atempo Bakbone Primární storage Replikace přes WAN síť EMC Mimosa File System / Ethernet VTL / Fibre Channel

22 22 © Copyright 2010 EMC Corporation. All rights reserved. Data Domain deduplikace – DD OS  deduplikace na cíli - SATA disky s RAID6 ochranou  sub-souborová deduplikace s variabilní délkou bloku - velikost segmentu 4 – 12 KB  inline deduplikace - 99 % duplicitních segmentů je identifikováno v RAM  CPU centric deduplikace - zvýšením výkonu procesoru se navyšuje rychlost deduplikace Global Compression Local Compression RAID File System Generate Checksum Verify Data

23 23 © Copyright 2010 EMC Corporation. All rights reserved. Deduplikovaná replikace - minimalizuje nároky na přenosové linky jsou přenášeny pouze unikátní segmenty a metadata všechny zálohy jsou dostupné v obou lokalitách pro obnovu či jako kopie žádný management na denní bázi nebo transport pásek Zdroj Replika 200 GB zápisů 200 GB zápisů Zálohovací Server A 10 TB Zálohovací Server B 10 TB Lokalita A Lokalita B 10 TB

24 24 © Copyright 2010 EMC Corporation. All rights reserved. Využití Data Domain deduplikované storage ZÁLOHOVACÍ SERVERY ARCHIVAČNÍ SERVERY Lokální záloha Disaster Recovery APLIKAČNÍ SERVERY DEDUPLIKOVANÁ IP REPLIKACE  funkční deduplikace  snadná integrace se stávajícím zálohovacím sw  deduplikovaná replikace do vzdálené lokality (DR)  CPU centric deduplikace

25 25 © Copyright 2010 EMC Corporation. All rights reserved. Někteří zákazníci s Data Domain

26 26 © Copyright 2010 EMC Corporation. All rights reserved.

27 27 © Copyright 2010 EMC Corporation. All rights reserved. AVAMAR SOFTWARE EMC Avamar  redukuje velikost zálohy na zdroji, dříve než je přenesena po síti  rychleji vytváří plné zálohy při využití stávající infrastruktury  deduplikuje napříč servery a lokalitami a zmenšuje až 50x fyzickou velikost záložní storage  ideální pro zálohování virtualizovaných prostředí, vzdálených poboček, serverů i uživatelských stanic/laptopů  řeší problémy, na které konvenční zálohovací sw nestačí Zálohovací řešení s globální deduplikací na zdroji AVAMAR VIRTUAL EDITION pro VMware Avamar VM Operating System AVAMAR DATA STORE Možnost instalace na předepsané typy serverů Zálohovací zařízení včetně software/hardware Avamar server implementovaný jako virtuální stroj

28 28 © Copyright 2010 EMC Corporation. All rights reserved. Avamar základní přehled  Avamar je kompletní zálohovací software/hardware  Každá záloha je logická plná záloha –při Avamar záloze se přenáší mnohem méně dat než při inkrementální záloze nicméně se logicky jeví jako plná záloha a obnova je pouze jednokroková  Redundant Array of Independent Nodes (RAIN) architektura –každý node obsahuje interní disky a CPU –zaručuje vysokou dostupnost a ochranu proti chybě napříč nody  Gridová architektura zaručuje online škálovatelnost a výkonnost Avamar Server Parita napříč storage nody Verifikované checkpointy Utility a spare node

29 29 © Copyright 2010 EMC Corporation. All rights reserved. Zálohovací cyklus: Sticky-byte Factoring První záloha: data jsou rozdělena na segmenty s proměnnou délkou 10K22K 25K 8K 18K Sticky Byte Factoring Algorithm Následující záloha beze změn v souboru: segmenty jsou rozděleny identicky jako při předešlé záloze 10K22K 25K 8K 18K Sticky Byte Factoring Algorithm Další záloha po změně v souboru: velice rychle jsou segmenty v synchronizaci s předešlými 8K22K25K 8K 20K Sticky Byte Factoring Algorithm

30 30 © Copyright 2010 EMC Corporation. All rights reserved. Zálohovací cyklus: komprimace Komprimuje segmenty v rozsahu 30 až 70 %. Průměrná velikost segmentu po kompresi je ~12KB. 8K22K25K 8K 20K 15K 4K 13K 4K Sticky Byte Factoring Algorithm 12K Compression

31 31 © Copyright 2010 EMC Corporation. All rights reserved. 12K Zálohovací cyklus: SHA-1Hashing  používá SHA-1 secure hash algoritmus  vytváří 20-bytový datový řetězec z komprimovaných datových segmentů 8K22K25K 8K 20K 15K 4K 13K 4K Sticky Byte Factoring Algorithm 12K Compression Hashing 20-byte hash 4K 15K 4K 13K atomic hashes

32 32 © Copyright 2010 EMC Corporation. All rights reserved. 20-byte hash Zálohovací cyklus: Hash File System 12K Atomics (Data segments) Root Hash 20-byte hash 4K 15K 4K 13K Atomic Hashes Composite Hashes 20-byte hash

33 33 © Copyright 2010 EMC Corporation. All rights reserved. Typ dat Množství primárních dat Množství přenesených dat Dedup. poměr na “cíli” Windows file systémy3,573 GB 6.1 GB (586:1) 45:1 Mix Windows, Linux a UNIX file systémů 5,097 GB11.7 GB40:1 Engineering soubory na NAS zařízeních (NDMP zálohy) 3,265 GB24.2 GB21:1 Mix 20 % databáze a 80 % souborové systémy (Windows a UNIX) 9,583 GB80.0 GB19:1 Mix Linuxových file systémů a databází 7,831 GB104.2 GB14:1 Dosahované deduplikační poměry 90 denní retence

34 34 © Copyright 2010 EMC Corporation. All rights reserved. Avamar – záloha VMDK souboru

35 35 © Copyright 2010 EMC Corporation. All rights reserved. Avamar – různé způsoby nasazení WAN (ENCRYPTED) Data centrum Primární systémy Avamar Data Store (ENCRYPTED) Záložní lokalita Primární systémy Tape Vault Avamar Data Store Menší pobočka Pouze Avamar agenti na primárních systémech Větší pobočka Primární systémy Avamar Single Node (ENCRYPTED) Avamar Software Agent

36 36 © Copyright 2010 EMC Corporation. All rights reserved.  až 95% redukce přenesených dat  až 90% zkrácení zálohovacích časů  až 50% snížení zátěže na zdrojových discích  až 95% redukce využití NIC  až 80% redukce zatížení CPU  až 50% snížení využití paměti  všechny zálohy jsou uchovávány jako „virtuální plné zálohy“ a jdou okamžitě obnovit x86 Architecture VMware Virtualization Layer Tradičně se přenáší ~200% týdně Avamar přenáší ~2% týdně x86 Architecture VMware Virtualization Layer DiskNIC Memory CPU Application Operating System Application Operating System App OS App OS App OS App OS App OS App OS App OS App OS App OS App OS App OS App OS DiskNIC Memory CPU Avamar optimalizuje zálohování VMware

37 37 © Copyright 2010 EMC Corporation. All rights reserved. Tradiční zálohování vs Avamar - při zátěži Avamar dovoluje regulovat vytížení CPU per klient pro zákazníky, kteří jsou citliví na CPU utilizaci

38 38 © Copyright 2010 EMC Corporation. All rights reserved. Replikace po deduplikaci Backup de-duplication Avamar deduplikovaná replikace pro DR Bez deduplikace  nulová redukce kapacity v data centru  nezkrácená délka replikace a vysoké zatížení sítě  vysoké nároky na kapacitu i ve vzdálené lokalitě S využitím deduplikace  redukované požadavky na kapacitu v primárním data centru  zkrácení délky replikace a nároků na síť  snížené nároky na kapacitu v cílové pobočce Vzdálená replikace bez deduplikace Primární lokalitaVzdálená lokalita Primární lokalitaVzdálená lokalita

39 39 © Copyright 2010 EMC Corporation. All rights reserved. DEDUPLIKACE NA CÍLIDEDUPLIKACE NA ZDROJI Deduplikace na zdroji vs na cíli  Přenáší týdně ~ 2 procenta primárních dat  Až 50x menší úložný prostor pro zálohy  Až 500x menší zatížení sítě  Až 10x rychlejší denní plné zálohy  Všechny zálohy jsou plné zálohy; okamžitá obnova v jednom kroku  Přenáší týdně ~ 200 procent primárních dat  Až 50x menší úložný prostor pro zálohy  Obnova tradičně probíhá z inkrementálních a plných záloh síť Obě technologie mají své opodstatnění, nicméně pouze deduplikace na zdroji pomáhá redukovat zatížení sítě a snižuje zatížení zdrojů v průběhu zálohování.

40 40 © Copyright 2010 EMC Corporation. All rights reserved. Data DomainAvamar Licencování Data Domain a Avamar  pouze podle využitelné fyzické kapacity  neplatí se za:  klienty – servery/desktopy  aplikační moduly  apod.  dle modelu a využitelné kapacity  žádné tirované licence dle kapacity  licence na celý box pro  replikace  retenční zámek pro archivní data  zprovoznění OpenStorage protokolu  zprovoznění VTL protokolu

41 41 © Copyright 2010 EMC Corporation. All rights reserved. Deduplikace mění zálohovací paradigma Deduplikace bez nutnosti cokoliv měnit Nikdy nezálohuje stejná data dvakrát Data Domain Deduplikační storage Avamar Deduplikační zálohovací řešení

42


Stáhnout ppt "1 © Copyright 2010 EMC Corporation. All rights reserved. EMC deduplikace Data Domain a Avamar Petr Rada Technický konzultant, EMC."

Podobné prezentace


Reklamy Google