Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

… najdu tam,co neznám! Ukládání dat Michal Feix Senior IT operations manager

Podobné prezentace


Prezentace na téma: "… najdu tam,co neznám! Ukládání dat Michal Feix Senior IT operations manager"— Transkript prezentace:

1 … najdu tam,co neznám! Ukládání dat Michal Feix Senior IT operations manager

2 Obsah přednášky … najdu tam,co neznám! Nároky na datové úložiště •Co řešíme? Námi používané technologie •Jak to řešíme? Provozní zkušenosti •Jak nám to jde?

3 Co řešíme? … najdu tam,co neznám! Kapacita •Od desítek gigabytů do stovek terabytů Rychlost •Od jednotek do tisíců IO za sekundu Spolehlivost •Redundance •Rychlost obnovy Náklady •Práce lidí •Servis •Rozšiřování

4 Co řešíme? … najdu tam,co neznám! KapacitaRychlost SpolehlivostNáklady

5 Co řešíme? … najdu tam,co neznám! Ukaž mé y!

6 Co řešíme? … najdu tam,co neznám! Ukaž mé y!

7 Co řešíme? … najdu tam,co neznám! Ukaž mé y!

8 Co řešíme? … najdu tam,co neznám! Ukaž mé y!

9 Obsah přednášky … najdu tam,co neznám! Nároky na datové úložiště •Co řešíme? Námi používané technologie •Jak to řešíme? Provozní zkušenosti •Jak nám to jde?

10 Jak to řešíme? … najdu tam,co neznám! •Kapacity od 70 GB do 200 GB •Rychlosti od 150 IO/s •Ceny od 25 Kč / GB •SAS diskům věříme „více“ SAS disky •Kapacity od 250 GB do 1 TB •Rychlosti od 60 IO/s •Ceny od 4 Kč / GB •SATA diskům věříme „méně“ SATA disky

11 Jak to řešíme? … najdu tam,co neznám! •Celková kapacita od 140 GB do 30 TB •Až 1000 IO/s v jediném serveru •Ceny od 40 Kč / GB do řádů stovek Kč •SW nebo HW RAID varianty Vícediskové servery

12 Jak to řešíme? … najdu tam,co neznám! •Celková kapacita v řádku desítek a stovek TB •Rychlosti v řádech stovek a tisíců IO/s •Ceny v řádech desítek Kč / GB •Obvykle „blackbox“ redundance v HW Disková pole, diskové systémy Externí SCSI, iSCSI přes IP, FiberChannel

13 Jak to řešíme? … najdu tam,co neznám! DAS, SAN, NAS

14 Jak to řešíme? … najdu tam,co neznám! DAS Diskové pole tvářící se na serveru jako SCSI disk Externí SCSI kabel, lokální Fiber channel

15 Jak to řešíme? … najdu tam,co neznám! SAN SW RAID ze dvou disků A a B s filesystémem EXT3 Fyzické úložiště na serveru tvářící se jako SCSI disk A Ethernetová síť nebo Fiber channel síť Fyzické úložiště na serveru tvářící se jako SCSI disk B

16 Jak to řešíme? … najdu tam,co neznám! NAS Síťový disk připojený přes NFS Fyzické úložiště přístupné přes NFS s vlastním filesystémem Ethernetová síť nebo Fiber channel síť

17 Jak to řešíme? … najdu tam,co neznám! •Inkrementální replikace pomocí binlogů •Online replikace s minimálním zpožděním •Vlastní aplikace na obou stranách + IP síť •Master – slave model, automatické navázání, možnost full sync Replikace dat vlastním řešením Synchronizace přes IP pro každou dvojici zvlášť

18 Jak to řešíme? … najdu tam,co neznám! Replikace dat vlastním řešením - čtení Klient nemá připojený disk, ale o data musí zažádat aplikačním protokolem. Pošli soubor /A/B/C.dat Tady jsou data Klient Uzel A - Slave Uzel B - Master

19 Jak to řešíme? … najdu tam,co neznám! Replikace dat vlastním řešením - zápis Klient nemá připojený disk, data zapisuje aplikačním protokolem. Uzel A - Slave Uzel B - Master Klient Zapiš soubor /A/B/C.dat Replikuj soubor /A/B/C.dat OK

20 Jak to řešíme? … najdu tam,co neznám! •Inkrementální replikace přes GlusterFS •Online replikace s minimálním zpožděním •Vyžaduje oddělenou IP síť mezi členy clusteru •Automatické navázání, multimaster, možnost plného sesynchronizování Replikace dat přes GlusterFS Virtuální disk realizovaný několika servery v clusteru

21 Jak to řešíme? … najdu tam,co neznám! Replikace dat přes GlusterFS – čtení a zápis Klient má připojený virtuální disk, který simuluje fyzický disk složený z dat na všech uzlech clusteru. Klient Uzel A Uzel B Uzel C Zapiš / Čti soubor /A/B/C.dat OK / Tady jsou data Replikace

22 Jak to řešíme? … najdu tam,co neznám! •Event-driven replikace nad filesystémem •Online replikace s minimálním zpožděním •Stačí běžná IP síť mezi servery •Master – slave model, inkrementální s pomocí vlastního binlogu Replikace dat přes SeznamFS R/O R/W

23 Jak to řešíme? … najdu tam,co neznám! Replikace dat přes SeznamFS – čtení a zápis Klient má připojený disk. Nad ním sleduje všechny FS aktivity démon a replikuje je. Klient Uzel A - Master Uzel B Uzel C Zapiš informaci o změně souboru /A/B/C.dat do lokálního binlogu. Replikace souboru /A/B/C.dat Replikace na ostatní servery

24 Jak to řešíme? … najdu tam,co neznám! •Zálohování •Škálovatelnost Co ještě řeší replikace?

25 Obsah přednášky … najdu tam,co neznám! Nároky na datové úložiště •Co řešíme? Námi používané technologie •Jak to řešíme? Provozní zkušenosti •Jak nám to jde?

26 Jak nám to jde? … najdu tam,co neznám! SATA SAS Vícediskové servery Disková pole

27 Jak nám to jde? … najdu tam,co neznám! Klady •Velká kapacita •Nízká cena za GB Zápory •„Papírově“ nižší spolehlivost •Nízká rychlost při náhodném IO SATA SAS Vícediskové servery Disková pole

28 Jak nám to jde? … najdu tam,co neznám! Klady •Vysoká rychlost i při náhodném IO •Vyšší „papírová“ spolehlivost“ Zápory •Nízké kapacity disků •Vyšší cena za GB SATA SAS Vícediskové servery Disková pole

29 Jak nám to jde? … najdu tam,co neznám! Klady •Odladěné „all in one“ řešení •Nízká cena za výpočetní výkon spolu s kapacitou a servisem Zápory •S diskovou kapacitou spojený značný výpočetní výkon… •…který zvyšuje cenu •Nižší spolehlivost než u diskových polí SATA SAS Vícediskové servery Disková pole

30 Jak nám to jde? … najdu tam,co neznám! Klady •Nízká cena za GB •Vyšší spolehlivost •Jednoduchá správa zařízení Zápory •Spousta dat v jediném místě •Vysoká cena za funkce navíc, za licence, za kapacitu… SATA SAS Vícediskové servery Disková pole

31 Jak nám to jde? … najdu tam,co neznám! GlusterFS Replikace .cz SeznamFS

32 Jak nám to jde? … najdu tam,co neznám! GlusterFS Replikace .cz SeznamFS Klady •Velké množství variant konfigurace •Multi-master, failover řešení s jednoduchým škálováním Zápory •Překotný vývoj a radikální změny mezi verzemi kódu •Vyžaduje vlastní infrastrukturu •Spolehlivost

33 Jak nám to jde? … najdu tam,co neznám! GlusterFS Replikace .cz SeznamFS Klady •Jednoduchý a prověřený kód •Minimální nároky na portaci a infrastrukturu Zápory •Pouze jednostranná replikace v master – slave modelu •Při ztrátě události na master serveru nutná plná resynchronizace

34 Jak nám to jde? … najdu tam,co neznám! GlusterFS Replikace .cz SeznamFS Klady •Na míru potřebám služby .cz •Díky tomu minimální nároky na přenosovou síť •Snadná změna master uzlu Zápory •Výrazně složitější kód než u SeznamFS •Vhodné v podstatě pouze pro .cz

35 … najdu tam,co neznám! Díky za pozornost Vaše otázky? Michal Feix Senior IT operations manager


Stáhnout ppt "… najdu tam,co neznám! Ukládání dat Michal Feix Senior IT operations manager"

Podobné prezentace


Reklamy Google