Senior IT operations manager Ukládání dat Michal Feix Senior IT operations manager michal.feix@firma.seznam.cz www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Jak nám to jde? Co řešíme? Obsah přednášky Nároky na datové úložiště Co řešíme? Námi používané technologie Jak to řešíme? Provozní zkušenosti Jak nám to jde? www.seznam.cz … najdu tam,co neznám!

? Co řešíme? Od desítek gigabytů do stovek terabytů Kapacita Od desítek gigabytů do stovek terabytů Rychlost Od jednotek do tisíců IO za sekundu Spolehlivost Redundance Rychlost obnovy Náklady Práce lidí Servis Rozšiřování ? www.seznam.cz … najdu tam,co neznám!

Co řešíme? www.seznam.cz … najdu tam,co neznám! Kapacita Rychlost Spolehlivost Náklady www.seznam.cz … najdu tam,co neznám!

Přes 1,5 PB datového prostoru pro emaily uživatelů Co řešíme? Ukaž mé emaily! Přes 1,5 PB datového prostoru pro emaily uživatelů www.seznam.cz … najdu tam,co neznám!

Odezva do stovek milisekund na každý položený dotaz Co řešíme? Ukaž mé emaily! Odezva do stovek milisekund na každý položený dotaz www.seznam.cz … najdu tam,co neznám!

Přírůstek 1 TB dat každý den Co řešíme? Ukaž mé emaily! Přírůstek 1 TB dat každý den www.seznam.cz … najdu tam,co neznám!

Všechna data dvakrát a online Co řešíme? Ukaž mé emaily! Všechna data dvakrát a online www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Jak nám to jde? Co řešíme? Obsah přednášky Nároky na datové úložiště Co řešíme? Námi používané technologie Jak to řešíme? Provozní zkušenosti Jak nám to jde? www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? www.seznam.cz … najdu tam,co neznám! SAS disky Kapacity od 70 GB do 200 GB Rychlosti od 150 IO/s Ceny od 25 Kč / GB SAS diskům věříme „více“ SATA disky Kapacity od 250 GB do 1 TB Rychlosti od 60 IO/s Ceny od 4 Kč / GB SATA diskům věříme „méně“ www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? www.seznam.cz … najdu tam,co neznám! Vícediskové servery Celková kapacita od 140 GB do 30 TB Až 1000 IO/s v jediném serveru Ceny od 40 Kč / GB do řádů stovek Kč SW nebo HW RAID varianty www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Externí SCSI, iSCSI přes IP, FiberChannel www.seznam.cz Disková pole, diskové systémy Celková kapacita v řádku desítek a stovek TB Rychlosti v řádech stovek a tisíců IO/s Ceny v řádech desítek Kč / GB Obvykle „blackbox“ redundance v HW Externí SCSI, iSCSI přes IP, FiberChannel www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? DAS, SAN, NAS www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Diskové pole tvářící se na serveru jako SCSI disk DAS Diskové pole tvářící se na serveru jako SCSI disk Externí SCSI kabel, lokální Fiber channel www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Fyzické úložiště na serveru tvářící se jako SCSI disk A SAN Fyzické úložiště na serveru tvářící se jako SCSI disk A Ethernetová síť nebo Fiber channel síť SW RAID ze dvou disků A a B s filesystémem EXT3 Fyzické úložiště na serveru tvářící se jako SCSI disk B www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Ethernetová síť nebo Fiber channel síť NAS Ethernetová síť nebo Fiber channel síť Fyzické úložiště přístupné přes NFS s vlastním filesystémem Síťový disk připojený přes NFS www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Synchronizace přes IP pro každou dvojici zvlášť Replikace dat vlastním řešením Inkrementální replikace pomocí binlogů Online replikace s minimálním zpožděním Vlastní aplikace na obou stranách + IP síť Master – slave model, automatické navázání, možnost full sync Synchronizace přes IP pro každou dvojici zvlášť www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Pošli soubor /A/B/C.dat Tady jsou data Replikace dat vlastním řešením - čtení Klient nemá připojený disk, ale o data musí zažádat aplikačním protokolem. Klient Pošli soubor /A/B/C.dat Tady jsou data Uzel A - Slave Uzel B - Master www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Zapiš soubor /A/B/C.dat OK Replikuj soubor /A/B/C.dat Replikace dat vlastním řešením - zápis Klient nemá připojený disk, data zapisuje aplikačním protokolem. Klient Zapiš soubor /A/B/C.dat OK Replikuj soubor /A/B/C.dat Uzel A - Slave Uzel B - Master www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Virtuální disk realizovaný několika servery v clusteru Replikace dat přes GlusterFS Inkrementální replikace přes GlusterFS Online replikace s minimálním zpožděním Vyžaduje oddělenou IP síť mezi členy clusteru Automatické navázání, multimaster, možnost plného sesynchronizování Virtuální disk realizovaný několika servery v clusteru www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Zapiš / Čti soubor /A/B/C.dat OK / Tady jsou data Replikace dat přes GlusterFS – čtení a zápis Klient má připojený virtuální disk, který simuluje fyzický disk složený z dat na všech uzlech clusteru. Klient Zapiš / Čti soubor /A/B/C.dat OK / Tady jsou data Replikace Uzel A Uzel B Uzel C www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? R/W R/O www.seznam.cz … najdu tam,co neznám! Replikace dat přes SeznamFS Event-driven replikace nad filesystémem Online replikace s minimálním zpožděním Stačí běžná IP síť mezi servery Master – slave model, inkrementální s pomocí vlastního binlogu R/W R/O www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Replikace dat přes SeznamFS – čtení a zápis Klient má připojený disk. Nad ním sleduje všechny FS aktivity démon a replikuje je. Klient Zapiš informaci o změně souboru /A/B/C.dat do lokálního binlogu. Replikace souboru /A/B/C.dat Replikace na ostatní servery Uzel B Uzel A - Master Uzel C www.seznam.cz … najdu tam,co neznám!

? Jak to řešíme? www.seznam.cz … najdu tam,co neznám! Co ještě řeší replikace? Zálohování Škálovatelnost ? www.seznam.cz … najdu tam,co neznám!

Jak to řešíme? Jak nám to jde? Co řešíme? Obsah přednášky Nároky na datové úložiště Co řešíme? Námi používané technologie Jak to řešíme? Provozní zkušenosti Jak nám to jde? www.seznam.cz … najdu tam,co neznám!

Jak nám to jde? www.seznam.cz … najdu tam,co neznám! SATA SAS Vícediskové servery Disková pole www.seznam.cz … najdu tam,co neznám!

SATA Jak nám to jde? www.seznam.cz … najdu tam,co neznám! SATA SAS Vícediskové servery Disková pole Klady Velká kapacita Nízká cena za GB Zápory „Papírově“ nižší spolehlivost Nízká rychlost při náhodném IO www.seznam.cz … najdu tam,co neznám!

SAS Jak nám to jde? www.seznam.cz … najdu tam,co neznám! SATA SAS Vícediskové servery Disková pole Klady Vysoká rychlost i při náhodném IO Vyšší „papírová“ spolehlivost“ Zápory Nízké kapacity disků Vyšší cena za GB www.seznam.cz … najdu tam,co neznám!

Vícediskové servery Jak nám to jde? www.seznam.cz SATA SAS Vícediskové servery Disková pole Klady Odladěné „all in one“ řešení Nízká cena za výpočetní výkon spolu s kapacitou a servisem Zápory S diskovou kapacitou spojený značný výpočetní výkon… …který zvyšuje cenu Nižší spolehlivost než u diskových polí www.seznam.cz … najdu tam,co neznám!

Disková pole Jak nám to jde? www.seznam.cz … najdu tam,co neznám! SATA SAS Vícediskové servery Disková pole Klady Nízká cena za GB Vyšší spolehlivost Jednoduchá správa zařízení Zápory Spousta dat v jediném místě Vysoká cena za funkce navíc, za licence, za kapacitu… www.seznam.cz … najdu tam,co neznám!

Jak nám to jde? www.seznam.cz … najdu tam,co neznám! GlusterFS Replikace Email.cz SeznamFS www.seznam.cz … najdu tam,co neznám!

GlusterFS Jak nám to jde? www.seznam.cz … najdu tam,co neznám! Replikace Email.cz SeznamFS Klady Velké množství variant konfigurace Multi-master, failover řešení s jednoduchým škálováním Zápory Překotný vývoj a radikální změny mezi verzemi kódu Vyžaduje vlastní infrastrukturu Spolehlivost www.seznam.cz … najdu tam,co neznám!

SeznamFS Jak nám to jde? www.seznam.cz … najdu tam,co neznám! GlusterFS Replikace Email.cz SeznamFS Klady Jednoduchý a prověřený kód Minimální nároky na portaci a infrastrukturu Zápory Pouze jednostranná replikace v master – slave modelu Při ztrátě události na master serveru nutná plná resynchronizace www.seznam.cz … najdu tam,co neznám!

Replikace Email.cz Jak nám to jde? www.seznam.cz GlusterFS Replikace Email.cz SeznamFS Klady Na míru potřebám služby Email.cz Díky tomu minimální nároky na přenosovou síť Snadná změna master uzlu Zápory Výrazně složitější kód než u SeznamFS Vhodné v podstatě pouze pro Email.cz www.seznam.cz … najdu tam,co neznám!

Senior IT operations manager Díky za pozornost Vaše otázky? Michal Feix Senior IT operations manager michal.feix@firma.seznam.cz ? www.seznam.cz … najdu tam,co neznám!