EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Distribuce dat experimentu ATLAS Jiří Chudoba.

Prezentace na téma: "EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Distribuce dat experimentu ATLAS Jiří Chudoba."— Transkript prezentace:

1 EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Distribuce dat experimentu ATLAS Jiří Chudoba Širokopásmové sítě a jejich aplikace, Olomouc 29.5.2007

2 Enabling Grids for E-sciencE Jiří Chudoba 2 Urychlovač LHC Největší urychlovač na světě Srážky proton - proton s energií 14 TeV 27 km obvod, 100 m pod zemí Srážky každých 25 ns

3 Enabling Grids for E-sciencE Jiří Chudoba 3 Urychlovač LHC

4 Enabling Grids for E-sciencE Jiří Chudoba 4 Urychlovač LHC

5 Enabling Grids for E-sciencE Jiří Chudoba 5 Detektor ATLAS

6 Enabling Grids for E-sciencE Jiří Chudoba 6 Typy dat RAW –naměřená data, odezva detektoru ESD (Event Summary Data) - –data po rekonstrukci částic s veškerou informací –cílem je.5 MB na případ AOD (Analysis Object Data) - –rekonstruované trajektorie a jejich parametry –přímý přístup uživatelů –.1 MB/případ DPD (Derived Physics Data) –„tabulky“ dat, nejzákladnější informace o částicích v případu

7 Enabling Grids for E-sciencE Jiří Chudoba 7 Výpočetní model Event Filter –výpočetní farma umístěná blízko experimentu –sestavuje případy a posílá je do Tier0 Tier0 v CERN –uchovává RAW data, jednu kopii posílá do jednoho z Tier1 –první rekonstrukce (ESD a AOD) pro rychlou kontrolu Tier1 –10 geograficky vzdálených center –produkce ESD a AOD s přesnější kalibrací –uchovává všechna aktuální ESD a AOD Tier2 –simulace případů metodou Monte Carlo, výstup do Tier1 –uživatelská analýza na částí AOD Tier3 –menší výpočetní farmy pro analýzu CAF - CERN Analysis Facility –farma v CERN s možným přístupem k ESD a RAW datům

8 Enabling Grids for E-sciencE Jiří Chudoba 8 Datové toky pro průměrné Tier1 Tier-0 CPU farm T1 Další Tier-1s disk buffer RAW1 1.6 GB/file 0.02 Hz 1.7k F/day 32 MB/s 2.7 TB/day ESD2 0.5 GB/file 0.02 Hz 1.7k F/day 10 MB/s 0.8 TB/day AOD2 10 MB/file 0.2 Hz 17k F/day 2 MB/s 0.16 TB/day AODm2 500 MB/file 0.004 Hz 0.34k F/day 2 MB/s 0.16 TB/day RAW1 ESD2 AODm2 0.044 Hz 3.74k F/day 44 MB/s 3.66 TB/day T1 Další Tier-1s T1 Každé Tier-2 Tape RAW2 1.6 GB/file 0.02 Hz 1.7k F/day 32 MB/s 2.7 TB/day disk storage AODm2 500 MB/file 0.004 Hz 0.34k F/day 2 MB/s 0.16 TB/day ESD2 0.5 GB/file 0.02 Hz 1.7k F/day 10 MB/s 0.8 TB/day AOD2 10 MB/file 0.2 Hz 17k F/day 2 MB/s 0.16 TB/day ESD2 0.5 GB/file 0.02 Hz 1.7k F/day 10 MB/s 0.8 TB/day AODm2 500 MB/file 0.036 Hz 3.1k F/day 18 MB/s 1.44 TB/day ESD2 0.5 GB/file 0.02 Hz 1.7k F/day 10 MB/s 0.8 TB/day AODm2 500 MB/file 0.036 Hz 3.1k F/day 18 MB/s 1.44 TB/day ESD1 0.5 GB/file 0.02 Hz 1.7k F/day 20 MB/s 0.8 TB/day AODm1 500 MB/file 0.04 Hz 3.4k F/day 20 MB/s 1.6 TB/day AODm1 500 MB/file 0.04 Hz 3.4k F/day 20 MB/s 1.6 TB/day AODm2 500 MB/file 0.04 Hz 3.4k F/day 20 MB/s 1.6 TB/day Data access for analysis: ESD, AODm Plus simulace a uživatelská analýza

9 Enabling Grids for E-sciencE Jiří Chudoba 9 Datové toky do Tier2 Nominální datový tok mezi Tier1 centrem a přiřazenými Tier2 centry. Modrá část grafu zachycuje datový tok v důsledku zpracování srážek těžkých iontů, plánovaných na závěr roku 2008.

10 Enabling Grids for E-sciencE Jiří Chudoba 10 File Transfer Service Storage Element (SE) –datové jednotky v rámci Gridu –v T0 až T2 vyžadovány SE s protokolem SRM (Storage Resource Manager) FTS –součástí gLite (EGEE middleware) –definuje kanály mezi SE –možno nastavovat parametry pro kanály  počet paralelně přenášených souborů  počet streamů  správce kanálu –priority mezi skupinami uživatelů

11 Enabling Grids for E-sciencE Jiří Chudoba 11 Datový model - T1 oblaky T1 T0 T2 LFC FTS Server T1 FTS Server T0 T1 …. VO box LFC: lokální pro T1 oblak FTS

12 Enabling Grids for E-sciencE Jiří Chudoba 12 Tier2 centrum v Praze 1 Gbps linky PASNET + CzechLight FNAL, p2p, CzechLight/GLIF Taipei, p2p, CzechLight/GLIF FZK Karlsruhe, p2p přes GN2 BNL (USA) přes GN2 v přípravě L3 switch CISCO C6506 zapojován FARMA GOLIÁŠ ve FZÚ AV ČR, v.v.i. 140 výpočetních uzlů, 320 core ~400k SpecInt2000 50 TB diskové kapacity Síťové připojení

13 Enabling Grids for E-sciencE Jiří Chudoba 13 Přenosy CERN - FZÚ Přenosy mezi CERN a Tier1 centry spolu s testem přenosů do FZÚ. Po kratších testech byl spuštěn test přenosu 1 TB dat po 20:23 GMT, byl ukončen v 0:10 GMT. Přeneslo se 708 GB.

14 Enabling Grids for E-sciencE Jiří Chudoba 14 Přenosy FZK - FZÚ Přenosy z FZK do FZÚ v některých časových úsecích dosahovaly až 50 MB/s. Obvykle přenosy z FZK do FZÚ vykazovaly velmi proměnlivé hodnoty přenosových rychlostí

15 Enabling Grids for E-sciencE Jiří Chudoba 15 Závěr Testy přenosů probíhají mezi všemi centry podle datového modelu Přenosy do a z Tier2 centra v Praze nejsou v současné době limitovány propustností sítě Stabilita serverů (FTS, SE, LFC, FTP) je klíčová pro úspěšnou distribuci dat