seminář CESNET2 Masarykova kolej 1 Výpočty ve fyzice částic - projekt ATLAS M. Lokajíček Fyzikální ústav AV ČR

seminář CESNET2 Masarykova kolej 2 Úvod Experimenty ve fyzice částic Výpočetní nároky na příkladu experimentu ATLAS na LHC v CERN Účast na mezinárodních výpočetních projektech - GRID Domácí infrastruktura pro výpočty Závěr

Experimenty částicové fyziky a výpočetní nároky Hlavní centra –CERN skončen program LEP příprava programu LHC urychlovač p-p 7+7 TeV experimenty ATLAS, ALICE, CMS, LHCb –FERMILAB běžící program Tevatron, anti-p–p, 1+1 TeV experimenty D0 a CDF objev top kvarku v 1995

seminář CESNET2 Masarykova kolej 4 CERN ATLAS

Urychlovač LHC (Large Hadron Collider) –obvod 27 km –100 m pod zemí –vstřícné svazky protonů TeV, lumiinosita cm -2 s -1 –bunch (shluk) protonů –srážky každých 25 ns, tj.40 MHz bunche 7.5 m za sebou při rychlosti světla –při srážce bunchů 23 srážek proton- proton současně –spuštění 2007

Detektor ATLAS –délka 44 m výška 26 m váha tun –současný stav podzemní haly –části detektorů postupně dopravovány, spouštěny jeřábem a instalovány –webové kamery a počítačové simulace instalace na tlas/TCOORD/Activities/T cOffice/Scheduling/Install ation/ATLASinstallation.ht ml či sekvence z webových obrázků: hep.fzu.cz/fialal/atlasbuild / tlas/TCOORD/Activities/T cOffice/Scheduling/Install ation/ATLASinstallation.ht ml hep.fzu.cz/fialal/atlasbuild /

seminář CESNET2 Masarykova kolej 7 proton Vnitřní detektor (měření drah částic) Kalorimetry (měření energie částic a jetů) Detektor mionů Supravodivé magnety

8 Spolupráce ATLAS (Status říjen 2004) Albany, Alberta, NIKHEF Amsterdam, Ankara, LAPP Annecy, Argonne NL, Arizona, UT Arlington, Athens, NTU Athens, Baku, IFAE Barcelona, Belgrade, Bergen, Berkeley LBL and UC, Bern, Birmingham, Bonn, Boston, Brandeis, Bratislava/SAS Kosice, Brookhaven NL, Bucharest, Cambridge, Carleton/CRPP, Casablanca/Rabat, CERN, Chinese Cluster, Chicago, Clermont-Ferrand, Columbia, NBI Copenhagen, Cosenza, INP Cracow, FPNT Cracow, Dortmund, JINR Dubna, Duke, Frascati, Freiburg, Geneva, Genoa, Glasgow, LPSC Grenoble, Technion Haifa, Hampton, Harvard, Heidelberg, Hiroshima, Hiroshima IT, Indiana, Innsbruck, Iowa SU, Irvine UC, Istanbul Bogazici, KEK, Kobe, Kyoto, Kyoto UE, Lancaster, Lecce, Lisbon LIP, Liverpool, Ljubljana, QMW London, RHBNC London, UC London, Lund, UA Madrid, Mainz, Manchester, Mannheim, CPPM Marseille, MIT, Melbourne, Michigan, Michigan SU, Milano, Minsk NAS, Minsk NCPHEP, Montreal, FIAN Moscow, ITEP Moscow, MEPhI Moscow, MSU Moscow, Munich LMU, MPI Munich, Nagasaki IAS, Naples, Naruto UE, New Mexico, Nijmegen, Northern Illinois, BINP Novosibirsk, Ohio SU, Okayama, Oklahoma, LAL Orsay, Oslo, Oxford, Paris VI and VII, Pavia, Pennsylvania, Pisa, Pittsburgh, CAS Prague, CU Prague, TU Prague, IHEP Protvino, Ritsumeikan, UFRJ Rio de Janeiro, Rochester, Rome I, Rome II, Rome III, Rutherford Appleton Laboratory, DAPNIA Saclay, Santa Cruz UC, Sheffield, Shinshu, Siegen, Simon Fraser Burnaby, Southern Methodist Dallas, NPI Petersburg, Stockholm, KTH Stockholm, Stony Brook, Sydney, AS Taipei, Tbilisi, Tel Aviv, Thessaloniki, Tokyo ICEPP, Tokyo MU, Tokyo UAT, Toronto, TRIUMF, Tsukuba, Tufts, Udine, Uppsala, Urbana UI, Valencia, UBC Vancouver, Victoria, Washington, Weizmann Rehovot, Wisconsin, Wuppertal, Yale, Yerevan 151 institucí ze 34 zemí Celkem vědeckých autorů Vědečtí autoři s titulem PhD, či ekvivalentem 1 300

seminář CESNET2 Masarykova kolej 9

10 Software Project Asi 100 lidí

seminář CESNET2 Masarykova kolej 11 Tok dat a trigger (spouštění detektoru) Sytém triggeru vybere zajímavé případy srážek ze 40 MHz (s pile-up 1 GHz): –20-30 kHz po Level-1 triggeru, rozhodnutí do 2.5 μs HW - detektory mionů a kalorimetry –~2000 Hz po Level-2 triggeru, rozhodnutí do 10 ms částečná rekonstrukce – specializovaná farma (nezávisle pro jednotlivé detektory) –~160 Hz po tzv. Event Filter (“offline” rekonstrukce celého případu) rozhodnutí až několik s ~140 Hz skutečná fyzika, ~20 Hz kalibrace a monitoring –Počet kanálů detektoru ATLAS je 150 mil. Frekvence jsou téměř nezávislé na luminositě –je více „zajímavé“ fyziky než odpovídá 160 Hz dokonce při nízké luminositě –prahy triggeru budou upraveny podle luminosity “Standardni” velikost případu je 1.6 MB –z počátku může být mnohem více (7-8 MB) dokud nebude zapnuta komprese dat v kalorimetrech Nominální tok dat do offline je 250 MB/s Doba sběru dat ročně je 10 7 s (10 9 případů), ročně se nabere několik PB dat, s dalšími daty bude experiment ročně uchovávat až 10 PB

seminář CESNET2 Masarykova kolej 12 Výpočetní model experimentu ATLAS Velikosti dat: –Simulovaná data případů2.0 MB –Raw data 1.6 MB –Event Summary Data (ESD)0.5 MB –Analysis Object Data (AOD) 10 kB –TAG Data0.5 kB Další parametry: –celková frekvence záznamu případů160 Hz –Frekvence záznamu případů pro fyziku140 Hz –tok dat 250 MB/s –nominální doba sběru dat ročně 10 7 s –orientační počet případů ročně 10 9 –ročně raw dat - všech dat PB –doba/případ pro Simulaci 60 kSI2k s –doba/případ pro Rekonstrukci 6.4 kSI2k s Zpracování dat v centrech (celkem desetitisíce procesorů po celém světě) –Tier-0 – místo sběru dat – CERN –Tier-1 - velká regionální centra 6 pro ATLAS –Tier-2 - regionální centra 4 na každé Tier-1 –Tier-3 - centra spolupracujících univerzit

13 Funkce centra Tier-0 Centrum Tier-0 v CERN musí: –držet kopie všech raw dat na páskách –držet kalibrační data na discích –provést první rekonstrukci dat v reálném čase –distribuovat ESD’s externím Tier-1 (1/3 dat každému z 6 Tier-1) – neustále 2 diskové kopie Momentálně se zvažuje: –zda kopírovat v reálném čase všechna raw data do Tier-1 (druhá kopie bude užitečná pro pozdější opětovné zpracování dat - reprocessing) –zda reprocessing raw dat na Tier-0 či Tier-1 –zda skladovat pásky na policích či v automatických robotech –způsob archivace simulovaných dat –možnost sdílení výpočetních prostředků s HLT (L2) a Tier-0 Tier-0 musí být dedikované centrum, jehož výkon CPU, rychlosti toku dat na disky a pásky odpovídá frekvenci záznamu experimentálních dat

seminář CESNET2 Masarykova kolej 14 Funkce center Tier-1 a Tier-2 Předpokládáme ~6 Tier-1 center pro ATLAS. Každé bude: –drží 1/3 dat ESD a plnou kopii dat AOD a TAG –(pravděpodobně ) drží na páskách 1/6 of Raw Data –drží na disku 1/3 současně simulovaných ESD a na pásce 1/6 předchozích verzí –poskytovat služby (CPU a diskovou kapacitu) pro uživatelskou analýzu (~200 uživatelů/Tier-1) –počítat simulace, kalibrace a reprocessing skutečných dat Předpokládáme ~4 Tier-2 na každé Tier-1. Každé bude: –držet na disku plnou AOD aTAG –(pravděpodobně) držet na disku vybrané vzorky ESD –poskytovat (CPU a diskový prostor) pro uživatelskou analýzu (~50 uživatelů/Tier-2) –počítat simulace a/nebo kalibrace

Dario Barberis15 ATLAS Computing Timeline POOL/SEAL release (done) ATLAS release 7 (with POOL persistency) (done) LCG-1 deployment (in progress) ATLAS complete Geant4 validation (in progress) ATLAS release 8 DC2 Phase 1: simulation production DC2 Phase 2: intensive reconstruction (the real challenge!) Combined test beams (barrel wedge) Computing Model paper ATLAS Computing TDR and LCG TDR DC3: produce data for PRR and test LCG-n Computing Memorandum of Understanding (moved to end 2004?) Physics Readiness Report Start commissioning run GO! NOW

seminář CESNET2 Masarykova kolej 16 Data Challenge 2 test systému zpracování dat DC2 v roce 2004: –distribuovaná produkce >10 7 simulovaných případů, duben – červen 2004 –případy (raw data) poslat do CERN do Tier-0 –(pravděpodobně) “rychlý” alignment/kalibrace a (určitě) rekonstrukce dat na prototypu Tier-0 během krátké doby (~10 dní, “10% test toku dat”) –výsledky rekonstrukce distribuovat do center Tier-1 a provést analýzu na Gridu Nový software (vzhledem k DC1 v 2002/2003): –simulace Geant4, pile-up a digitalizace v Athena –nový SW pro správu dat a popis detektoru –POOL persistence –gridová infrastruktura projektu LCG-1/2 –produkce a analýza dat v distribuovaném prostředí

17 DC2: Scenario & Time scale September 03: Release7 February 27 th 04: Release 8 (production) April 1 st 04: June 1 st 04: “DC2” July 15th Put in place, understand & validate: Geant4; POOL; LCG applications Event Data Model Digitization; pile-up; byte-stream Conversion of DC1 data to POOL; large scale persistency tests and reconstruction Testing and validation Run test-production Start final validation Start simulation; Pile-up & digitization Event mixing Transfer data to CERN Intensive Reconstruction on “Tier0” Distribution of ESD & AOD Calibration; alignment Start Physics analysis Reprocessing

seminář CESNET2 Masarykova kolej 18 Projekt LCG LCG – LHC Computing Grid projekt CERN první fáze 2002 – 2005 Úkol – připravit výpočetní infrastrukturu pro simulace, zpracování a fyzikální analýzu dat pro všechny 4 experimenty na LHC –společná infrastruktura knihoven, nástrojů a rámec pro podporu fyzikálního aplikačního softwaru –vývoj a uvedení do provozu výpočetních služeb pro skladování a zpracování dat –vytvoření dávkové a interaktivní služby pro celosvětovou komunitu LHC

Les Robertson19 Joint with EGEE Applications Area Development environment Joint projects Data management Distributed analysis Middleware Area Provision of a base set of grid middleware – acquisition, development, integration, testing, support CERN Fabric Area Large cluster management Data recording Cluster technology Networking Computing service at CERN Grid Deployment Area Establishing and managing the Grid Service - Middleware certification, security, operations, registration, authorisation, accounting Operational Management of the Project LCG

Les Robertson20 Applications Area Projects Software Process and Infrastructure (SPI) (A.Aimar) –Librarian, QA, testing, developer tools, documentation, training, … Persistency Framework (POOL) (D.Duellmann) –POOL hybrid ROOT/relational data store Core Tools and Services (SEAL) (P.Mato) –Foundation and utility libraries, basic framework services, object dictionary and whiteboard, math libraries, (grid enabled services) Physicist Interface (PI) (V.Innocente) –Interfaces and tools by which physicists directly use the software. Interactive analysis, visualization, (distributed analysis & grid portals) Simulation (T.Wenaus et al) –Generic framework, Geant4, FLUKA integration, physics validation, generator services Close relationship with -- ROOT (R.Brun) –ROOT I/O event store; Analysis package Group currently working on distributed analysis requirements

21 Energetická spotřeba procesorů Spotřeba energie roste lineárně s výkonem procesoru Řízení výkonu procesorů se pravděpodobně neuplatní při nepřetržité práci procesoru při vysokém využití CPU Elektrický příkon a chlazení zůstanou významnou částí nákladů. CERN plánuje 2.5 MW (+ cooling) for LHC to end 2008 (dnes 800 kW) Processor performance (SpecInt2000) per Watt Frequency [MHz] SpecInt2000/Watt PIII 0.25 PIII 0.18 PIV 0.18 PIV 0.13 Itanium PIV Xeon 0.13

seminář CESNET2 Masarykova kolej 22 Účast ČR na LHC Hlavní účast ČR na LHC je na projektech ATLAS a ALICE –AV ČR, Univerzita Karlova v Praze a České vysoké učení technické v Praze –od roku 1993 účast na návrhu a stavbě detektoru –nyní účast na instalaci detektoru, spuštění v roce 2007, provoz alespoň 10 let –paralelně účast na výpočetních aktivitách projektu ATLAS, např. v DC –Projekt EU DataGrid (2001-III.2004), projekt LCG (od 2002), projekt EGEE od 2004 –Úzká spolupráce s CESNET na projektech Datagrid a EGEE v oblasti budování výpočetních farem, CESNET poskytuje síťového připojení, certifikační autoritu apod.

Výpočetní farma Goliáš –Tier 2 Farma pro výpočty ve fyzice částic a pro gridové výpočty, umístěna ve FZÚ – 34x dual 1.13Ghz PIII – 1GB RAM na uzel – 1TB diskové pole – 10TB diskové pole (3 x 3 TB, spolupráce na vývoji kernelu test9) – Výkon 34 kSI2000 Plán využití: 50% LCG (ATLAS+ALICE), 50% D0

seminář CESNET2 Masarykova kolej 24 Výpočetní farma Goliáš 2 Výborné síťové připojení –PASNET – CESNET2 – GEANT (sdílené 1 Gb/s) –CzechLight (vyhražený 1 Gb/s) vyhražené optické spojení FZÚ – CESNET – Amsterodam (NetherLight) – CERN (BGP pro automatické přepnutí na GEANT v případě testů) Amsterodam je připojen též na StarLight v Chicagu, kam má od 2003 přípojku i FNAL, možnost zlepšení spojení Praha - FNAL

seminář CESNET2 Masarykova kolej 25 Výpočetní farma Goliáš 3 Účast na –EDG1/2 –LCG1/2 –ATLAS, ALICE – DC1/2 DC2 bude využívat LCG2 simulace pro experimenty –D0 ve FNAL simulace pro D0 (SAMgrid) platba poplatků do experimentu pomocí dodávky potřebných výpočetních služeb

seminář CESNET2 Masarykova kolej 26 Výpočetní farma Goliáš 4

seminář CESNET2 Masarykova kolej 27 Závěr Velké experimenty ve fyzice částic v minulosti dávaly podnět k rozvoji výkonných výpočetních a síťových prostředků Dnes daly impuls k rozvoji distribuovaných výpočtů – realizace gridu – desítky gridových projektů na světě ČR se účastní hlavních aktivit LHC jak v oblasti detektorů a fyzikální analýzy, tak na rozvoji a lokální implementaci nových gridových prostředků. CESNET z.s.p.o. vytvořil potřebné vysokorychlostní spolehlivé síťové prostředí na špičkové mezinárodní úrovni Úzká spolupráce na gridových projektech s CESNET z.s.p.o. je velmi přínosná

seminář CESNET2 Masarykova kolej 28 Other Grid Projects Global Grid Forum INFN-Grid CERN Openlab GriPhyN NASA Information Power Grid SpaceGrid GridPP NEES Grid ECOGRID BIRN - Biomedical Informatics Research Network The Earth System Grid II Astrogrid BBSRC Bioinformatics and e-science programme Irish Computational Grid AVO - Astrophysical Virtual Observatory DOE SciDACINFN-Grid CERN Openlab GriPhyN NASA Information Power Grid SpaceGrid GridPP NEES Grid ECOGRID BIRN - Biomedical Informatics Research Network The Earth System Grid II Astrogrid BBSRC Bioinformatics and e-science programme Irish Computational Grid AVO - Astrophysical Virtual Observatory DOE SciDAC Globus Condor Legion GRIP EUROGRIDGlobus Condor Legion GRIP EUROGRID NMI - NSF Middleware Initiative Damien UK Core e-scienceNMI - NSF Middleware Initiative Damien UK Core e-science GEANT TERENA GRIA DOE science Grid Teragrid International Virtual Data Grid Laboratory Trans PAC NorduGrid UNICORE Plus AP Grid DutchGrid IBM SUN Grid EngineGEANT TERENA GRIA DOE science Grid Teragrid International Virtual Data Grid Laboratory Trans PAC NorduGrid UNICORE Plus AP Grid DutchGrid IBM SUN Grid Engine