23. 2. 2004seminář CESNET2 Masarykova kolej 1 Výpočty ve fyzice částic - projekt ATLAS M. Lokajíček Fyzikální ústav AV ČR.

Prezentace na téma: "23. 2. 2004seminář CESNET2 Masarykova kolej 1 Výpočty ve fyzice částic - projekt ATLAS M. Lokajíček Fyzikální ústav AV ČR."— Transkript prezentace:

1 23. 2. 2004seminář CESNET2 Masarykova kolej 1 Výpočty ve fyzice částic - projekt ATLAS M. Lokajíček Fyzikální ústav AV ČR

2 23. 2. 2004seminář CESNET2 Masarykova kolej 2 Úvod Experimenty ve fyzice částic Výpočetní nároky na příkladu experimentu ATLAS na LHC v CERN Účast na mezinárodních výpočetních projektech - GRID Domácí infrastruktura pro výpočty Závěr

3 23. 2. 20043 Experimenty částicové fyziky a výpočetní nároky Hlavní centra –CERN skončen program LEP příprava programu LHC urychlovač p-p 7+7 TeV experimenty ATLAS, ALICE, CMS, LHCb –FERMILAB běžící program Tevatron, anti-p–p, 1+1 TeV experimenty D0 a CDF objev top kvarku v 1995

4 23. 2. 2004seminář CESNET2 Masarykova kolej 4 CERN ATLAS

5 23. 2. 20045 Urychlovač LHC (Large Hadron Collider) –obvod 27 km –100 m pod zemí –vstřícné svazky protonů 7 + 7 TeV, lumiinosita 10 34 cm -2 s -1 –bunch (shluk) 10 11 protonů –srážky každých 25 ns, tj.40 MHz bunche 7.5 m za sebou při rychlosti světla –při srážce bunchů 23 srážek proton- proton současně –spuštění 2007

6 23. 2. 20046 Detektor ATLAS –délka 44 m výška 26 m váha 7 000 tun –současný stav podzemní haly –části detektorů postupně dopravovány, spouštěny jeřábem a instalovány –webové kamery a počítačové simulace instalace na http://atlas.web.cern.ch/A tlas/TCOORD/Activities/T cOffice/Scheduling/Install ation/ATLASinstallation.ht ml či sekvence z webových obrázků: http://home- hep.fzu.cz/fialal/atlasbuild / http://atlas.web.cern.ch/A tlas/TCOORD/Activities/T cOffice/Scheduling/Install ation/ATLASinstallation.ht ml http://home- hep.fzu.cz/fialal/atlasbuild /

7 23. 2. 2004seminář CESNET2 Masarykova kolej 7 proton Vnitřní detektor (měření drah částic) Kalorimetry (měření energie částic a jetů) Detektor mionů Supravodivé magnety

8 8 Spolupráce ATLAS (Status říjen 2004) Albany, Alberta, NIKHEF Amsterdam, Ankara, LAPP Annecy, Argonne NL, Arizona, UT Arlington, Athens, NTU Athens, Baku, IFAE Barcelona, Belgrade, Bergen, Berkeley LBL and UC, Bern, Birmingham, Bonn, Boston, Brandeis, Bratislava/SAS Kosice, Brookhaven NL, Bucharest, Cambridge, Carleton/CRPP, Casablanca/Rabat, CERN, Chinese Cluster, Chicago, Clermont-Ferrand, Columbia, NBI Copenhagen, Cosenza, INP Cracow, FPNT Cracow, Dortmund, JINR Dubna, Duke, Frascati, Freiburg, Geneva, Genoa, Glasgow, LPSC Grenoble, Technion Haifa, Hampton, Harvard, Heidelberg, Hiroshima, Hiroshima IT, Indiana, Innsbruck, Iowa SU, Irvine UC, Istanbul Bogazici, KEK, Kobe, Kyoto, Kyoto UE, Lancaster, Lecce, Lisbon LIP, Liverpool, Ljubljana, QMW London, RHBNC London, UC London, Lund, UA Madrid, Mainz, Manchester, Mannheim, CPPM Marseille, MIT, Melbourne, Michigan, Michigan SU, Milano, Minsk NAS, Minsk NCPHEP, Montreal, FIAN Moscow, ITEP Moscow, MEPhI Moscow, MSU Moscow, Munich LMU, MPI Munich, Nagasaki IAS, Naples, Naruto UE, New Mexico, Nijmegen, Northern Illinois, BINP Novosibirsk, Ohio SU, Okayama, Oklahoma, LAL Orsay, Oslo, Oxford, Paris VI and VII, Pavia, Pennsylvania, Pisa, Pittsburgh, CAS Prague, CU Prague, TU Prague, IHEP Protvino, Ritsumeikan, UFRJ Rio de Janeiro, Rochester, Rome I, Rome II, Rome III, Rutherford Appleton Laboratory, DAPNIA Saclay, Santa Cruz UC, Sheffield, Shinshu, Siegen, Simon Fraser Burnaby, Southern Methodist Dallas, NPI Petersburg, Stockholm, KTH Stockholm, Stony Brook, Sydney, AS Taipei, Tbilisi, Tel Aviv, Thessaloniki, Tokyo ICEPP, Tokyo MU, Tokyo UAT, Toronto, TRIUMF, Tsukuba, Tufts, Udine, Uppsala, Urbana UI, Valencia, UBC Vancouver, Victoria, Washington, Weizmann Rehovot, Wisconsin, Wuppertal, Yale, Yerevan 151 institucí ze 34 zemí Celkem vědeckých autorů 1 700 Vědečtí autoři s titulem PhD, či ekvivalentem 1 300

9 23. 2. 2004seminář CESNET2 Masarykova kolej 9

10 10 Software Project Asi 100 lidí

11 23. 2. 2004seminář CESNET2 Masarykova kolej 11 Tok dat a trigger (spouštění detektoru) Sytém triggeru vybere zajímavé případy srážek ze 40 MHz (s pile-up 1 GHz): –20-30 kHz po Level-1 triggeru, rozhodnutí do 2.5 μs HW - detektory mionů a kalorimetry –~2000 Hz po Level-2 triggeru, rozhodnutí do 10 ms částečná rekonstrukce – specializovaná farma (nezávisle pro jednotlivé detektory) –~160 Hz po tzv. Event Filter (“offline” rekonstrukce celého případu) rozhodnutí až několik s ~140 Hz skutečná fyzika, ~20 Hz kalibrace a monitoring –Počet kanálů detektoru ATLAS je 150 mil. Frekvence jsou téměř nezávislé na luminositě –je více „zajímavé“ fyziky než odpovídá 160 Hz dokonce při nízké luminositě –prahy triggeru budou upraveny podle luminosity “Standardni” velikost případu je 1.6 MB –z počátku může být mnohem více (7-8 MB) dokud nebude zapnuta komprese dat v kalorimetrech Nominální tok dat do offline je 250 MB/s Doba sběru dat ročně je 10 7 s (10 9 případů), ročně se nabere několik PB dat, s dalšími daty bude experiment ročně uchovávat až 10 PB

12 23. 2. 2004seminář CESNET2 Masarykova kolej 12 Výpočetní model experimentu ATLAS Velikosti dat: –Simulovaná data případů2.0 MB –Raw data 1.6 MB –Event Summary Data (ESD)0.5 MB –Analysis Object Data (AOD) 10 kB –TAG Data0.5 kB Další parametry: –celková frekvence záznamu případů160 Hz –Frekvence záznamu případů pro fyziku140 Hz –tok dat 250 MB/s –nominální doba sběru dat ročně 10 7 s –orientační počet případů ročně 10 9 –ročně raw dat - všech dat 2 - 10 PB –doba/případ pro Simulaci 60 kSI2k s –doba/případ pro Rekonstrukci 6.4 kSI2k s Zpracování dat v centrech (celkem desetitisíce procesorů po celém světě) –Tier-0 – místo sběru dat – CERN –Tier-1 - velká regionální centra 6 pro ATLAS –Tier-2 - regionální centra 4 na každé Tier-1 –Tier-3 - centra spolupracujících univerzit

13 13 Funkce centra Tier-0 Centrum Tier-0 v CERN musí: –držet kopie všech raw dat na páskách –držet kalibrační data na discích –provést první rekonstrukci dat v reálném čase –distribuovat ESD’s externím Tier-1 (1/3 dat každému z 6 Tier-1) – neustále 2 diskové kopie Momentálně se zvažuje: –zda kopírovat v reálném čase všechna raw data do Tier-1 (druhá kopie bude užitečná pro pozdější opětovné zpracování dat - reprocessing) –zda reprocessing raw dat na Tier-0 či Tier-1 –zda skladovat pásky na policích či v automatických robotech –způsob archivace simulovaných dat –možnost sdílení výpočetních prostředků s HLT (L2) a Tier-0 Tier-0 musí být dedikované centrum, jehož výkon CPU, rychlosti toku dat na disky a pásky odpovídá frekvenci záznamu experimentálních dat

14 23. 2. 2004seminář CESNET2 Masarykova kolej 14 Funkce center Tier-1 a Tier-2 Předpokládáme ~6 Tier-1 center pro ATLAS. Každé bude: –drží 1/3 dat ESD a plnou kopii dat AOD a TAG –(pravděpodobně ) drží na páskách 1/6 of Raw Data –drží na disku 1/3 současně simulovaných ESD a na pásce 1/6 předchozích verzí –poskytovat služby (CPU a diskovou kapacitu) pro uživatelskou analýzu (~200 uživatelů/Tier-1) –počítat simulace, kalibrace a reprocessing skutečných dat Předpokládáme ~4 Tier-2 na každé Tier-1. Každé bude: –držet na disku plnou AOD aTAG –(pravděpodobně) držet na disku vybrané vzorky ESD –poskytovat (CPU a diskový prostor) pro uživatelskou analýzu (~50 uživatelů/Tier-2) –počítat simulace a/nebo kalibrace

15 Dario Barberis15 ATLAS Computing Timeline POOL/SEAL release (done) ATLAS release 7 (with POOL persistency) (done) LCG-1 deployment (in progress) ATLAS complete Geant4 validation (in progress) ATLAS release 8 DC2 Phase 1: simulation production DC2 Phase 2: intensive reconstruction (the real challenge!) Combined test beams (barrel wedge) Computing Model paper ATLAS Computing TDR and LCG TDR DC3: produce data for PRR and test LCG-n Computing Memorandum of Understanding (moved to end 2004?) Physics Readiness Report Start commissioning run GO! 2003 2004 2005 2006 2007 NOW

16 23. 2. 2004seminář CESNET2 Masarykova kolej 16 Data Challenge 2 test systému zpracování dat DC2 v roce 2004: –distribuovaná produkce >10 7 simulovaných případů, duben – červen 2004 –případy (raw data) poslat do CERN do Tier-0 –(pravděpodobně) “rychlý” alignment/kalibrace a (určitě) rekonstrukce dat na prototypu Tier-0 během krátké doby (~10 dní, “10% test toku dat”) –výsledky rekonstrukce distribuovat do center Tier-1 a provést analýzu na Gridu Nový software (vzhledem k DC1 v 2002/2003): –simulace Geant4, pile-up a digitalizace v Athena –nový SW pro správu dat a popis detektoru –POOL persistence –gridová infrastruktura projektu LCG-1/2 –produkce a analýza dat v distribuovaném prostředí

17 17 DC2: Scenario & Time scale September 03: Release7 February 27 th 04: Release 8 (production) April 1 st 04: June 1 st 04: “DC2” July 15th Put in place, understand & validate: Geant4; POOL; LCG applications Event Data Model Digitization; pile-up; byte-stream Conversion of DC1 data to POOL; large scale persistency tests and reconstruction Testing and validation Run test-production Start final validation Start simulation; Pile-up & digitization Event mixing Transfer data to CERN Intensive Reconstruction on “Tier0” Distribution of ESD & AOD Calibration; alignment Start Physics analysis Reprocessing

18 23. 2. 2004seminář CESNET2 Masarykova kolej 18 Projekt LCG LCG – LHC Computing Grid projekt CERN první fáze 2002 – 2005 Úkol – připravit výpočetní infrastrukturu pro simulace, zpracování a fyzikální analýzu dat pro všechny 4 experimenty na LHC –společná infrastruktura knihoven, nástrojů a rámec pro podporu fyzikálního aplikačního softwaru –vývoj a uvedení do provozu výpočetních služeb pro skladování a zpracování dat –vytvoření dávkové a interaktivní služby pro celosvětovou komunitu LHC

19 Les Robertson19 Joint with EGEE Applications Area Development environment Joint projects Data management Distributed analysis Middleware Area Provision of a base set of grid middleware – acquisition, development, integration, testing, support CERN Fabric Area Large cluster management Data recording Cluster technology Networking Computing service at CERN Grid Deployment Area Establishing and managing the Grid Service - Middleware certification, security, operations, registration, authorisation, accounting Operational Management of the Project LCG

20 Les Robertson20 Applications Area Projects Software Process and Infrastructure (SPI) (A.Aimar) –Librarian, QA, testing, developer tools, documentation, training, … Persistency Framework (POOL) (D.Duellmann) –POOL hybrid ROOT/relational data store Core Tools and Services (SEAL) (P.Mato) –Foundation and utility libraries, basic framework services, object dictionary and whiteboard, math libraries, (grid enabled services) Physicist Interface (PI) (V.Innocente) –Interfaces and tools by which physicists directly use the software. Interactive analysis, visualization, (distributed analysis & grid portals) Simulation (T.Wenaus et al) –Generic framework, Geant4, FLUKA integration, physics validation, generator services Close relationship with -- ROOT (R.Brun) –ROOT I/O event store; Analysis package Group currently working on distributed analysis requirements

21 21 Energetická spotřeba procesorů Spotřeba energie roste lineárně s výkonem procesoru Řízení výkonu procesorů se pravděpodobně neuplatní při nepřetržité práci procesoru při vysokém využití CPU Elektrický příkon a chlazení zůstanou významnou částí nákladů. CERN plánuje 2.5 MW (+ cooling) for LHC to end 2008 (dnes 800 kW) Processor performance (SpecInt2000) per Watt 0 2 4 6 8 10 12 14 16 18 0100020003000 Frequency [MHz] SpecInt2000/Watt PIII 0.25 PIII 0.18 PIV 0.18 PIV 0.13 Itanium 2 0.18 PIV Xeon 0.13

22 23. 2. 2004seminář CESNET2 Masarykova kolej 22 Účast ČR na LHC Hlavní účast ČR na LHC je na projektech ATLAS a ALICE –AV ČR, Univerzita Karlova v Praze a České vysoké učení technické v Praze –od roku 1993 účast na návrhu a stavbě detektoru –nyní účast na instalaci detektoru, spuštění v roce 2007, provoz alespoň 10 let –paralelně účast na výpočetních aktivitách projektu ATLAS, např. v DC –Projekt EU DataGrid (2001-III.2004), projekt LCG (od 2002), projekt EGEE od 2004 –Úzká spolupráce s CESNET na projektech Datagrid a EGEE v oblasti budování výpočetních farem, CESNET poskytuje síťového připojení, certifikační autoritu apod.

23 23. 2. 200423 Výpočetní farma Goliáš –Tier 2 Farma pro výpočty ve fyzice částic a pro gridové výpočty, umístěna ve FZÚ – 34x dual 1.13Ghz PIII – 1GB RAM na uzel – 1TB diskové pole – 10TB diskové pole (3 x 3 TB, spolupráce na vývoji kernelu 2.6.0-test9) – Výkon 34 kSI2000 Plán využití: 50% LCG (ATLAS+ALICE), 50% D0

24 23. 2. 2004seminář CESNET2 Masarykova kolej 24 Výpočetní farma Goliáš 2 Výborné síťové připojení –PASNET – CESNET2 – GEANT (sdílené 1 Gb/s) –CzechLight (vyhražený 1 Gb/s) vyhražené optické spojení FZÚ – CESNET – Amsterodam (NetherLight) – CERN (BGP pro automatické přepnutí na GEANT v případě testů) Amsterodam je připojen též na StarLight v Chicagu, kam má od 2003 přípojku i FNAL, možnost zlepšení spojení Praha - FNAL

25 23. 2. 2004seminář CESNET2 Masarykova kolej 25 Výpočetní farma Goliáš 3 Účast na –EDG1/2 –LCG1/2 –ATLAS, ALICE – DC1/2 DC2 bude využívat LCG2 simulace pro experimenty –D0 ve FNAL simulace pro D0 (SAMgrid) platba poplatků do experimentu pomocí dodávky potřebných výpočetních služeb

26 23. 2. 2004seminář CESNET2 Masarykova kolej 26 Výpočetní farma Goliáš 4

27 23. 2. 2004seminář CESNET2 Masarykova kolej 27 Závěr Velké experimenty ve fyzice částic v minulosti dávaly podnět k rozvoji výkonných výpočetních a síťových prostředků Dnes daly impuls k rozvoji distribuovaných výpočtů – realizace gridu – desítky gridových projektů na světě ČR se účastní hlavních aktivit LHC jak v oblasti detektorů a fyzikální analýzy, tak na rozvoji a lokální implementaci nových gridových prostředků. CESNET z.s.p.o. vytvořil potřebné vysokorychlostní spolehlivé síťové prostředí na špičkové mezinárodní úrovni Úzká spolupráce na gridových projektech s CESNET z.s.p.o. je velmi přínosná

28 23. 2. 2004seminář CESNET2 Masarykova kolej 28 Other Grid Projects Global Grid Forum INFN-Grid CERN Openlab GriPhyN NASA Information Power Grid SpaceGrid GridPP NEES Grid ECOGRID BIRN - Biomedical Informatics Research Network The Earth System Grid II Astrogrid BBSRC Bioinformatics and e-science programme Irish Computational Grid AVO - Astrophysical Virtual Observatory DOE SciDACINFN-Grid CERN Openlab GriPhyN NASA Information Power Grid SpaceGrid GridPP NEES Grid ECOGRID BIRN - Biomedical Informatics Research Network The Earth System Grid II Astrogrid BBSRC Bioinformatics and e-science programme Irish Computational Grid AVO - Astrophysical Virtual Observatory DOE SciDAC Globus Condor Legion GRIP EUROGRIDGlobus Condor Legion GRIP EUROGRID NMI - NSF Middleware Initiative Damien UK Core e-scienceNMI - NSF Middleware Initiative Damien UK Core e-science GEANT TERENA GRIA DOE science Grid Teragrid International Virtual Data Grid Laboratory Trans PAC NorduGrid UNICORE Plus AP Grid DutchGrid IBM SUN Grid EngineGEANT TERENA GRIA DOE science Grid Teragrid International Virtual Data Grid Laboratory Trans PAC NorduGrid UNICORE Plus AP Grid DutchGrid IBM SUN Grid Engine