7.11.2005 Seminář CESNET 1 Zpracování dat v částicové fyzice Jiří Chudoba FZÚ AV ČR.

Prezentace na téma: "7.11.2005 Seminář CESNET 1 Zpracování dat v částicové fyzice Jiří Chudoba FZÚ AV ČR."— Transkript prezentace:

1 7.11.2005 Seminář CESNET 1 Zpracování dat v částicové fyzice Jiří Chudoba FZÚ AV ČR

2 7.11.2005 Seminář CESNET 7.11.2005 2 Obsah Projekt LHC Projekt LHC Zpracování dat v minulosti Zpracování dat v minulosti Objemy dat, motivace pro GRID Objemy dat, motivace pro GRID Zapojení pracovišť v ČR Zapojení pracovišť v ČR Rozsáhlé testy Rozsáhlé testy

3 7.11.2005 Seminář CESNET 7.11.2005 3 LHC Large Hadron Collider Large Hadron Collider CERN, Ženeva CERN, Ženeva Tunel po předchozím urychlovači LEP Tunel po předchozím urychlovači LEP Proton-proton 7 + 7 TeV, √s=14 TeV Proton-proton 7 + 7 TeV, √s=14 TeV olovo-olovo √s=1150 TeV Předpokládané spuštění: 2007 Předpokládané spuštění: 2007 Obvod 27 km, 100 m pod zemí Obvod 27 km, 100 m pod zemí

4 7.11.2005 Seminář CESNET 7.11.2005 4 Experimenty ATLAS, CMS – „velké“ univerzální ATLAS, CMS – „velké“ univerzální ALICE – těžké ionty ALICE – těžké ionty LHCb – b fyzika LHCb – b fyzika Obrovské v rozměrech i v počtech vyčítaných kanálů

5 7.11.2005 Seminář CESNET 7.11.2005 5 ATLAS detektor

6 7.11.2005 Seminář CESNET 7.11.2005 6 ALICE detektor

7 7.11.2005 Seminář CESNET 7.11.2005 7 Zpracování dat v minulosti „Fotografický“ záznam drah po srážce částic drah po srážce částic  jaderné emulze  bublinové komory „Ruční“ zpracování Studium málo častých jevů si vyžádalo přechod k elektronickému záznamu signálů. Zvyšování počtu a četnosti vyčítání kanálů.

8 7.11.2005 Seminář CESNET 7.11.2005 8 Zpracování dat z LEP Large Electron Positron Collider Large Electron Positron Collider 1989 – 2000 1989 – 2000 4 experimenty (v každém asi 1000 lidí) 4 experimenty (v každém asi 1000 lidí) Zpracování: „Vše v CERN“ Zpracování: „Vše v CERN“ úložiště dat úložiště dat společné hromadné zpracování společné hromadné zpracování individuální analýza individuální analýza Postupně Postupně simulace i v jiných centrech simulace i v jiných centrech analýza redukovaných dat na pracovních stanicích (Data Summary Tape: FullDST, LongDST, MiniDST, MikroDST) analýza redukovaných dat na pracovních stanicích (Data Summary Tape: FullDST, LongDST, MiniDST, MikroDST) Nutnost sdílení informací motivací pro WWW Nutnost sdílení informací motivací pro WWW

9 7.11.2005 Seminář CESNET 7.11.2005 9 90. léta - LEP Střediskové počítače IBM, VAX, alfanumerické terminály, přechod na RISCové stanice s UNIX, nakonec farmy PC s Linuxem, data většinou na páskách Střediskové počítače IBM, VAX, alfanumerické terminály, přechod na RISCové stanice s UNIX, nakonec farmy PC s Linuxem, data většinou na páskách Windows 95 Windows NT WGS and PLUS CERNVM VXCERN Počet interaktivních uživatelů za týden, 1987 - 2000

10 7.11.2005 Seminář CESNET 7.11.2005 10 Srážky v LEP Poslední vícejetový případ v DELPHI Poslední mnohasprškový případ z experimentu DELPHI, 2000

11 7.11.2005 Seminář CESNET 7.11.2005 11 Higgsův boson v detektoru Atlas

12 7.11.2005 Seminář CESNET 7.11.2005 12 Au + Au; 5 TeV/u; b=5 fm UrQMD movies, http://alice.web.cern.ch/Alice/html/cyberland/ 1 simulovaný a rekonstruovaný případ: 2 GB, 20h CPU

13 7.11.2005 Seminář CESNET 7.11.2005 13 Centrální srážka Pb-Pb v ALICE det. (část)

14 7.11.2005 Seminář CESNET 7.11.2005 14 Požadavky na systém Každý uživatel (fyzik) musí mít přístup ke všem datům daného experimentu Každý uživatel (fyzik) musí mít přístup ke všem datům daného experimentu Rychlá odezva pro interaktivní práci nad částí dat Rychlá odezva pro interaktivní práci nad částí dat Dávkové úlohy pro zpracování velkých kolekcí dat Dávkové úlohy pro zpracování velkých kolekcí dat Systém sám ví, kde jsou data a kde je nejvýhodnější úlohy zpracovávat Systém sám ví, kde jsou data a kde je nejvýhodnější úlohy zpracovávat

15 7.11.2005 Seminář CESNET 7.11.2005 15 Simulace, Rekonstrukce, Analýza Simulace: Simulace: Malý vstup, velký výstup Malý vstup, velký výstup Velké nároky na CPU Velké nároky na CPU Oficiální software pro všechny úlohy Oficiální software pro všechny úlohy Rekonstrukce: Rekonstrukce: Mnoho dat na vstupu, méně na výstupu Mnoho dat na vstupu, méně na výstupu Oficiální software Oficiální software Analýza: Analýza: Na vybrané zlomky dat Na vybrané zlomky dat Každý uživatel může mít jiný software Každý uživatel může mít jiný software Výsledky “brzy” Výsledky “brzy”

16 7.11.2005 Seminář CESNET 7.11.2005 16 Plány pro LHC Data na geograficky vzdálených místech Data na geograficky vzdálených místech Distribuované zpracování dat Distribuované zpracování dat Vysokorychlostní sítě pro přenos dat Vysokorychlostní sítě pro přenos dat Transparentní přístup ke všem datům musí zajistit grid middleware Transparentní přístup ke všem datům musí zajistit grid middleware Farmy levných PC s OS Linux Farmy levných PC s OS Linux Software v C++, python, perl Software v C++, python, perl

17 7.11.2005 Seminář CESNET 7.11.2005 17 Tier-0 – CERN Nabírání a prvotní zpracování dat Nabírání a prvotní zpracování dat Distribuce dat do Tier-1 Distribuce dat do Tier-1 Tier-2 – ~100 center ve více než 30 zemích Simulace a Individuální analýza – dávkové i interaktivní úlohy Hierarchická síť výpočetních center Canada – Triumf (Vancouver) France – IN2P3 (Lyon) Germany – Forschunszentrum Karlsruhe Italy – CNAF (Bologna) Netherlands – NIKHEF/SARA (Amsterdam) Nordic countries – distributed Tier-1 Spain – PIC (Barcelona) Taiwan – Academia SInica (Taipei) UK – CLRC (Oxford) US – FermiLab (Illinois) – Brookhaven (NY) Tier-1 centra Zpracovaní dat (reprocesing) Zpracovaní dat (reprocesing) Úložiště dat Úložiště dat Analýzy pro velké celky dat Analýzy pro velké celky dat Národní či regionální podpora pro Tier-2 Národní či regionální podpora pro Tier-2

18 7.11.2005 Seminář CESNET 7.11.2005 18 Tier-2 centra Zhruba polovina Tier-2 je aktivní Tier-3 základní prostředky pro koncové uživatele na univerzitách a jiných vědeckých pracovištích

19 7.11.2005 Seminář CESNET 7.11.2005 19 Objemy dat - ATLAS Naměřená data Naměřená data Jedna kopie v Tier0 a jedna v alespoň jednom Tier1 na páskáchJedna kopie v Tier0 a jedna v alespoň jednom Tier1 na páskách ročně asi 3 PB = 3*10 6 GB (1.6 MB/případ, 2*10 9 případů)ročně asi 3 PB = 3*10 6 GB (1.6 MB/případ, 2*10 9 případů) ESD (Event Summary Data) – rekonstruované případy s podrobnou informací z detektoru ESD (Event Summary Data) – rekonstruované případy s podrobnou informací z detektoru 0.5 MB/případ, 1 PB/rok0.5 MB/případ, 1 PB/rok 2 kopie v některých Tier1 dostupné na disku2 kopie v některých Tier1 dostupné na disku AOD (Analysis Object Data) – rekonstruované fyzikální objekty (částice, spršky), pro analýzu „koncovým uživatelem“ AOD (Analysis Object Data) – rekonstruované fyzikální objekty (částice, spršky), pro analýzu „koncovým uživatelem“ 0.1 MB/případ, 180 TB/rok0.1 MB/případ, 180 TB/rok 1 kopie v každém Tier1, 1 kopie sdílená v přiřazených Tier2 centrech1 kopie v každém Tier1, 1 kopie sdílená v přiřazených Tier2 centrech Simulace: Simulace: Stejná struktura jako pro reálná data, asi 20% objemu reálných datStejná struktura jako pro reálná data, asi 20% objemu reálných dat 1 srážka při vysoké luminositě (obsahuje průměrně 23 případů) 7.5 MB, 8000 SI2000 s CPU1 srážka při vysoké luminositě (obsahuje průměrně 23 případů) 7.5 MB, 8000 SI2000 s CPU Poznámka o jednotkách SPECInt2000: PIV Xeon 3.2 GHz = 1200 SI2000

20 7.11.2005 Seminář CESNET 7.11.2005 20 Přenosy dat Odhadované nároky na přenosy dat mezi Tier0 a Tier1 centry, pouze pro experiment ATLAS

21 7.11.2005 Seminář CESNET 7.11.2005 21 Datové toky Tier1 – Tier2 2 – 3 krát ročně kopie AOD z Tier1 do Tier2 simulovaná data z Tier2 do Tier1, průběžný tok tok generovaný úlohami uživatelů

22 7.11.2005 Seminář CESNET 7.11.2005 22 Probíhající příprava Zapojení pracovišť v ČR Zapojení pracovišť v ČR Zkušenosti ze současných experimentů Zkušenosti ze současných experimentů Rozsáhlé testy: Rozsáhlé testy: Data ChallengesData Challenges Service ChallengesService Challenges

23 7.11.2005 Seminář CESNET 7.11.2005 23 Zapojené prostředky v ČR FZÚ: Farma GOLIÁŠ FZÚ: Farma GOLIÁŠ Téměř 100 dvouprocesorových strojů, Xeon 3.06 GHz a PIII 1.13GHz, 1-4 GB RAMTéměř 100 dvouprocesorových strojů, Xeon 3.06 GHz a PIII 1.13GHz, 1-4 GB RAM 40 TB disková kapacita40 TB disková kapacita 1Gb/s síť v kritických bodech, 100 Mb/s zbytek1Gb/s síť v kritických bodech, 100 Mb/s zbytek Připravuje se rozšířeníPřipravuje se rozšíření CESNET: Farma Skurut (část) CESNET: Farma Skurut (část) 33x 2CPU, PIII700 MHz33x 2CPU, PIII700 MHz Linux, PBSPro (Torque + Maui na skurut), LCG(gLite) - EGEE middleware, Linux, PBSPro (Torque + Maui na skurut), LCG(gLite) - EGEE middleware, SAM (D0 „grid“), AliEn SAM (D0 „grid“), AliEn

24 7.11.2005 Seminář CESNET 7.11.2005 24 Experimentální optické propojení FZÚUKÚJFČVUT CERNFERMILAB CESNET AMSTERODAM CHICAGO CzechLight StarLight NetherLight

25 7.11.2005 Seminář CESNET 7.11.2005 25 Urychlovač Tevatron FERMILAB (USA) Proton – antiproton 1 + 1 TeV Experimenty D0 a CDF Objev top kvarku v roce 1995

26 7.11.2005 Seminář CESNET 7.11.2005 26 D0 simulace rokpřípadyúlohyobjem dat [GB] 20042800000110003700 20053900000160005400 Podíl farmy ve FZÚ: Všechna generovaná data se přenáší do FERMILAB přímou linkou 1 Gb/s poskytnutou CESNET

27 7.11.2005 Seminář CESNET 7.11.2005 27 D0 reprocesing 2005 Zpracování případů verzí p17, stav k 2.11.2005 Opakovaná rekonstrukce (reprocesing) 11 farem 250 TB dat 16000 CPU roků pomocí SAMGRID

28 7.11.2005 Seminář CESNET 7.11.2005 28 ATLAS Data Challenges DC1 v roce 2002: DC1 v roce 2002: Předem určené rozdělení úloh na farmyPředem určené rozdělení úloh na farmy Na každé farmě lokální ATLAS expert instaloval sw a spouštěl úlohyNa každé farmě lokální ATLAS expert instaloval sw a spouštěl úlohy Velké rozdíly v době zpracování přidělené sady úlohVelké rozdíly v době zpracování přidělené sady úloh DC2 + Rome production: DC2 + Rome production: Použity 3 různé GridyPoužity 3 různé Gridy LCG (LHC Computing Grid) 17 zemí, 51 farem LCG (LHC Computing Grid) 17 zemí, 51 farem GRID3 (US) – 19 farem GRID3 (US) – 19 farem NorduGrid – 7 zemí, 14 farem NorduGrid – 7 zemí, 14 farem CELKEM: 22 zemí, 84 farem

29 7.11.2005 Seminář CESNET 7.11.2005 29 ATLAS – Produkční systém 2004, 2005 LCGNGGrid3LSF LCG exe LCG exe NG exe G3 exe LSF exe super prodDB dms RLS jabber soap jabber Don Quijote Windmill Lexor AMI Capone Dulcinea

30 7.11.2005 Seminář CESNET 7.11.2005 30 Testy v takovém velkém rozsahu odhalily mnoho problémů, které se při menších zatíženích neprojeví Přesto se podařilo generovat a zpracovat plánovaných 8,5 miliónů případů v 600 000 úlohách CZ = GOLIÁŠ + SKURUT

31 7.11.2005 Seminář CESNET 7.11.2005 31 Service Challenge 3 - 2005 Testuje distribuci dat z CERN na disky a pásky Tier-1 center Testuje distribuci dat z CERN na disky a pásky Tier-1 center Nejen propustnost sítí, ale i funkčnost a spolehlivost serverů a celých center včetně doby reakce na poruchu Nejen propustnost sítí, ale i funkčnost a spolehlivost serverů a celých center včetně doby reakce na poruchu

32 7.11.2005 Seminář CESNET 7.11.2005 32 Urychlovač LHC bude spuštěn za necelé Urychlovač LHC bude spuštěn za necelé 2 roky 2 roky Současné testy odhalují mnoho problémů, ale také ukazují, že přijatý model distribuovaného zpracování dat je realizovatelný Současné testy odhalují mnoho problémů, ale také ukazují, že přijatý model distribuovaného zpracování dat je realizovatelný Už jsme si přivykli na spolehlivé vysokorychlostní přenosy dat, obdobnou infrastrukturu očekáváme od gridových projektů Už jsme si přivykli na spolehlivé vysokorychlostní přenosy dat, obdobnou infrastrukturu očekáváme od gridových projektů

33 7.11.2005 Seminář CESNET 7.11.2005 33 KONEC

34 7.11.2005 Seminář CESNET 7.11.2005 34 Capacity Growth from now to 2008