EGEE is a project funded by the European Union under contract IST Využití EGEE infrastruktury pro zpracování dat ve fyzice vysokých energií Jiří Chudoba CESNET EGEE seminář,

CESNET EGEE seminář, Obsah Projekty částicové fyziky a jejich nároky na IT Motivace pro grid EGEE a další projekty Data Challenges Výhled

CESNET EGEE seminář, Fyzika mikrosvěta Částicová fyzika studuje: elementární částice, ze kterých se skládá všechna hmota ve vesmíru základní síly, které mezi nimi působí Proto potřebuje: speciální nástroje pro vytváření a studium nových částic

CESNET EGEE seminář, CERN je největší laboratoř pro částicovou fyziku ČR je členskou zemí od r (svého vzniku) CERN je místem, kde se budují největší urychlovače a detektory Co je to CERN? CERN je: ~ 2500 vědeckých zaměstnanců (fyziků, inženýrů, …) - Kolem 6500 externích spolupracovníků (polovina všech částicových fyziků ) Přicházejí z 500 univerzit představují 80 národností.

CESNET EGEE seminář,

LHC data 40 miliónů srážek za sekundu Po hrubém výběru se zaznamená 100 zajímavých srážek za sekundu 1 srážka ~ 1 Megabyte zápis 0.1 Gigabyte/sec zaznamenaných srážek za rok = 10 Petabyte/rok CMSLHCbATLASALICE 1 Megabyte (1MB) Digitální fotografie 1 Gigabyte (1GB) = 1000MB Film na DVD 1 Terabyte (1TB) = 1000GB Celosvětová produkce knih 1 Petabyte (1PB) = 1000TB Data za 1 rok z 1 LHC experimentu 1 Exabyte (1EB) = 1000 PB Množství informací vyprodukovaných na světě za celý rok

CESNET EGEE seminář, Z mnoha případů během jedné srážky…... chceme rozpoznat tento případ Výběr: 1 z Jako hledání 1 člověka mezi 1000 násobkem populace Země. Nebo hledat jehlu ve 20 milionech kupek sena! Případy na LHC

CESNET EGEE seminář, Data z LHC experimentů za 1 rok by bylo možné uložit na 20 milionech CD! Kde budou data skladována a jak budou zpracovávána? LHC data

CESNET EGEE seminář, Výpočetní farmy založené na běžných, relativně levných PC Více než 1000 dvouprocesorových PC Více než 1 Petabyte dat na discích a páskách To z daleka nestačí! Výpočty v CERN

CESNET EGEE seminář, Zpracování dat z LHC Pro analýzu dat z LHC je zapotřebí výpočetního výkonu na úrovni asi 100,000 dnešních rychlých CPU! Kde experimenty najdou tuto výpočetní kapacitu?

CESNET EGEE seminář, Výpočty pro LHC: problém? Grid je možným řešením!

CESNET EGEE seminář, World Wide Web byl vyvinut v CERN pro usnadnění komunikace mezi fyziky. Typický tým pro jeden velký experiment na počátku 90. let tvořilo asi 500 fyziků, nové experimenty buduje přes 1000 fyziků (plus inženýři, technici a další specialisté) Pro sdílení dokumentů World Wide Web

CESNET EGEE seminář, Grid je infrastruktura, která poskytuje přístup k velkému množství dat a k velkému výpočetnímu výkonu. Middleware spojuje větší výpočetní střediska, která poskytují hardwarové zdroje. Cílem je též optimalizovat využití hardwaru: poskytnu své CPU, když ho nedokáži plně využít použiju i cizí CPU v době mojí špičky Co je Grid?

CESNET EGEE seminář, CERN projekty: LHC Computing Grid (LCG) Projekty EU vedené CERN: European DataGrid (EDG) Enabling Grids for E-science in Europe (EGEE) Projekty ve spolupráci s průmyslem: CERN Openlab for DataGrid applications CERN se aktivně účastní mnoha gridových projektů CERN

CESNET EGEE seminář, Každý uživatel (fyzik) musí mít přístup ke všem datům daného experimentu Rychlá odezva pro interaktivní práci nad částí dat Dávkové úlohy pro zpracování velkých souborů Systém sám ví, kde jsou data a kde je nejvýhodnější úlohy zpracovávat Požadavky na systém

CESNET EGEE seminář, Simulace: Malý vstup, velký výstup Velké nároky na CPU Oficiální software pro všechny úlohy Rekonstrukce: Mnoho dat na vstupu, méně na výstupu Oficiální software Analýza: Na vybrané zlomky dat Každý uživatel může mít jiný software Výsledky “brzy” Simulace, Rekonstrukce, Analýza

CESNET EGEE seminář, Data Challenges DC: Rozsáhlé testy různých komponent stabilita vlastního software rozdělování úloh Grid middleware propustnost sítí výkonnost zálohovacích kapacit počet a připravenost jednotlivých center příprava souborů dat pro analýzu

CESNET EGEE seminář, Před Gridem Éra urychlovače LEP ( )  hlavní výpočetní kapacita v CERN  část simulací se prováděla v jiných centrech –předem definované vzorky –transport pomocí pásek  export vybraných částí dat na páskách (později přes síť) do lokálních center pro analýzu dat ATLAS DC 1 proběhla v  rozdělení úloh předem dle velikosti center  každý lokální administrátor musel provést instalaci a úpravy spouštěcích skriptů dle lokálních podmínek  dlouhé čekání na dokončení úloh z center, kde se vyskytli problémy, zatímco jinde už byly procesory nevyužité

CESNET EGEE seminář, ATLAS DC LCG Instalace ATLAS sw pomocí instalační úlohy (1 člověk pro všechna centra) Posílání úloh polo-automaticky, teoreticky 1 člověk (v praxi více – stálý vývoj, dovolené, dozorování problémových úloh) Výsledky se kopírují na předem zadaná zařízení (centra s backupem na páskové jednotky) Maximální využití všech dostupných kapacit se nedařilo, ale někdy jsme se k němu blížili

CESNET EGEE seminář, ATLAS DC LCG Typy úloh:  generování případů – žádný vstup, malý výstup, malé nároky na CPU  simulace odezvy detektoru – vstupem jsou generované případy (nutnost jejich distribuce), objemný výstup, náročné na CPU  digitalizace – zpracování výstupu ze simulace  pile-up = smíchání případů - vstupní množina 700 GB, pro jednu úlohu několik GB  míchání signálu s pozadím  rekonstrukce Celkem 10 % nároků po spuštění LHC 10 milionů případů

CESNET EGEE seminář, ATLAS DC2 Používá 3 různé gridy  LCG2 ( = EGEE )  GRID3 (US)  Nordugrid (vychází z EDG - předchůdce EGEE)

CESNET EGEE seminář, Zapojená centra v DC

CESNET EGEE seminář, Počet ATLAS úloh

CESNET EGEE seminář, Použité CPU farma GOLIAS

CESNET EGEE seminář, Monitorování

CESNET EGEE seminář, ATLAS: Chyby v LCG

CESNET EGEE seminář, ATLAS DC2 – současný stav Stále ještě probíhá, dosavadní výsledky od července 2004 do počátku října:  22 různých transformací (různé typy úloh)  157 „úkolů“ (aplikace transformace na různá data)  spuštěných úloh  zaregistrovaných logických souborů  spotřebováno 5000 CPU měsíců Průběžné opravy ATLAS SW, LCG dovoluje koexistenci několika verzí

CESNET EGEE seminář, ALICE DC LCG2 a AliEn Časově se překrývala s ATLAS DC 1. fáze: Simulace Pb+Pb případů s různými impakt parametry + produkce p+p případů  Počet úloh: 6 x případů (typ cent1/per1-5) = úloh – úloh á 8 hodin (cent 1) – úloh á 5 hodin (per 1), – úloh á 2.5 hodiny (per2-per5)  Počet souborů: ~36 souborů z každé úlohy AliEn file catalogue: ~2.0 milionů souborů CERN Castor: 1.3 milionů  Velikost souborů: Celkem: 26 TB

CESNET EGEE seminář, ALICE DC – 2. fáze Míchání případů s různým signálem s Pb+Pb případy Test:  Standardní produkce (relativně malých) případů se signálem  Kapacity sítě a nástrojů na transport souborů  Stabilita vzdálených SE Podmínky, úlohy …:  62 různých podmínek  340K úloh, 15.2M případů  10 TB produkovaných dat  200 TB dat přenesených z CERN  500 MSI2K hodin CPU

CESNET EGEE seminář, Rozdělení CPU 16 AliEn farem + LCG

CESNET EGEE seminář, Získané zkušenosti Systém je i v současném stavu použitelný k hromadným simulacím Testy odhalily některé problémy a nové požadavky  konfigurace a správa farem (černé díry,...)  distribuce úloh  replikace dat  včasná identifikace problémů  detailní monitorování  problémy klíčových komponent  podpora zacházení s mnoha úlohami

CESNET EGEE seminář, Shrnutí Současný middleware poskytuje nutné služby pro zpracování úloh náročných na CPU a datové přenosy Další vývoj  zlepší spolehlivost  zvýší škálovatelnost  zjednodušší práci uživatele Požadavky z jiných oborů zkvalitní middleware i pro částicovou fyziku

CESNET EGEE seminář, Děkuji za pozornost!