EGEE is a project funded by the European Union under contract IST-2003-508833 Využití EGEE infrastruktury pro zpracování dat ve fyzice vysokých energií.

Prezentace na téma: "EGEE is a project funded by the European Union under contract IST-2003-508833 Využití EGEE infrastruktury pro zpracování dat ve fyzice vysokých energií."— Transkript prezentace:

1 EGEE is a project funded by the European Union under contract IST-2003-508833 Využití EGEE infrastruktury pro zpracování dat ve fyzice vysokých energií CESNET EGEE II seminář, 12.12. 2006 www.eu-egee.org

2 CESNET EGEE II seminář, 12.12.2006 - 2 Obsah • Projekty částicové fyziky a jejich nároky na IT • Motivace pro grid • EGEE a další projekty • Statistiky, data • Výhled

3 CESNET EGEE II seminář, 12.12.2006 - 3 Fyzika mikrosvěta Částicová fyzika studuje: elementární částice, ze kterých se skládá všechna hmota ve vesmíru základní síly, které mezi nimi působí Proto potřebuje: speciální nástroje pro vytváření a studium nových částic

4 CESNET EGEE II seminář, 12.12.2006 - 4 • CERN je největší laboratoř pro částicovou fyziku • ČR je členskou zemí od r. 1993 (svého vzniku) • CERN je místem, kde se budují největší urychlovače a detektory Co je to CERN? CERN je: ~ 2500 vědeckých zaměstnanců (fyziků, inženýrů, …)  Kolem 6500 externích spolupracovníků (polovina všech částicových fyziků ) Přicházejí z 500 univerzit představují 80 národností.

5 CESNET EGEE II seminář, 12.12.2006 - 5

6 LHC data • 40 miliónů srážek za sekundu • Po hrubém výběru se zaznamená 100 zajímavých srážek za sekundu • 1 srážka ~ 1 Megabyte zápis 0.1 Gigabyte/sec • 10 10 zaznamenaných srážek za rok = 10 Petabyte/rok CMSLHCbATLASALICE 1 Megabyte (1MB) Digitální fotografie 1 Gigabyte (1GB) = 1000MB Film na DVD 1 Terabyte (1TB) = 1000GB Celosvětová produkce knih 1 Petabyte (1PB) = 1000TB Data za 1 rok z 1 LHC experimentu 1 Exabyte (1EB) = 1000 PB Množství informací vyprodukovaných na světě za celý rok

7 CESNET EGEE II seminář, 12.12.2006 - 7 Z mnoha případů během jedné srážky…... chceme rozpoznat tento případ Výběr: 1 z 10 13 Jako hledání 1 člověka mezi 1000 násobkem populace Země. Nebo hledat jehlu ve 20 milionech kupek sena! Případy na LHC

8 CESNET EGEE II seminář, 12.12.2006 - 8 Data z LHC experimentů za 1 rok by bylo možné uložit na 20 milionech CD! Kde budou data skladována a jak budou zpracovávána? LHC data

9 CESNET EGEE II seminář, 12.12.2006 - 9 • Výpočetní farmy založené na běžných, relativně levných PC • Více než 1000 dvouprocesorových PC • Více než 1 Petabyte dat na discích a páskách To zdaleka nestačí! Výpočty v CERN

10 CESNET EGEE II seminář, 12.12.2006 - 10 Zpracování dat z LHC Pro analýzu dat z LHC je zapotřebí výpočetního výkonu na úrovni asi 100,000 dnešních rychlých CPU! Kde experimenty najdou tuto výpočetní kapacitu?

11 CESNET EGEE II seminář, 12.12.2006 - 11 • World Wide Web byl vyvinut v CERN pro usnadnění komunikace mezi fyziky. Typický tým pro jeden velký experiment na počátku 90. let tvořilo asi 500 fyziků, nové experimenty buduje přes 1000 fyziků (plus inženýři, technici a další specialisté) • Pro sdílení dokumentů World Wide Web

12 CESNET EGEE II seminář, 12.12.2006 - 12 • Grid je infrastruktura, která poskytuje přístup k velkému množství dat a k velkému výpočetnímu výkonu. • Middleware spojuje větší výpočetní střediska, která poskytují hardwarové zdroje. • Cílem je též optimalizovat využití hardwaru: • poskytnu své CPU, když ho nedokáži plně využít • použiju i cizí CPU v době mojí špičky Co je Grid?

13 CESNET EGEE II seminář, 12.12.2006 - 13 • CERN projekty: LHC Computing Grid (LCG) • Projekty EU vedené CERN: European DataGrid (EDG) 2001 - 2004 Enabling Grids for E-science in Europe (EGEE) CERN se aktivně účastní mnoha gridových projektů Grid @ CERN

14 CESNET EGEE II seminář, 12.12.2006 - 14 •Každý uživatel (fyzik) musí mít přístup ke všem datům svého experimentu •Rychlá odezva pro interaktivní práci nad částí dat •Dávkové úlohy pro zpracování velkých souborů •Systém sám ví, kde jsou data a kde je nejvýhodnější úlohy zpracovávat Požadavky na systém

15 CESNET EGEE II seminář, 12.12.2006 - 15 LCG/EGEE Grid – současný stav

16 CESNET EGEE II seminář, 12.12.2006 - 16 Data Challenges • DC: Rozsáhlé testy různých komponent • stabilita vlastního software • rozdělování úloh • Grid middleware • propustnost sítí • výkonnost zálohovacích kapacit • počet a připravenost jednotlivých center • příprava souborů dat pro analýzu

17 CESNET EGEE II seminář, 12.12.2006 - 17 ATLAS – výpočetní příspěvek CZ • 1.1. 2006 – 11.10. 2006  46510 jobů  8931 propočítaných dnů • Datové přenosy CERN Praha a FZK Praha

18 CESNET EGEE II seminář, 12.12.2006 - 18 ALICE – výpočetní příspěvek CZ • Produkce začala v lednu 2006 • ALICE dobře využila zdroje které jsou jinak vyhrazené jiným experimentům, v době jejich nečinnosti (princip Gridu)

19 CESNET EGEE II seminář, 12.12.2006 - 19 ALICE – výpočetní příspěvek CZ

20 CESNET EGEE II seminář, 12.12.2006 - 20 D0 – výpočetní příspěvek CZ • Monte-Carlo produkce a reprocesing • 12mil. eventů produkce, 26mil. eventů reprocessing • 24000 jobů, 5% veškeré produkce pro FNAL

21 CESNET EGEE II seminář, 12.12.2006 - 21 Získané zkušenosti • Systém je i v současném stavu použitelný k hromadným simulacím • Testy odhalily některé problémy a nové požadavky  konfigurace a správa farem (černé díry,...)  distribuce úloh  replikace dat  včasná identifikace problémů  detailní monitorování

22 CESNET EGEE II seminář, 12.12.2006 - 22 Shrnutí • Současný middleware poskytuje nutné služby pro zpracování úloh náročných na CPU a datové přenosy • Další vývoj  zlepší spolehlivost  zvýší škálovatelnost  zjednodušší práci uživatele • Požadavky z jiných oborů zkvalitní middleware i pro částicovou fyziku

23 CESNET EGEE II seminář, 12.12.2006 - 23 Děkuji za pozornost!