Distribuovaná Analýza ATLAS dat

Prezentace na téma: "Distribuovaná Analýza ATLAS dat"— Transkript prezentace:

1 Distribuovaná Analýza ATLAS dat
Distribuovaná Analýza ATLAS dat Jiří Chudoba Fyzikální ústav AV ČR, v.v.i.

2 Model pro ATLAS Distribuované zpracování dat na gridu
Model pro ATLAS Distribuované zpracování dat na gridu Hierarchie výpočetních center Tier0 – CERN Tier1 – 10 center pro ATLAS Tier2 – asi 30 center Tier3 – menší „příležitostná“ centra Farma Goliáš na FZÚ – Tier2 centrum přiřazené do GridKa regionu (Tier1 v Karlsruhe) Gridový software projektů EGEE, OSG a NorduGrid Model detailně popsán v ATLAS Computing TDR, CERN/LHCC/

3 Tier2 centrum ve FZU Podepsané WLCG MoU v roce 2008
Tier2 centrum ve FZU Podepsané WLCG MoU v roce 2008 Do roku 2008 včetně větší podíl ALICE než ATLAS. Nyní se vybírá hardware pro splnění závazků na rok 2009.

4 Velikosti dat v MB/případ
Data v roce 2008 Velikosti dat v MB/případ 50,000 10 M případů/den 60 dní v 2008: 600M případů V T0: 960 TB RAW to tape 96 TB RAW to disk (10%) 600 TB ESD to tape 60 TB ESD to disk (10%) 120 TB AOD to disk and tape 120 TB DPD to disk and tape 6TB TAG to disk V rámci každého oblaku kompletní soubor AOD v Tier 2 centrech (plus kopie v T1) V typickém Tier2 – 25 % AOD + DPD Ve FZU: asi % AOD + DPD TDR Nyní RAW 1.6 ESD .5 1. AOD .1 .2 TAG .001 .01 D1PD T0 a T1 nebudou (?) přístupná běžným uživatelům, jen pro organizované produkce

5 Kam s daty – space tokens
Kam s daty – space tokens token name storage type used for @T2 @T1 @T0 ATLASDATATAPE T1D0 RAW data, ESD, AOD from re-proc X ATLASDATADISK T0D1 ESD, AOD from data ATLASMCTAPE HITS from G4, AOD from ATLFAST ATLASMCDISK AOD from MC ATLASPRODDISK buffer for in-and export ATLASGROUPDISK DPD ATLASUSERDISK User Data X *) ATLASLOCALGROUPDISK Local User prevzato z Kors Bos: ATLAS T1/T2/T3 Jamboree, srpen 2008

6 Data v typickém Tier2, rok 2008
Data v typickém Tier2, rok 2008 Typické = 500 CPU a 100 TB pro ATLAS ATLASDATADISK (60 TB) AOD a DPD dle požadavků (nebo podílu), možno i vzorky RAW a ESD ATLASGROUPDISK (6 TB) pro analýzu organizovanou fyzikálními skupinami ATLASUSERDISK (5 TB) scratch space for users ATLASLOCALGROUPDISK (zdroje mimo MoU) permanentní prostor pro lokální uživatele Nyní ve FZU pro ATLAS ATLASUSERDISK – 800 GB ATLASPRODDISK – 500 GB ATLASDATADISK – 2500 GB ATLASMCDISK – 500 GB Zvětšení „space tokens“ o několik TB (dohromady) možné téměř ihned. Celkem pro ATLAS zhruba 20 TB.

7 Datové formáty RAW = raw data ESD = Event Summary Data
Datové formáty RAW = raw data ESD = Event Summary Data detaily z rekonstrukce případů, možno z nich dělat identifikaci částic, refitování drah, rekonstrukci jetů cílová velikost 500 kB, nyní přes 600 kB. calorimeter cells = 270 kB, tracking data 200 kB – pro top případy AOD = Analysis Object Data vytvářeny pouze z ESD, určené pro analýzu nyní 200 kB/případ, plus 60 kB MC truth

8 DPD = Derived Physics Data
Zkušenost z „Rome produkce“ AOD příliš velké pro analýzu Skupiny používaly hlavně ntuply vytvořené pomocí EventView, HighPtView, TopView DPD = Derived Physics Data DPD – podmnožina obsahu ESD a AOD s možným přidáním analyzačních dat Analyzační data – veličiny vypočítané z ESD a AOD Několik verzí DPD: D1PD, D2PD, D3PD, performance DPD Redukce velikosti dat pomocí: skimming – vynechání celých případů thinning – vynechání některých objektů slimming – vynechání části objektů

9 Dnešní možnosti pro analýzu
Dnešní možnosti pro analýzu

10 Zdroj: Johannes Elmsheuser, srpen 2008

11 Co je k analýze zapotřebí?
Co je k analýze zapotřebí? UI = User Interface (třeba lxplus) a členství v ATLAS VO Návody na spouštění analýzy na Twiki stránkách Organizují se výukové semináře Veškeré datové přenosy přes systém DQ2 Distribuce oficiálních dat pomocí „subscriptions“ na místa registrovaná v TiersOfATLAS (TOA) Uživatelské datasety nyní není možné takto distribuovat (politické rozhodnutí), ale je možné je kopírovat na vlastní disk Výstup analyzační úlohy na USERDISK, bude pravidelně promazáván Uživatel ho může dát na LOCALGROUPDISK – permanentní prostor skupiny si mohou ve svých Tier přidat diskový prostor Přístup k ESD zatím není vyřešen (povolit úlohy uživatelů v T1 ?) Spolehlivost gridových komponent není 100 %, problémy při velkých kolekcích úloh Zmínit současnou situaci v Praze

12 Zdroje ATLAS Offline software výukový seminář:
Zdroje ATLAS Offline software výukový seminář: Distributed Analysis Workshop v CERN Ganga výuka Pathena výuka Analysis Model Forum Report, ATL-GEN-INT