Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Přístup k datům ATLAS registrovaným na gridu Jiří Chudoba FzÚ AV ČR 6.5.2005.

Podobné prezentace


Prezentace na téma: "Přístup k datům ATLAS registrovaným na gridu Jiří Chudoba FzÚ AV ČR 6.5.2005."— Transkript prezentace:

1 Přístup k datům ATLAS registrovaným na gridu Jiří Chudoba FzÚ AV ČR

2 ATLAS SW CZ Hromadné simulace  velké nároky na CPU i diskový prostor – distriubované výpočty  ATLAS produkční systém používá 3 gridy  LCG, Nordugrid, GRID3  plus možnost submitování do lokálního dávkového systému  DC2, Rome production  Výsledné soubory mohou být na různých SE v různých gridech

3 ATLAS SW CZ Přístup do GRIDu  nutný certifikát, požádat na guide/ - ukázkahttp://www.cesnet.cz/pki/doc/user-req- guide/  kroky: žádost, ověření, registrace, konverze certifikátu, import do browseru  registrace v ATLAS VO -  celý proces lze zvládnout do 1 týdne (mimo období dovolených  )  přístup k UI – lxplus, ui.farm.particle.cz, lokální instalace

4 ATLAS SW CZ User Interface  nahrát certifikát a klíč do ~/.globus/usercert.pem a userkey.pem  dále podle deployment/documentation/UI-lxplus/http://grid-deployment.web.cern.ch/grid- deployment/documentation/UI-lxplus/  source...; grid-proxy-init  instalace UI na lokálním stroji (linux):   update revocation list.../etc/grid-security/certificates

5 ATLAS SW CZ Kopírování souborů v LCG  lcg-infosites –vo atlas... seznam CE a SE, adresy RLS a RMC  export RMC_ENDPOINT=http://rlsatlas.cern.ch:7777/atlas/v2.2/edg-replica-metadata- catalog/services/edg-replica-metadata-catalog export LRC_ENDPOINT=http://rlsatlas.cern.ch:7777/atlas/v2.2/edg-local-replica- catalog/services/edg-local-replica-cataloghttp://rlsatlas.cern.ch:7777/atlas/v2.2/edg-replica-metadata- catalog/services/edg-replica-metadata-cataloghttp://rlsatlas.cern.ch:7777/atlas/v2.2/edg-local-replica- catalog/services/edg-local-replica-catalog  edg-lrc mappingsByPfn '*dc evgen.A7_w4jets._00010.pool.root*' --endpoint $LRC_ENDPOINT guid:202154C1-B4E7-D B-00E081022B84, sfn://castorgrid.cern.ch/castor/cern.ch/grid/atlas/datafiles/dc2/evgen/dc evgen.A7_w4jets/dc evgen.A7_w4jet s._00010.pool.root.1 edg-lrc pfnsForGuid guid:202154C1-B4E7-D B-00E081022B84 --endpoint $LRC_ENDPOINT  edg-lrc pfnsForGuid guid:202154C1-B4E7-D B-00E081022B84 --endpoint $LRC_ENDPOINT sfn://castorgrid.ific.uv.es/castor/ific.uv.es/grid/atlas/generated/ /file629bb8c9-c61a-4ba6-a7d a5d4f49, sfn://lcgse03.ifae.es/castor/ifae.es/lcg/atlas/generated/ /file8e5f4f8c-2ff9-4eb7-a65a-f0a24528b096, sfn://lcg00123.grid.sinica.edu.tw/flatfiles/SE00/atlas/generated/ /file8aaaae78-f86d-4ae3-a7e1-5a422eb5d2fc, sfn://castorgrid.cern.ch/castor/cern.ch/grid/atlas/datafiles/dc2/evgen/dc evgen.A7_w4jets/dc evgen.A7_w4jets._00010.po ol.root.1, sfn://t2-se-02.lnl.infn.it/data1/atlas/generated/ /filef523a e72-9e5f-c48cd9eedad1, sfn://griditse01.na.infn.it/flatfiles/SE00/atlas/generated/ /fileae9f da-46c a145d8e2cf, sfn://grid01.uibk.ac.at/flatfiles/SE00/atlas/generated/ /filea84342de-add a61b-debd589d4937, sfn://lcgse01.gridpp.rl.ac.uk/flatfiles/lcg-data/atlas/generated/ /filee94f44d3-f ba02-efb49c84714e, sfn://cclcgseli01.in2p3.fr/grid/atlas/generated/ /filed09515fd c b3fc, sfn://testbed003.phys.sinica.edu.tw/flatfiles/SE00/atlas/generated/ /fileb45e b9-ab d, sfn://se01.gridpp.shef.ac.uk/data/atlas/generated/ /filea1bc76e7-129c-4e9f-9deb-b9c0df5685ea, sfn://atlasse.lnf.infn.it/flatfiles/SE00/atlas/generated/ /filefb4e249f-119e-41e1-bbc1-ac d, sfn://grid009.to.infn.it/flatfiles/SE00/atlas/generated/ /filef5b8eaff-1a05-4bcd-8f42-7c237e24d9a7  globus=url=copy gsiftp://atlasse.lnf.infn.it/flatfiles/SE00/atlas/generated/ /filefb4e249f- 119e-41e1-bbc1-ac d file:/tmp/file.1.pool.root NEVHODNÉ PRO BĚŽNOU PRÁCI, POUŽÍT JEN PŘI HLEDÁNÍ CHYB

6 ATLAS SW CZ Don Quijote  přístup do všech 3 gridů pod jedním interfacem  metadata  Users guide: https://uimon.cern.ch/twiki/bin/view/Atlas/DonQuijoteDms 3 https://uimon.cern.ch/twiki/bin/view/Atlas/DonQuijoteDms 3  python2 /afs/cern.ch/atlas/offline/external/DQClient/dms3/dms3.py

7 ATLAS SW CZ  Z přednášky Miguela Branca na plenární schůzi během ATLAS SW Workshop

8 Organization of DC-2 data  Typical DC-2 Logical File Names (LFNs): o dc evgen.A2_Z_mumu._00010.pool.root o dc simul.A0_top._00005.pool.root  In addition, files have a Logical Collection Name. The usage of the LCN is optional: o /datafiles/dc2/evgen/dc evgen.A2_z_mumu/dc evgen.A2_z_mum u._00002.pool.root  Physical files have a name which is usually similar to the LFN, but with an attempt number in the end: o So, for LFN: dc evgen.A2_Z_mumu._00010.pool.root o We can have a physical copy: dc evgen.A2_Z_mumu._00010.pool.root.2  Never read directly a physical file (e.g. from Castor) without querying the Grid Replica Location Service using dms2.py client tool: o you don’t know if it is the latest attempt or not!

9 Common question  I see some DC-2 data at CERN. How do I find the GUID for the Pool files and how do I generate the XML catalog? o The fact you see files on under /castor/cern.ch/grid/atlas/datafiles/dc2/… o Does not mean these are good files. o Always use the client tool to find files that have been validated by the DC-2 Production System o All other files will be removed SOON o So, if you find a DC-2 file directly in a SE, you are never sure whether this is or not the latest file:  LFN : dc evgen.A2_Z_mumu._00010.pool.root  Physical File at CERN: dc evgen.A2_Z_mumu._00010.pool.root.1  Physical File in Valencia: dc evgen.A2_Z_mumu._00010.pool.root.2 Attempt 1. BAD

10 ATLAS SW CZ Examples ./dms3.py search 'dc evgen.A2_z_mumu._0000*.pool.root' ./dms3.py get dc evgen.A2_z_mumu._00001.pool.root -- catalog=PoolFileCatalog.xml

11 ATLAS SW CZ Brzké změny  RLS katalog není spolehlivý  LFC a FIREMAN pro gLite  DQ interface by mohl zůstat stejný


Stáhnout ppt "Přístup k datům ATLAS registrovaným na gridu Jiří Chudoba FzÚ AV ČR 6.5.2005."

Podobné prezentace


Reklamy Google