INFSO-RI Enabling Grids for E-sciencE Práce s daty ve VO Auger Jiří Chudoba Auger tutoriál, , Praha

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 2 Základní pojmy Storage Element SE –klasický: golias26.farm.particle.cz, skurut18.cesnet.cz –se SRM rozhraním  DPM: golias100.farm.particle.cz  dCache  castor Soubory jsou registrovány v katalogu –LFC: skurut2.cesnet.cz –Fireman, RLS Jak najít servery –lcg-infosites --vo auger lfc –lcg-infosites --vo auger se

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 3 Základní pojmy II GUID: Grid Unique IDentifier –guid: –guid:c04e54af-e53e-401b-8b31-dbe4b131093d LFN: Logical File Name –„libovolné“ jméno určené uživatelem –lfn:mydir/myfilename –lfn:/grid/auger/user/chudoba/myfile.root SURL: Storage URL = PFN: Physical File Name –sfn://hostname/path –srm://hostname/path –sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/t.5 TURL: Transport URL –protocol://řetězec –gsiftp://se2.itep.ru/se2.itep.ru:/storage/atlas/ /calib0_csc J2_pythia_jetjet.simul.HITS.v _tid _ pool.root

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 4 Proměnné prostředí Nastavení prostředí kontrola $LFC_HOST, $LCG_GFAL_INFOSYS a $LCG_GFAL_VO nastavit, pokud nejsou definovány nebo jsou špatně: export LFC_HOST=skurut2.cesnet.cz export LCG_GFAL_INFOSYS=bdii.cyf-kr.edu.pl:2170 export LCG_GFAL_VO=auger proměnná LCG_CATALOG_TYPE již není zapotřebí

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 5 Varování Data na SE nejsou zálohována –některé SE (zatím ne v auger) mají část s páskami –ani pásky nejsou úplně bezpečné proti ztrátě dat –replikace na více SE lépe chrání proti HW chybě, ale ne proti SW chybě (např. smazání záznamu v LFC) Data na klasickém SE jsou přístupná všem členům VO a libovolný člen je může smazat –DPM nabízí více alternativ –na LFC je možno nastavit práva Za správu a mazání starých souborů je odpovědný uživatel –kvóty nejsou zavedeny –libovolný uživatel může zaplnit veškerý prostor

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 6 LFC příkazy – lfc-ls, lfc-getacl lfc-ls /grid/auger/user/chudoba 2007 lfc-ls -l /grid/auger/user/chudoba/ drwxrwxr-x Jan 04 15: lfc-getacl /grid/auger/user/chudoba/2007 # file: /grid/auger/user/chudoba/2007 # owner: /DC=cz/DC=cesnet-ca/O=Institute of Physics of the Academy of Sciences of the CR/CN=Jiri Chudoba - auger # group: auger user::rwx group::rwx #effective:rwx other::r-x default:user::rwx default:group::rwx default:other::r-x

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 7 LFC příkazy - mkdir lfc-mkdir /grid/auger/user/uzivatel lfc-mkdir –p \ /grid/auger/user/uzivatel/dalsi/adresare/najednou lfc-ls \ /grid/auger/user/uzivatel/dalsi/adresare/najednou

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 8 lcg-cr Zkopíruje soubor na SE a zaregistruje v katalogu. lcg-cr [ --config config_file ] [ -d dest_file | dest_host ] [ -g guid ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -l lfn] [ -P relative_path ] [ -n nbstreams ] [ -t timeout ] [ -v ] [ --verbose ] --vo virtual_organization src_file Příklady: lcg-cr -d golias26.farm.particle.cz file:`pwd`/detailed.log guid:c04e54af-e53e-401b-8b31-dbe4b131093d lcg-cr -d golias26.farm.particle.cz -P user/chudoba/2007/test.3 -l /grid/auger/user/chudoba/2007/01/test.3 file:`pwd`/detailed.log lcg_cr: No such file or directory lfc-mkdir -p /grid/auger/user/chudoba/2007/01

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 9 lcg-rep zkopíruje soubor z jednoho SE na jiný a zaznamená repliku v katalogu lcg-rep [ --config config_file ] [ -d dest_file | dest_host ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -P relative_path] [ -n nbstreams ] [ -t timeout ] [ - v ] [ --verbose ] --vo virtual_organization src_file lcg-rep --verbose -d skurut18.cesnet.cz -P user/chudoba/2007/test.5 srm://golias100.farm.particle.cz/dpm/farm.particle.cz/home/auger/user/chudoba/2007/test.5 Using grid catalog type: lfc Using grid catalog : skurut2.cesnet.cz Source URL: srm://golias100.farm.particle.cz/dpm/farm.particle.cz/home/auger/user/chudoba/2007/test.5 File size: VO name: auger Destination specified: skurut18.cesnet.cz Source URL for copy: gsiftp://golias100.farm.particle.cz/golias100.farm.particle.cz:/mnt/array3/auger/ /test Destination URL for copy: gsiftp://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.5 # streams: 1 # set timeout to 0 0 bytes 0.00 KB/sec avg 0.00 KB/sec inst Transfer took 4030 ms Destination URL registered in LRC: sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.5

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 10 lcg-cp zkopíruje soubor z SE na lokální disk lcg-cp [ --config config_file ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -n nbstreams ] [ -v ] [ --verbose ] ] [ -timeout ] --vo virtual_organization src_file dest_file lcg-cp --verbose -t 600 \ lfn:/grid/auger/user/chudoba/2007/test.5 \ file:////tmp/test.5 file:////tmp/test.5 Proměnné pro timeout a retry: export LFC_CONNTIMEOUT=60 export LFC_CONRETRY=2 export LFC_CONRETRYINT=60

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 11 lcg-cp - možné problémy Když je jedna replika ztracená –HW chyba nebo špatné použití příkazů lcg-lr guid:7fb0c8d b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 edg-gridftp-rm gsiftp://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 lcg-lr guid:7fb0c8d b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 lcg-lr lfn:/grid/auger/user/chudoba/2007/test.12 sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 lcg-cp --verbose lfn:/grid/auger/user/chudoba/2007/test.12 file:////tmp/test.12 Using grid catalog type: lfc Using grid catalog : skurut2.cesnet.cz the server sent an error response: /storage/auger/user/chudoba/2007/test.12: not a plain file. lcg_cp: Invalid argument lcg-uf guid:7fb0c8d b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 lcg-cp --verbose lfn:/grid/auger/user/chudoba/2007/test.12 file:////tmp/test.12file:////tmp/test.12 - OK

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 12 Cvičení I Vytvořte si testovací soubor (velikost několik KB) Vytvořte si adresář na LFC Zkopírujte soubor na skurut18 a pak znovu na golias26 Zreplikujte soubor ze skurut18 na golias26 Zkopírujte soubor zpět na lokální disk

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 13 lcg-del vymaže soubor (jednu nebo všechny repliky) lcg-del [ -a ] [ --config config_file ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -s se ] [ -v ] [ --verbose ] [ -t time-out ] --vo virtual_organization file lcg-del \ sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.3

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 14 lcg-del záludnosti lcg-cr -d skurut18.cesnet.cz -P user/chudoba/2007/test.11 -l /grid/auger/user/chudoba/2007/test.11 file:/tmp/testfile1 guid:0e1b4b a7f a56e33 lcg-del guid:0e1b4b a7f a56e33 File starts with neither "lfn:" nor "guid:". lcg_del: Invalid argument lcg-la guid:0e1b4b a7f a56e33 lfn:/grid/auger/user/chudoba/2007/test.11 lcg-del lfn:/grid/auger/user/chudoba/2007/test.11 File starts with neither "lfn:" nor "guid:". lcg_del: Invalid argument lcg-lr guid:0e1b4b a7f a56e33 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.11 lcg-del -s skurut18.cesnet.cz lfn:/grid/auger/user/chudoba/2007/test.11

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 15 Cvičení II Smažte soubor na skurut18, který vytvořil kolega Smažte všechny vlastní vytvořené testovací soubory z SE i LFC

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 16 Další lcg_util příkazy lcg-aa Adds an alias in the catalogue for a given GUID. lcg-ra Removes an alias in the catalogue for a given GUID. lcg-rf Registers in the the catalogue, a file residing on an SE. lcg-uf Unregisters in the the catalogue a file residing on an SE. lcg-la Lists the aliases for a given LFN, GUID or SURL. lcg-lg Gets the GUID for a given LFN or SURL. lcg-lr Lists the replicas for a given LFN, GUID or SURL lcg-gt Gets the TURL for a given SURL and transfer protocol. lcg-sd Sets file status to "Done" for a given SURL in an SRM's request.

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 17 Použití v úlohách - vstup a výstup viz auger_ddm_ex1.jdl

Enabling Grids for E-sciencE INFSO-RI To change: View -> Header and Footer 18 Místo závěru Další praktické ukázky