INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Práce s daty ve VO Auger Jiří Chudoba Auger tutoriál, 9.1.2007, Praha.

Prezentace na téma: "INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Práce s daty ve VO Auger Jiří Chudoba Auger tutoriál, 9.1.2007, Praha."— Transkript prezentace:

1 INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Práce s daty ve VO Auger Jiří Chudoba Auger tutoriál, 9.1.2007, Praha

2 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 2 Základní pojmy Storage Element SE –klasický: golias26.farm.particle.cz, skurut18.cesnet.cz –se SRM rozhraním  DPM: golias100.farm.particle.cz  dCache  castor Soubory jsou registrovány v katalogu –LFC: skurut2.cesnet.cz –Fireman, RLS Jak najít servery –lcg-infosites --vo auger lfc –lcg-infosites --vo auger se

3 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 3 Základní pojmy II GUID: Grid Unique IDentifier –guid: –guid:c04e54af-e53e-401b-8b31-dbe4b131093d LFN: Logical File Name –„libovolné“ jméno určené uživatelem –lfn:mydir/myfilename –lfn:/grid/auger/user/chudoba/myfile.root SURL: Storage URL = PFN: Physical File Name –sfn://hostname/path –srm://hostname/path –sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/t.5 TURL: Transport URL –protocol://řetězec –gsiftp://se2.itep.ru/se2.itep.ru:/storage/atlas/2006-12- 11/calib0_csc11.005011.J2_pythia_jetjet.simul.HITS.v12003104_tid004283._ 00474.pool.root.9.296604.0

4 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 4 Proměnné prostředí Nastavení prostředí kontrola $LFC_HOST, $LCG_GFAL_INFOSYS a $LCG_GFAL_VO nastavit, pokud nejsou definovány nebo jsou špatně: export LFC_HOST=skurut2.cesnet.cz export LCG_GFAL_INFOSYS=bdii.cyf-kr.edu.pl:2170 export LCG_GFAL_VO=auger proměnná LCG_CATALOG_TYPE již není zapotřebí

5 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 5 Varování Data na SE nejsou zálohována –některé SE (zatím ne v auger) mají část s páskami –ani pásky nejsou úplně bezpečné proti ztrátě dat –replikace na více SE lépe chrání proti HW chybě, ale ne proti SW chybě (např. smazání záznamu v LFC) Data na klasickém SE jsou přístupná všem členům VO a libovolný člen je může smazat –DPM nabízí více alternativ –na LFC je možno nastavit práva Za správu a mazání starých souborů je odpovědný uživatel –kvóty nejsou zavedeny –libovolný uživatel může zaplnit veškerý prostor

6 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 6 LFC příkazy – lfc-ls, lfc-getacl lfc-ls /grid/auger/user/chudoba 2007 lfc-ls -l /grid/auger/user/chudoba/ drwxrwxr-x 2 184 104 0 Jan 04 15:13 2007 lfc-getacl /grid/auger/user/chudoba/2007 # file: /grid/auger/user/chudoba/2007 # owner: /DC=cz/DC=cesnet-ca/O=Institute of Physics of the Academy of Sciences of the CR/CN=Jiri Chudoba - auger # group: auger user::rwx group::rwx #effective:rwx other::r-x default:user::rwx default:group::rwx default:other::r-x

7 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 7 LFC příkazy - mkdir lfc-mkdir /grid/auger/user/uzivatel lfc-mkdir –p \ /grid/auger/user/uzivatel/dalsi/adresare/najednou lfc-ls \ /grid/auger/user/uzivatel/dalsi/adresare/najednou

8 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 8 lcg-cr Zkopíruje soubor na SE a zaregistruje v katalogu. lcg-cr [ --config config_file ] [ -d dest_file | dest_host ] [ -g guid ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -l lfn] [ -P relative_path ] [ -n nbstreams ] [ -t timeout ] [ -v ] [ --verbose ] --vo virtual_organization src_file Příklady: lcg-cr -d golias26.farm.particle.cz file:`pwd`/detailed.log guid:c04e54af-e53e-401b-8b31-dbe4b131093d lcg-cr -d golias26.farm.particle.cz -P user/chudoba/2007/test.3 -l /grid/auger/user/chudoba/2007/01/test.3 file:`pwd`/detailed.log lcg_cr: No such file or directory lfc-mkdir -p /grid/auger/user/chudoba/2007/01

9 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 9 lcg-rep zkopíruje soubor z jednoho SE na jiný a zaznamená repliku v katalogu lcg-rep [ --config config_file ] [ -d dest_file | dest_host ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -P relative_path] [ -n nbstreams ] [ -t timeout ] [ - v ] [ --verbose ] --vo virtual_organization src_file lcg-rep --verbose -d skurut18.cesnet.cz -P user/chudoba/2007/test.5 srm://golias100.farm.particle.cz/dpm/farm.particle.cz/home/auger/user/chudoba/2007/test.5 Using grid catalog type: lfc Using grid catalog : skurut2.cesnet.cz Source URL: srm://golias100.farm.particle.cz/dpm/farm.particle.cz/home/auger/user/chudoba/2007/test.5 File size: 25774 VO name: auger Destination specified: skurut18.cesnet.cz Source URL for copy: gsiftp://golias100.farm.particle.cz/golias100.farm.particle.cz:/mnt/array3/auger/2007-01- 04/test.5.271156.0 Destination URL for copy: gsiftp://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.5 # streams: 1 # set timeout to 0 0 bytes 0.00 KB/sec avg 0.00 KB/sec inst Transfer took 4030 ms Destination URL registered in LRC: sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.5

10 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 10 lcg-cp zkopíruje soubor z SE na lokální disk lcg-cp [ --config config_file ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -n nbstreams ] [ -v ] [ --verbose ] ] [ -timeout ] --vo virtual_organization src_file dest_file lcg-cp --verbose -t 600 \ lfn:/grid/auger/user/chudoba/2007/test.5 \ file:////tmp/test.5 file:////tmp/test.5 Proměnné pro timeout a retry: export LFC_CONNTIMEOUT=60 export LFC_CONRETRY=2 export LFC_CONRETRYINT=60

11 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 11 lcg-cp - možné problémy Když je jedna replika ztracená –HW chyba nebo špatné použití příkazů lcg-lr guid:7fb0c8d1-2754-4177-9b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 edg-gridftp-rm gsiftp://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 lcg-lr guid:7fb0c8d1-2754-4177-9b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 lcg-lr lfn:/grid/auger/user/chudoba/2007/test.12 sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.12 lcg-cp --verbose lfn:/grid/auger/user/chudoba/2007/test.12 file:////tmp/test.12 Using grid catalog type: lfc Using grid catalog : skurut2.cesnet.cz the server sent an error response: 550 550 /storage/auger/user/chudoba/2007/test.12: not a plain file. lcg_cp: Invalid argument lcg-uf guid:7fb0c8d1-2754-4177-9b99-79d15a089d0a sfn://golias26.farm.particle.cz/storage/auger/user/chudoba/2007/test.12 lcg-cp --verbose lfn:/grid/auger/user/chudoba/2007/test.12 file:////tmp/test.12file:////tmp/test.12 - OK

12 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 12 Cvičení I Vytvořte si testovací soubor (velikost několik KB) Vytvořte si adresář na LFC Zkopírujte soubor na skurut18 a pak znovu na golias26 Zreplikujte soubor ze skurut18 na golias26 Zkopírujte soubor zpět na lokální disk

13 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 13 lcg-del vymaže soubor (jednu nebo všechny repliky) lcg-del [ -a ] [ --config config_file ] [ -h ] [ --help ] [ -i ] [ --insecure ] [ -s se ] [ -v ] [ --verbose ] [ -t time-out ] --vo virtual_organization file lcg-del \ sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.3

14 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 14 lcg-del záludnosti lcg-cr -d skurut18.cesnet.cz -P user/chudoba/2007/test.11 -l /grid/auger/user/chudoba/2007/test.11 file:/tmp/testfile1 guid:0e1b4b83-2306-4157-a7f1-115164a56e33 lcg-del guid:0e1b4b83-2306-4157-a7f1-115164a56e33 File starts with neither "lfn:" nor "guid:". lcg_del: Invalid argument lcg-la guid:0e1b4b83-2306-4157-a7f1-115164a56e33 lfn:/grid/auger/user/chudoba/2007/test.11 lcg-del lfn:/grid/auger/user/chudoba/2007/test.11 File starts with neither "lfn:" nor "guid:". lcg_del: Invalid argument lcg-lr guid:0e1b4b83-2306-4157-a7f1-115164a56e33 sfn://skurut18.cesnet.cz/storage/auger/user/chudoba/2007/test.11 lcg-del -s skurut18.cesnet.cz lfn:/grid/auger/user/chudoba/2007/test.11

15 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 15 Cvičení II Smažte soubor na skurut18, který vytvořil kolega Smažte všechny vlastní vytvořené testovací soubory z SE i LFC

16 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 16 Další lcg_util příkazy lcg-aa Adds an alias in the catalogue for a given GUID. lcg-ra Removes an alias in the catalogue for a given GUID. lcg-rf Registers in the the catalogue, a file residing on an SE. lcg-uf Unregisters in the the catalogue a file residing on an SE. lcg-la Lists the aliases for a given LFN, GUID or SURL. lcg-lg Gets the GUID for a given LFN or SURL. lcg-lr Lists the replicas for a given LFN, GUID or SURL lcg-gt Gets the TURL for a given SURL and transfer protocol. lcg-sd Sets file status to "Done" for a given SURL in an SRM's request.

17 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 17 Použití v úlohách - vstup a výstup viz auger_ddm_ex1.jdl

18 Enabling Grids for E-sciencE INFSO-RI-508833 To change: View -> Header and Footer 18 Místo závěru Další praktické ukázky