INFSO-RI Enabling Grids for E-sciencE Data Management Jiří Kosina CESNET

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Obsah Pojmenovávací konvence Příkazy pro data management Příkazy pro práci s katalogem Příkazy pro přenos souborů Cvičení

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Pojmenovávácí konvence ● Logical File Name (LFN) Alias, který “vymýšlí” a vytváří uživatel, pro usnadnění identifikace souboru. Příklad: “lfn:cms/ /run2/track1” ● Storage URL (SURL) (resp. Physical File Name (PFN)) ● URL (odkaz, adresa) konkrétního souboru na storage serveru. Příklad: “srm://pcrd24.cern.ch/flatfiles/cms/output10_1” ● Globally Unique Identifier (GUID) ● Jednoznačná identifikace souboru, pro člověka nepříliš dobře zapamatovatelná. Příklad: “guid:f81d4fae-7dec-11d0-a a0c91e6bf6”

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI RLS, RMC ● RMC : ● Obsahuje mapování mezi LFN a GUID ● RLS: ● Obsahuje mapování mezi GUID a SURL ● ROS: ● Slouží pro optimalizace při přístupu k souborům

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Management Commands (1/3) CopyAndRegisterFile ● Zkopíruje soubor na storage server a zaregistruje tuto nově vytvořenou kopii v Replica Catalogue (atomicky). V úspěšném případě vrací nový GUID tohoto souboru, se kterým je pak možno dále pracovat. kosina]$ lcg-cr --vo gilda -d grid009.ct.infn.it -l lfn:TESTFILE.GILDA_TEST file:///home/kosina/TESTFILE Guid:72b6b612-9abd-44ea-9fe1-e94f901d9695

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Management Commands (2/3) ● replicateFile ● Replikuje soubor mezi dvěma storage servery a registruje nově vzniklou repliku v Replica Catalog (atomicky). kosina]$ lcg-rep -v --vo gilda -d gilda-se-01.pd.infn.it guid:72b6b612-9abd-44ea-9fe1-e94f901d9695 Source URL: guid:72b6b612-9abd-44ea-9fe1-e94f901d9695 File size: 0 Destination specified: gilda-se-01.pd.infn.it Source URL for copy: gsiftp://grid009.ct.infn.it/storage/gilda/generated/ /file6379ad54-f36f-48b5-98be-90bd f Destination URL for copy: gsiftp://gilda-se-01.pd.infn.it/storage/gilda/generated/ /fileccb5341a-70f4-474e-835c-9334d49a7747 # streams: 1 Transfer took 1090 ms

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Management Commands (3/3) deleteFile ● Ruší soubor na daném storage serveru (parametr -s) a záznam v katalogu pro danou repliku, případně všechny existující repliky na všech storage serverech, na kterých se replika vyskytuje (parametr -a, není pak potřeba specifikovat parametr -s). kosina]$ lcg-del --vo gilda -v -a lfn:TESTFILE.GILDA_TEST

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Catalog commands (½) ● listGUID ● Vypíše GUID pro zadané LFN kosina]$ lcg-lg --vo gilda lfn:TESTFILE.GILDA_TEST guid:2e4f4db5-d18d-4290-acdf-82744e5cf541 ● printInfo ● Vypíše veškeré informace o všech existujících storage serverech, které informační systém poskytuje. V tuto chvíli pouze přes “starý” edg-rm interface: kosina]$ edg-rm --vo dteam pi

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Catalog commands (2/2) ● listReplicas ● Vypíše informace o všech existujících replikách pro dané LFN či GUID kosina]$ lcg-lr --vo gilda lfn:TESTFILE.GILDA_TEST sfn://grid009.ct.infn.it/storage/gilda/generated/ /file4b39dfd9-ece9-46cc e77d7ab289 sfn://gilda-se-01.pd.infn.it/storage/gilda/generated/ /file733a6b75-ff89- 4f04-b c5585e65

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI File transfer commands ● copyFile ● Zkopíruje soubor ze storage serveru na “negridovou” destinaci kosina]$ lcg-cp --vo gilda -v lfn:TESTFILE.GILDA_TEST file://`pwd`/TESTFILE.in Source URL: lfn:TESTFILE.GILDA_TEST File size: 0 Source URL for copy: gsiftp://grid009.ct.infn.it/storage/dteam/generated/ /file733a6b75-ff89-4f04-b c5585e65 Destination URL: file:///home/kosina/TESTFILE.in # streams: 1 Transfer took 580 ms

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Data Management – cvičení A (GENIUS) ● vytvořte na lokálním disku soubor vasejmeno_test01_data a dejte mu libovolný textový obsah ● nahrajte tento soubor na SE grid009.ct.infn.it ● zreplikujte tento soubor na SE setilab.tilab.com ● stáhněte tento soubor zpět na lokální disk ze setilab.tilab.com ● smažte tento soubor a všechny jeho repliky ze SE

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Data Management cvičení B (1/2) 1.Vytvoříme soubor na disku, se kterým budeme pracovat kosina]$ echo "Pokusny soubor" > test-file 2. Provedeme operaci copy and register kosina]$ lcg-cr --vo gilda -d grid009.ct.infn.it file:///home/kosina/test-file guid:4a4ebf51-32e6-4f5c-870d-7bb85ca2fd5a 3.Zkontrolujeme existenci repliky v katalogu pomoci listReplicas kosina]$ lcg-lr --vo gilda guid:4a4ebf51-32e6-4f5c-870d- 7bb85ca2fd5a sfn://grid009.ct.infn.it/storage/gilda/generated/ /file7ebc7f8f- b d2-0d11f1de27d2

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Data Management cvičení B (2/2) 4.Zrušíme repliku tohoto souboru (specifikací SURL od listReplicas, mohli bychom použít přepínač -a a zrušit všechny repliky) kosina]$ lcg-del --vo gilda sfn://grid009.ct.infn.it/gilda/gilda/generated/ /file7ebc7f8f- b d2-0d11f1de27d2 5.Zkontrolujeme, že byl soubor skutečně zrušen a odregistrován z katalogu kosina]$ lcg-lr --vo gilda guid:4a4ebf51-32e6-4f5c-870d- 7bb85ca2fd5a lcg_lr: No such file or directory

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Data Management cvičení C (1/2) 1.Až ke kroku 3 zopakujeme předchozí cvičení, s tím že souboru při replikaci přiřadíme lfn:secondLFN 2.Zkontrolujeme existenci souboru a jeho repliky v katalogu kosina]$ lcg-lr --vo gilda sfn://grid009.ct.infn.it/storage/gilda/generated/ /file43d6db0e- d e3-0cf18cbd12d4 3.Zreplikujeme soubor na další storage server kosina]$ lcg-rep --vo gilda -d grid009.ct.infn.it lfn:secondLFN

EGEE seminář, Praha, Enabling Grids for E-sciencE INFSO-RI Data Management cvičení C (2/2) 4.Pomocí příkazu listReplicas zkontrolujeme, že obě repliky skutečne existují kosina]$ lcg-lr --vo gilda lfn:secondLFN sfn://gilda-se-01.pd.infn.it/storage/gilda/generated/ /file3e4ead79-1c56-47a c0b8 sfn://grid009.ct.infn.it/storage/gilda/generated/ /file43d6db0e- d e3-0cf18cbd12d4