INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Data Management Jiří Kosina CESNET.

Prezentace na téma: "INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Data Management Jiří Kosina CESNET."— Transkript prezentace:

1 INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Data Management Jiří Kosina CESNET

2 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Obsah Pojmenovávací konvence Příkazy pro data management Příkazy pro práci s katalogem Příkazy pro přenos souborů Cvičení

3 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Pojmenovávácí konvence ● Logical File Name (LFN) Alias, který “vymýšlí” a vytváří uživatel, pro usnadnění identifikace souboru. Příklad: “lfn:cms/20030203/run2/track1” ● Storage URL (SURL) (resp. Physical File Name (PFN)) ● URL (odkaz, adresa) konkrétního souboru na storage serveru. Příklad: “srm://pcrd24.cern.ch/flatfiles/cms/output10_1” ● Globally Unique Identifier (GUID) ● Jednoznačná identifikace souboru, pro člověka nepříliš dobře zapamatovatelná. Příklad: “guid:f81d4fae-7dec-11d0-a765- 00a0c91e6bf6”

4 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 RLS, RMC ● RMC : ● Obsahuje mapování mezi LFN a GUID ● RLS: ● Obsahuje mapování mezi GUID a SURL ● ROS: ● Slouží pro optimalizace při přístupu k souborům

5 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Management Commands (1/3) CopyAndRegisterFile ● Zkopíruje soubor na storage server a zaregistruje tuto nově vytvořenou kopii v Replica Catalogue (atomicky). V úspěšném případě vrací nový GUID tohoto souboru, se kterým je pak možno dále pracovat. [kosina@skurut1 kosina]$ lcg-cr --vo gilda -d grid009.ct.infn.it -l lfn:TESTFILE.GILDA_TEST.123456789 file:///home/kosina/TESTFILE Guid:72b6b612-9abd-44ea-9fe1-e94f901d9695

6 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Management Commands (2/3) ● replicateFile ● Replikuje soubor mezi dvěma storage servery a registruje nově vzniklou repliku v Replica Catalog (atomicky). [kosina@skurut1 kosina]$ lcg-rep -v --vo gilda -d gilda-se-01.pd.infn.it guid:72b6b612-9abd-44ea-9fe1-e94f901d9695 Source URL: guid:72b6b612-9abd-44ea-9fe1-e94f901d9695 File size: 0 Destination specified: gilda-se-01.pd.infn.it Source URL for copy: gsiftp://grid009.ct.infn.it/storage/gilda/generated/2004-12- 09/file6379ad54-f36f-48b5-98be-90bd2248388f Destination URL for copy: gsiftp://gilda-se-01.pd.infn.it/storage/gilda/generated/2004-12- 09/fileccb5341a-70f4-474e-835c-9334d49a7747 # streams: 1 Transfer took 1090 ms

7 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Management Commands (3/3) deleteFile ● Ruší soubor na daném storage serveru (parametr -s) a záznam v katalogu pro danou repliku, případně všechny existující repliky na všech storage serverech, na kterých se replika vyskytuje (parametr -a, není pak potřeba specifikovat parametr -s). [kosina@skurut1 kosina]$ lcg-del --vo gilda -v -a lfn:TESTFILE.GILDA_TEST.12345678901

8 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Catalog commands (½) ● listGUID ● Vypíše GUID pro zadané LFN [kosina@skurut1 kosina]$ lcg-lg --vo gilda lfn:TESTFILE.GILDA_TEST.1234567890 guid:2e4f4db5-d18d-4290-acdf-82744e5cf541 ● printInfo ● Vypíše veškeré informace o všech existujících storage serverech, které informační systém poskytuje. V tuto chvíli pouze přes “starý” edg-rm interface: [kosina@skurut1 kosina]$ edg-rm --vo dteam pi

9 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Catalog commands (2/2) ● listReplicas ● Vypíše informace o všech existujících replikách pro dané LFN či GUID [kosina@skurut1 kosina]$ lcg-lr --vo gilda lfn:TESTFILE.GILDA_TEST.1234567890 sfn://grid009.ct.infn.it/storage/gilda/generated/2004-12-09/file4b39dfd9-ece9-46cc- 8308-12e77d7ab289 sfn://gilda-se-01.pd.infn.it/storage/gilda/generated/2004-12-09/file733a6b75-ff89- 4f04-b446-9145c5585e65

10 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 File transfer commands ● copyFile ● Zkopíruje soubor ze storage serveru na “negridovou” destinaci [kosina@skurut1 kosina]$ lcg-cp --vo gilda -v lfn:TESTFILE.GILDA_TEST.1234567890 file://`pwd`/TESTFILE.in Source URL: lfn:TESTFILE.GILDA_TEST.1234567890 File size: 0 Source URL for copy: gsiftp://grid009.ct.infn.it/storage/dteam/generated/2004-12- 09/file733a6b75-ff89-4f04-b446-9145c5585e65 Destination URL: file:///home/kosina/TESTFILE.in # streams: 1 Transfer took 580 ms

11 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Data Management – cvičení A (GENIUS) ● vytvořte na lokálním disku soubor vasejmeno_test01_data a dejte mu libovolný textový obsah ● nahrajte tento soubor na SE grid009.ct.infn.it ● zreplikujte tento soubor na SE setilab.tilab.com ● stáhněte tento soubor zpět na lokální disk ze setilab.tilab.com ● smažte tento soubor a všechny jeho repliky ze SE

12 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Data Management cvičení B (1/2) 1.Vytvoříme soubor na disku, se kterým budeme pracovat [kosina@skurut1 kosina]$ echo "Pokusny soubor" > test-file 2. Provedeme operaci copy and register [kosina@skurut1 kosina]$ lcg-cr --vo gilda -d grid009.ct.infn.it file:///home/kosina/test-file guid:4a4ebf51-32e6-4f5c-870d-7bb85ca2fd5a 3.Zkontrolujeme existenci repliky v katalogu pomoci listReplicas [kosina@skurut1 kosina]$ lcg-lr --vo gilda guid:4a4ebf51-32e6-4f5c-870d- 7bb85ca2fd5a sfn://grid009.ct.infn.it/storage/gilda/generated/2004-12-09/file7ebc7f8f- b787-4887-98d2-0d11f1de27d2

13 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Data Management cvičení B (2/2) 4.Zrušíme repliku tohoto souboru (specifikací SURL od listReplicas, mohli bychom použít přepínač -a a zrušit všechny repliky) [kosina@skurut1 kosina]$ lcg-del --vo gilda sfn://grid009.ct.infn.it/gilda/gilda/generated/2004-12-09/file7ebc7f8f- b787-4887-98d2-0d11f1de27d2 5.Zkontrolujeme, že byl soubor skutečně zrušen a odregistrován z katalogu [kosina@skurut1 kosina]$ lcg-lr --vo gilda guid:4a4ebf51-32e6-4f5c-870d- 7bb85ca2fd5a lcg_lr: No such file or directory

14 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Data Management cvičení C (1/2) 1.Až ke kroku 3 zopakujeme předchozí cvičení, s tím že souboru při replikaci přiřadíme lfn:secondLFN 2.Zkontrolujeme existenci souboru a jeho repliky v katalogu [kosina@skurut1 kosina]$ lcg-lr --vo gilda sfn://grid009.ct.infn.it/storage/gilda/generated/2004-12-09/file43d6db0e- d158-4190-96e3-0cf18cbd12d4 3.Zreplikujeme soubor na další storage server [kosina@skurut1 kosina]$ lcg-rep --vo gilda -d grid009.ct.infn.it lfn:secondLFN

15 EGEE seminář, Praha, 16.12.2004 1 Enabling Grids for E-sciencE INFSO-RI-508833 Data Management cvičení C (2/2) 4.Pomocí příkazu listReplicas zkontrolujeme, že obě repliky skutečne existují [kosina@skurut1 kosina]$ lcg-lr --vo gilda lfn:secondLFN sfn://gilda-se-01.pd.infn.it/storage/gilda/generated/2004-12- 09/file3e4ead79-1c56-47a2-9966-28895818c0b8 sfn://grid009.ct.infn.it/storage/gilda/generated/2004-12-09/file43d6db0e- d158-4190-96e3-0cf18cbd12d4