INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Charon Extension Layer (CEL) Jan Kmuníček CESNET.

Prezentace na téma: "INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Charon Extension Layer (CEL) Jan Kmuníček CESNET."— Transkript prezentace:

1 INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Charon Extension Layer (CEL) Jan Kmuníček CESNET

2 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 2 Obsah Úvod CEL Infrastruktura Správa aplikací –Systém Module –Gridové aplikace Správa výpočetních úloh –Systém Charon –Podpora více typů Gridů/clusterů (Multi-Site přístup) Shrnutí

3 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 3 Úvod Co je Charon Extension Layer?  uniformní a modulární přístup pro zasílání a správu (komplexních) výpočetních úloh  obecný systém pro použití aplikačních programů v gridovém prostředí (LCG/gLite middleware, …) Proč Charon Extension Layer?  mnoho různých dávkových systémů & plánovacích komponent používaných v gridovém prostředí  každý systém má svoje unikátní nástroje a odlišnou filozofii použití  nástroje LCG/gLite nejsou uživatelsky příjemné  pro reálné použití musí uživatel provádět řadu dodatečných úkonů

4 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 4 CEL Infrastruktura –Správa aplikací  single/paralelní spouštění bez nutnosti modifikace skriptu úlohy –Správa úloh  jednoduché zadání, monitorování běhu a získání výsledků –přístup založený na rozhraní příkazové řádky (CLI)

5 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 5 Správa aplikací Požadavky –jednoduchá inicializace aplikace –řešení konfliktů mezi verzemi –řešení konfliktů / závislostí mezi jednotlivými aplikacemi –stejné použití při single / paralelním spuštění –podpora různých úrovní paralelizace Systém Module

6 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 6 Systém Module  podobný přístup jako Environment Modules Project* aplikace jsou aktivovány modifikací prostředí shellu (tj. PATH, LD_LIBRARY_PATH, atd.)  specifický build aplikace je popsán realizací tj. instrukcemi, které popisují modifikace prostředí shellu  realizace je identifikována jménem složeným ze čtyř částí:  uživatel může specifikovat pouze část realizace, v tom případě systém modulů doplní kompletní jméno realizace takovým způsobem, že aplikace bude nejlépe využívat dostupné výpočetní zdroje *) http://modules.sourceforge.net/

7 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 7 Systém Module pokračování Příkazy Systému Module module [akce] [modul1 [modul2] …]  klíčový příkaz Systému Module akce: oadd (load), remove (unload) oavail, list*, active, exported, versions, realizations odisp, isactive * list je výchozí akce modconfig  příkaz pro konfiguraci Systému Module ve formě menu (vizualizace, automaticky zavedené moduly, atd.)

8 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 8 Systém Module pokračování Přiklad aktivace modulu $ module add povray Module specification: povray (add action) ============================================================== WARNING: Nonoptimal architecture is used for module 'povray' Cache type : system cache Architecture : i786 Number of CPUs : 1 Max CPUs per node : 1 Exported module : povray:3.6 Complete module : povray:3.6:i386:single Kompletace jména modulu povray → povray:3.6:auto:auto → povray:3.6:i386:single uživatel → výchozí hodnoty → kompletní jméno

9 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 9 Systém Module pokračování Kompletace jména modulu name - specifikováno uživatelem (je povinné) version - specifikováno uživatelem / výchozí architecture - specifikováno uživatelem / výchozí / automaticky určeno  Systém Module se snaží vybrat takovou realizaci, která nejlépe odpovídá architektuře cílového systému parallelmode - specifikováno uživatelem / výchozí / automaticky určeno  para - vždy  p4 - NCPU > MaxCPUs/uzel  shmem - 1 < NCPU <= MaxCPUs/uzel  node - NCPU <= MaxCPUs/uzel  single - NCPU=1

10 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 10 Gridové aplikace –Model I - METACentrum (český národní Grid) –Model II – EGEE Grid Aplikace jsou na sdíleném svazku dostupné všem gridovým elementům Legenda: UI- user interface CE- computing element SE- storage element WN - worker node app - application aplikace nemohou být sdíleny se všemi gridovými elementy jejich “sdílení” je umožněno jejich umístěním na SE (pouze jedenkrát) pouze požadované aplikace jsou instalovány na CE během spouštění úlohy

11 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 11 Gridové aplikace pokračování Výhody všechny aplikace jsou dostupné v Gridu okamžitě po jejich umístění na SE Nevýhody tento přístup je vhodný jen pro středně a dlouhodobé výpočetní úlohy Systém Module je podporován v obou modelech výpočetního prostředí požadované “nestandardní” funkce lze vyvolat pomocí tzv. ‘hooks’ (modactions), provádí administrátor UI modaction je skript spouštěný během jakékoliv akce příkazu module modaction skript slouží pro přidání akcí na řešení problemů v Modelu II  chová se odlišně na UI a na WN  aktivuje aplikace ze svazku na UI  nahraje balíček z SE na WN (CE) a provede jeho instalaci do dočasného adresáře, Systém Module následně nastaví prostředí tak, že aplikace bude použita z příslušného svazku

12 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 12 Správa výpočetních úloh Požadavky –jednoduché odeslání úlohy –uživatel by se měl soustředit na řešený problém nikoliv na úkony spojené s odesláním úlohy –jednoduché spouštění paralelních aplikací –často opakované úkony by měly být prováděny automaticky –udržovat informace o úloze během spuštění a/nebo po spuštění Systém Charon

13 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 13 Systém Charon Přehled –jde o aplikaci v kontextu Systému Module –separuje nastavení zdrojů od odesílání úloh Odesílání úloh a jejich správa  psubmit [NCPU] [mód synchronizace]  pinfo  psync  pkill  pgo (není dostupné v prostředí EGEE Gridu) Charon Setup  pconfigure

14 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 14 Systém Charon pokračování Ukázka práce s výpočetní úlohou Nejsou vyžadovány žádné další parametry – veškeré informace o úloze jsou uloženy v kontrolních souborech uvnitř adresáře s úlohou.

15 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 15 Systém Charon pokračování Omezení při zadávání úloh  úloha je popsána skriptem*  každá úloha musí být v separátním adresáři – kontrolní soubory musí být jedinečné  adresáře úloh se nesmí překrývat – protože adresář úlohy je kopírován na WN a poté zpět  v rámci adresáře s úlohou je třeba používat pouze relativní cesty k souborům – na WN se kopírují pouze data z adresáře úlohy  software by měl být aktivován Systémem Module – pouze poté lze dosáhnout nejlepšího využití zdrojů Autodetekce úloh*  ve vybraných případech může uživatel zadat vstupní soubor místo skriptu a Systém Charon připraví skript pro zpracování  * aktuálně autodetekované aplikace jsou: gaussian, povray a precycle

16 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 16 Systém Charon pokračování Konfigurace –Synchronizační mód – způsob přenosu dat mezi UI a WN  gridcopy všechna data v adresáři úlohy jako vstup všechna data v adresáři úlohy jako výstup  stdout všechna data v adresáři úlohy jako vstup pouze standardní výstup jako výsledek (ostatní data ztracena) –Zdroje – výběr specifického CE –Vlastnosti – detailní specifikace výpočetních zdrojů (pomocí položky Requirements v JDL souboru) –Alias – alternativní název pro kombinaci uvedených možností nastavení pconfigure – příkaz umožňující konfiguraci ve formě menu

17 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 17 Multi-Site přístup Podpora více typů Gridů / clusterů  ‘site’ je speciální modul v rámci Systému Module, který přepíná příslušné prostředí z jednoho zdroje na další  ‘site’ reprezentuje virtuální zapouzdření výpočetních zdrojů  možnost využití různých Gridů (sites) z jednoho počítače  všechny ‘sites’ sdílí stejný aplikační repozitář ale seznam dostupných aplikací závisí na nastavení Systému Module

18 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 18 Interaktivní aplikační repozitář Interaktivní prohlížeč databáze modulů  další rozšíření Systému Module obsahující databázi dostupných realizací softwaru generovanou v reálném čase  tato služba zobrazuje seznam dostupných aplikací spolu s jednotlivými verzemi realizací  informace je provázaná s detailním popisem aplikací (dokumentace o prováděné kompilaci, instalaci a buildu ve formátu MediaWiki) http://troll.chemi.muni.cz/whitezone/development/charon/isoftrepo/

19 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 19 Interaktivní aplikační repozitář

20 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 20 Uživatelská vylepšení Současné novinky v Systému Module –jednoduchá konfigurace uživatelských nastavení pomocí jednoho příkazu v uživatelské nabídce  uživatel může nastavit chování kompletace jména modulů, způsob vizualizace v seznamu modulů  uživateli je umožněno specifikovat moduly, které se budou automaticky nahrávat při aktivaci dané ‘site’  uživatel může měnit prioritu mezi systémovými a uživatelskými moduly –uživatelské moduly  uživateli je dovoleno rozšířit aplikační portfolio o vlastní realizace aplikací

21 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 21 Shrnutí Správa výpočetních úloh  zapouzdření jedné výpočetní úlohy  minimalizace režie způsobené přímým použitím middleware (příprava souboru JDL, atd.)  jednoduché zadání a navigace během doby života úlohy  stejné použití pro single/paralelní spouštění Správa aplikací  jednoduchá inicializace aplikace, řešení konfliktů / závislostí mezi jednotlivými aplikacemi  komfortní rozšíření / modifikace dostupného aplikačního portfolia

22 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 22 Poděkování  Luděk Matyska (CESNET)  Jaroslav Koča (NCBR)  European Commission EGEE II (číslo kontraktu RI-031688) EGEE (číslo kontraktu IST-2003-508833)  Ministry školství, mládeže a tělovýchovy ČR (číslo kontraktu MSM0021622413)  Grantová agentura ČR (204/03/H016)