INFSO-RI Enabling Grids for E-sciencE Project EGEE-II / VOCE Jan Kmuníček CESNET

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Obsah Celosvětová gridová infrastruktura Koncept virtuální organizace VOCE infrastruktura a její vlastnosti Aktuální stav VOCE Závěrečné poznámky

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Celosvětová gridová infrastruktura Projekt EGEE – panevropská gridová platforma sdružuje 90 institucí z 27 zemí aktuální stav –počet procesorů~ –počet poskytovatelů zdrojů170 –aplikace20 ‘velkých’ struktura projektu –regionální členění do federací (geografické členění) –specifické aktivity  servisní (SA)provoz, podpora a monitorování  síťové (NA)podpora aplikací, diseminace  společné výzkumné (JRA)vývoj a integrace middleware

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Celosvětová gridová infrastruktura Project EGEE-II –celosvětová gridová platforma –projekt EGEE- II je aplikačně-orientovaný nástupce projektu EGEE, který vytvořil infrastrukturní základnu –představa dlouhodobě udržovaného prostředí pro vědecké výpočty (gridové prostředí jako standardní součást servisu poskytovaného v rámci ERA – European Research Area)

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Koncept virtuální organizace Grid – heterogenní sada zdrojů a uživatelů –různé požadavky a různá očekávání –potřeba určité interní organizace Virtuální Organizace (VO) –sada zdrojů  výpočetní elementy, úložné elementy –sada koncových uživatelů –služby –politiky  kdo je oprávněn se připojit  jaké výpočetní zdroje by měla VO nabízet / garantovat

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Koncept virtuální organizace Definice virtuální organizace VO je dynamický rezervoár zdrojů & uživatelů z různých domén sdružených za specifickým cílem. EGEE VO koncept –EGEE prostředí dostupné pouze pomocí VO –původní myšlenka – aplikačně specifické VO –vyžadován komplexní schvalovací proces –těžkopádný proces ustavení VO  politiky  technická řešení –obzvlášť složité pro malé výzkumné komunity

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Koncept virtuální organizace Potíže s ustavením VO –VO reprezentuje způsob přístupu do gridového prostředí –ustavení VO je poměrně netriviální záležitost  garance každodenní funkčnosti –využití VO je také obdobně komplikovaná záležitost  pomalá učící křivka díky vysoké komplexnosti  extrémní bariéra pro nové uživatele Gridu  nutnost se učit řadu věcí – brání rutinnímu využití ==>pouze velké komunity mají zdroje (čas, peníze, …) na překonání takové bariéry ==>potřeba oslovit malé výzkumné skupiny mohou být vyřešeny pomocí obecné VO (catch-all přístup)

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, VOCE infrastruktura Virtuální Organizace pro Střední Evropu (VOCE) –otevřené gridové prostředí –obecná virtuální organizace –VOCE odstraňuje potřebu vystavět VO ‘from scratch’ –outsourcing služeb souvisejících s VO –rutinní VO management & administrace prováděna dedikovanými administrátory –maximální zjednodušení každodenní vědecké práce pomocí nástrojů zjednodušujících práci s nativním middleware  CHARON Extension Layer, GUI portály

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, VOCE infrastruktura Virtuální Organizace pro Střední Evropu (VOCE) –poskytuje kompletní gridovou infrastrukturu v rámci projektu EGEE resp. EGEE-II  oficiálně registrována v seznamu EGEE VO  první regionální VO v EGEE  VOCE modelem pro ostatní regiony –založena na regionálním principu  VOCE zahrnuje celou středoevropskou EGEE federaci (CE)  klíčové služby provozovány sdružením CESNET  zdroje poskytovány několika institucemi v celém CE regionu (tyto zdroje jsou následně dostupné všem uživatelům registrovaným ve VOCE)

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, VOCE infrastruktura VOCE - Popis –plně produkční prostředí  prostředí VOCE umožňuje novým uživatelům rychle získat první zkušenost s gridovým počítáním –‘inkubátor’ pro nové uživatele / aplikace / aplikační oblasti  pomoc při adaptaci software pro použití na Gridu  dokonce pro aplikace bez zkušenosti s gridovým / clusterovým / vzdáleným počítáním  plynulý přechod k produkčnímu použití  podpora přípravy specifických VO jakmile uživatelé získají více zkušeností

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, VOCE infrastruktura VOCE - Popis –samostatná infrastruktura  všechny relevantní služby spravovány VOCE administrátory  klíčové služby založeny na gLite-3.0 a gLite-3.1 middleware  CE & SE zdroje sdíleny s LCG  uživatelská podpora pomocí RT helpdesku  Perun – nástroj pro správu uživatelských identit podporujícíc LDAP and VOMS

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, VOCE infrastruktura VOCE - Cíle –poskytovat aplikačně neutrální prostředí  není vázano k žádné konkrétní aplikaci  zájem o široké spektrum aplikačních oblastí –i malé výzkumné skupiny mohou využívat produkční EGEE Grid –není třeba investovat do ustavení specifické VO před testováním a použitím gridového prostředí EGEE/gLite –dostupná produkční i tréninková infrastruktura

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, VOCE infrastruktura VOCE - Cíle –poskytovat kompletní a samostatnou gridovou infrastrukturu založenou na EGEE/gLite middleware –převzít zátěž fungování gridové infrastruktury –umožnit uživatelům produkční práci, možnost tréninku a sloužit pro zpětnou vazbu vývojářům middleware  významná přidaná hodnota –VOCE vystavěna jako obecná VO  oficiálně doporučený postup pro ustavení VO v rámci EGEE

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, VOCE infrastruktura VOCE – Registrační procedury –Registrace uživatelů  požadována registrace na  požadováno vlastnictví platného certifikátu od certifikační autority uznané sdružením IGTF  požadován souhlas s VOCE politikami  požadována příslušnost k CE instituci  žádné další požadavky –Registrace zdrojů  na základě dohody  jednoduché, pokud zdroje již certifikovány v rámci EGEE

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE Přehled infrastrukturních elementů  klíčová infrastruktura (WMS, CE, WNs, SE) plně funkční a konfigurována na přijetí uživatelů z CE  konfigurace podporující práci s LCG/gLite-3.0 middleware UIskurut4.cesnet.cz RBskurut3.cesnet.cz WMSskurut2.cesnet.cz (skurut67-6.cesnet.cz, XENed service) VOCE LDAPmeta-ldap.cesnet.cz VOCE VOMSskurut19.cesnet.cz  přístup na UI pomocí GSISSH, účet na UI je vytvořen automaticky po registraci do VOCE  dostupné také některé služby gLite-3.1 (JP, WMS, …)

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE Středoevropská federace (CE) –regionální znakheterogenita (zapojení partneři & organizace) Česká republika Chorvatsko Maďarsko Polsko Rakousko Slovensko Slovinsko

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE VOCE – Virtuální Organizace pro Střední Evropu zdroje zCESNET (Česká republika) PSNC, CYFRONET, ICM (Polsko) II-SAS (Slovensko) SRCE, IRB, FESB (Chorvatsko) BME, KFKI, ELTE, NIIF (Maďarsko) GUP, HEPHY (Rakousko) více než 178 registrovaných uživatelů ze 14 institucí a 6 zemí celkově1262 CPUs cca 27.3 TB disk space

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu –CHARON Extension Layer (CEL)  uniformní a modulární přístup pro zasílání a správu (komplexních) výpočetních úloh  obecný systém pro použití aplikačních programů v gridovém prostředí (LCG/gLite middleware, …) –správa aplikací  single/paralelní spouštění bez nutnosti modifikace skriptu úlohy –správa úloh  jednoduché zadání, monitorování běhu a získání výsledků –přístup založený na rozhraní příkazové řádky (CLI)

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu –další dostupná řešení  VOCE propojeno s portálem P-GRADE  VOCE propojeno s portálem GENIUS  výpočetní prostředí podporující paralelní spouštění výpočetních úloh pomocí MPI

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu –portál P-GRADE  umožňuje pokročilou správu workflows  komfortní spouštění paralelních úloh  podpora ‘legacy’ aplikací  přístup do více různých Gridů

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu –portál GENIUS  podpora výuky použití gridového prostředí  standardní nástroj pro trénink využití EGEE Gridu  předdefinovaná sada ukázkových aplikací

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Aktuální stav VOCE

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Závěrečné poznámky VOCE - Shrnutí –registrace uživatelů  registrace do VOCE –dokumentace  VOCE portál –uživatelská podpora  zašlete požadavky na

Enabling Grids for E-sciencE INFSO-RI Seminář projektu EGEE-II, 12. prosinec, Závěr VOCE – Shrnutí –produkční gridová infrastruktura –obecná VO podporující nové gridové uživatele –dedikované prostředí pro trénink uživatelů