INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Project EGEE-II / VOCE Jan Kmuníček CESNET.

Prezentace na téma: "INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Project EGEE-II / VOCE Jan Kmuníček CESNET."— Transkript prezentace:

1 INFSO-RI-031688 Enabling Grids for E-sciencE www.eu-egee.org Project EGEE-II / VOCE Jan Kmuníček CESNET

2 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 2 Obsah Celosvětová gridová infrastruktura Koncept virtuální organizace VOCE infrastruktura a její vlastnosti Aktuální stav VOCE Závěrečné poznámky

3 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 3 Celosvětová gridová infrastruktura Projekt EGEE – panevropská gridová platforma sdružuje 90 institucí z 27 zemí aktuální stav –počet procesorů~16 000 –počet poskytovatelů zdrojů170 –aplikace20 ‘velkých’ struktura projektu –regionální členění do federací (geografické členění) –specifické aktivity  servisní (SA)provoz, podpora a monitorování  síťové (NA)podpora aplikací, diseminace  společné výzkumné (JRA)vývoj a integrace middleware

4 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 4 Celosvětová gridová infrastruktura Project EGEE-II –celosvětová gridová platforma –projekt EGEE- II je aplikačně-orientovaný nástupce projektu EGEE, který vytvořil infrastrukturní základnu –představa dlouhodobě udržovaného prostředí pro vědecké výpočty (gridové prostředí jako standardní součást servisu poskytovaného v rámci ERA – European Research Area)

5 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 5 Koncept virtuální organizace Grid – heterogenní sada zdrojů a uživatelů –různé požadavky a různá očekávání –potřeba určité interní organizace Virtuální Organizace (VO) –sada zdrojů  výpočetní elementy, úložné elementy –sada koncových uživatelů –služby –politiky  kdo je oprávněn se připojit  jaké výpočetní zdroje by měla VO nabízet / garantovat

6 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 6 Koncept virtuální organizace Definice virtuální organizace VO je dynamický rezervoár zdrojů & uživatelů z různých domén sdružených za specifickým cílem. EGEE VO koncept –EGEE prostředí dostupné pouze pomocí VO –původní myšlenka – aplikačně specifické VO –vyžadován komplexní schvalovací proces –těžkopádný proces ustavení VO  politiky  technická řešení –obzvlášť složité pro malé výzkumné komunity

7 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 7 Koncept virtuální organizace Potíže s ustavením VO –VO reprezentuje způsob přístupu do gridového prostředí –ustavení VO je poměrně netriviální záležitost  garance každodenní funkčnosti –využití VO je také obdobně komplikovaná záležitost  pomalá učící křivka díky vysoké komplexnosti  extrémní bariéra pro nové uživatele Gridu  nutnost se učit řadu věcí – brání rutinnímu využití ==>pouze velké komunity mají zdroje (čas, peníze, …) na překonání takové bariéry ==>potřeba oslovit malé výzkumné skupiny mohou být vyřešeny pomocí obecné VO (catch-all přístup)

8 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 8 VOCE infrastruktura Virtuální Organizace pro Střední Evropu (VOCE) –otevřené gridové prostředí –obecná virtuální organizace –VOCE odstraňuje potřebu vystavět VO ‘from scratch’ –outsourcing služeb souvisejících s VO –rutinní VO management & administrace prováděna dedikovanými administrátory –maximální zjednodušení každodenní vědecké práce pomocí nástrojů zjednodušujících práci s nativním middleware  CHARON Extension Layer, GUI portály

9 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 9 VOCE infrastruktura Virtuální Organizace pro Střední Evropu (VOCE) –poskytuje kompletní gridovou infrastrukturu v rámci projektu EGEE resp. EGEE-II  oficiálně registrována v seznamu EGEE VO  první regionální VO v EGEE  VOCE modelem pro ostatní regiony –založena na regionálním principu  VOCE zahrnuje celou středoevropskou EGEE federaci (CE)  klíčové služby provozovány sdružením CESNET  zdroje poskytovány několika institucemi v celém CE regionu (tyto zdroje jsou následně dostupné všem uživatelům registrovaným ve VOCE)

10 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 10 VOCE infrastruktura VOCE - Popis –plně produkční prostředí  prostředí VOCE umožňuje novým uživatelům rychle získat první zkušenost s gridovým počítáním –‘inkubátor’ pro nové uživatele / aplikace / aplikační oblasti  pomoc při adaptaci software pro použití na Gridu  dokonce pro aplikace bez zkušenosti s gridovým / clusterovým / vzdáleným počítáním  plynulý přechod k produkčnímu použití  podpora přípravy specifických VO jakmile uživatelé získají více zkušeností

11 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 11 VOCE infrastruktura VOCE - Popis –samostatná infrastruktura  všechny relevantní služby spravovány VOCE administrátory  klíčové služby založeny na gLite-3.0 a gLite-3.1 middleware  CE & SE zdroje sdíleny s LCG  uživatelská podpora pomocí RT helpdesku  Perun – nástroj pro správu uživatelských identit podporujícíc LDAP and VOMS

12 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 12 VOCE infrastruktura VOCE - Cíle –poskytovat aplikačně neutrální prostředí  není vázano k žádné konkrétní aplikaci  zájem o široké spektrum aplikačních oblastí –i malé výzkumné skupiny mohou využívat produkční EGEE Grid –není třeba investovat do ustavení specifické VO před testováním a použitím gridového prostředí EGEE/gLite –dostupná produkční i tréninková infrastruktura

13 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 13 VOCE infrastruktura VOCE - Cíle –poskytovat kompletní a samostatnou gridovou infrastrukturu založenou na EGEE/gLite middleware –převzít zátěž fungování gridové infrastruktury –umožnit uživatelům produkční práci, možnost tréninku a sloužit pro zpětnou vazbu vývojářům middleware  významná přidaná hodnota –VOCE vystavěna jako obecná VO  oficiálně doporučený postup pro ustavení VO v rámci EGEE

14 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 14 VOCE infrastruktura VOCE – Registrační procedury –Registrace uživatelů  požadována registrace na http://voce-register.farm.particle.cz/http://voce-register.farm.particle.cz/  požadováno vlastnictví platného certifikátu od certifikační autority uznané sdružením IGTF  požadován souhlas s VOCE politikami  požadována příslušnost k CE instituci  žádné další požadavky –Registrace zdrojů  na základě dohody  jednoduché, pokud zdroje již certifikovány v rámci EGEE

15 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 15 Aktuální stav VOCE Přehled infrastrukturních elementů  klíčová infrastruktura (WMS, CE, WNs, SE) plně funkční a konfigurována na přijetí uživatelů z CE  konfigurace podporující práci s LCG/gLite-3.0 middleware UIskurut4.cesnet.cz RBskurut3.cesnet.cz WMSskurut2.cesnet.cz (skurut67-6.cesnet.cz, XENed service) VOCE LDAPmeta-ldap.cesnet.cz VOCE VOMSskurut19.cesnet.cz  přístup na UI pomocí GSISSH, účet na UI je vytvořen automaticky po registraci do VOCE  dostupné také některé služby gLite-3.1 (JP, WMS, …)

16 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 16 Aktuální stav VOCE Středoevropská federace (CE) –regionální znakheterogenita (zapojení partneři & organizace) Česká republika Chorvatsko Maďarsko Polsko Rakousko Slovensko Slovinsko

17 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 17 Aktuální stav VOCE VOCE – Virtuální Organizace pro Střední Evropu zdroje zCESNET (Česká republika) PSNC, CYFRONET, ICM (Polsko) II-SAS (Slovensko) SRCE, IRB, FESB (Chorvatsko) BME, KFKI, ELTE, NIIF (Maďarsko) GUP, HEPHY (Rakousko) více než 178 registrovaných uživatelů ze 14 institucí a 6 zemí celkově1262 CPUs cca 27.3 TB disk space

18 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 18 Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu –CHARON Extension Layer (CEL)  uniformní a modulární přístup pro zasílání a správu (komplexních) výpočetních úloh  obecný systém pro použití aplikačních programů v gridovém prostředí (LCG/gLite middleware, …) –správa aplikací  single/paralelní spouštění bez nutnosti modifikace skriptu úlohy –správa úloh  jednoduché zadání, monitorování běhu a získání výsledků –přístup založený na rozhraní příkazové řádky (CLI)

19 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 19 Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu –další dostupná řešení  VOCE propojeno s portálem P-GRADE  VOCE propojeno s portálem GENIUS  výpočetní prostředí podporující paralelní spouštění výpočetních úloh pomocí MPI

20 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 20 Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu –portál P-GRADE  umožňuje pokročilou správu workflows  komfortní spouštění paralelních úloh  podpora ‘legacy’ aplikací  přístup do více různých Gridů

21 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 21 Aktuální stav VOCE

22 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 22 Aktuální stav VOCE VOCE - Virtuální Organizace pro Střední Evropu –portál GENIUS  podpora výuky použití gridového prostředí  standardní nástroj pro trénink využití EGEE Gridu  předdefinovaná sada ukázkových aplikací

23 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 23 Aktuální stav VOCE

24 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 24 Závěrečné poznámky VOCE - Shrnutí –registrace uživatelů  registrace do VOCE http://voce-register.farm.particle.cz/http://voce-register.farm.particle.cz/ –dokumentace  VOCE portál http://egee.cesnet.cz/en/voce/http://egee.cesnet.cz/en/voce/ –uživatelská podpora  zašlete požadavky na voce@cesnet.czvoce@cesnet.cz

25 Enabling Grids for E-sciencE INFSO-RI-031688 Seminář projektu EGEE-II, 12. prosinec, 2006 25 Závěr VOCE – Shrnutí –produkční gridová infrastruktura –obecná VO podporující nové gridové uživatele –dedikované prostředí pro trénink uživatelů