INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Úvod do použití Gridů Jan Kmuníček CESNET, Česká republika.

Prezentace na téma: "INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Úvod do použití Gridů Jan Kmuníček CESNET, Česká republika."— Transkript prezentace:

1 INFSO-RI-508833 Enabling Grids for E-sciencE www.eu-egee.org Úvod do použití Gridů Jan Kmuníček CESNET, Česká republika

2 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 2 Obsah Definice a vlastnosti Gridů Schéma služeb a jejich funkce Detaily gridové architektury Virtuální organizace Bezpečnostní prvky Gridů Evropské gridové prostředí

3 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 3 Definice a vlastnosti Gridů Definice Gridu –„A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities.“ –„Výpočetní grid je hardwarová a softwarová infrastruktura, která poskytuje spolehlivý, standardizovaný, všudypřítomný a levný přístup ke špičkovým výpočetním službám. “ (I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1999) –rozsáhlý distribuovaný systém organizačně samostatných elementů, kterými mohou být individuální počítače (paměti, pevné disky) a informační systémy vzájemně propojeny počítačovou sítí

4 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 4 Definice a vlastnosti Gridů Grid versus distribuované prostředí –Distribuované aplikace jako specializované systémy pro jediný cíl nebo skupinu uživatelů. –Gridy rozšiřují původní distribuované aplikace o nové vlastnosti  různé druhy zdrojů  nevyžadován striktně stejný hardware, data a aplikace  různé druhy interakcí  různé uživatelské skupinu a aplikace interagují s Gridem různě  dynamická povaha  zdroje a uživatelé často přibývají / ubývají / mění se

5 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 5 Definice a vlastnosti Gridů Vlastnosti Gridu/Gridů –velmi početné výpočetní zdroje –výpočetní zdroje jsou  heterogenní  geograficky separované  spojeny heterogenními sítěmi  plně pod kontrolou jejich vlastníků –vlastnictví vzájemně nezávislými organizacemi & jedinci –vyžadovány různé bezpečnostní požadavky a pravidla –vyžadována různá pravidla správy zdrojů –potenciální zahrnutí vadných zdrojů

6 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 6 Definice a vlastnosti Gridů Výpočetní Grid –Grid poskytující výpočetní servis –poskytuje zabezpečené služby pro spouštění aplikací na distribuovaných výpočetních zdrojích –jedná se o „virtuální distribuovaný počítač“ pro řešení výpočetně náročných aplikací –dynamicky agreguje výpočetní kapacitu velkého počtu individuálních počítačů

7 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 7 Definice a vlastnosti Gridů Datový Grid –principiálně jde o zpracování rozsáhlých datových sad pomocí služeb „výpočetního Gridu“ –charakterizován sdílením velkého množství dat, poskytováním zabezpečeného přístupu k těmto datům a umožnění jejich následné správy –řešeno formou replikovaných datových katalogů vytvářejících iluzi jednotného hromadného datového úložiště

8 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 8 Definice a vlastnosti Gridů Informační / Znalostní Grid –často také nazýván jako kolaborativní nebo aplikační Grid –charakterizován snahou o rozšíření možností datových Gridů o poskytování kategorizace dat, ontologií, sdílení znalostí a tvorby workflow –součástí informačních Gridů jsou virtuální prostředí pro spolupráci resp. virtuální laboratoře umožňující vzdálenou kontrolu a správu senzorů a zařízení

9 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 9 Definice a vlastnosti Gridů Oblasti použití Gridů - aplikace –částicová fyzika distribuce dat z urychlovačů částic a jejich následná analýza –chemie a biologie MMCC úlohy a zpracování bioinformatických dat –inženýrství a design výpočty, analýzy modelů pomocí výpočetní fluidní dynamiky a pevné mechaniky –lékařství produkce interaktivních medicínských simulací –astronomie analýza terabajtů astronomických dat z teleskopů –životní prostředí příprava modelů a vyhodnocování monitorování znečištení prostředí a předpovědi počasí –média produkce, vysílání a přehrávání interaktivního mediálního obsahu

10 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 10 Schéma služeb a jejich funkce Bezpečnost Správa zatížení zdrojůSpráva datInformace & monitorování AplikaceVýpočetní & datové kapacity Zjednodušené schéma fungování –funkce jednotlivých prvků víceméně společné všem Gridům –pojmenování jednotlivých elementů podle projektu EGEE

11 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 11 Detaily gridové architektury Jednotlivé prvkyUI – User Interface –zprostředkovává uživatelům „přístup“ do Gridu –tvoří rozhraní ke službám Gridu (grafické nebo pomocí příkazové řádky) –UI umožnuje  přihlásit se do Gridu  zadávat výpočetní úlohy (ve formátu JDL – Job Description Language)  sledovat stav zadaných úloh  zjišťovat informace o volných zdrojích  získávat & vizualizovat výsledky zadaných výpočetních úloh  správu uživatelských dat

12 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 12 Detaily gridové architektury Jednotlivé prvkyCE – Computing Element –tvoří frontend pro konkrétní skupinu výpočetních uzlů –hlavní funkce CE jsou  přijímat joby určené pro konkrétní cluster/farmu (homogenní uzly)  poskytovat detailní informace o výpočetní kapacitě a nainstalovaném systémovém / aplikačním softwaru  přijaté výpočetní úlohy následně předat lokálnímu dávkovému plánovacímu systému (PBS, LFS, NQE, LoadLeveler, Condor, …), který pošle úlohy ke zpracování na výpočetní prvky (WNs)

13 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 13 Detaily gridové architektury Jednotlivé prvkySE – Storage Element –tvoří jednotné rozhraní k ukládaní dat uživatelů Gridu a umožňuje přístup k jednotlivým souborům –soubory je možné replikovat a přistupovat k „nejbližší“ replice (tvoří také zálohu pro případ výpadku některého z SE obsahujícího instanci souboru) –každý registrovaný soubor má svoji identifikaci v Gridu, přes kterou se k němu přistupuje (nezávislé na jménu a umístění) –znalost přesného umístění souboru (kolekce souborů/dat) není nezbytná

14 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 14 Detaily gridové architektury Jednotlivé prvkyWNs – Worker Nodes –tvoří vlastní výpočetní prvky – slouží ke zpracování jednotlivých úloh –charakteristiky WN  musí mít přístup k aplikačnímu softwaru – řeší se většinou mountem z nějakého sdíleného prostředku  musí mít nainstalován software pro I/O dat na SE (grid-ftp)  jediné nemusí být dosažitelné „zvenku“, ale pouze z CE

15 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 15 Virtuální organizace Gridového počítání –„Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations.“ (I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1998) –Virtuální organizace (VO)  souhrn výpočetních zdrojů a lidí pracujících na společném projektu –Cíle virtuálních organizací  sdílení datových zdrojů a výpočetních kapacit použitelných pro zpracování výpočetních úloh

16 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 16 Virtuální organizace Principy fungování –uživatelé by si měli z Gridu vzít prostředky, které zrovna potřebují, když je potřebují, tam kde je potřebují  procesory resp. jejich výkon  diskový prostor  přenosová kapacita sítí  speciální hardware (mikroskopy, senzory, …) –Grid zajistí  unifikovaný přístup, bezpečnost, spolehlivou dodávku  vyúčtování za spotřebu

17 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 17 Bezpečnostní prvky Gridů Autentizace –proces ověření identity komunikujících partnerů (uživatel – služba) Jste opravdu tím, kým tvrdíte, že jste? –certifikace – mechanismus pro ustavení důvěry mezi partnery Autorizace Máte přístup ke zdrojům, které požadujete? Šifrování –utajení citlivých uživatelských dat (biomedicínské Gridy) Accounting Co jste udělali, kdy jste to udělali a odkud jste to udělali?

18 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 18 Bezpečnostní prvky Gridů Aspekty gridové bezpečnosti –vyžadován je zabezpečený přístup ke zdrojům –použití X.509 Public Key Infrastructure (PKI) –každý uživatel a služba musí vlastnit důvěryhodný X.509 certifikát –Delegování práv  „Akt předání práv organizaci, osobě nebo službě jednat jako Váš zástupce (tj. Vaším jménem).“  uživatel deleguje svoje práva službě, aby daná služba mohla vystupovat jménem uživatele

19 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 19 Bezpečnostní prvky Gridů Jméno majitele Vydavatel: CA Doba platnosti Veřejný klíč majitele Podpis CA Certifikát –je datový soubor –má podobnou funkci jako občanský nebo řidičský průkaz –je určen pro autentizaci majitele certifikátu –každý certifikát  je elektronicky podepsán certifikační autoritou  má časově omezenou dobu platnosti (1 rok)  obsahuje jednoznačnou identifikaci majitele a jeho veřejný klíč Certifikační autorita (CA) –za účelem ustavení důvěry certifikační autorita certifikáty vydává, spravuje a případně revokuje (ruší platnost) –při žádosti o certifikát musí uživatel předložit svůj občanský průkaz nebo svůj cestovní pas

20 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 20 Bezpečnostní prvky Gridů Single Sign-On (SSO) –uživatel se jednou přihlásí bez nutnosti opakovaně explicitně prokazovat svoji totožnost –Proxy certifikáty  podpora pro SSO  zpravidla krátkodobé certifikáty (10–12 hod) odvozeny z uživatelova dlouhodobého certifikátu  slouží k mechanismu delegování uživatelských práv službám –MyProxy  centrální úložiště proxy certifikátů s dlouhodobou platností  použití pro gridové portály a podporu dlouhotrvajících úloh

21 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 21 Evropské gridové prostředí rozvoj gridových technologií a reálné nasazení Gridů podporováno Evropskou Unií (EU) - 5., 6. rámcový program EU heterogenita gridových projektů EU –infrastrukturníbudování jednotné evropské gridové infrastruktury (Damien, DataTAG, DEISA, SEE-GRID, EGEE) –výzkumnérozvoj gridového middlewaru a gridových nástrojů (GRIP, Eurogrid, GridLab, DataGrid) –aplikačníspecifické aplikačně orientované projekty (GRIA, EGSO, Crossgrid, Diligent, BioInfogrid)  http://egee.cesnet.cz/cs/grid/links.html http://egee.cesnet.cz/cs/grid/links.html

22 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 22 Evropské gridové prostředí Projekt EGEE – panevropská gridová platforma sdružuje 90 institucí z 27 zemí aktuální stav –počet procesorů~16 000 –počet poskytovatelů zdrojů170 –počet VO84 –aplikace20 „velkých“ / 7 zemí struktura projektu –regionální členění do federací –specifické aktivity  servisní (SA)provoz, podpora a monitorování  síťové (NA)podpora aplikací, diseminace  společné výzkumné (JRA)vývoj a integrace middlewaru

23 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 23 Evropské gridové prostředí

24 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 24 Evropské gridové prostředí

25 Enabling Grids for E-sciencE INFSO-RI-508833 Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833) 25 Evropské gridové prostředí Budoucnost –projekt EGEE II jako aplikačně-orientovaný nástupce projektu EGEE, který vytvořil infrastrukturní základnu –představa dlouhodobě udržovaného prostředí pro vědecké výpočty (gridové prosředí jako standardní součást servisu poskytovaného servisu v rámci ERA)