Tour d'horizon des Middlewares de GrilleGeorges.Da-Costa/cours/grid/CoursGrille2.pdf · Distributed...

Les groupes de standardisation Projets académiques Le marché de la grille

Tour d'horizon des Middlewares deGrille

Georges Da [email protected]


But de la séance

• Faire un tour d'horizon des solutions existantes

• Les groupes de standardisation

• Exemple académique : Egee

• Les Fournisseurs de service : IBM, Bull,Plateform


1 Les groupes de standardisation

2 Projets académiques

3 Le marché de la grille


Global Grid Forum (GGF)

• Le Global Grid Forum (GGF) est un grouped'utilisateurs, de développeurs et de vendeurs.

• Principal groupe de standardisation

• GGF est le pendant pour les grilles de l'IETF(internet)

Une série de réunions commençant en 1999 a donnélieu à sa création en mars 2001. Très hétérocliteallant des universités aux industriels.


Quelques normes du GGF

• Open Grid Services Architecture (OGSA)

• Distributed Resource Management ApplicationAPI (DRMAA)

• Job Submission Description Language (JDL)

• Con�guration Description, Deployment, andLifecycle Management

• Speci�cation (CDDLM)

• Resource Speci�cation Language (RSL)


Les groupes de travail du GGF

• architecture

• data

• security

• scheduling and resource management

• information system and performance

• application and programming modelenvironment

• peer to peer


Globus Alliance

• Le Globus Alliance implémente les standardsdéveloppés au GGF

• Il utilise pour cela le projet Open Source Globus

• Il a été créé en septembre 2003, suite augrossissement du projet Globus lancé en 1995.

• Composé principalement d'universités


Entreprise Grid Alliance (EGA)

• Rassemblement d'entreprises lancé en avril 2004pour proposer des solutions pragmatiques pourles entreprises

• Board of directors : HP, Fujitsu Siemens, Sun,EMC, HP, Intel, NEC, Oracle, NetworkAppliance

• Club ouvert à toute entreprise, où chaqueentreprise a une voix

• Entrée payante


Open Grid Forum

Septembre 2006, fusion de GGF et de EGA

• Fonctionnement• Plusieurs fois par an (environ 3 par an) : granderéunion

• But• Faire le lien entre tous les acteurs• Proposer des normes intelligentes et utilisables


Projets académiques• NASA's Information Power Grid (IPG), créé duà de forts besoins de simulation. En avril 2003 :1,944 processeurs, 665 GB de mémoire et 17.7TB de stockage. Créé en 1998. Utilise Globus.

• Datagrid, projet européen pour gérer lesquantités de données produites par lesexpériences de hautes énergies.

• e-Science, projet anglais de mise en commun deressources de calcul scienti�que

• Grid5000, plateforme d'expérimentationfrançaise, repose sur OAR-Grid. Pour l'instant,3000 processeurs sur 9 sites.


Middleware pour projet académiques

Souvent développent un middleware complet adaptétrès précisément à un usage particulier.

• Anciens projets (LHC Computing Grid)

• Spéci�cités particulières (masse de donnée pourdatagrid)

• Approche di�érente (Grid5000 et le déploiementd'images)

Pour le reste, on construit souvent au dessus deGlobus


Enabling Grids for E-sciencE (EGEE)Projet lancé en mars 2004 à la suite du projet LHCComputing Grid qui devait gérer la masse de donnéeproduite par le collisionneur du CERN à Genève.

• Enabling Grids for E-sciencE (EGEE), projetEuropéen

• Egee : 250 Sites, centres de recherche,universités, entreprises (2007)

• Ressources : 41,000 processeurs et 20 PB destockage (2007)

• Initialement en Europe, maintenant aussi enAmériques et en Asie-Paci�que


gLite, EGEE middleware

• Concept de base : Virtual Organisations (VOs).Regroupe des utilisateurs, des institutions et desressources dans un domaine administratif

• Les VO ne sont pas que virtuelles : Les 4expériences de hautes énérgies (ATLAS), lacommunauté biomédicale (biomed), etc

• Les sites sont regroupés en fédérations,coordinées par des Regional Operations Centre(ROC).

• Pre-Production Service (PPS), une grille séparéepour les tests pré-déploiement


Premier contact

2 types d'intéractions avec les utilisateurs

• Grid Operation Center, site web permettant deconnaître en temps réel l'état de la grille, desoumettre des jobs

• Eclipse• Environnement de programmation écrit en java• Repose sur un concept de plugins• Modi�é pour permettre les mêmes opérations quele GOC


Sécurité

Deux entités de base :

• V.O.

• Utilisateur

Pour se connecter, l'utilisateur doit :

• Obtenir un certi�cat X.509 par une autorité decerti�cation (CA) (idem pour les ressources)

• L'utiliser pour signer un certi�cat temporaire

• Utiliser ce certi�cat temporaire (proxycerti�cate) pour se connecter au plus pendant12h


User InterfaceInterface web permettant une fois identi�é de :

• Lister toutes les ressources permettantd'exécuter un job

• Soumettre un job pour exécution• Arrêter un job• Récupérer la sortie d'un job• Montrer le statut d'un job soumis• Récupérer les logs de la vie du job• Copier, dupliquer et e�acer des �chiers de laGrille

• Récupérer le statut de di�érentes ressourcesgérées par l'Information System.

Ces fonctions sont accessibles par API


Computing Element

• Plusieurs entités• Grid Gate (GG) qui se comporte comme uneinterface générique au cluster

• Local Resource Management System (LRMS)(parfois appelé le système de batch)

• Worker Nodes (WNs), les noeuds sur lesquels sontexécutés les jobs

• Il est possible d'utiliser di�érents LRMS :OpenPBS/PBSPro, LSF, Maui/Torque, BQS etCondor

• Un CE pour chaque queue (au niveau gLite)


Storage Element

• Un Storage Element (SE) fournit un accèsuniforme aux ressources de gestion de données

• 2 types d'opérations• GSI-secure FTP : gestion de transfert• RFIO : accès transparent aux �chiers

• Rarement seulement des disques. Souventdisques et bande magnétique avec archivagetransparent sur les bandes pour le stockagelongue durée.


Information Service

• L'Information Service (IS) fourni desinformations à propos des ressources et de leurstatut

• A ce niveau, un modèle de données : GlueSchema

• Deux IS sont utilisés• Globus Monitoring and Discovery Service (MDS)utilisé pour la découverte de ressources et pourpublier leur statut à bas niveau

• Relational Grid Monitoring Architecture (R-GMA)utilisé pour l'accounting, le monitoring et lapublication d'informations de haut niveau


MDSMDS utilise LDAP de manière non sécurisée (autanten lecteur qu'en écriture) Toute une structurehiérarchique est utilisée pour récupérer les données etles mettre dans cette structure


Grid Monitoring Architecture• R-GMA (Grid Monitoring Architecture, proposépar le GGF) o�re une version base de donnéerelationnelle des données produites par MDS

• Trois type de composants• Producer : produit les informations• Consumer : fait des requêtes de type bases dedonnée

• Registry : fait la communication entre les deuxprécédents

• Les 2 premiers sont des processus sur chaquesites.

• De plus il existe di�érents types de Producers(Primaire, secondaire, ...)


Data Management

Plusieurs noms• Globaux

• Global-UID• File name

• Relatifs• Storage-URL, information de position• Transport-URL, idem plus information de protocole

Outils et bibliothèques de haut et bas niveau pourmanipuler ces objets


Workload Management System (WMS)

Ce service est exécuté sur le Resource BrockerLes jobs y sont envoyé sous la forme de JDL (JobDescription Langage)

Executable = "test.sh";

Arguments = "fileA fileB";

StdOutput = "std.out";

StdError = "std.err";

InputSandbox = "test.sh", "fileA", "fileB";

OutputSandbox = "std.out", "std.err";

Requirements = other.GlueCEInfoTotalCPUs > 4;


Gestion des jobs

• Le choix du CE pour un job est appelématch-making

• Sélectionne tous les sites correspondant au JDL• Sélectionne ceux qui sont le plus proche point devue données

• Trie les CE en fonction du temps supposé d'attente

• Un job peut être une collection de jobs (avecdépendances)

• En parallèle, le Logging and Bookkeeping service(LB) collecte tous les évènements liés à la vie dujob


Job Flow

a Obtenir un certi�cat et s'identi�er

b Soumettre un job au Resource Brocker en passant par une UI

c Le WMS recherche le meilleur site

d le RB prépare le job

e le gestionnaire local reçoit le job et sa sand-box

f le job s'exécute et le Worker Node reçoit les �chiers nécessaires

g pendant l'exécution, le job utilise les outils de la grille pour gérer

ses �chiers

h le job produit des �chiers qui sont accessibles par les autres

éléments de la grille

i le job �nit et envoie sa sortie standard au RB

j l'utilisateur récupère la terminaison du job et sa sortie standard


Job Flow


WMProxy

• Les jobs peuvent être soumis en grand nombred'un seul coup

• Data-chalenge (Biomed)• Disponibilité de nouvelles données (Atlas)

• Le RB s'écroule lorsqu'un grand nombre de jobsest soumis en même temps

• On utilise un proxy


Une approche modulaire

• Standardisation des briques grâce au GGF/OGF

• Multiples vendeurs pour chaque brique

• Des contraintes di�érentes• Souvent basé sur Globus

• Usine à gaz• Utilisé par IBM, HP, Bull• Souvent des incompatibilités malgré lesspéci�cations


La brique de base : Le site

• Structure d'une grille : très hiérarchique

• Les solutions de grille reposent sur destechnologie de site

• Une grille est une agrégation de ressources dansdes sites

Composants de base :

• Gestionnaire de ressources : OAR,PbsPro/OpenPbs, LSF, Condor

• Scheduler : Maui, CSF


Platform LSF

• Load Sharing Facility (LSF) middleware

• S'occupe de gérer les batchs d'applications decalcul

• Fondamentalement : Equilibrage sur des queues

• Bonne résistance aux fautes : un noeud decalcul peut remplacer le gestionnaire de manièretransparente

• Permet le checkpointing

• Version HPC (top500)

• Version close, sauf pour certaines briques liées àGlobus


Plateform CSF

• Community Scheduler Framework (CFS)• La partie scheduler de LSF

• Framework pour rajouter facilement des schedulers(Api)

• Fourni les services de base : réservation,exécution et monitoring de job

• Fonctionne avec LSF, mais aussi avec Globus etPbs


PBS-Pro/OpenPbs

• Gestion très bas niveau d'un site, principalementgestion des ressources

• Deux versions• Pbs-Pro version payante, comprends Maui, dusupport, des outils de gestion évolués

• OpenPbs version open source, en retard d'uneversion sur Pbs-Pro

• Notion de base : queue

• Interface : pbssub, pbsstat, pbsdel

• Scheduling naif (utilisé souvent avec Maui)


Torque

• Fork d'OpenPbs

• Divergence de vu avec les développeursd'OpenPbs

• Les apports• Passage à l'échelle (nombre de jobs, nombre deprocesseurs)

• Plus �ne gestion et expressivité des ressources• Résistance aux fautes, checkpointing


Condor

• But : optimiser le débit des jobs• Gestion �ne des ressources• Gestion des ressources partagées (machine debureau)

• Back�lling évolué• Appels systèmes à distance

• Checkpointing

• Très orienté pour la recherche scienti�que• Ensemble de jobs• Jobs embarrassingly parallel


OAR

• Projet académique

• Forte similitudes avec PBS, mais en open source

• Notion de base, queue

• Concept de base, langage agnostique : tout estdans la base

• Programmé en perl, peu de lignes de code

• Version grille : oargrid

• Facilité d'insérer un nouveau scheduler

• Best e�ort jobs


Scheduler Maui

• Un des principaux Scheduler sur le marché

• Possibilité d'utiliser les scheduler fourni

• Framework de développement de scheduler(fournit un simulateur)

• Meta-scheduling (plusieurs scheduler en fonctionde contraintes)

• Prévu pour gérer la juste répartition desressources multi-critère

• Di�érentes politiques de Back�lling


L'agrégation : Globus

Prochain cours


Condor-G

• Utilise la syntaxe de soumission de jobs decondor

• Limité à la partie soumission de job

• Permet de gérer des jobs sur de multiples sites

• Repose sur les protocoles de communication deGlobus

• Rends transparent l'utilisation d'une grille

• Peu de fonctionnalités mais beaucoup plus légerque Globus


Sun N1 Grid Engine

• Trois couches• Access Tier (Utilisateurs)• Management Tier (Serveur de gestion de la grille)• Compute Tier (Noeuds de calcul et de stockage)

• Pas de grid services

• Interface propriétaire, tentative destandardisation GGF

• Open source• gratuit : version de base• payant : support + accounting

• Granularité �ne d'accès : notion d'utilisateur, deprojet, d'équipe pour l'allocation des ressources


Autre services (Globus)

Service

Service

Service

Service

Service

Service

GridFTPGRAM MDS

Globus core technology

Third party

applications

GT4 service container


Gridsphere

Frameworkde développe-ment deportail Webopensource


OGCE

Framework de développement de portail Webopensource


Autres portails

• Encore beaucoup de types di�érents, domainepeu stable

• EnginFrame (NICE) basé sur l'automatisation,payant

• �Migrating desktop� du projet CrossGrid : unesorte de bureau à la Windows/Gnome/Kde. Mêmefonctionalités. Java open source

• Web souvent fait par les utilisateurs de gros projetspuis transformés en framework : Jetspeed, uPortal,CHEF

• Pas encore de vrai leader

• Finalement peu de virtualisation : nombre deprocesseurs, type de ressources


Sécurité

• Domaine en retard

• Beaucoup de problèmes dus aux mesures desécurité (�rewall)

• Surtout à base de technologies empruntées àd'autres domaines

• VPN

• GSI est un projet académique mais qui n'a pasencore percé dans l'entreprise

• Problème complexe qui reste encore géré au caspar cas


Grid Security Infrastructure (GSI)

• Basé sur les certi�cats

• Plusieurs autorités de certi�cation (CA)

• Lorsque deux entités discutent, la con�ance esthérité de la con�ance entre les CA

• Les communications reposent ensuite sur SSL

• Peu pratique pour les opérations �nes (lecturesde données, utilisation de grid services) carsouvent à l'échelle des V.O.


Données

• Pour l'instant peu de virtualisation• Copie des algorithmes habituels

• GridFtp• Chaque gros projet a sa façon d'accéder auxdonnées

• L'unité de base reste le �chier

• Peu de projet d'utilisation de base de données

• L'utilisation des données doit être explicite


Avaki

• Avaki (fait partie de Legion, qui gère tout typede ressources)

• Gestion des données indépendamment de leurposition

• Transparent• Vue objet : tout est objet, que ça soit ici ou auloin, l'accès est identique

• Comparaison avec nfs avec en plus, les bases dedonnées, xml,...

• Gère les �rewall• Rajoute un modèle de vue sur les données :agregation et intégration de haut niveau

• Gestion transparente des défaillances techniques


Monitoring : Nws

• Evaluation de l'état actuel de l'infrastructurephysique

• Performance réseau (latence et débit)

• Charge processeur

• Mémoire libre• Système de gre�on pour d'autres sondes

• Compromis entre intrusivité et précision

• Prédiction de l'état futur• Plusieurs méthodes, choix automatique enfonction des résultats

• Méthode auto-régressive, basée sur la moyenne,basée sur la médiane


Monitoring : Ganglia

• Objectif : haute performance• Gros travail de réduction de la taille des messages• Structure hiérarchique• Passe à l'échelle (2000 noeuds)

• Repose sur de plus petites briques• XDR pour des communications portables et peuintrusives

• RRDtool pour le stockage des résultats et leuraccès

• XML pour le format d'export des données

• Open source


Applications

• Pas de solution miracle

• Un grand nombre d'experts• Les vendeurs de grille permettent de gridi�er,tester et certi�er des applications sur leursgrilles.

• IBM Grid solutions• HP grid solutions• ...


Domaine d'application

• Repliement de protéines (académique etindustriel)

• Gestion des données des expérimentations àhautes énérgies (académique)

• Biomédical (vaccin contre la grippe)• Besoin ponctuels de beaucoup de puissance

• Sysmologie

• Prédiction météorologique

• Recherche des gisements de pétrole


Autre systèmes

• XtremWeb• La grille à coût réduit• Utilisation des machines inutilisés (Desktopcomputing)

• UnitedDevice• Desktop Computing• Quelques possibilité de type Grille, par exempleréservation

• BOINC (Seti@Home, 500 TeraFlops) ,Folding@Home (1 PetaFlop)

• Rassemble des participants à grande échelle


Autre systèmes : Grid5000

• Projet académique français

• Créer une grille d'expérimentation

• On ne déploie pas une application, on déploieune image

• Utilise une couche middleware très simple (baséesur OAR)


Nouvelle mouvance : Cloud computing

Un retour à l'idée de Ian Foster : On branche et çamarche

• Gestion sympli�ée• Fournisseur de service qui gère toute la logistique

• Utilisation �ne des ressources• Virtualisation complète

• Type de machine (cluster, multi-processeur)• Service de stockage• Machines totalement identique du point de vueutilisateur

Exemple, Amazon EC2, Sun Grid, Fujitsu CloudComputing


Sun Grid

• Sun tiens aussi le rôle d'hebergeur• Pour des données• Pour des calculs

• L'application doit avoir certaines contraintes :• Etre auto-contenue• S'exécuter sous solaris avec un matériel particulier

• Le prix est de 1$ par heure CPU.

Tour d'horizon des Middlewares de GrilleGeorges.Da-Costa/cours/grid/CoursGrille2.pdf · Distributed...

Documents

Transcript of Tour d'horizon des Middlewares de GrilleGeorges.Da-Costa/cours/grid/CoursGrille2.pdf · Distributed...