GDS : Grid Data Service

Gabriel AntoniuIRISA / INRIA Rennes

Réunion de lancement du projet GDS de l’ACI Masses de Données22 septembre 2003

2

Le projet GDS

Projet de l’ACI Masses de Données (2003)

REGAL (LIP6, Paris) ReMaP/GRAAL (LIP, Lyon) PARIS (IRISA, Rennes)

Partenaire du projet GdX de l’ACIMD (utilisateur)

3

Contexte : métacomputing

Stockage des données Éviter les transferts

multiples entre client et serveurs

Gestion des données distribuées et redistribution

Dynamicité: modèle de déploiement P2P

AGENT(s)

S1 S2 S3 S4

Client

A, B, C

Réponse (C)

S2 !

Requête

Op1(C, A, B)

Serveur Serveur Serveur Serveur

Op2(C, A, B)

Service de gestion des données distribuéespersistantes

4

Partage de données : l’existant

Partage explicite à grande échelle

GridFTP (Globus) et MPI-IO Sécurité, hétérogénéité

Internet Backplane Protocol (IBP) Contrôle

Gestion explicite Pas de garanties de cohérence

5

Partage de données : l’existant (2)

Partage transparent à petite échelle

Mémoire virtuellement partagée (MVP) Modèles et protocoles de cohérence Accès transparent Localisation transparente des données Architecture statique, non extensible et

homogène

6

Partage de données : l’existant (3)

Systèmes pair-à-pair (P2P) Systèmes distribués (grande échelle) Pairs volatiles Capacités responsabilités identique des pairs

Partage de données non-modifiables Centralisé (Napster) Inondation (Gnutella, KaZaA) Table de hachage distribuée (CFS, PAST)

Partage de données modifiables Peu de modifications (OceanStore) Résolution des conflits à la « main » (Ivy)

7

Idée : service de partage de données

Proposition : approche hybride MVP : cohérence et accès transparent P2P : extensibilité et haute dynamicité

MVP Service pour la grille

P2P

Échelle 101-102 103- 104 105-106

Topologie Plate Hiérarchique Plate

Dynamicité Nulle Moyenne Forte

Ressources Homogènes (grappes)

Plutôt hétérogènes (grappes de

grappes)

Hétérogènes (Internet)

Données Modifiables Modifiables Non-modifiables

Applications typiques

Calcul scientifique

Calcul scientifique et stockage de

données

Partage et stockage de

fichiers

8

Service de partage de données pour la grille

Internet

Persistance

9

Service de partage de données pour la grille

Internet

Transfert de données

?

Transparence de la localisation

10

Service de partage de données pour la grille

Transfert de données

Internet

Données modifiables

• Cohérence des données

• Optimisation des accès

Internet

11

Service de partage de données pour la grille

Internet

Extensibilité de l’architecture

Internet

12

Service de partage de données pour la grille

InternetInternet

Support de la volatilité

13

Le projet GDS

Réalisations visées Service de partage de données : architecture,

implémentation, expérimentations Intégration dans l’environnement ASP DIET

(ReMaP, LIP) Etudes

Tolérance aux fautes : stratégies de réplication Protocoles de cohérence Stratégies d’observation/introspection Ordonnancement conjoint calcul-communication Redistribution transparente des données

14

GDS : expérimentations

Plates-formes « réelles »1. Grappes locales

Quelques dizaines de nœuds

2. Fédération de 3 grappes (IRISA, LIP, LIP6) De l’ordre d’une centaine de nœuds

3. Fédération de quelques dizaines de grappes (GRID 5000 ?) Plusieurs milliers de nœuds

Plate-forme d’émulation GdX Emulation des configurations réelles de type fédération de

grappes

15

Expériences GDS / GdX

Topologie hiérarchique Fédération de grappes Liens rapides intra-grappes, liens lents inter-grappes

Configuration Nombre de noeuds Topologie des interconnexions Capacité des liens : SAN, LAN, WAN Puissance des noeuds Capacité de stockage en mémoire vive Capacité de stockage sur disque OS: Linux, (autres ?) Volatilité des nœuds

Simulation de pannes/déconnections

Projet GDS de l’ACI MD

Projet PARISIRISA, Rennes

17

Présentation de l’équipe

Projet PARISThierry Priol

Compilation pour grappes et grilles,

MVPYvon Jegou

Grappes

Christine Morin

Support exécutif pour la grille

Christian Perez

Gestion des données sur la grilleLuc Bougé

Gabriel Antoniu

Positionnement du projet Simulation numériques distribuées Programmation des grappes et des grilles

Axe : gestion de données à très grande échelle

18

Projet PARIS : participants à GDS

3 Permanents : Thierry Priol, DR INRIA Rennes

Luc Bougé, Professeur ENS Cachan/Bretagne

Gabriel Antoniu, CR INRIA Rennes, coordinateur du projet GDS

2 Doctorants Mathieu Jan (INRIA/Région Bretagne)

Sébastien Monnet (Allocation de recherche ACI MD)

19

Plate-forme JuxMem

Plate-forme support pour le service GDS Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003) Architecture hiérarchique Stockage et accès transparent aux blocs de données Support de la volatilité des pairs

Utilisation de JXTA 2.0 Gestion des pairs, des groupes, des communications, etc Implémentation en tant que service JXTA Prototype en Java + 5 000 lignes de code

En cours Déploiement et tests basés sur le projet JXTA JDF

http://www.irisa.fr/paris/Juxmem/welcome.htm

20

Thèse de Mathieu Jan

Support : INRIA/Région Bretagne Thèmes de recherche

Conception plate-forme JuxMem Support multi-protocoles de cohérence Architecture sur JXTA

Gestion de la dynamicité/volatilité

Intégration dans DIET

Mécanismes de synchronisation en environnement P2P

21

Thèse de Sébastien Monnet

Support : allocation de recherche ACI MD

DEA 2003 Reprise d'applications parallèles dans les fédérations de

grappes Encadrants: C. Morin, R. Badrinath

Thèmes de recherche Protocoles de cohérence tolérants aux fautes Performance

Utilisation efficace des réseaux rapides Stratégies de sélection de copies basées sur des

mécanismes d’introspection

22

Premières interactions avec GRAAL

Point sur les besoins de DIET Caractériser la persistance Synchronisation Schémas d’accès aux données

Validation de l’architecture du prototype JuxMem Tests sur une application DIET simple

API du service Choix d’implémentation

Jusqu’à quel point utiliser JXTA ? Comment transférer les données ? Déploiement ? Redistribution des données ?

Visite de Mathieu Jan au LIP fin novembre ?

23

Premières interactions avec REGAL

Discussions/groupes de travail Sébastien Monnet, Fabio Picconi Stratégies de réplication Protocoles de cohérence tolérants aux fautes Introspection, localité Expérimentations en parallèle dans JuxMem et

dans P2PFS ?

Visite de Sébastien Monnet au LIP6 mi-novembre ?

24

Discussion

Fréquence des réunions 4/an + visites bilatérales ?

Next meeting ? Mi-décembre à Paris ?

Site web : http://www.irisa.fr/GDS Mailing list : acimd-gds@irisa.fr Collaborations externes

Philip Hatcher, UNH Bernard Traversat, project JXTA, Sun

Microsystems Présentation de papiers

PACT 2003