ACI Masse de données Data Grid Explorer

GdX first meeting 1Septembre 16 2003

Grand Large

ACI MD GdX

ACI Masse de donnéesData Grid Explorer

Franck Cappello, Christophe Cérin, Pascale Primet, Olivier Richard,

Pierre Sens.

Grand LargeINRIA

ACI Masse de données

Data Grid Explorer

Franck Cappello, Christophe Cérin, Pascale Primet, Olivier Richard,

Pierre Sens.


Grand Large

ACI MD GdXACI MD Data Grid Explorer

Meeting 1: Building 41, second floor, room 203, September 16 2003, Jussieu

This first meeting aims at presenting the different partners of the Data Grid Explorer project.

09h00 Welcome address: Franck Cappello (LRI, Inria Grand-Large), 30 min. 09h30 TT1 "Emulation" session. Chair: Pierre Sens -Overall presentation of the Emulation topic: Pierre Sens (Lip6, Inria Regal), 20 min. -GDS: Grid Data Service: Gabriel Antoniu (IRISA), 30 min. -Scheduling Strategy for Large Scale Dist. Scheduling: S. Petiton (LILF, Inria Grand-Large), 30 min. 10h50 Break 11h10 TT1 "Emulation" session. Chair: Pierre Sens (Cont.) -A simulation tool for large scale nearest neighbor sched.: T. Herault (LRI, Inria Grand-Large), 30 min. -Experience with Dummynet, A. Jebali (Inria Ragal), 30 min. 12h10 Lunch at your own 13h40 TT2 "Infrastructure" session. Chair: Olivier Richard -Overall presentation of the Infrastructure topic: Olivier Richard (ID IMAG), 20 min. -Network Trace collection for emulation: Kave Salamatian (Lip6), 30 min -Large Scale Emulation with Proactive: Christian Delbe (INRIA Sophia), 30 min. 15h00 Break 15h10 TT3 "Network" session. Chair: Pascale Primet -Overall presentation of the Infrastructure topic: Pascale Primet (LIP, Inria Reso), 20 min. -Metrology, simulation, emulation limits and needs, Philippe Owersarski (LAAS, Olc), 30 min. 16h00 TT4 "Application" session. Chair Christophe Cerin -Overall presentation of the Infrastructure topic: Christophe Cerin (Laria), 20 min. -Molecular Biology a the Genome Scale, Christophe Blanchet (IBCP), 30 min. 16h50 Break 17h00 General discussion -organization of the first WP: platform hardware definition -next meeting date and topic -Web site/slide copies, etc. 18h00 Closing


Grand Large

ACI MD GdX

Open issues in Grid/P2P

• Security (GSI, CAS)• Data Storage/consultation/movement• Multi users/ Multi applications scheduling• Coordination (virtual, ephemeral infrastructure)• Programming• Fault Tolerance!• Scalability• Performance!• Easy/efficient deployment techniques• Application characterization techniques• Etc.


Grand Large

ACI MD GdX

Netbed (Emulab)Like « Modelnet »

Topology description => NS scriptUses DummynetMapping tools logic routers => actual hardwareNSE simulator (ns emulation)External Client nodes (40 DSL)

3 Sites


Grand Large

ACI MD GdX

Grid eXplorer

An experimentalconditions database orgeneration

An experimentalhardwareplatform

A tool set for conductingexperiments &measurements,result analysis


Grand Large

ACI MD GdX

Grid eXplorer : an instrument for understanding GRID and P2P systems

A set of sensors

An experimentalConditions data base

A Hardware platform :EmulationSimulation

A set of toolsfor analysis

Validation onReal life testbed


Grand Large

ACI MD GdX

Grid eXplorer (GdX) platform for eXperiments

A) “Mettre en œuvre, pour la communauté des chercheurs en informatique une plate-forme d’émulation des systèmes à grande échelle de type GRID, P2P ou des systèmes répartis en général : Data Grid Explorer.

B) Réaliser des expériences utilisant la plate-forme sur les systèmes à grande échelle en étudiant notamment la problématique des données massives (sécurité, fiabilité, performance). “

• 1K CPU clusters, configurable network and OS

• For Grid/P2P and Network research studies

• For Science and Application (not production!)

• Multi-users (batch, interactive, partition, etc.)

• Located/managed by IDRIS

GdX first meeting


Grand Large

ACI MD GdX

Grid eXplorer inside Grid 5000

Grid 5000

Grid eXplorer


Grand Large

ACI MD GdX

IMAG, ID (UMR 5132), Laboratoire d’Informatique et Distribution, Université de Grenoble

LaRIA (UPRES EA 2083), Laboratoire de Recherche en Informatique d’Amiens, Université de Picardie Jules Verne

LRI (UMR 8623), Laboratoire de Recherche en Informatique, Université de Paris-sud

LAAS-CNRS (UPR 8001), Laboratoire d'Analyse et d'Architecture des Systèmes

LORIA (UMR 7503), Laboratoire lorrain de recherche en informatique et ses applications

LIP-ENS Lyon (URM 5668), Laboratoire de l'Informatique du Parallélisme

LIFL (ESA 8022), Laboratoire d’Informatique Fondamentale de Lille

INRIA Sophia Antipolis, UNSA, I3S-CNRS

LIP6 (UMR 7606), Laboratoire d'Informatique de Paris 6

LABRI (UMR 5800), Laboratoire Bordelais de Recherche en Informatique

IBCP (UMR5086), Institut de Biologie et Chimie des Protéines

CEA, Direction des Technologies de l'Information (Saclay)

IRISA, Institut de Recherche en Informatique et Systèmes Aléatoires

Laboratories involved in GdX


Grand Large

ACI MD GdXAlain Lecluse (IBCP),Alexandre Genoud, (Projet OASIS, INRIA Sophia Antipolis)Antoine Vernois, (IBCP)Arnaud Contes, (Projet OASIS, INRIA Sophia Antipolis)Aurélien Bouteiller, (LRI),Bénedicte Legrand (LIP6)Brice Goglin (doctorant), (INRIA LIP RESO),Brigitte Rozoy (LRI)Cécile Germain (LRI) Christophe Blanchet, (IBCP)Christophe Cérin, (Amiens, Laria)Christophe Chassot, (LAAS-ENSICA),Colette Johnen (LRI)CongDuc Pham, (LIP)Cyril Randriamaro, (LaRIA)Denis Caromel, (Projet OASIS, INRIA Sophia Antipolis)Eddy Caron, (LIP/ENS Lyon), Emmanuel Jeannot, (Loria)Eric Totel (Supélec Rennes)Fabrice Huet, (Projet OASIS, INRIA Sophia Antipolis)Faycal Bouhaf (DEA)(INRIA LIP RESO), Franck Cappello, (LRI)Françoise Baude, (Projet OASIS, INRIA Sophia Antipolis)Frédéric Desprez, (LIP/INRIA Rhône-Alpes), Frédéric Magniette, (LRI)Gabriel Antoniu, (IRISA/INRIA Rennes), George Bosilca, (LRI)Georges Da Costa, (ID-IMAG),Olivier Gluck (Inria Reso)Géraud Krawezik (LRI)Gil Utard, (LaRIA)Gilles Fedak, (LRI)Grégory Mounié (ID-IMAG)Guillaume Auriol, (LAAS-ENSICA),Guillaume Mercier, (LaBRI),Guy Bergère, (LIFL, GrandLarge INRIA Futur)Haiwu He, (LIFL, GrandLarge INRIA Futur)Isaac Scherson, (LIFL, GrandLarge, INRIA Futur)Jens Gustedt (LORIA & INRIA Lorraine) Joffroy Beauquier (LRI)Johanne Cohen, (Loria)

Kavé Salamatian (LIP6), Lamine Aouad (LIFL, GrandLarge, INRIA Futur)Laurent Baduel, (Projet OASIS, INRIA Sophia Antipolis)Laurent Dairaine, (LAAS)Luc Bougé, (IRISA/ENS Cachan Antenne de Bretagne), Luciana Arantes (LIP6), Ludovic Mé, (Supélec Rennes)Luis Angelo Estefanel, (ID-IMAG)Marin Bertier (LIP6), Mathieu Goutelle, (KIP)Mathieu Jan, (IRISA) Michel Diaz, (LAAS-ENSICA),Michel Koskas (Amiens, Laria)Nicolas Lacorne, (IBCP)Nicolas Larrieu (LAAS-ENSICA), Nicolas Viovy (CEA-DSM-LSCE)Oleg Lodygensky, (LRI)Olivier Richard (ID-IMAG), Olivier Soyez, (LaRIA)Pascal Berthou, (LAAS-ENSICA),Pascale Vicat-Blanc Primet, (INRIA LIP RESO),Patrick Sénac, (LAAS-ENSICA),Philippe d'Anfray (CEA-DTI/SISC), Philippe Gauron, (LRI)Philippe Owezarski (LAAS)Pierre Fraigniaud, (LRI)Pierre Lemarini, (LRI)Pierre Sens (LIP6 / INRIA),Pierre-André Wacrenier, (LaBRI),Raymond Namyst, (LaBRI),Samir Djilali, (LRI)Sébastien Tixeuil (LRI)Serge Petiton, (LIFL, GrandLarge INRIA Futur)Stéphane Vialle (Supélec) Tanguy Pérennou (LAAS)Thierry Gayraud, (LAAS-ENSICA),Thierry Priol, (IRISA)Thomas Hérault, (LRI)Timur Friedman (LIP6)Vincent Danjean, (LaBRI),Vincent Néri (LRI)


Grand Large

ACI MD GdX

4 Research Topics

The 4 research topics and their leaders:

-Infrastructure (Hardware + system), Olivier Richard (ID-IMAG)-Emulation, Pierre Sens (LIP6)-Network, Pascale Primet (LIP, Inria RESO)-Applications. Christophe Cérin (Laria)


Grand Large

ACI MD GdXExpériences Infrastructure Emulation Réseau ApplicationI.1 Plate-forme X X X XI.2 VGrid X X

I.3 GriGrid X X

I.4 Complémentarité X

I.5 Nuage réseau et cal. X X X

I.6 Emul. Hétérogénéité X

I.7 Communication X

I.8 Emul. Internet X X X

II.1 Ingénierie 1 X X X

II.2 Objets mobiles X X

II.3 Gestion des fautes X X

II.4 Table de hach. X

II.5 Base de données X X

II.6 Ordonnancement X X

II.7 Compil. Comm. X

II.8 Partage de données X X

II.9 Unicast et multicast X X

II.10 Automate cellul. X X

II.11 Bioinformatique X

II.12 Stockage P2P X X

II.13 Fiabilité X X X

II.14 Sécurité X X X

II.15 Internet NG. X X X

II.16 Grd sys. couplés X


Grand Large

ACI MD GdX

I.1 Grid Explorer : définition de la plate-forme matérielle et logicielle

I.2 VGrid : Un émulateur de systèmes à grande échelle

I.3 GRIGrid : Gestion des Ressources Internes à la Grid

I.4 Étude de la complémentarité des approches d'évaluation par

simulation et émulation

I.5 Construction d’un émulateur « nuage réseau » de grille et

calibrage des outils de mesures de performance réseau.

I.6 Émulation de l’hétérogénéité pour la gestion des ressources

I.7 Etudes des communications à grande échelle

I.8 Un émulateur réaliste de l’Internet utilisant des informations

de métrologie

Etudes liées à l’instrument


Grand Large

ACI MD GdX

II.1 Mécanismes, protocoles et ingénierie des systèmes à grande échelle

II.2 Protocoles de localisation d'objets mobiles dans les systèmes à grande échelle

II.3 Gestion des fautes dans les systèmes à large échelle

II.4 Tables de hachage réparties pour les systèmes pair-à-pair

II.5 Bases de données

II.6 Mise au point et évaluation de stratégies d’ordonnancement

pour le calcul grande échelle pair à pair

II.7 Compilation de communications volatiles pair à pair

II.8 Service de partage de données modifiables pour le calcul sur grille

II.9 Evaluation de protocoles pour le transport unicast et multicast de grandes

masses de données

II.10 Automates cellulaires étendus et leurs simulations transparentes sur la grille

II.11 Bioinformatique moléculaire à l’échelle des Génomes : évaluation sur émulateur

de très grands systèmes

II.12 Evaluation de stratégies de placement et de communication pour le stockage pair à pair

II.13 Fiabilité dans les systèmes à large échelle

I.14 Sécurité dans les systèmes à large échelle

II.15 Architectures protocolaires pour l’Internet nouvelle génération multi-domaines

et multi-réseaux

II.16 Grands Systèmes Couplés Dynamiques en Simulation Numérique

Etudes utilisant l’instrument


Grand Large

ACI MD GdX

Equipement Fonctionnement Vacations CDD Total

(Hors vacations,

Hors CDD)

Partenaire 1 (LRI)

754 000 € 12 572,00 € 0,00 € 57 500 € 824 072,00 €

(coordinateur)

Partenaire 2 (IMAG-ID)

12 572,00 € 57 500 € 70 072,00 €

Partenaire 3 12 572,00 € 12 572,00 €

(LaRIA)

Partenaire 4 23 000,00 € 8 628,00 € 31 628,00 €

(LAAS)

Partenaire 5 23 000,00 € 4 316,00 € 27 316,00 €

(LIP6)

Partenaire 6 8 628,00 € 8 628,00 €

(LORIA)

Partenaire 7 12 572,00 € 12 572,00 €

(LIP-ENS-Lyon)


Grand Large

ACI MD GdX

Partenaire 9 8 628,00 € 8 628,00 €

(INRIA-Sophia)

Partenaire 10 8 628,00 € 8 628,00 €

(LABRI)

Partenaire 11 8 628,00 € 8 628,00 €

(IBCP)

Partenaire 12 8 628,00 € 8 628,00 €

(CEA)

Partenaire 13 0,00 €

(IRISA)

Total 800 k € 115 k € 0,00 € 115 k € 1 030 k €

Partenaire 8 8 628,00 € 8 628,00 €

(LIFL)

Equipement Fonctionnement Vacations CDD Total


Grand Large

ACI MD GdXA Software architecture for

studying the impact of Large Scalein Distributed Syst. and Networks.

Visualization tools Parameters 2D 3D

Result generators Dynamic Batch One shot

Experiment Engine Simulator Emulator Testbed

Workload/traficActual

conditionsActual traces

Generator


Grand Large

ACI MD GdX

Experimental conditions: Sensors/DB!N

um

ber

of

connect

ed u

sers

Acc

um

ula

ted n

um

ber

of

use

rsDate Class number

A study made by IMAG for “GRID Explorer”User characteristics of French ADSL One week of the ADSL as seen by Lagrenouille

# connections increases during daytime up to a maximumUsers are behaving differently (if we consider a vector of hours (1 if connected,0 if not), the 4373 users of Jan 7 belong to 1710different classes !!!)

noon 2PMSun

day

More4373users

Classification consideringUser connection vector +hamming distance of 1Between user conn. Vect(508 classes)


Grand Large

ACI MD GdX

Task negotiation (red)/distrib. (Green)

Observing large scale phenomenon: 3D visualisation/traces, etc.


Grand Large

ACI MD GdX

www.lri.fr/~fci/GdX

Web site


Grand Large

ACI MD GdX"Enabling Grid'5000" Action Specifique du RTP 8 du CNRS

Meeting 1: September 17 2003, CNRS, Room Frederic Joliot, 3 Rue Michel Ange, Paris

This first meeting will present: a) the Grid'5000 effort, b) experience of an early Grid project, and a first mini-workshop on Security. The central issue of the workshop is to investigate how we can setup the security of a Grid runtime environment which should allow the test of Grid middleware such as Globus, Legion, XtremWeb, etc. 09h30 Welcome address + some info about other Grid experimental platforms 10h15 Grid'5000 call for proposal : Michel Cosnard 11h00 Break 11h15 e-toile experience : Pascal Primet, ENS Lyon 12h00 Lunch at your own 13h30 Security : the INRIA VPN : Claude Inglebert, INRIA Futurs 14h15 Security at the LRI : Jean-Claude Barbet, LRI 14h45 Security and Certificats : J.-L. Archimbaud, UREC (tentative) 15h15 Break 15h30 General discussion (1) -which objective(s) for the AS? -discussion groups & leaders ? 16h30 Break 16h45 General discussion (2) -which Grid center(s) to visit? -next meeting date and topic 17h45 Closing


Grand Large

ACI MD GdXGeneral discussion

-Deliverables A big? Report + developed software + publications + presentations (invited or not) + grants deriving from GdX + etc.

First important milestone: platform definition Mailing list (open on September 22 week)

-Next meeting date and topic: Platform definition: December 12, Lyon,organized by Olivier Richard (mid term meeting: October 15)

Meeting Frequency: 4 meetings per year (should be validated by theACI MD director and Scientific committee)

-Cooperation with Emulab/netbed??? (running their software)

-Web site/slide copies, etc 1 Web site @ LRI gathering all info(privileged access for the Topic leaders

-Publications/presentations: Please mention ACI MD (acknowledgments), use the future ACI MD logo

-GdX @ BIG conferences (poster at the INRIA booth of SuperComputing 2003?)

ACI Masse de données Data Grid Explorer

Documents

Transcript of ACI Masse de données Data Grid Explorer