Data Management for Large-Scale Scientific Computations

in High Performance Distributed Systems

A. Choudhary, M. Kandemir, J. NoG. Memik, X. Shen, W. Liao, H. Nagesh, S. More, V. Taylor, R.

Thakur, and R. Stevens

Center for Parallel and Distributed ComputingDepartment of Electrical and Computer

EngineeringNorthwestern University

Introduction Contexte Analyse ConclusionApproche Expérimentation

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Data Management for Large-Scale Scientific Computations

in High Performance Distributed Systems

A.Choudhary, M. Kandemir, J. NoG. Memik, X. Shen, W. Liao, H. Nagesh, S. More, V. Taylor, R.

Thakur, and R. Stevens

Center for Parallel and Distributed ComputingDepartment of Electrical and Computer

EngineeringNorthwestern University

Introduction Contexte Analyse ConclusionApproche Expérimentation

Introduction

Recherche : Département de l’énergie Accélération stratégique de calcul Programme d’alliance académique

stratégique

Article : Gestion de données Calcul à grand échelle Système disturbé, grande performance

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Systèmes de gestion des données

Systèmes classiques : Systèmes de gestion des fichiers Systèmes de gestion des Bases des données

(DBMS)

Limites (SGF): Utilisation des pointeurs Fonctions propres à chaque système

(portabilité) Codage bas niveau, optimisation impossible

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Systèmes de gestion des données

Limites (DBMS ): Performance (vis-à-vis de quelque

architectures) Logique de consistance, intégration de

sémantique: obstacle devant la grande performance

DBMS: types des données, modèles de manipulation

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

L’approche des auteurs

Avantages des SGFs Avantages des DBMS Architectures parallèles

d’E/S

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

MDMS active

HSS

Inte

rface

Util

isate

ur

simple

Environnement de programmation

Introduction Contexte Analyse ConclusionApproche Expérimentation

L’environnement

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

MDMS: Meta-Data Management SystemHSS: Hierarchical Storage System

Introduction Contexte Analyse ConclusionApproche Expérimentation

Le MDMS

C’est Quoi ? : Middleware Interfaces communes Communication (Application,HSS avec

MDMS) Performance d’E/S Active (pas simplement un entrepôt de

données)Fonctionnalités:

Sauvegarde les informations concernant :- Dispositifs de stockages ASDs (App, HSS)- « storage patterns », « access patterns »- « suspended access patterns »- Contexte A(user, application)

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Le MDMS

Outils : « user directives », communication avec

l’application:- Layout directives: contrôle de HSS par

l’application- Access pattern directives: conseil de HSS du

seq. d’ E/S « common access (sharing) directives » « individual directives »: informations sur l’E/S

(accès au données):Implémentation : « user directives », tables relationnelles, OR-DBMS:

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Le MDMS

Exemple de directives :

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

access P(- , -)

organize P(BLOCK,*) storage DISK(4)

associate (R1,R2) with Tacess T(BLOCK,*) storage DISK(4)

Introduction Contexte Analyse ConclusionApproche Expérimentation

Le HSS

C’est Quoi ? : Système de gestion de stockage

hiérarchique HPSS, FPS, PIOFPS

Fonctionnalités: Maintenir les sauvegardes liées à la mise à

jours de méta données dans MDMS Traite les demandes d’optimisation d’E/S.D’où l’architecture de communication

suivante:

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Le HSS

Architectures d’E/S moderne: Augmenter le parallélisme d’E/S: augmenter

le nbre des unités de stockages Améliorer la politique d’accès

Bande magnétique: Run-time dédié: activer automatiquement,

ou par le compilateur:- La partie du fichier qui contient les

données- Transfert de la bande vers le disque- Extraction des données

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

L’interface Utilisateur

But : Simple Réduire le nombre des appels des fonctions

d’E/S Optionnelles

Fonctions :

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Architecture

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Résultats

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Points forts

Clarté : Pas besoin de connaissances extérieures Approche expliquée de façon structurée et

simple

Mise en valeur de l’approche : Besoin légitime Les composants MDMS et HSS Interface utilisateur simple

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Points faibles

Manque d’approfondissement : Article accessible mais peu de détails

techniques Implémentation de l’approche ? Comparaison par rapport à d’autre

approches ? Le HSS, quel HSS utilisé ? Et pourquoi ?

Présentation d’article04/02/04

B. Ben Hedia Metacomputing

Introduction Contexte Analyse ConclusionApproche Expérimentation

Conclusion

Un environnement de programmation flexible et simple

Supporté par le département d’énergie (fonctionnel)

Plus une introduction à un nouvel environnement de programmation qu’une description technique exhaustive

Présentation d’article04/02/04

B. Ben Hedia Metacomputing