Background
Meeting tra HEPCCC e funzionari EU (12/11/99) Finanziamento EU per un progetto di
computational and data grid per HEPMeeting tra CERN (coordinatore) e
rappresentanti Stati (11/1/00)
Project
Main focus: computing per LHCPossibile partecipazione di altri esperimenti HEPPartecipazione di comunita` scientifiche non
HEPCollaborazioni con progetti GRID americani
(PPDG, GriPhyn, ...)Collaborazione con partner industriali3-5 anniDefinizione di 2 working group (politico, tecnico)
per definire un project proposal
Timescale
Chep2000: Project outlineWorkshop 7/3: Draft project proposalMay 10: submission to EU
Aims of Tech. WG
What’s there already ? Study of current work, proposed
projectsWhat do we need in preparation for
LHC ?What is missing ?
What’s there already ?
Grid Forum, The European Grid Forum Globus Legion NASA Information Power Grid PPDG Apogee Griphyn China Clipper Univ. of Adelaide Distributed and High Performance
Computing Grid ...
INFN & “Grid Related Projects”
Sperimentazioni GlobusCondorMonarc
What is needed for LHC ?
Qual e` il modello di computing da considerare ?
Quali sono le esigenze in termini di calcolo e data management ?
Che tipo di processing si devono considerare ?
Quali sono i servizi necessari ?V. “Testbed for LHC Computing: Computing
Fabrics and Regional Centres”
Cosa ci serve/ci interessa ?
Distributed processing (si muove l’applicazione dove stanno i dati) ?
Distributed caching (i dati vengono spostati dove sta l’applicazione) ?
Entrambi ?? XX
Cosa ci serve/ci interessa ?
Elaborazioni: Schedulate ? “Caotiche” ? Entrambi ? XX
Cosa ci serve/ci interessa ?
Possibilita` di usare diversi sistemi di storage per i dati (Unix file systems, nastri, MSS, http servers, ecc...) ? NO Necessaria interfaccia unifome per
lettura, scrittura, copia, ...Namespace unico per i dati (naming
indipendente dalla locazione e dal sistema di storage usato) ? SI
Cosa ci serve/ci interessa ?
Accesso trasparente ai dati da parte dell’utente ? SI L’utente non sa:
Dove sono Lo storage system usatoCome e dove vengono spostati
Network Data Replication ? SINetwork Data Caching ? SISincronizzazione tra le varie repliche
dello stesso dato ? SI, loose
Cosa ci serve/ci interessa ?
Wide Area Data mover tra diversi storage systems ? Per bulk data transfer ? SI Per analisi interattive ? SI
A che livello ? NON SAPPIAMO DIRLO File ? Oggetto ? DB ? Sequenza di bytes ? NO
Cosa ci serve/ci interessa ?
Modulo per trovare la replica piu` “vicina”, e ne stima il costo di accesso ? SI
Modulo per stimare il costo necessario per creare una nuova replica ? SI
Parametri dimensione dei dati costo di accesso agli storage storage systems stato della rete possibilita` di riservare network bandwidth ...
Cosa si serve/ci interessa ?
Application metadata ? SI Descrizione dei dati (cosa contiene un certo dato, in che
circostanze e` stato generato, ecc...) Servizio usato dalle applicazioni per queries, per definire
i dati da elaborare, ecc... Mapping tra “nomi logici” (usati dalle applicazioni) e
istanze fisiche Possibilita` di definire collezioni, gerarchie, ecc...
Serve ??? SI O si usano i meccanismi di astrazione del DBMS ???
Cosa ci serve/ci interessa ?
Tertiary storage (nastri) solo per archiving/backup o anche per i dati “attivi” ARCH/BAC
Mass Storage Systems (HPSS, Enstore, ecc...) ? NO, ALMENO ADESSO
Cosa ci serve/ci interessa ?
Network Workload Management ? SIAccesso trasparente ai processori da parte
dell’utente SI L’utente non sa:
Dove sono i processoriCome vengono allocati
Matchmaking basato su: Requirement e profilo dell’applicazione Stato dei sistemi Stato del networking Wide area data location ...
Cosa ci serve/ci interessa ?
Integrazione di diversi resource manager locali ? SI
Standard language per definire e sottomettere al sistema i job ? SI
Cosa ci serve/ci interessa ?
Risorse computazionali eterogenee ? SIPossibilita`di definire priorita`, policies
sull’uso delle risorse (in base al tipo di applicazione, all’utente, ecc...), ecc... ? SI
CpuS solo dedicate o necessita` di sfruttare anche risorse “general purpose” ? ???
Cosa ci serve/ci interessa ?
Networking Meccanismi di QoS per poter gestire
diversi tipi di traffico, con diverse caratteristiche, con diverse priorita` ? SI
Meccanismi per allocare bandwidth ? SI Studio delle configurazioni ottimali dei
protocolli di rete ? Storage Area Networkin Wide Area
Cosa ci serve/ci interessa ?
Installazione e update automatico del sw su centinaia/migliaia di ws ? SI Remote Installations Version Management Management of application installation
dependecies ...
Cosa ci serve/ci interessa ?
Monitoring ? SI servizi host cluster networking applicazioni
Individuazione di fault, di congestioni, ... ? SI SI
Cosa ci serve/ci interessa ?
Allarmi SIServizi per il “recupero” automatico
da situazioni di failure SIAccounting sull’utilizzo delle risorse
SI
Cosa ci serve/ci interessa ?
Problem management ? SI Sistemi di identificazione automatica
delle cause di malfunzionamenti o degrado delle prestazioni
Cosa ci serve/ci interessa ?
Gestione delle autenticazioni ? SI Singola autenticazione per tutta la GRID
Gestione delle autorizzazioni ? SI Possibilita` di definire autorizzazioni per i vari
tipi di accesso alle varie risorse da parte degli utenti
Protezione della GRID infrastructure da: SI intrusioni ? compromissione dell’integrita` e/o privacy delle
informazioni ? ...
Cosa ci serve/ci interessa ?
Information service ? SI Caratteristiche, stato, allocazione,
policies d’uso, performance, ecc... di:HostsStorage systemsNetworking
Attributi statici e dinamici Popolato e aggiornato automaticamente
Cosa ci serve/ci interessa ?
Bookkeeping ? SI Informazioni da registare per ogni
processingdati di input dati di outputesito del processing...informazioni “application dependent”
Cosa ci serve/ci interessa ?
Web User Interface per la definizione dell’applicazione da
parte dell’utente ? SI, NON GRAFICAPer definire interdipendenze tra diversi task
(time dependencies, data dependencies, ...) NO
per il submit dei job al sistema ? SI per il monitoring dell’applicazione ? SI ...
Cosa ci serve/ci interessa ?
Applicazioni parallele ? NOMessage passing libraries ? NO
MPI PVM ?
Cosa ci serve/ci interessa ?
... ???... ???
Top Related