ITALIAN NATIONAL AGENCY

[email protected] finale dei Progetti Grid del PON "Ricerca" 2000-2006 - Avviso 1575

ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY

AND THE ENVIRONMENT


ContenutoL’Infrastruttura ENEA-GRID

Il progetto CRESCO: i risultati scientifici ed i “Laboratori Virtuali”

Una infrastruttura Nazionale ICT a supporto dello sviluppo del sistema “Paese”

Silvio Migliori Responsabile ScientificoAndrea Quintiliani Responsabile Amministrativo

ENEA-Dipartimento Tecnologie Fisiche e Nuovi Materiali (FIM)

Il Progetto CRESCO ed ENEA-GRID


Ringraziamenti (1) Ministero della Ricerca e dell’Università (MUR) Direzione dell’ENEA Capo Dipartimento Ing. Sandro Taglienti Comitato Scientifico: J. Dongarra, A. Mathis, D.

Ferrari Macrostruttura di progetto : Andrea Quintiliani,

Vittorio Rosato, Sandro Bologna Collaboratori direttamente coinvolti : Giovanni Bracco,

Salvatore Podda, Samuele Pierattini, Pietro D’Angelo, Daniele Remoli, Pasquale Cuomo, Francesco Beone, Antonio Perozziello, Carlo Pinto, Gazziano Furini,Cristina Baracca, Giorgio Mencuccini, Erminia Mattei, Gloria Tabili, Nadia Mencucci, CaterinaVinci, Dante Giammattei, Alessandro De Stefano,Vincenzo Colaci,, Matteo De Rosa

Il personale dell’Unità FIM-INFOGER coordinata da Roberto Guadagni


Ringraziamenti (2)

Il personale del Centro ENEA di Portici e il Direttore Ezio Terzini

I ricercatori assegnisti di ricerca del progetto CRESCO Università, Consorzi e Società Partner di progetto Tutti i Ricercatori ENEA ed i rispettivi responsabili

coinvolti (circa 60 ricercatori dei Centri di Portici, Trisaia, Brindisi)

Il personale delle unità dell’Ufficio di Presidenza coordinate da Susanna Del Bufalo, Elisabetta Pasta e Diana Savelli

Il personale della ditta Computer Var e IBM per la realizzazione dell’infrastruttura


TELEMICROSCOPY & GRID - BASED COMPUTINGTELEMICROSCOPY & GRID - BASED COMPUTINGREMOTE ACCESS FOR DATA ACQUISITION AND ANALYSISREMOTE ACCESS FOR DATA ACQUISITION AND ANALYSIS

QuickTime™ and a YUV420 codec decompressor are needed to see this picture.

Cell Centered Data Base Cell Centered Data Base ““CCDB”CCDB”

IMAGING-INSTRUMENTSIMAGING-INSTRUMENTS COMP.-RESOURCESCOMP.-RESOURCES MULTI-SCALE-DATA-BASESMULTI-SCALE-DATA-BASES

NETWORKNETWORK

ADV.-COMP.-GRAPHICSADV.-COMP.-GRAPHICSDATA ANALYSISDATA ANALYSISDATA ACQUISITIONDATA ACQUISITION

By-Mark EllismanBy-Mark Ellisman


ENEA-GRID

Sensor nets

ENEA-GRID

Nasce nel 1998 con 6 cluster geografici “ Quadrics Ape100” Principali finalità

– Fornire ai ricercatori ENEA un ambiente unificato per l’utilizzo delle risorse informatiche eterogenee distribuite nei diversi centri di calcolo o Dipartimenti;

– Realizzare un’infrastruttura che avesse la possibilità di distribuire i livelli di gestione e sviluppo conservandone l’unicità architetturale e di utilizzo;

– Integrarsi con le principali infrastrutture ICT nazionali ed internazionali

www.afs.enea.it/project/eneagrid

Data archivesColleagues & 3D

Softwarecatalogs

ComputersApplication

Fabric

Connectivity

Resource

Collective

User


ENEA-GRID from the user point of view Main feature:

– Access from any kind of connection– Sharing data in world wide areas (geographical file system AFS) – Access to the data from any kind of digital device client – Running any kind of programs – Access to National and International GRIDS

Sensor nets

Data archives

Computers

Portici (

Roma-1

Bologna EU…Brindisi Roma-2

Trisaia

Software catalogs

ComputersComputersComputers

Computers

Sensor netsEN

EA

-GR

ID


ENEA-GRID from application point of view Potentiality:

– Running all Software Model for any kind of computer architecture – Only one installation for each software for all geographical computers– All authorized users can have access the software from local site – Any application can share the data in the common geographical file system– All sensors can share the data easily using the geographical file systems

Sensor nets

Computers

Portici (

Roma-1

Bologna EU…Brindisi Roma-2

Trisaia

Software catalogs

Computers

Computers

Sensor netsEN

EA

-GR

ID

Software Model 1

Software Model 2

Software Model 3

Software Model ..

Rules

Computers


AFS Geographical cross platform & File System

AIX SGI SUN HP Win

Linux

Linux Alpha

…

LSF

User programs and commercial codes

LSF multi-cluster as integrator

XTERM

Graphical User Interface

Application Portal (ICA-Protocol)

ICAWEB

Qu

ality

of

serv

ice

Mon

itori

ng

, A

uto

mati

c r

ecovery

Accau

nti

ng

ENEA GRID


Load Leveler LSF

Graphic User Interface LSF multi-cluster as integratorTelnet

User programs & commercial code

ICAWEB

Cluster 5° ( Portici)

& File System

Load Leveler LSF

Graphic User Interface

Telnet

ICAWEB

Cluster 6° ( Brindisi)

AFS Geographical cross platform& File System

Load Leveler LSF

Graphic User Interface LSF multi-cluster as integrator

Telnet


ICAWEB

Cluster 2° (Casaccia)


Load Leveler LSF


Telnet


ICAWEB

Cluster 4° (Trisaia )


Load Leveler LSF


Telnet


ICAWEB

Cluster 3° (Frascati)


Load Leveler LSF


Telnet


ICAWEB

Cluster 1° ( Bologna)

A Simple view of ENEA GRID

10


I centri computazionali di ENEA-GRID L'ENEA, Ente per le Nuove

tecnologie, l’Energia e l’Ambiente

Le principali presenze nel territorio nazionale sono rappresentate da 12 centri di ricerca di cui 6 sono corredati di infrastrutture per il calcolo scientifico e grafica 3D:

Bologna Casaccia(Roma Nord)Frascati Trisaia (MT) Portici (NA) Brindisi

L’intera infrastruttura è progettata, sviluppata e gestita dal Dipartimento Fisica dei Materiali (FIM)

Centrodi Brindisi


L’ENEA gestisce in proprio le reti locali (LAN) su tutti I centri mentre la connettività fra i centri (WAN) è garantita dal “Consortium GARR” di cui l’ENEA è socio

Connessioni delle LAN ENEA alla rete GARR

ENEA & GARR

9 PoP, da 18 a 1000 Mbps

Centri ENEA-GRIDBrindisi (150 Mbps)Bologna (30 Mbps)Casaccia (100 Mbps)Frascati (135 Mbps)Portici (2000 Mbps) New Fibra Spenta CRESCO-SCOPETrisaia (18 Mbps)


CASACCIACASACCIA

FRASCATIFRASCATI

S.TeresaS.Teresa

SaluggiaSaluggia

IspraIspra

BOLOGNABOLOGNA

PORTICIPORTICI

TRISAIATRISAIA

BRINDISIBRINDISI

ManfredoniaManfredonia

Centri computazionali ENEA-GRID

902750

400

140

30

#CPU/Core

45


RISORSE COMPUTAZIONALI ENEA-GRID

I centri di calcolo e suppercalcolo di Portici (NA) , Brindisi e Trisaia (MT) sono stati potenziati con i progetti PON TELEGRID (Avv. MIUR 68)CRESCO (Avv. MUR 1575)

Frascati(4), Portici(34),Trisaia(4), Brindisi(4)

10046Windows 32/64

Frascati(1), Trisaia(13)6014Mac OS X

Trisaia(4), Casaccia(2), Bologna(2)108Solaris

Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5)

4026IRIX

Casaccia30064Linux IA64 (Altix)

Frascati(140), Casaccia(54), Portici(2700),Trisaia(20), Brindisi(84)

25000>3000Linux x86 32/64

Frascati(258), Bologna(24), Portici(18),Brindisi(2)

3000>300AIX

Gflops#CPU/Core OS


Jack Dongarra 2002

CRESCO in the Top500 List June 2008

Italy (06/2008)

90 CINECA

125 ENEA

131 ENI

135 CILEA

156 CINECA

226 Telecom


AccessoClient

AccessoWEB

sp5-1.frascati.enea.it

pace.bologna.enea.it

dafne.casaccia.enea.it

2 0 0 9

GEANT

infocal.trisia.enea.it

Gatewayto

EGEE & GRISU

Portici

Brindisi

Kleos.portici.enea.it

ercules.brindisi.enea.it

AccessoDiretto www.afs.enea.it/project/eneagrid

www.cresco.enea.it


GARR

PI2S2

GARR Altri Enti e realtà

La ENEA-GRID interopera con altre GRID

ENEA ha sviluppato la soluzione “shared proxy”

•Conserva l’autonomia architetturale interna

•Consente implementazioni multipiattaforma

•In produzione in EGEE

•In produzione per la rete GRISU•Richiesto da EFDA per l’accesso ad EGEE

EFDAEGEE


CASACCIACASACCIA

FRASCATIFRASCATI

S.TeresaS.Teresa

SaluggiaSaluggia

IspraIspra

BOLOGNABOLOGNA

PORTICIPORTICI BRINDISIBRINDISI

ManfredoniaManfredonia

ENEA-GRID & GRISU & IGI

ENEA-GRID

SPACI

TRISAIATRISAIA

GRISU

INFN-GRID

IGIItalian GRID Infrastructure


ENEA-GRID: Interoperabilità

L'interoperabiltà con gLite: realizzata col metodo SPAGO (Shared Proxy Approach for Grid Objects): una o piu' macchine proxy gLite che condividono lo spazio disco con i worker node ENEA-GRID

GARRPI2S2

GARR

G. Bracco, IES08, Napoli, May 27-29 2008

ENEA-GRID


Il progetto CRESCO(PON 1575)


Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi

Linee di attività progettuali LA1 Realizzazione del Polo di calcolo e sviluppo di

nuove funzionalità di GRID Computing

LA2 Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi

LA3 Sviluppo di modelli di simulazione ed analisi delle Reti Tecnologiche complesse e delle loro interdipendenze (energetiche, telecomunicazioni, trasporti,…)


N° 7 Scientific Relations Session 1 Impact of a two-way grid refinement at the Strait of Gibraltar on the

thermohaline circulation of the Mediterranean Sea

Porting the MIT-Global Circulation Model on the Cell section of the CRESCO System

Session 2 Parallel implementations of Genetic Algorithms for parameters estimate of

metabolic pathways

Materials for hydrogen storage: ab-initio Molecular Dynamics study in the ENEA-GRID environment

Session 3Numerical Simulation of Turbulent Combustion on CRESCO Platform ENEA-GRID and gLite Interoperability: robustness of SPAGO approach New ENEA-GRID Integrated Support Services for CRESCO


N° 16 Poster CRESCO

1. Software tools for monitoring ENEA GRID with CRESCO cluster integration.

2. Parallel programming in Matlab environment on CRESCO cluster, interactive and batch mode.

3. Parallel implementations of the genetic algorithm for parameters estimate of metabolic pathways.

4. OpenFOAM and Fluent features in CFD simulations on CRESCO High Power Computing system.

5. Laser scanner technologies and 3D models integration: analysis and methodological approach.

6. Web Crawling on ENEA GRID infrastructure to perform Web Archive.

7. A new metric to describe the efficiency of data communication networks.

8. Applications of imaging analysis to tokamak fusion plasma by eneagrid technologies


Poster CRESCO

9. CUDA based implementation of parallelized Pollard’s Rho algorithm for ECDLP

10. Numerical and Statistical tools for images analysis based on the database from Frascati Tokamak Upgrade.

11. Interdependencies among critical infrastructures.

12. CRESCO HPC system integrated into ENEA grid environment

13. Analysing a large Telecommunications Network on failure/repair sequences by NS2 simulation on a computational grid.

14. Visualization of 3D laser scanner data from an archeological site using openscenegraph in ENEA-Grid environment.

15. Models and tools for the evaluation of service availability of interconnected networks.

16. MAGO Monitoring all Grid Objects


Stand CRESCO

Accesso sistema CRESCO/ENEA-GRID

Visualizzazione 3D dati scientifici

Descrizioni generali attività ENEA-GRID


Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi

Potenziamento delle funzioni tradizionali dell’ENEA la ricerca – sarà fornito supporto (di tipo sia capacity che

capability), attraverso l’utilizzo dell’infrastruttura di calcolo, ad attività di ricerca già in corso di svolgimento nell’Ente nell’ambito delle linee programmatiche esistenti; tali attività potranno anche avere una focalizzazione di natura industriale;

la formazione – potranno essere potenziate le attività di formazione, in collaborazione con alcune sedi universitarie, al fine di supportare la diffusione delle metodologie sviluppate all’interno del Polo Multidisciplinare negli ambiti tematici oggetto di studio e ricerca, con positive ricadute anche nella creazione di percorsi formativi adatti al successivo reclutamento di personale;

il trasferimento tecnologico – verranno istituiti percorsi ed attivati idonei strumenti per favorire l’applicazione industriale delle tecnologie sviluppate, anche ricorrendo alla collaborazione di idonei partner (“industrial-exploitation partner”).


Macrostruttura del progetto

Silvio MIGLIORIResp. Scientifico

Comitato Scientifico

Sandro TAGLIENTIDirettore INFO

Andrea QUINTILIANIResp. Amministrativo

Silvio MIGLIORICoord. LA1

Vittorio ROSATO Coord. LA2

Sandro BOLOGNACoord. LA3

Comunicazione e Mktg(TBD)

Prof. Jack DongarraProf. Domenico FerrariProf. Agostino MathisDirettore dipartimento FIM


Partner di progetto Università di Salerno Università di Catania Università di Lecce Università di Palermo Università Campus Biomedico Università del Piemonte Orientale Università di Roma “Tor Vergata” Università di Roma “La Sapienza” Consorzio Interuniversitario ECONA Consorzio Interuniversitario CASPUR Consorzio CRIAI Consorzio CETMA Centro di ricerca CERI Parco Scientifico e Tecnologico della Sicilia Soc. Ylichron (spin-off ENEA)


Struttura a blocchi del sistema HPC CRESCO

Portici LAN

Interconnessione InfiniBand4XDDR SERVER GPFS

4 Nodi IBM 3650

IBFC

Sistema Dischi ad alta velocità

2 GByte/s160 TByte

IBM/DDN 9550

Sistema backup300 TByte

IBM Tape Library TS3500 con 4 drive

SERVER BACKUP3 Nodi IBM 3650

FCIB

GARR(WAN)

Sezione 1(Grande Memoria)

42 Nodi SMP IBM x3850-M2 con 4 Xeon Quad-Core Tigerton E7330 (32/64 GByte RAM 2.4GHz/ 1066MHz/6MB L2) per un totale di 672 core Intel Tigerton

Sezione 3(Speciale)

4 Nodi blades IBM QS21 con 2 Cell BE Processors 3.2 Ghz each.6 Nodi IBM x3755, 8 Core AMD 8222 con una scheda FPGA VIRTEX54 Nodi IBM x 3755, 8 core AMD 8222 con schede NVIDIA Quadro FX 4500 X2 4 Nodi windows 8 core 16 Byte RAM

Doppia Intercconnessione a 1 Gbit1 Rete a 1 Gbit di gestione

Sezione 2(Alto Parallelismo)

256 Nodi blades IBM HS21 con 2 Xeon Quad-Core Clovertown E5345 (2.33GHz/1333MHz/8MB L2), 16 GB RAM per un totale di 2048 core Intel Clovertown

4x10 Gbits 2000 Mbits

35 Nodi di Servizio

Server di :•Front-end•insallazione•AFS•… S

CPE

Fibra Spenta


Rete INFINBAND CRESCO

SFS-7000D (D) SFS-7000D (e) SFS 7000D

SFS 7000D

SFS 7000D

SFS-7024-288P

4 X FRONT END GRAFICI

2X GPFS NODE

2X GPFS NODE

SFS 7012-144-P

4X FRONT END

FCFC

(2)

(4)

(4)

(4)

(4)

42 X 3850M210 X 3755 4X HS214 QS21

SECTION 1SECTION 3SECTION 4

252 X HS21SECTION 2

SM (ACTIVE) SM (standby

(4)

(4)

4 X FRONT END GRAFICI

4X FRONT END

2X GPFS NODE

(4)

(4)

(4)

(2)(2)

(2)(2)

(2) (2)

(4)

BACK-UP

STORAGE IBM DCS 9550

(4)

G. Bracco, IES08, Napoli, May 27-29 2008

InfiniBand 4x DDR 20 Gb/s


Sala Calcolo CRESCO


Particolari HPC CRESCO

Sezione 1 & 3 Sezione 2 & DDN

Sala controllo Sistema backupRETI: IB/GB

Corridoio CaldoSezioni 1 &2


ENEA-GRID & CRESCO

Il supercalcolatore CRESCO è integrato in ENEA-GRID


ENEA-GRID & CRESCOMonitoring


ENEA-GRID & CRESCOSupport / Seminars


Le potenzialità computazionali ENEA-GRID & CRESCO

Un sistema eterogeneo con più di 3000 CPU/core

Codici Risorsa

seriali Sezione 1 & ENEA-GRID

paralleli fortemente accoppiati Sezione 2

paralleli debolmente accoppiati Sezione 1, 2, ENEA-GRID

costituiti da più codici paralleli Sezione 1, 2, Sezione 1+2

speciali ( FPGA, GB, CELL) Sezione 3

windows (seriali e paralleli) Sezione 3

non disponibili per LINUX ENEA-GRID

con Data Base di grandi dimensioni

Sezione 1,2,3 e GPFS


ENEA-GRID & i Laboratori Virtuali

Li

ENEA

Università e altri Enti di ricerca

Imprese

Schema concettuale dei Laboratori Virtuali supportati dall’infrastruttura ENEA-GRID potenziata dal sistema HPC del progetto CRESCO


Opzioni di sottomissioneOpzioni di sottomissione

Opzioni Fluent:Opzioni Fluent:

Esempio di utilizzo industrialeEsempio di utilizzo industriale di FLUENT sulla GRID-ENEA di FLUENT sulla GRID-ENEA

Utente presso la sede industriale Si

cure

zza

ind

ustr

iale

Sicu

rezz

a E

NE

A


Aviogroup: test di un’applicazione industrialeAviogroup: test di un’applicazione industriale

Test per la simulazione distacco I- II stadio VEGA(Tipo di calcolo HPC)

Fase 1 Fase 2 Fase 3

Attività CFD sul GRID ENEA (1)


Attività CFD sul GRID ENEA (2)

Un set di 3 analisi CFD è stato dedicato al calcolo del carico radiativo sulla base del 1° stadio del Vega in diverse condizioni di volo.

E’ stato adottato un approccio bi-fase (fase gassosa + particelle solide di allumina) con il modello radiativo.

Celle di calcoloAVIO hardware

(4CPU)ENEA Grid

(8CPU)

400,000 15 7 53%

Tempo macchina per 1 CFD [gg] Guadagno tempo

[%]


Attività CFD sul GRID ENEA(3)

E’ stata realizzata un’analisi CFD per valutare l’interazione meccanica tra le particelle di allumina e la parte di sommergenza dell’ugello all’interno del motore del 3° stadio del lanciatore Vega.

Celle di calcoloAVIO hardware

(4CPU)ENEA Grid

(8CPU)

1,500,000 25 10 60%

Tempo macchina per 1 CFD [gg] Guadagno tempo

[%]


Sperimentazione in corso sul GRID-ENEA con PMI e Consorzi

Simulazione flussi di aria nei vagoni ferroviariCETMA

(Tipo di calcolo HPC)


Sperimentazione in corso sul GRID ENEA con PMI e Consorzi

Simulazioni particolari di un CATAMARANO(Tipo di calcolo HPC)

CETMA


CFD case study 2: hydro-dynamics analyses of Fast Ship T-Foil systemCFD case study 2: hydro-dynamics analyses of Fast Ship T-Foil system

Detail of T-foil meshDetail of T-foil mesh

Results: pressure contour (Pa): flap 0° , cruising speed 31.5 knotsResults: pressure contour (Pa): flap 0° , cruising speed 31.5 knots

T-Foil

3D Model: trimaran + T-foil3D Model: trimaran + T-foil

Mesh: 15 Millions of cells with dimensions ranging from 1 mm to 550 mm

Need of HPC: ENEA GRID

The analyses were carried out using 16 CPUs on ENEA GRID with a total running time of 70 h.

Centro di Progettazione, Design & Tecnologie dei MaterialiCentro di Progettazione, Design & Tecnologie dei Materiali


Modello concettuale per il sistema produttivo

Canale dedicato industria A

Can

ale

dedi

cato

indu

stria

CCanale dedicato industria B

Richieste delle imprese•Sicurezza dei dati•Qualità del servizio•Strumenti Competitivi•Proprietà Intellettuale•Gestione Licenze

EGEEINFN_GRID

GRISU

INTER

OPE

RA

BILTA

’

(IG

I)

Sistema GRID•Potenziare le Competenze•Sviluppare l’offerta di servizi•Garantire l’Interoperabilità •Infrastrutture H/S & HPC•Connettività adeguata


CRESCO per la FUSIONE EUROPEA

Cresco 25 Tflops di piccoSistema per lo sviluppo e test dei codici per la fusione termonucleare controllata

per ITER (Finaziamento EFDA) 1 Tflops di picco

IB


DB_1

CPUSENEA GRID

WEBICASSH

DNA Sequence system

( ABI Prism 3700)Trisaia

DB_3

DB_2

Electron Microscope (Brindisi)

300 KeV (sept. 2004)

ENEA GRID and experimental facilities

Controlled Nuclear Fusion:

FTUFrascati Tokamak

UpgradeVideo Acquisition


ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY

AND THE ENVIRONMENT

ITALIAN NATIONAL AGENCY

Documents

Transcript of ITALIAN NATIONAL AGENCY