CRESCO, Portici 23-10-2006 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT.

CRESCO, Portici 23-10-2006

ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY

AND THE ENVIRONMENT


Centro computazionale di RicErca sui Sistemi COmplessi

CRESCO Linea Attività I

Polo di Calcolo e nuove funzionalità di GRID Computing

S. Migliori

ENEA GRID TEAM

R. Guadagni, G. Bracco, S. Podda, P. D’Angelo, G. Mencuccini, F. Simoni, A. Perozziello, A. De Gaetano, S. Pecoraro, D. Giammattei, M. De Rosa, M. Caiazzo, A. Palumbo, G. Elmo, S. Pierattini, G. Furini, C. Zini, V. Guastella, M Steffè, R. De

Angelis

Nuove Risorse

Diparimentali Asegni di ricerca

Contratti di ricerca

ENEA FIM


Contenuto

L’ENEA & GRID – L’infrastruttura attuale

LA1 Realizzazione del Polo di Calcolo e sviluppo di nuove funzionalità di GRID Computing.

– Principali Obiettivi– Descrizione sintetica dei sottoprogetti (SP 1:5)


ENEAItalian Agency for New Tecnologies, Energy and Environment. 12 research centers in Italy A Central Computer and Network Service (INFO)6 Computer CentresCasaccia, Frascati, Bologna,Trisaia, Portici, BrindisiMultiplatform resources for serial & parallel computation and graphical post-processing.

Others computer resources in ENEA:departments & individuals

CENTRODI BRINDISI


ENEA computational resources are distributed over WAN, connected by GARR, the Italian Academic & Research Network

ENEA Network connection

ENEA-GARR 9 PoP, 4-32 Mbps

BrindisiBolognaCasacciaFrascatiPorticiTrisaiaPalermoPisaRoma Sede


ENEA GRID è un sistema integrato capace di rispondere ai seguenti obbiettivi:

•mettere a disposizione un sistema di produzione capace di offrire i servizi necessari al calcolo scientifico

•integrare l'insieme di risorse informatiche di ENEA-INFO, distribuite su WAN

•fornire un ambiente di lavoro unificato e metodi di accesso omogenei per tutti i ricercatori dell'ENEA indipendentemente dalla loro sede di lavoro.

•mettere a disposizione strumenti capaci di permettere l'integrazione delle risorse informatiche dipartimentali ed individuali e di fornire supporto alle attività sperimentali

ENEA GRID


CitrixMetafram

e

CitrixNfuse

ICA

WEB(ICA)

power3.frascati.enea.it (1200 GFLOPS9

boquad.bologna.enea.it (30 Gflops)

dafne.casaccia.enea.it (200 GFlops)

GEANT

Portici

Brindisi

infocal.trisia.enea.it ( 100 GFlops)hermes.brindisi.enea.it ( 10 GFlops)

Kleos.portici.enea.it (50 GFlops)


Servizi per il calcolo scientifico:

• Sistemi paralleli/seriali multipiattaforma

• AIX, Linux (Alpha,x86,x86_64,IA64), IRIX, Mac OS X, Solaris

• Risorse 3D e il post-processamento grafico

• SGI + 3D immersivo

• Risorse Software:

• Codici commerciali: Fluent, Gambit, Abacus, Catia, Ansys

• Codici di “ricerca”: mcnp/x, eranos, fluka,....

• Ambienti di sviluppo & analisi: IDL, Matlab, Mathematica, SAS

• Applicazioni Windows

I servizi di ENEA GRID


Risorse di Calcolo in ENEA-GRID

Le risorse di Portici, Brindisi & Trisaia sono state incrementate nel quadro del progetto PON TELEGRID

Frascati(6), Portici(4),Trisaia(4), Brindisi(4)

5018Windows

Frascati(1), Trisaia(13)10027Mac OS X

Trisaia(4), Casaccia(2), Bologna(?)108Solaris

Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5)

4027IRIX

Casaccia4030Linux Alpha

Frascati(28), Casaccia(54), Portici(4),Trisaia(4), Brindisi(4)

20096Linux x86 32/64

Frascati(160),Bologna(8), Portici(18), Brindisi (2)

~1000188AIX

Gflops#cpu OS


L'architettura di ENEA GRID

La scelta di componenti maturi come garanzia di affidabilità e semplicità di gestione:

File system distribuito: AFS/OpenAFS

Gestore delle risorse: LSF Multicluster

Interfaccia grafica: Java and Citrix Technologies

Sistema di monitoring: Patrol

Server di licenze

Strumenti per l'integrazione delle risorse dipartimentali ed individuali

File sistem distribuito: AFS per software e dati

Condivisione del parco licenze


Architettura di ENEA GRID


Struttura Software concettuale

Load Leveler LSF

Graphic User Interface LSF multi-cluster as integrator

Telnet

User programs & commercial code

ICAWEB

Cluster 5° ( Portici)

& File System

Load Leveler LSF

Graphic User Interface

Telnet

ICAWEB

Cluster 6° ( Brindisi)

AFS Geographical cross platform& File System

Load Leveler LSF


Telnet


ICAWEB

Cluster 2° (Casaccia)


Load Leveler LSF


Telnet


ICAWEB

Cluster 4° (Trisaia )


Load Leveler LSF


Telnet


ICAWEB

Cluster 3° (Frascati)


Load Leveler LSF


Telnet


ICAWEB

Cluster 1° ( Bologna)


Interfaccia utenteAccesso utente unificato tramite Citrix Presentation Center [ex Metaframe], java e script di shell:

Prestazioni ottimizzate su WAN e metodi di comunicazione sicuri

Accesso gestito da 6 server Citrix UNIX [ Bologna, Casaccia, Frascati, Trisaia, Portici, Brindisi]

4 server Citrix Windows forniscono accesso alle applicazioni Windows tramite Web(Frascati, Portici, Trisaia, Brindisi).


Integrazione con altri progetti di GRID

La filosofia di partecipazione dell’ENEA ad altri progetti di GRID è basata sul concetto di interoperabilità.

Ogni progetto di GRID è generalmente caratterizzato da una propria architettura/middleware. L’interoperabilità fra questi può essere assicurata attraverso

==> realizzazione di gateway

Progetti:

● Datagrid

● FIRB/Grid.it : WP13 Chimica Computazionale

● EGEE

● EGEE II


ENEA ENEA

Main activities & Main activities & resources for EGEEfor EGEE

•Integration of EGEE-GRID to ENEA-GRID;Integration of EGEE-GRID to ENEA-GRID;

•100 CPUs at 20% of time100 CPUs at 20% of time

DataGrid at

ESA\ESRIN

Globus

Based g

ateway

GigaBit-

Link

EGEE GRID

Globus Based gateway

Glo

bu

s B

ased

gate

way

ENEA-GRID

[email protected]

S-PACIGRID


DB_1

CPUSENEA GRID

WEBICASSH

DNA Sequence system

( ABI Prism 3700)Trisaia

DB_3

DB_2

Electron Microscope (Brindisi)

300 KeV (sept. 2004)

ENEA GRID and experimental facilities

Controlled Nuclear Fusion:

FTUFrascati Tokamak

UpgradeVideo Acquisition


Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi

Principali ObiettiviInfrastrutturali

Realizzazione di un Polo di calcolo di eccellenza presso il Centro ENEA di Portici

Sviluppo di una nuova classe di funzionalità innovative di GRID Computing

Applicativi Studio di oggetti biologici dal punto di vista “sistemico” e di

sistemi naturali secondo il paradigma dei sistemi complessi Studio di sistemi tecnologici e sociali complessi e delle loro

mutue interazioni, realizzazione di strumenti per il modelling, la simulazione e il controllo

Implementazione di soluzioni innovative di GRID computing per le attività di R&S di punta dell’ENEA che richiedano l’utilizzo di risorse computazionali estremamente importanti.


Il Laboratorio Virtuale

Li

ENEA

Università ed Enti di ricerca

Imprese

Schema concettuale dei Laboratori Virtuali di CRESCO inseriti nell’infrastruttura ENEA-GRID


LA I Realizzazione del Polo di calcolo e sviluppo di nuove funzionalità di GRID Computing

Sottoprogetti

SP I.1 Realizzazione dell’infrastruttura HPCNSP I.2 Sviluppo ed integrazione dell’architettura GRID e di

grafica 3DSP I.3 Sviluppo ed ottimizzazione di codici applicativi in

settori di R&S di puntaSP I.4 Progettazione e sviluppo di librerie per

l’implementazione efficiente e parallela di nuclei computazionali su dispositivi FPGA integrati in un ambiente GRID

SP I.5 Web archives


SP I.1 Realizzazione dell’infrastruttura HPCN

un sistema di supercalcolo con una un’architettura interna di tipo SMP o di integrazioni di nodi SMP, dotato di sezoni specili (FPGA, CELL,..)

Un sistema di storage SAN (Storage Area Network) di ultima generazione collegato in fibra ottica con la rete di interconnessione dei nodi;

Un sistema di backup connesso alla SAN tramite un link in fibra ottica dotato del suo server ed hardware di storage ;

Impiantistica di servizio indispensabili per tali sistemi


Sala Calcolo CRESCO


SP I.2 Sviluppo ed integrazione dell’architettura GRID e di grafica 3D

Integrazione ENEA-GRID con altre architetture di GRID computing

Tools per l’utilizzo di sistemi di Grafica Virtuale ed immersiva con sistemi di supercalcolo remoto e per il lavoro cooperativo a livello geografico

Integrazione del controllo remoto di un microscopio TEM mediante visualizzazione integrata in tempo reale dei differenti aspetti legati alla determinazione delle caratteristiche locali del campione attraverso immagini e mappature ad elevata risoluzione spaziale

Analisi e Realizzazione di Tool innovativi a supporto delle funzionalità GRID


Schema Concettuale NEW ?


Textile Grid Infrastructure

– Esperimento all'interno del progetto BeinGRID: Business Experiments in Grid. http://www.beingrid.eu

– Obiettivi del progetto : Adozione di tecnologie grid da parte della piccola e media impresa.

– Obiettivi dell'esperimento: organizzare un'infrastruttura di grid tra Enea ed industria tessile per migliorare le prestazioni ed i risultati di alcuni software esistenti:

schedulatore di produzione (simulatore) allocazione di risorse industriali (database distribuito) negozio virtuale (rendering di immagini e filmati)


Textile Grid Infrastructure

– Durata: 18 mesi – Tecnologie adottate:– UNICORE (GS) – calcolo distribuito

OGSA DAI – interfaccia di accesso a database

– IL TUTTO INTEGRATO NELL' INFRASTRUTTURA ENEA ESISTENTE



RV on GRID



Conceptual structure from a remote user’s point of view

Local DataAFS Data Integration

> 4 TByte

File server

Streaming server

Windows A.S.& Metaframe

Linux A.S.

WEB A. S.

Unix Metaframe

“Softgrid” server

Classroom

Local GRID Cluster

Main service

•View of TEM image•Programs & Data•E-learning tools

EN

EA

GR

ID S

OF

TW

AR

E IN

FR

AS

TR

UC

TU

RE

•View of TEM image•Programs & Data•Supercomputing •3D Display•E-learning tools

Remote Operation Users

Sp

ec

ial D

riv

er

for

TE

M

Remote Application Users

+Remote operation

FCS Tools Flash technologiesICA protocol

Microscopia remota


SP I.3 Sviluppo ed ottimizzazione di codici applicativi in settori di R&S di punta

Codici della ricerca modificati dai ricercatori– Fusione– Fissione– Combustione – Materiali

Codici di ricerca utilizzati dai ricercatori– MCNP– MCNPX– ……

Codici commerciali– Fluent – Abacus– Ansys– …


SP I.4 Progettazione e sviluppo di librerie per l’implementazione efficiente e parallela di nuclei computazionali su dispositivi FPGA

integrati in un ambiente GRID

Analisi dei benefici all’interno di no specifico codice nell’utilizzo di accelletatori tio FPGA

Implementazione di librerie per funzionalità specifiche tip FFT

Integrazione delle librerie con il codice di riferimento Integrazione del codice con il GRID ENEA. (ovvero

una risorsa del grid avra le funzionalità FPGA.


SP I.5 Web archives

L'attività è volta a fornire un servizio alla comunità scientifica e industriale italiana consistente in un archivio storico delle pagine web dei domini .it.

Le principali attività previste sono:– attivazione dei programmi di "crawler" che indagheranno la rete e

estrarranno i contenuti dei siti del dominio .it – compressione e archiviazione dei dati dei testi; – disponibilità del file di rete sul sito web previsto per l'archivio


ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY

AND THE ENVIRONMENT


Gestione & Erogazione della formazione Sincrona, Asincrona e Mista

Servizi Base

Accesso Scelta Pianificazione

Fruizione

Corsi on Line

Aule Virtuali

Corsi Aula

Breeze

Infrastruttura e-learning ENEA


Accesso software applicativi e risorse di calcolo

Servizi GRID

Accesso Scelta Fruizione

Software

Supercomputing

Lavoro Collaborativo

Breeze

Infrastruttura e-learning ENEA

CRESCO, Portici 23-10-2006 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT.

Documents

Transcript of CRESCO, Portici 23-10-2006 ITALIAN NATIONAL AGENCY FOR NEW TECNOLOGY, ENERGY AND THE ENVIRONMENT.