Aggiornamento

Calcolo, Reti, etc.

Febbraio 2010

M.Nanni

F.Bedosti, F.Tinarelli, S.Tubertini, M.Tugnoli

Stato di avanzamento di Lepida:La Rete Metropolitana di Bologna

5 Agosto 2009sventato un ritardo nella

posa

I posatori stavanoper essere

allontanati da ungeometra del

cantiereUniversitario

Stato di avanzamento di Lepida:La Rete Metropolitana di Bologna

A Settembre, con una fibra in casa,che attraversa a mezzo il cantiere….. si puo’ aprire il “tavolo tecnico”

Stato di avanzamento di Lepida:La Rete Metropolitana di Bologna

11 Novembre 2009: Firmata convenzionetra GARR e Lepida SpA

Fin qui si era andati sulla fiducia !! …. e a Giugnoe’ cambiata la ragione sociale di Lepida ed il

quadro dirigente ……..

Stato di avanzamento di Lepida:La Rete Metropolitana di Bologna

Dicembre: seconda tratta su via Gobetti

Stato di avanzamento di Lepida:La Rete Metropolitana di Bologna

20 Dicembre Attivazione del collegamento con il PoP Garr

Tempi previstiper ultimare ilavori sui 343

nodi

30/10/2010

Tempi previstiPoP Garr in AreaInizio 2011

Schema collegamenti Garr X

CNR E_04

CNAF E_06

ENEA E_01

ENEA E_03

INGV E_08

SIF E_07

POP

Siti utente

di I livelloSiti utente

di II livello

IRSIGE_13

CMCC E_09IRRE E_11

AFAM E_12

CINECA

CasalecchioTransito: POP Acantho “Tolmino”

EMILYLINK

E_11

Ufficio

Scolastico

Regionale

(a caricoRER)

Layer“Comune BO”

Medicina … e-vlbi

Collegamento diretto “dark” di 32 Km con il CNAF

Velocita’ attuale : 1 Gbit/sec

Abbiamo acquistato gli apparati per andare a 10 Gbit/s

Da Mark-V a Router

Da Router a Cnaf

Ma al CNAF ….. Non hanno una porta libera a 10 G

Attendere nuove dorsali Garr-X e/o collegamento diretto PoP AREA

Lightpath 10 Gbit/s Bologna-Amsterdam 50 KE/Anno (ora 20K per 1G)

LOFAR ?

Medicina … Area-Bologna

Bologna

Medicina

AreaCNR

e-vlbi

Bologna - Medicina

Antenna sulla rete locale dell’IRA-Bo

I dati possono essere registrati ed elaboratidirettamente sui calcolatori a Bologna.

I servizi IRA-Bo sono sulla rete locale di Medicina

La stazione puo’utilizzare i server di Bologna

Come procedere a Medicina:

Portare tutti I sistemi sulla “rete e-vlbi”

Realizzare sistema di back-up con router linux+key

Dismettere CDN a 2 Mbit ( -27KE/anno) differenza perlightpath Bologna – Amsterdam da 1 a 10 Gbit/s

PDPD

MI2MI2MI1MI1

TOTO

PIPI FIFI

NANA

GEGE

CTCT

PAPA

RCRC

CZCZCSCS

AN1AN1

TSTS

MI4MI4 COCO

BABA

SASA

PEPE

CACA

AQAQ

OlbiaOlbia

PZPZ MTMT

TN1TN1

G.652

G.654

FEFE

BRBR

LELE

UD1UD1

PGPG

PVPV

BO2BO2BO1BO1

Civitavec.Civitavec.

LameziaLamezia

RM1RM1

CA1CA1

ANAN

SS1SS1

AQ1AQ1

FE1FE1MI3MI3 MI5MI5

MazaraMazara

RM2RM2

FG1FG1

ME1ME1

TNTN

UDUD

TermoliTermoli

CBCB

Rete per la radioastronomia

PDPD

MI2MI2MI1MI1

TOTO

PIPI FIFI

NANA

GEGE

CTCT

PAPA

RCRC

CZCZCSCS

AN1AN1

TSTS

MI4MI4 COCO

BABA

SASA

PEPE

CACA

AQAQ

OlbiaOlbia

PZPZ MTMT

TN1TN1

G.652

G.654

FEFE

BRBR

LELE

UD1UD1

PGPG

PVPV

BO2BO2BO1BO1

Civitavec.Civitavec.

LameziaLamezia

RM1RM1

CA1CA1

ANAN

SS1SS1

AQ1AQ1

FE1FE1MI3MI3 MI5MI5

MazaraMazara

RM2RM2

FG1FG1

ME1ME1

TNTN

UDUD

TermoliTermoli

CBCB

BO1

Oss.Medicina (BO)

Oss.Noto (SR)

Oss.S.Basilio (CA)

IRA-INAF BO

3x10G

10G

10G

10G

MI1MI1

2x10G

BO1

Oss.Medicina (BO)

Oss.Noto (SR)

Oss.S.Basilio (CA)

IRA-INAF BO

3x10G

10G

10G

10G

MI1MI1

2x10G

Completare la infrastruttura nazionale nel prossimo triennio

Realizzare icollegamenti al Garr

-- SRT (80 KE/anno)

-- Noto (80 KE/anno)

Implementare light-path

One of Nexpres goal:

Buffering (caching) of hight speed data

At various point of the transport chain

Size: at 1 Gbit/sec 450 Gbyte/h = 10 Tera/day x ant.

( 4 Gbit/sec x 2 days x 4 ant. = 320 Tera )

Speed: commercial disks and systems:

For a “no real time correlator” and data reprocessing (multibeam)

2.2Gbit/s

Raid0 SAS 15K0.5 Gbit/sAreca Raid5 Gpfs

1.5Gbit/s

Areca Raid5 Sata0.3 Gbit/sDell Raid5 Gpfs

??INAF - NOTO25

2011INAF- SRT24

Gen-2006P/P10001000INAF - IRA - Medicina (BO)23

Set-2008XP/P1004INAF - OA Trieste22

Lan1010INAF - IFSI Torino21

Feb-2009XP/P1002INAF - OA Torino20

Ago-2009P/P82INAF - OA Teramo19

Mar-2010P/P22INAF - Presidenza, Roma18

Lan1000100INAF - IFSI Roma (Tor Vergata)17

Lan1000100INAF - IASF Roma (Tor Vergata)16

Lug-2008UP/P1004INAF - OA Roma, Monte Porzio15

Lan100100INAF - IASF Palermo14

Dic-2009XP/P1002INAF - OA Palermo13

Ott- 2008XP/P1004INAF - OA Padova12

P/P20,5INAF - IRA - Noto (SR)11

Lan10016INAF - IASF Milano10

Gen-2009XP/P1010INAF - OA Brera, sede di Milano9

Giu-2009UP/P1004INAF - OA Brera, sede di Merate8

Lan100100INAF - OA Catania7

Mag-2009UP/P1004INAF - OA Capodimonte (Napoli)6

2010P/P22INAF - OA Cagliari, Capoterra (CA)5

gen-10XLan100032INAF - IRA Bologna4

gen-10XLan100032INAF - IASF Bologna3

Lan1010INAF - OA Bologna2

Ott- 2009XP/P10004INAF - OA Arcetri1

darkTipo

UpgradePrevisto in

data

Upgradeeseguito in

data

CollegamentoBandaattualeMbit/s

Banda 2007Mbit/s

Sede

Collegamenti INAF Gennaio 2010

Grid (e HPC) in Inaf

Milano 14-15 Gennaio

Esigenze di calcolo dell’Inaf:

Calcolo parallelo (Cineca). Cambiera’ la politica diassegnazione risorse.

•Ora disponibili n * 10^5 ore a prezzo politico

•Domani ore assegnate gratuitamente a 5-6 progettiselezionati da tutte le discipline.

Consorzi (Cometa/SyberSar) : Problemi di gestione $$$

Progetto FP7 SAFE . . . Non e’ passato (2/2/2010)

Ruolo dei centri/sistemi calcolo INAF ?

Alma Regional Center Requirements

Users should be able to load data on the storage from remote hosts as wellas from a local external USB/E-SATA disk. Single object size is up to 1

TB.

During processing, CASA requires about three times the object size offree disk space.

At least 10 TB of disk space are needed per-user. Data has a limitedlifetime.

Depending of the degree of parallelization reached, an 8 cores computershould be enough for both interactive and non-interactive usage.

Users should be able to use the program in a interactive/graphical manneras well as in a job scheduling way

The ARC cluster at IRA

The actual situationHardware:

12 Blade computers with 8 x 2.1 GHz cores and 8 GB of RAM each14 TB of SATA storage on GPFS, connected with a 10Gbit ethernet

network.

Software:

CASA (Common Astronomy Software Applications)a set of C++ tools bundled in an iPython interface. Conceived for

interactive use, although scripting is possible via the iPython interface.Parallelization of algorithms is undergoing. A PBS/Torque scheduler is

used to balance the load.

+

AIPS Classic (1977)

WHERE THE GRID CAN HELP USMassive submission of parametrized non-interactive jobs

Data transfer, storage and pruning

UI unification and portability

Aggregation of other resourcesgeographically distributed across differentlocations (Arc)

Grid, Cloud Computing ….Servono di nuovo risorse di calcolo centrali

Strumenti per far dialogare Sistemi centrali e PC(terminali)

Autenticazione (certificati / key / password)

X-Terminal

Code batch / parallelizzazione per uso ottimaledelle risorse

Una “cultura” sull’uso delle risorse remote

Web Alma: Local Resources

Abbiamo:

12 CPU x 96 core

14 Tera spaziodisco

Rete 10 Gbit/s

Casa, AIPS

Informazioni

Ci occorre un feed-back:

Comprensibilita’ informazioni, efficienza sistemi

Usate Casa ed AIPS (190 AMark) anche sul nuovo cluster

Calcolo IRASpazio Disco pubblico (11.000 GByte)

(di cui 6.800 in GPFS)

Condiviso a tutte le macchine linux via NFS

Visibili dai sistemi Windows (anche server2003)

Disco home nel directory /homes ( max 2 GBy )

Visibile sotto la directory /iranet (aree pubbliche)

In gran parte con backup giornaliero o settimanale

Info specifiche sul sito web

Calcolo IRAServer di Calcolo

La velocita’ della CPU non e’ aumentata negli ultimi4 anni, siamo fermi a un massimo di 3.5 GHz

Sono disponibili per calcolo sistemi come:

Gaia (3GHz e dischi SCSI)

C1 (Dual Xeon 2GHz) Sistema in back_up

C2 ( Dual Opteron 2Ghz) Sistema in back_up

WN01-04 ( Dual Xeon 3GHz) Parte del mini cluster Grid

WN05-08 (Dual Opt. 2.5GHz) Parte del mini cluster Grid

Maggiori Info sul web

CalcoloCluster di Calcolo

Mini-Grid

4 Unit Xeon 3GHz 2 X

4 Unit AMD 2GHz 2 X 2 Core

Totale 24 Core

Rete a 1 Gbit/s

Rete GPFS a 1 Gbit/s

Server NAS2 dischi Raid 5 per un totale di 7 TeraByte

Usato fino ad ora per test sul correlatore DiFX e sulGrid

CalcoloCluster di Calcolo

Mack – 16

16 Sistemi AMD 2.4 GHz

Rete a 1 Gbit/s ( reali 400 Mbit/s)

1 Server disco 1000 Gbyte

File System GPFS

Compilatore F90 –PGI (4-6X)

Sistemi 15 e 16 degradati

Lavori in CorsoInterventi Hard /Soft

Attuali server M1-H1 sistemi critici del 2005

Dischi molto piu’ veloci ( 4X )

Molto traffico tra le due macchine, entrambe critiche

Occasione di aggiornamento SO e servizi

HP Proliant DL180 G6 (Quad core 2Ghz, 4GBy,0.6 TeraByte Dischi SAS 15K)

Sostituzione macchine (M1) Mail e (H1) /homescon un nuovo server

Mirror e Back-Up a freddo su secondo sistema

Lavori in CorsoInterventi Hard /Soft

Problemi non risolvibili sull’HW attuale di Serv2003

Vi sono inconsistenze con nuovo sistema Samba+Ldap

Riorganizzazione spazio lavoro (ammin) per conflitti suinuovi Office

Utilizzando hardware recuperato da H1-M1

Aggiornamento Serv2003

Lavori in Corso

Cambiato il sistema autenticazione con LDAP

Il sistema di autenticazione e’ quello che valida le password perentrare sui sistemi Linux … ma anche Posta Elettronica /

proprieta’ dei dischi di rete / accessi ai sistemi windows ……

LDAP:

E’ supportato da diversi sistemi operativi

Un Ldap separato (ma coerente) per Alma

Permette di assegnare scadenze alle password (stud)

Permette di “qualificare” gli utenti

Ha una struttura gerarchica e permette “cascate”

Cambiate le UIC da > 100 a > 1000 )

Lavori in Corso

Accedere a servizi condivisi con una unicachiave di accesso

INAF Partecipa alla federazione IDEM

Un servizio (Biblioteca, rete Wireless, Videoconferenza,Presenze, Cedolini del Cineca [??] ….. ) anziche’

assegnare a ogni utente una password riconosce leidentita’ e le passwod assegnate dalle strutture che

afferiscono alla confederazione.

IRA e IASF:

stiamo sperimentando l’uso del nostro Ldapcome secondario della Biblioteca di Area

Possibilita’ di prenotare stanze nelle Videoconf Garr

Indirizzi di internet

Noi (IRA) stiamo usando:

192.167.165.x ( fino a 254 macchine su rete pubblica)

192.168.2.x ) (nodi GPFS rete chiusa)

192.168.10.x (sistemi MACH rete nascosta)

192.168.48.x ( sistemi DHCP rete nascosta)

192.168.49.x ( sistemi ARC rete nascosta)

192.168.165.x ( sistemi su rete nascosta)

Nel 2012 non vi saranno piu’ indirizzi da assegnare !

I nodi della rete sono identificati da numeri a 32 bit

Circa 4 miliardi di indirizzi diversi

IPv6 il successore di IPv4Da circa 15 anni si sta’ lavorando su una nuova versione

di IP basato su un diverso tipo di indirizzamento

Indirizzi da 128 bit:

Numero illimitato di nodi ( 3*10^38)

Facilita’ di autoconfigurazione

Ogni nodo visibile sulla rete senza NAT

Orientato alla mobilita’

Uso efficiente della rete

. . . . . . . . Bla . Bla . Bla

2001:760:2a14:fffe:204:23ff:fec1:6cb8

Ipv6 all’Area di Bologna

2001:760:2a14:fffe:204:23ff:fec1:6cb8

Indirizzi

A ogni struttura:

48 bit Identificativo assegnato

16 bit 64.000 reti assegnate

64 bit 4*10^19 ( ipv4*ipv4) nodi sulla singola rete

Cosa avevano in mente gli implementatori ?

Come usare nel modo piu’ intelligente questo spazio ?

Presente

Ipv6 all’IRANella rete: 2001:760:2a14:0000

4-5 sistemi con indirizzo fisso (web, mail, dns ..)

Nella rete: 2001:760:2a14:FFFE

Linux autoconfigurati

Vista/Windows 7 autoconfigurati

Windows XP / Mac possono essere configurati

Inconsistenze incontrate fino ad ora:

Incompatibilita’ con YP (Mach)

Problemi di protezione su alcuni servizi (web, pine …)

MA FUNZIONA !

Web-Cam un gioco . . .

http://www.ira.inaf.it/visitorc/webcam.html