COMPUTING DELLA CSN2

D. Martello Dep. Of Physics - Lecce

Esperimenti in Commissione 2

Studio RadiazioneCosmica nello Spazio

AGILEAMS2 CREAMGLASTPAMELA

Studio RadiazioneCosmica in Superficiee Sottomarina

ANTARESARGO-YBJAUGERMAGICNEMO-RDSLIM

Fisica delNeutrino

BOREXHARPK2KMANU2MI-BETAOPERA

Processi rari

CUOREDAMALVDWARP

Onde Gravitazionali

AURIGADUAL-RDGGGLISA-RDRAP-RDROGVIRGO

FisicaGenerale

GGGLARESMAGIAMIRPVLAS

33 sigleSolo alcune presentano esigenze di calcolo rilevanti

Una possibile suddivisione :

Esperimenti con richieste di calcolo “minori”Borex, Agile

Esperimenti che propongono la realizzazione di una o piu’ farm locali presso le sezioniAntares, Auger, Glast, Nemo

Esperimenti che propongono investimenti di calcolopresso il CNAFAms, Argo, Magic, Opera, Pamela, Virgo

Esperimenti in Commissione 2

Status/milestones esperimento― Avvio presa dati di fisica gennaio 2007Modello di calcolo per analisi dati e simulazioniUn cluster di analisi centrale ai LNGS, e' previsto fornire la risorsa di calcolo e di storage (1 TB/y) piu' importante.L' architettura e' basata su PC Linux. E' prevista la connessione al sistema di backup di dati in dotazione al Servizio Calcolo del Laboratorio

Responsabilita' INFNL' INFN ha la responsabilita' primaria dell' online e dell' offline. 10 ricercatori INFN su un totale di 24 partecipano allo sviluppo e mantenimento del software.

BOREX

Status/milestones esperimento― Lancio imminente

Modello di calcolo per analisi dati e simulazioniSimulazione in Geant4 e Geant3, analisi dei dati in IDL e ROOT.

Risorse necessarieUn 1.0 TB di spazio disco, storage su nastro per 2 TB Minima potenza di calcolo richiesta

AGILE

Status/milestones esperimento― Obiettivo 6 linee connesse per la fine 2006.― Iniziata presa dati di test con una linea.Modello di calcolo per analisi dati e simulazioni- L’apparato completo di 12 stringhe produrrà circa 1 GBps di raw data- 1 MBps sarà il flusso di dati filtrati per circa 30 Tbyte/anno immagazzinati a LIONE- 300-600 Gbyte per anno sarà la quantità di dati dopo il filtro offline in Italia

Risorse necessarieE’ previsto che Bari e Bologna dispongano di una copia dei dati quindi sono stati realizzati cluster di dual processor per l’analisi

Responsabilita' INFNBologna ha la responsabilità del filtro offlineBari coordina il WG di astronomia neutriniAttività dei gruppi italiani nella simulazione e rivelazione di neutrini in acqua

ANTARES

AUGER

Status/milestones esperimento― 3 occhi in acquisizione, quarto occhio in costruzione building.― 1200 tanks in acquisizione per fine 2006― Esperimento in presa dati di fisica Modello di calcolo per analisi dati e simulazioniE' stata definita l' organizzazione del calcolo basata su architettura distribuita che prevede tre siti mirror dedicati allo storage dei dati (Lione CNRS-IN2P3, FNAL e Buenos Aires) dai quali le Istituzioni partecipanti trasferiscono i dati alle risorse locali per ricostruzioni ed analisi. I siti mirror fungono anche da archivio degli sciami simulati

Pianificazione e localizzazione risorseSi è realizzata in Italia (LNGS) una farm in cui si tiene una copia dei dati di Lione. Una seconda farm è stata realizzata presso la sede di Napoli prevalentemente mirata a simulazioni di canali di interesse specifico della collaborazione italiana.

Status/milestone esperimento― In fase avanzata integrazione satellite, inizio test di volo.― Lancio previsto 2007

Modello di calcolo per analisi dati e simulazioniIl modello di calcolo per l’analisi dei dati non è attualmente definito. La simulazione dell’esperimento è basata su Geant 4 in un framework GAUDI. La collaborazione italiana è stata fortemente impegnata nel completamento dell’hardware dell’esperimento.

Risorse necessarieLa collaborazione stima di raccogliere circa 4 TB/anno di dati per un periodo di 5 anni (durata esperimento). Stima le potenze di calcolo necessarie (parte italiana) intorno a 100 KSI. Prevede di migrare al CNAF.

GLAST

NEMO-RD

Status/milestones esperimento― Installazione minitorre imminente― Installazione torre a 16 piani 2007Modello di calcolo per analisi dati e simulazioniIl modello di calcolo per l’analisi dei dati non è attualmente definito. La collaborazione prevede di realizzare una piccola farm presso i LNS che funga da storage e data-filtering per i dati raccolti dalle stringhe di test che si stanno mettendo a punto

Risorse necessarieSi richiedono 20 TB di spazio disco e una decina di bi-processori, più unità di backup (in discussione).

ARGO-YBJ

Status/milestones esperimento― Inizio presa dati aprile 2006 (104 clusters)― Acquisiti dati di test con 16 - 42 clusters Modello di calcolo per analisi dati e simulazioniL’esperimento prevede di duplicare i sui dati in due siti (CNAF e Pechino)

Fase 1 – agosto 2006 (?)I dati raccolti su LTO-1 presso YangBajing vengono inviati al CNAF.Fase 2 I dati vengono trasferiti via rete da YangBajing al CNAF e archiviati in CASTOR

Presso il CNAF si procede alla ricostruzione e analisi degli eventi ed al riempimento dei DB di bookeeping. I dati prodotti a regime ( 2006 ) sono dell’ ordine di 200 TB/anno (includendo raw data, dati ricostruiti e simulati) con mantenimento in linea di un anno per i dati ricostruiti.E’ in produzione la simulazione di eventi per il 10% degli eventi raccolti in unanno.Produzioni più massicce potranno essere realizzate nell’ambito di GRID

Risorse necessarieIl Tier-1 del CNAF coprirà il 90-100% delle risorse necessarie. A regime il Tier1 del CNAF sarà il centro principale in Italia di raccolta dati raw dell’esperimento, il quale svolgerà il ruolo di Tier0. Richiede di allocare spazio disco per 200 TB/anno di dati e una potenza di calcolo di 400 KSI2000. La collaborazione ha iniziato la migrazione del software verso GRID, ma prevede di passare definitivamente a GRID non prima della seconda metà 2007.E’ l’esperimento di CSN2 con più grosse esigenze di calcolo nell’immediato.

Presso la sede di Roma-3 è disponibile una farm che è stata utilizzata per l’analisi dei dati raccolti durante i run di test (2004-2005) e per la simulazione di DB di dati utilizzati per la messa a punto del software di analisi.

ARGO-YBJ

Responsabilità INFNL' INFN ha la responsabilità primaria dell' offline e inoltre contribuisce alla messa a punto delle farm Cinesi16 FTE INFN contribuiscono allo sviluppo del software di analisi La collaborazione dispone di 0.5 FTE dedicati all’esperimento presso CNAF

ARGO-YBJ

Status/milestones esperimento― Satellite integrato e pronto al lancio― Lancio imminente (primavera 2006)Modello di calcolo per analisi dati e simulazioniI dati trasmessi a terra (NTsOMZ-Mosca ) dal satellite a partire dal momento del lancio (imminente) saranno 10-20 Gbytes/dayLinea MEPhI-CERN da 100 Mbit/sec sarà utilizzata per trasferire i dati al CNAF.

Risorse necessarieIl CNAF verrà usato come centro di archiviazione primario dei dati. Le richieste di spazio disco/nastri e potenza di calcolo sono minime ( 5 TB/anno e 20 KSI2000). Molta rilevanza riveste l’affidabilità dello storage (CASTOR). Non prevede un passaggio a GRID.

Responsabilità INFNL' INFN ha la responsabilità primaria dell’analisi dati

PAMELA/WIZARD

Status/milestones esperimento― Specchio completato e in acquisizione.― Proposta secondo specchio in discussione (MAGIC2)Modello di calcolo per analisi dati e simulazioniLo schema del modello di calcolo della collaborazione MAGIC prevede l’utilizzo di un di un centro di calcolo centrale (CDC). Il compito di questo centro è quello di immagazzinare i dati e preparare i Data Summary Tapes (DSTs) che vengono poi distribuiti a tutta la collaborazione. La collaborazione ha identificato come CDC il PIC di Barcellona e sta migrando i dati da Wuerzburg (Germania), attuale CDC temporaneo a Barcellona. Utilizza il CNAF come Centro Regionale.

Risorse necessarieLa collaborazione prevede di utilizzare il CNAF allocando 3 TB/anno di dati e impegnando una potenza di calcolo pari a 20 KSI2000. La collaborazione ha già iniziato una migrazione del software verso GRID.

Responsabilità INFNLa collaborazione italiana si sta interessando delle simulazioni MC attualmente attestate al CNAF.

MAGIC

Status/milestones esperimento― Inizio presa dati con 1 SM seconda metà 2006 Modello di calcolo per analisi dati e simulazioniI dati prodotti dal rivelatore elettronico dell’esperimento sono valutati in 100 Mbyte/s I dati immagazzinati in coincidenza con il beam sono valutati in 100 Gbyte /anno, inclusi i dati di calibrazione

Una piccola Linux farm presso LNGS ( 5 PC dual processor e 1.4 Tbyte disco) produrrà le predizioni per i brick da rimuovere e immagazzinerà le informazioni in un Database ORACLE (copia al Cern)

La maggior parte dei dati sarà prodotto dallo scanning in emulsione (circa 100 TB per le tracce ricostruite in 5 anni). Lo scanning verrà eseguito in 12 laboratori e strutture distribuite geograficamente, la maggior parte delle quali (8) è localizzata in Italia.

OPERA

Un database ORACLE raccoglierà i dati dai laboratori locali di scanning. Verrà utilizzata un’architettura multi-master per permettere di avere simultaneamente più copie del DB. La collaborazione ha identificato in Lyon/CERN, Nagoya (Giappone) e CNAF le tre sedi idonee allo scopo.

Risorse necessarieIn relazione allo scanning dei brick nei laboratori Italiani ( Bari, Bologna, Napoli, LNGS, LNF, Padova, Roma, Salerno) per la ricerca e analisi degli eventi nei brick si prevedono per la parte Italiana :40 PC dual processor + 10 Tbyte disco per l’acquisizione ed elaborazione di immagini in emulsione per i brick + 100 TB LTO per online ed offline storage (raw data)Le macchine per l’acquisizione ed elaborazione online di immagini operano in ambiente Windows.Data Base ORACLE con 100 TB disco presso il CNAF.Non si prevede utilizzo di GRID.

OPERA

Responsabilità INFNLa responsabilità dello scanning in emulsione e’ divisa tra Europa e Giappone. L’INFN ha la responsabilità dei 2/3 dello scanning europeo.

L' INFN ha la responsabilità del coordinamento dell’analisi fisica dell’esperimentoe dello scanning ed analisi in emulsione . Tali responsabilità sono condivise con igiapponesi.

Inoltre e’ responsabilità INFN lo sviluppo del software per gli spettrometri.

Circa 20 FTE sono coinvolti nello scanning ed analisi in emulsione e circa 10 FTE sonocoinvolti nell’analisi ibrida ( detector + emulsione )

OPERA

Status/milestones esperimento― Rivelatori pronti per integrazione in satellite― Problemi lanciatore. Situazione altamente incerta.Modello di calcolo per analisi dati e simulazioniLa copia primaria del campione dati verrà mantenuta al CERN. Pur non facendo parte dell’esperimento il CERN ha approvato lo stato di “recognized experiment” per AMS e mette a sua disposizione spazi, uffici e sistemi di calcolo. Al CERN verrebbe realizzata una CPF (Central Production Facility) che oltre a mantenere una copia dei dati si occuperebbe della loro ricostruzione, di una frazione della simulazione Monte Carlo per l’esperimento e dell’analisi dei dati.

La collaborazione italiana necessita di un Italian Ground Segment Data Storage (IGSDS) che consenta l’archiviazione dei dati e l’analisi degli stessi, nonchè la produzione di eventi Monte Carlo.

AMS2

Risorse necessarieIl gruppo ha individuato nel Centro Regionale in formazione al CNAF il sito elettivo per la realizzazione dell’ IGSDS.A fine missione si richiede di poter allocare presso il CNAF 350 TB di dati su nastro e di disporre di spazio disco per analisi di 40TB.

AMS2

Responsabilità INFN

Il gruppo italiano è fortemente coinvolto nella simulazione e analisi dati dell’esperimento. Le responsabilità sono molteplici e distribuite in tutte le sezioni partecipanti all’esperimento. In particolare si segnala la responsabilità di produrre presso il CNAF il 20% dei dati MC.

AMS2

VIRGO

Status/milestones esperimento― Sensibilità da progetto praticamente raggiunta― Inizio run di fisica imminente. Pressione comunità internazionale.Modello di calcolo per analisi dati e simulazioni

Acquizione dati online, analisi inline e storage temporaneo al Tier0 di Cascina [aspettative per ~70 KSpecInt2000 (300GFlops) e 72TB]

Analisi dati offline in ambiente distribuito costituito da:- Tier1 a Lione (CNRS-IN2P3) per storage di tutti i dati prodotti e calcolo “leggero” - Tier1 al CNAF per storage temporaneo (~1 anno) e calcolo “intensivo” integrato con le risorse da dispiegare nelle Sezioni

Risorse necessarie

Le richieste per l’analisi relative al Tier1 del CNAF e ammontano a 70 TB necessariamente su disco e di una potenza di calcolo pari a 150 KSI2000.

Il Tier0 di Cascina è realizzato dal consorzio EGO e non “grava” direttamente sull’INFN.

VIRGO

Responsabilità INFN

31 (20.6 FTE) componenti di Virgo Italia svolgono attività nei seguenti task,tutti finalizzati ad un uso distribuito delle risorse.

Sezione Pers (FTE) TaskFi 2 (0.75) Binarie coalescentiUr 3 (1.5) Segnali impulsivi, Binarie coalescentiNa 9 (7.0) Binarie coalescentiPg 5 (3.2) Binarie coalescenti, Analisi dati commissioningPi 6 (4.1) Simulazioni rivelatore, Analisi del rumore,

Algoritmi correlazioni antenneRm1 6 (4.0) Pulsar

VIRGO

Esperimenti CSN2: Data Taking

2006 2007

Lancio Pamela

Lancio Glast

Lancio Agile

6 Linee Antares

104 Cl Argo

Run Virgo

1 SM Opera

1 torre Nemo

Full Auger

2008CNAF non CNAF

Stima crescita potenza di calcolo necessaria

CPU (KSI2000)

0100200300400500600700800

Q1 Q2 Q3 Q4 Q1 Q2

Quadrimestri

Antares

Auger

Glast

Nemo

Argo

Pamela

Magic

Opera

Virgo

Totale

Stima crescita storage necessario

Storage TB

0

100

200

300

400

500

Q1 Q2 Q3 Q4 Q1 Q2

Quadrimestri

Antares

Auger

Glast

Nemo

Argo

Pamela

Magic

Opera

Virgo

Totale

Modalità di accesso

Modalità di utilizzo Utenza stimata

AMS02 Locale

GRID in studio

Tier1 <10

ARGO-YBJ Locale

GRID in studio

Tier0 10-20

MAGIC Locale

GRID

Tier1

(Tier0)

10-20

OPERA Locale

(DB Oracle)

Tier0

(multi-master)

>=20

(utenza int.)

PAMELA Locale Tier0 >=20

(utenza int.)

VIRGO Locale

GRID

Tier1 <10

CNAF

CNAF

0

100

200

300

400

500

600

700

2004 2006

CPU KSI2000

CNAF

non CNAF

0

100

200

300

400

500

2004 2006

Storage (TByte)

CNAF

non CNAF

Confronto tra le richieste di allocazione risorse al CNAF e non al CNAF da parte di esperimenti di CSN2 nelle due indagini compiute.

0,00

0,50

1,00

1,50

2004 2006

Richieste (M€)

0

2

4

6

2004 2006

Esperimenti

Esp al CNAF

Esp non CNAF

CNAF

Confronto tra le richieste di allocazione risorse al CNAF e non al CNAF da parte di esperimenti di CSN2 nelle due indagini compiute.

Stime risparmio ottenuto in CSN2 grazie al trasferimento del calcolo di alcuni esperimenti al CNAF

1500 K€ per le potenze di calcolo richieste 220 K€ per lo storage su disco 0.5 – 2.0 M€ robotica per storage di massa

CNAF

Si è in prossimità dell’ inizio della presa dati di esperimenti ad “alto” rate di acquisizione (Argo-Ybj, Virgo).

Quasi tutti gli esperimenti con significative esigenze di calcolo sono progressivamente migrati verso il Tier1 del CNAF. Per alcuni esperimenti il CNAF svolge il ruolo di punto principale di raccolta dati raw (Tier0). L’utilizzo delle risorse del CNAF avviene prevalentemente mediante accesso diretto e utilizzo del sistema di code li presente (LSF). Gli esperimenti con maggiori richieste di calcolo hanno iniziato o stanno per iniziare la migrazione del loro software su GRID.

Come conseguenza, le richieste di risorse di calcolo per il 2006 pervenute in CSN2 sono dell’ ordine di 0.4 M€ da confrontare con i 1.2 M€ richiesti per il 2004.

Conclusioni