Datagrid in Earth System Sciences (DGESS)

- Integration und Erweiterungen -

Projektreffenam Max-Planck-Institut für Meteorologie

Heinrich Widmann

28. November 2005

Projektplan – Planung Kickoff 05/05AP Beschreibung

04/05

05/05

06/05

07/05

08/05

09/05

10/05

11/05

12/05

01/06

02/06

03/06

04/06

05/06

06/06

07/06

08/06

09/05

10/06

11/06

12/06

01/06

02/06

03/06

I.1 InstallationI.2 BenutzerI.3 ProzesseI.4 AnwendungenI.5 Anfoderungsf.I.6 MonitoringI.7 HardwareII.1 Integration HostsII.2 Integration UserII.3 AbhaenigkeitenII.4 Automat. InstallII.5 BenutzerfuehrungII.6 LDAPII.7 SoziologieII.8 PortalIII.1 Allg. Anford.III.2 TestphaseIII.3 ProduktivsystemP IV OptimierungenP V Erweiterungen

Phase II : Integration und Anpassung

AP II.1 : Integration weiterer Rechner als 'grid hosts'AP II.2 : Integration weiterer Benutzer und ArbeitsgruppenAP II.3 : Platform-, Architektur- und Ressourcenabhängigkeit testenAP III.4 : Automatische Installation der execution hostsAP II.5 : Benutzerführung und DokumentationAP II.6 : VerzeichnisdiensteAP II.7 : Soziologie : Verabredungen, Policies und AccountingAP II.8 : Portal

Phasen III bis V

Phase III : Institutsweite EinführungAP III.1 : Gewährleistung von allgemeinen Anforderungen

AP III.2 : Eröffnung der institutsweiten Testphase

AP III.3 : Aufnahme des produktiven Betriebs

Phase IV : OptimierungenPhase V : Institutsübergreifende Erweiterungen

Ausgangslage : ZMAW und IT-Infrastruktur

Das Zentrum für Marine und Atmosphärische Wissenschaften (ZMAW) besteht aus dem MPI für Meteorologie und sechs Instituten der Universität Hamburg Komplexe und heterogene Infrastruktur ca. 400 Workstations + Server (Sun Fire 15k, Opteron, ...) Große Datenmengen werden über das Netzwerk bewegt Zentraler IT-Support (CIS) 2006 : zus. Storage (32 TB 'disc cache'??) und Linuxcluster

Datagrid am ZMAW

10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle

Master (yoda.zmaw.de)

Shadow (gallia.zmaw.de)

RAID

Gridsharesvon zentraler NFS-Server mounten

Fileserver

10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle

Master (yoda.zmaw.de)

Shadow (gallia.zmaw.de)

RAID

Gridsharesvon zentraler NFS-Server mounten

Fileserver

IT-Umgebung des ZMAW :I/O zwischen Compute-, Datei- und DB-Systemen

M&D : Datenmanagement und CERA Datenbank

DWD, ...ZMAW -LAN/Grid

DKRZ : HPC und Archiv

Paralleles FS (GFS)

CERADB

- Archiv- Tapes

- NEC-SX6

- Metadatenbankmodell

Weitere, assozieerteKlimaforschungsinstitute :- z.T. Assoz. Projektpartnerund/oder im C3-Grid und Teilhaber des DKRZ

AWIGKSS

Weitere, entfernte Datenzentren

Met-Office,

...

ECMWF

Earth-simulator, ...

ZMAW

10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle

Master (yoda.zmaw.de)

Shadow (gallia.zmaw.de)

RAID

Gridsharesvon zentraler NFS-Server mounten

Fileserver

Einbinden in überregionale Grids (EGEE)

ZMAWals zertif.VO (virtuelleOrganistation)

LDAP

EGEE

Entfernte Resourcen

Portal

Konzept für Übergang vom Testbed zum Produktivsystem

Wie muessen die Server dimensioniert sein (CPU, memory, ...) ? Mit welcher realistischen Last ist zu rechnen ? Wie gross muss Storage/RAID ausgelegt werden, das

am grid haengt Was muss in Hinsicht auf Linuxcluster und

Multiprozessorserver prophylaktisch eingeplant werden ? Dazu bestehende Gridsysteme anschauen (DEISY

(Hamburg und Zeuthen), RWTH, ...)

Die übernächsten Schritte (Prio 2)

Über das Grid und mit Metadaten in die CERA-Datenbank schreiben (mit M&D)Testfileserver am DKRZRealistische LastszenarienZertifizierung für Einbindung in EGEELösungen für Datentransfer und -storage (mit DKRZ)...

Organisatorisches (1)

Websites :DGESS : www.cis.zmaw.de -> About Us -> Projects

HH-Cluster-C3-Grid-Dokuwiki : c3grid.dkrz.de

Mailingliste :datagrid@lists.zmaw.de

Vielen Dank anSUN für Support und Verköstigung

das MariTeam (Mariola+Mario) für Kaffeeservice

alle für Teilnahme und Mitarbeit !!

Organisatorisches (2)

Abendessen :um 19 h

im R&B

Weidenallee 20, 20357 Hamburg

Naechstes Projektmeeting ?Sommer 2006 ?

Noch Fragen ? => Fragen !Diskussion ...