Datagrid in Earth System Sciences (DGESS)
- Integration und Erweiterungen -
Projektreffenam Max-Planck-Institut für Meteorologie
Heinrich Widmann
28. November 2005
Projektplan – Planung Kickoff 05/05AP Beschreibung
04/05
05/05
06/05
07/05
08/05
09/05
10/05
11/05
12/05
01/06
02/06
03/06
04/06
05/06
06/06
07/06
08/06
09/05
10/06
11/06
12/06
01/06
02/06
03/06
I.1 InstallationI.2 BenutzerI.3 ProzesseI.4 AnwendungenI.5 Anfoderungsf.I.6 MonitoringI.7 HardwareII.1 Integration HostsII.2 Integration UserII.3 AbhaenigkeitenII.4 Automat. InstallII.5 BenutzerfuehrungII.6 LDAPII.7 SoziologieII.8 PortalIII.1 Allg. Anford.III.2 TestphaseIII.3 ProduktivsystemP IV OptimierungenP V Erweiterungen
Phase II : Integration und Anpassung
AP II.1 : Integration weiterer Rechner als 'grid hosts'AP II.2 : Integration weiterer Benutzer und ArbeitsgruppenAP II.3 : Platform-, Architektur- und Ressourcenabhängigkeit testenAP III.4 : Automatische Installation der execution hostsAP II.5 : Benutzerführung und DokumentationAP II.6 : VerzeichnisdiensteAP II.7 : Soziologie : Verabredungen, Policies und AccountingAP II.8 : Portal
Phasen III bis V
Phase III : Institutsweite EinführungAP III.1 : Gewährleistung von allgemeinen Anforderungen
AP III.2 : Eröffnung der institutsweiten Testphase
AP III.3 : Aufnahme des produktiven Betriebs
Phase IV : OptimierungenPhase V : Institutsübergreifende Erweiterungen
Ausgangslage : ZMAW und IT-Infrastruktur
Das Zentrum für Marine und Atmosphärische Wissenschaften (ZMAW) besteht aus dem MPI für Meteorologie und sechs Instituten der Universität Hamburg Komplexe und heterogene Infrastruktur ca. 400 Workstations + Server (Sun Fire 15k, Opteron, ...) Große Datenmengen werden über das Netzwerk bewegt Zentraler IT-Support (CIS) 2006 : zus. Storage (32 TB 'disc cache'??) und Linuxcluster
Datagrid am ZMAW
10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle
Master (yoda.zmaw.de)
Shadow (gallia.zmaw.de)
RAID
Gridsharesvon zentraler NFS-Server mounten
Fileserver
10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle
Master (yoda.zmaw.de)
Shadow (gallia.zmaw.de)
RAID
Gridsharesvon zentraler NFS-Server mounten
Fileserver
IT-Umgebung des ZMAW :I/O zwischen Compute-, Datei- und DB-Systemen
M&D : Datenmanagement und CERA Datenbank
DWD, ...ZMAW -LAN/Grid
DKRZ : HPC und Archiv
Paralleles FS (GFS)
CERADB
- Archiv- Tapes
- NEC-SX6
- Metadatenbankmodell
Weitere, assozieerteKlimaforschungsinstitute :- z.T. Assoz. Projektpartnerund/oder im C3-Grid und Teilhaber des DKRZ
AWIGKSS
Weitere, entfernte Datenzentren
Met-Office,
...
ECMWF
Earth-simulator, ...
ZMAW
10 executionhost (Kursrechner kursNN.zmaw.de) : meist idle
Master (yoda.zmaw.de)
Shadow (gallia.zmaw.de)
RAID
Gridsharesvon zentraler NFS-Server mounten
Fileserver
Einbinden in überregionale Grids (EGEE)
ZMAWals zertif.VO (virtuelleOrganistation)
LDAP
EGEE
Entfernte Resourcen
Portal
Konzept für Übergang vom Testbed zum Produktivsystem
Wie muessen die Server dimensioniert sein (CPU, memory, ...) ? Mit welcher realistischen Last ist zu rechnen ? Wie gross muss Storage/RAID ausgelegt werden, das
am grid haengt Was muss in Hinsicht auf Linuxcluster und
Multiprozessorserver prophylaktisch eingeplant werden ? Dazu bestehende Gridsysteme anschauen (DEISY
(Hamburg und Zeuthen), RWTH, ...)
Die übernächsten Schritte (Prio 2)
Über das Grid und mit Metadaten in die CERA-Datenbank schreiben (mit M&D)Testfileserver am DKRZRealistische LastszenarienZertifizierung für Einbindung in EGEELösungen für Datentransfer und -storage (mit DKRZ)...
Organisatorisches (1)
Websites :DGESS : www.cis.zmaw.de -> About Us -> Projects
HH-Cluster-C3-Grid-Dokuwiki : c3grid.dkrz.de
Mailingliste :[email protected]
Vielen Dank anSUN für Support und Verköstigung
das MariTeam (Mariola+Mario) für Kaffeeservice
alle für Teilnahme und Mitarbeit !!
Organisatorisches (2)
Abendessen :um 19 h
im R&B
Weidenallee 20, 20357 Hamburg
Naechstes Projektmeeting ?Sommer 2006 ?
Noch Fragen ? => Fragen !Diskussion ...
Top Related