Santiago de Compostela, SPAIN, 2007

Diseño y Mejora de Sistemas de Refrigeración de Centros de

Procesamiento de Datos

Andrés GómezAndrés Gómez

agomez@cesga.esagomez@cesga.es

MISSION STATEMENT

To provide high performance computing and communication resources and services to the scientific community of Galicia and to the National Research Council (CSIC), as well as, to institutions and enterprises with R&D activity.

To promote the use of new information and communication technologies applied to research within the scientific community of Galicia.

To become a consolidated RTD Centre of Excellence serving as international scientific and technological reference in the field of computational science and numerical simulation.

VIGO, SPAIN, 2007

LEGAL ENTITIES

• Public Company

• Public Foundation

• Regional Government of Galicia 70%

• National Research Council of Spain 30%

PARTNERS

VIGO, SPAIN, 2007

VIGO, SPAIN, 2007

CURRENT CESGA’S COMMUNITY OF USERS

• Galician Universities

• Galician Regional Government Research Centres

• Spanish National Research Council (CSIC) Centres

• Other public or private enterprises and institutions

Hospital Laboratories

Private Industries R&D Departments

Technological & Research Centres

Other Universities worldwide

Non-profit R&D organizations

VIGO, SPAIN, 2007

SERVICES

• HPC, HTC & GRID Computing

• User Data Storage

• Advanced Communications Network

• Video streaming broadcast & on-demand

• Remote Learning & Collaboration Room Network

• e-Learning & Collaboration Tools

• GIS (Geographical Information Systems)

• e-Business Innovation Consulting

• R&D&I Project management

TECHNOLOGYCESGA’S TECHNOLOGYCAL EVOLUTION SERVERS INSTALLED

1993VP 2400

2,5 GFLOPS

1998

VPP 300 AP 3000

14,1 GFLOPS 12 GFLOPS

1999HPC 4500 STORAGETEK

9,6 GFLOPS

2003SUPERDOME

768 GFLOPS

2001SVG

9,9 GFLOPS

2002HPC 320 BEOWULF

64 GFLOPS 16 GFLOPS

51 TERABYTES

2004, 2005, 2006SVG

3,142 GFLOPS

2007FINIS TERRAE

16,000 GFLOPS

VIGO, SPAIN, 2007

SANTIAGO DE COMPOSTELA, SPAIN, 2007

HISTORICAL SUPERCOMPUTERS AT CESGA

2003: SUPERDOME

768 GFLOPS

384 GB memory

Nº 1 in Spain

Nº 227 in the World

1993: VP-2400

2,5 GFLOPS

0,5 GB memory

Nº 1 in Spain

Nº 145 in the World

VIGO, SPAIN, 2007

FINIS TERRAE (2007)

VIGO, SPAIN, 2007

New Server HPC (December 2007)

More than 16 TFLOPS and 19TB RAM Memory

Plus Agreement among

FINIS TERRAE (2007) – COMPUTING NODES

SUPERCOMPUTING NODES:

144 cc-NUMA Nodes with Itanium CPUs connected through a high efficiency INFINIBAND network

• 1 node: 128 cores,

1.024 GB memory

• 1 node: 128 CPUs,

384 GB memory

• 142 nodes: 16 cores,

128 GB memory

• 2 nodes: 4 cores,

4 GB memory for testing

VIGO, SPAIN, 2007

FINIS TERRAE (2007) – DATA STORAGE RESOURCES

DATA STORAGE:

• 22 nodes with 44 cores for storage management.

• 390 TB disk.

• 1 PB Robot Tape

Library.

Santiago de Compostela, SPAIN, 2007

Refrigeración del CPD-CESGARefrigeración del CPD-CESGA

Andrés GómezAndrés Gómez

agomez@cesga.esagomez@cesga.es

Refrigeración de CPDs. Un problema internacional.

Ref. Dell Power Solutions. Noviembre 2006

¿Por qué refrigerar?

Para mantener las condiciones operativas de los equipos- Temperatura mínima-máxima- Humedad relativaPara reducir los fallos del hardware (Ley de Arrhenius).

Máxima duración.

Fuente: IBM

Zonas Frías/Zonas calientes

Flujo de aire frío por el subsuelo técnico

Flujo deseado de aire caliente

HVAC

Zonas Frías/Zonas calientes (II)

Fuente:DELL.

CPD CESGA Finis Terrae

Exterior

CPD

HVAC

Finis Terrae

ZONAS FRIAS Zonas Cálidas

Intercambiadores de calor exteriores

CPD CESGA Finis Terrae (II)

HVAC

Suelo Técnico Dos alturas

Techo bajo

Cables

CPD CESGA Finis Terrae (II)

CPD CESGA Finis Terrae (II)

CPD CESGA Finis Terrae (II)

CPD CESGA Finis Terrae (II)

CPD CESGA Finis Terrae (II)

Suelo Técnico

Techo bajo

CPD CESGA Finis Terrae (II)

Suelo Técnico Dos alturas

Techo bajo

Cables

CPD CESGA Finis Terrae (II)

Suelo Técnico Dos alturas

Techo bajo

Cables

CPD CESGA Finis Terrae (II)

Suelo Técnico Dos alturas

Techo bajo

Cables

CPD Finis Terrae. Formulación simplificada

Realizada por: Elena Martín, Marcos Meis y Fernando Varas

CPD CESGA Finis Terrae (II)

CPD. Preguntas

• Directrices de diseño para el futuro centro de procesamiento de datos• ¿Qué altura mínima y máxima?• ¿Dónde es conveniente que estén los cables?• ¿Podemos tener una solución óptima? • ¿Tenemos que recircular el aire o sería mejor

energéticamente extraerlo directamente?• ¿Tenemos otro método de refrigeración más eficiente,

compacto, etc? • ¿Cuál es la máxima densidad energética por metro

cuadrado que podemos instalar en el nuevo CPD?• Si no extraemos el aire, ¿Cuál es la altura recomendable

del techo?• ¿Hay otra disposición de las máquinas que no sea

pasillos caliente/frios más interesante energéticamente?

CPD. Preguntas

• Desarrollo de herramientas de simulación numérica para la predicción de la refrigreración lograda en un CPD• ¿cuáles son los modelos adecuados (desde la

perspectiva del gestor del centro de procesamiento de datos) para representar la refrigeración de los equipos?

• ¿qué información es precisa de los equipos y del sistema de refrigeración?

• ¿existen herramientas de software libre que permitan la resolución de los modelos descritos previamente?

• ¿cuáles son los retos computacionales de la resolución de dichos modelos?

CPD. Preguntas

• Mejora de la eficiencia energética de la actual configuración del sistema de refrigeración del CPD actual• ¿es posible obtener una reconfiguración del sistema de

refrigeración que permita refrigerar la sala reduciendo el coste energético?

• Cuando, en el futuro se añadan nuevos equipos a esta sala, ¿cuál sería la ubicación idónea de esos nuevos equipos desde el punto de vista de la refrigeración?

Santiago de Compostela, SPAIN, 2007

END

THANK YOU!

QUESTIONS

CONTACT:

Andrés Gómez Tato

agomez@cesga.es

http://www.cesga.es