Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de...

32
Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez Andrés Gómez [email protected] [email protected]

Transcript of Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de...

Page 1: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

Santiago de Compostela, SPAIN, 2007

Diseño y Mejora de Sistemas de Refrigeración de Centros de

Procesamiento de Datos

Andrés GómezAndrés Gómez

[email protected]@cesga.es

Page 2: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.
Page 3: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

MISSION STATEMENT

To provide high performance computing and communication resources and services to the scientific community of Galicia and to the National Research Council (CSIC), as well as, to institutions and enterprises with R&D activity.

To promote the use of new information and communication technologies applied to research within the scientific community of Galicia.

To become a consolidated RTD Centre of Excellence serving as international scientific and technological reference in the field of computational science and numerical simulation.

VIGO, SPAIN, 2007

Page 4: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

LEGAL ENTITIES

• Public Company

• Public Foundation

• Regional Government of Galicia 70%

• National Research Council of Spain 30%

PARTNERS

VIGO, SPAIN, 2007

Page 5: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

VIGO, SPAIN, 2007

CURRENT CESGA’S COMMUNITY OF USERS

• Galician Universities

• Galician Regional Government Research Centres

• Spanish National Research Council (CSIC) Centres

• Other public or private enterprises and institutions

Hospital Laboratories

Private Industries R&D Departments

Technological & Research Centres

Other Universities worldwide

Non-profit R&D organizations

Page 6: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

VIGO, SPAIN, 2007

SERVICES

• HPC, HTC & GRID Computing

• User Data Storage

• Advanced Communications Network

• Video streaming broadcast & on-demand

• Remote Learning & Collaboration Room Network

• e-Learning & Collaboration Tools

• GIS (Geographical Information Systems)

• e-Business Innovation Consulting

• R&D&I Project management

Page 7: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

TECHNOLOGYCESGA’S TECHNOLOGYCAL EVOLUTION SERVERS INSTALLED

1993VP 2400

2,5 GFLOPS

1998

VPP 300 AP 3000

14,1 GFLOPS 12 GFLOPS

1999HPC 4500 STORAGETEK

9,6 GFLOPS

2003SUPERDOME

768 GFLOPS

2001SVG

9,9 GFLOPS

2002HPC 320 BEOWULF

64 GFLOPS 16 GFLOPS

51 TERABYTES

2004, 2005, 2006SVG

3,142 GFLOPS

2007FINIS TERRAE

16,000 GFLOPS

VIGO, SPAIN, 2007

Page 8: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

SANTIAGO DE COMPOSTELA, SPAIN, 2007

HISTORICAL SUPERCOMPUTERS AT CESGA

2003: SUPERDOME

768 GFLOPS

384 GB memory

Nº 1 in Spain

Nº 227 in the World

1993: VP-2400

2,5 GFLOPS

0,5 GB memory

Nº 1 in Spain

Nº 145 in the World

VIGO, SPAIN, 2007

Page 9: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

FINIS TERRAE (2007)

VIGO, SPAIN, 2007

New Server HPC (December 2007)

More than 16 TFLOPS and 19TB RAM Memory

Plus Agreement among

Page 10: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

FINIS TERRAE (2007) – COMPUTING NODES

SUPERCOMPUTING NODES:

144 cc-NUMA Nodes with Itanium CPUs connected through a high efficiency INFINIBAND network

• 1 node: 128 cores,

1.024 GB memory

• 1 node: 128 CPUs,

384 GB memory

• 142 nodes: 16 cores,

128 GB memory

• 2 nodes: 4 cores,

4 GB memory for testing

VIGO, SPAIN, 2007

Page 11: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

FINIS TERRAE (2007) – DATA STORAGE RESOURCES

DATA STORAGE:

• 22 nodes with 44 cores for storage management.

• 390 TB disk.

• 1 PB Robot Tape

Library.

Page 12: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

Santiago de Compostela, SPAIN, 2007

Refrigeración del CPD-CESGARefrigeración del CPD-CESGA

Andrés GómezAndrés Gómez

[email protected]@cesga.es

Page 13: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

Refrigeración de CPDs. Un problema internacional.

Ref. Dell Power Solutions. Noviembre 2006

Page 14: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

¿Por qué refrigerar?

Para mantener las condiciones operativas de los equipos- Temperatura mínima-máxima- Humedad relativaPara reducir los fallos del hardware (Ley de Arrhenius).

Máxima duración.

Fuente: IBM

Page 15: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

Zonas Frías/Zonas calientes

Flujo de aire frío por el subsuelo técnico

Flujo deseado de aire caliente

HVAC

Page 16: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

Zonas Frías/Zonas calientes (II)

Fuente:DELL.

Page 17: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae

Exterior

CPD

HVAC

Finis Terrae

ZONAS FRIAS Zonas Cálidas

Intercambiadores de calor exteriores

Page 18: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

HVAC

Suelo Técnico Dos alturas

Techo bajo

Cables

Page 19: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Page 20: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Page 21: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Page 22: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Page 23: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Suelo Técnico

Techo bajo

Page 24: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Suelo Técnico Dos alturas

Techo bajo

Cables

Page 25: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Suelo Técnico Dos alturas

Techo bajo

Cables

Page 26: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Suelo Técnico Dos alturas

Techo bajo

Cables

Page 27: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD Finis Terrae. Formulación simplificada

Realizada por: Elena Martín, Marcos Meis y Fernando Varas

Page 28: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD CESGA Finis Terrae (II)

Page 29: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD. Preguntas

• Directrices de diseño para el futuro centro de procesamiento de datos• ¿Qué altura mínima y máxima?• ¿Dónde es conveniente que estén los cables?• ¿Podemos tener una solución óptima? • ¿Tenemos que recircular el aire o sería mejor

energéticamente extraerlo directamente?• ¿Tenemos otro método de refrigeración más eficiente,

compacto, etc? • ¿Cuál es la máxima densidad energética por metro

cuadrado que podemos instalar en el nuevo CPD?• Si no extraemos el aire, ¿Cuál es la altura recomendable

del techo?• ¿Hay otra disposición de las máquinas que no sea

pasillos caliente/frios más interesante energéticamente?

Page 30: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD. Preguntas

• Desarrollo de herramientas de simulación numérica para la predicción de la refrigreración lograda en un CPD• ¿cuáles son los modelos adecuados (desde la

perspectiva del gestor del centro de procesamiento de datos) para representar la refrigeración de los equipos?

• ¿qué información es precisa de los equipos y del sistema de refrigeración?

• ¿existen herramientas de software libre que permitan la resolución de los modelos descritos previamente?

• ¿cuáles son los retos computacionales de la resolución de dichos modelos?

Page 31: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

CPD. Preguntas

• Mejora de la eficiencia energética de la actual configuración del sistema de refrigeración del CPD actual• ¿es posible obtener una reconfiguración del sistema de

refrigeración que permita refrigerar la sala reduciendo el coste energético?

• Cuando, en el futuro se añadan nuevos equipos a esta sala, ¿cuál sería la ubicación idónea de esos nuevos equipos desde el punto de vista de la refrigeración?

Page 32: Santiago de Compostela, SPAIN, 2007 Diseño y Mejora de Sistemas de Refrigeración de Centros de Procesamiento de Datos Andrés Gómez agomez@cesga.es.

Santiago de Compostela, SPAIN, 2007

END

THANK YOU!

QUESTIONS

CONTACT:

Andrés Gómez Tato

[email protected]

http://www.cesga.es