University of AlmeraDepartment of Informatics

Ph.D. Thesis

High Performance Computing for solving

large sparse systems. Optical Diffraction

Tomography as a case of study.

(Computacion de altas prestaciones para la

resolucion de sistemas dispersos de grandes

dimensiones. Tomografa Optica Difraccional

como caso de estudio)

Gloria Ortega LopezAlmera, May 2014

./Titulo/figures/logo.eps

2

Ph.D. Thesis

High Performance Computing for solving large sparse

systems. Optical Diffraction Tomography as a case of study.

(Computacion de altas prestaciones para la resolucion de

sistemas dispersos de grandes dimensiones. Tomografa

Optica Difraccional como caso de estudio)

University of Almera

Department of Informatics

Author: Gloria Ortega LopezSupervisors: Inmaculada Garca Fernandez

Gracia Ester Martn Garzon

Almera, May 2014

./Titulo/figures/logo.eps

4

A mis padres y a mi hermano

ii

Agradecimientos

Esta tesis ha sido posible gracias a la financiacion recibida del Ministerio de

Educacion, Cultura y Deporte a traves de la beca FPU (AP2009-4797), del

Ministerio de Economa y Competitividad a traves de los proyectos de inves-

tigacion TIN2008-01117 y TIN2012-37483 y a la Consejera de Economa,

Innovacion, Ciencia y Empleo de la Junta de Andaluca a traves de los

proyectos P10-TIC6002 y P11-TIC7176, cofinanciados por el Fondo Eu-

ropeo de Desarrollo Regional (FEDER).

Igualmente, quiero expresar mi agradecimiento al Programa HPC-Europa2

y al Plan Propio de Investigacion de la Universidad de Almera, por darme

la oportunidad de realizar estancias en el extranjero, que han sido muy im-

portantes en el desarrollo de esta tesis y en mi propia formacion cientfica

y humana. Este agradecimiento se hace extensivo a los centros de Super-

computacion Edinburgh Parallel Computing Centre (EPCC) y High Per-

formance Computing Center Stuttgart (HLRS) por poner a mi disposicion

sus recursos, tanto tecnicos como cientficos. En particular, me gustara

agradecer a los Drs. D. David Henty y D. Jose Gracia su soporte y profe-

sionalidad.

La realizacion de esta Tesis Doctoral ha resultado ser un reto, tanto personal

como intelectual, que se ha hecho posible gracias al apoyo recibido de todas

aquellas personas que me han acompanado en este largo camino.

En primer lugar me gustara agradecer a mis dos supervisoras, Dras. Da

Inmaculada Garca Fernandez y Da Gracia Ester Martn Garzon, su consejo,

dedicacion y confianza depositada en m. El hecho de compatir con ellas

este tiempo ha sido un aspecto clave en mi desarrollo personal y labor

investigadora.

Notable reconocimiento merecen los companeros del grupo de investigacion

TIC-146 Supercomputacion: Algoritmos, con los que he compartido muy

buenos momentos durante estos anos. En especial me gustara agradecer

al Dr. D. Francisco Vazquez Lopez, por poner a mi disposicion el codigo

de la valiosa rutina ELLR-T que fue la base de su tesis. Ademas, quiero

expresar mi agradecimiento al Dr. D. Jose Antonio Martnez Garca por su

estimable apoyo en tierras alemanas.

Quisiera hacer extensible mi sincera gratitud a las Dras. Da Ma del Pilar

Arroyo Grandes, Da Julia Lobera Salazar y Da Siham Tabik ya que su

colaboracion ha sido importante para mi formacion.

Esta tesis se la dedico principalmente a mis padres, que son un pilar fun-

damental en mi vida. Ellos me han ensenado el valor de las cosas y que el

esfuerzo no tiene lmites cuando te propones alcanzar un sueno. Con este

logro quiero devolver un poco de lo que me han dado desde que nac.

A mi hermano Luis, porque siempre ha estado a mi lado a pesar de la

distancia. Gracias por ser mi apoyo incondicional y mi fuente de inspiracion

cuando mas lo he necesitado.

Un agradecimiento muy especial merece la comprension, paciencia y el

animo recibidos de mi familia y amigos. En especial a aquellos que me

han hecho compana incluso en el extranjero.

A todos ellos, muchas gracias.

Prefacio

Esta tesis titulada High Performance Computing for solving large sparse

systems. Optical Diffraction Tomography as a case of study (Computacion

de altas prestaciones para la resolucion de sistemas dispersos de grandes di-

mensiones. Tomografa Optica Difraccional como caso de estudio) investiga

los aspectos computacionales asociados con la resolucion de sistemas de

ecuaciones lineales procedentes de la discretizacion de modelos fsicos des-

critos mediante sistemas de Ecuaciones Diferenciales en Derivadas Parciales

(PDEs). Estos modelos fsicos se conciben para describir el comportamiento

espacio-temporal de algun fenomeno fsico f(x, y, z, t) en terminos de sus

variaciones (derivadas parciales) con respecto a algunas de las variables

de las que depende el fenomeno. Existe una gran diversidad de metodos

de discretizacion de PDEs. Los dos mas extendidos son el Metodo de las

Diferencias Finitas (FDM) y el Metodo de los Elementos Finitos (FEM).

Ambos metodos dan lugar a una descripcion algebraica del modelo que se

traduce en el planteamiento de un sistema de ecuaciones lineales del tipo

(Ax = b), donde A es una matriz dispersa (porcentaje muy alto de elemen-

tos nulos) cuyo tamano depende de la precision con la que se desee modelar

el fenomeno.

En esta tesis partimos de la descripcion algebraica del modelo asociado al

fenomeno fsico, y nuestras contribuciones estan relacionadas con el diseno

de tecnicas y modelos computacionales que permiten resolver estos sistemas

de ecuaciones. Nuestro interes se centra en modelos que requieren un nivel

de discretizacion muy fino y que por lo tanto generan matrices, A, que

tienen una estructura dispersa y un gran tamano. La literatura cientfica

caracteriza este tipo de problemas por una alta demanda computacional

(debido al grado de discretizacion) y por la dispersion de las matrices que

i

los definen, planteando que unicamente se pueden abordar mediante el uso

de metodos y arquitecturas computacionales de alto rendimiento.

Actualmente, las arquitecturas de alto rendimiento mas extendidas son

los sistemas heterogeneos formados por clusteres de multiprocesadores de

memoria distribuida, donde cada nodo posee una arquitectura multi-core

con distinto numero de nucleos. Ademas, estas arquitecturas pueden dis-

poner de diversos elementos aceleradores, tales como unidades vectoriales,

FPGAs, GPUs, Coprocesadores Intel Xeon Phi y una red de interconexion

heterogenea compuesta por enlaces de distinto ancho de banda y latencia.

Uno de los principales objetivos de esta tesis es investigar las posibles al-

ternativas que permitan la implementacion de rutinas capaces de resolver

sistemas lineales dispersos de grandes dimensiones y basadas en el aprove-

chamiento de las modernas plataformas de altas prestaciones. El uso de

plataformas masivamente paralelas (GPUs), permite la aceleracion de estas

rutinas, ya que presentan ventajas para esquemas de computacion vecto-

rial. Por otro lado, el uso de plataformas de memoria distribuida permite

la resolucion de problemas que pueden ser modelados mediante matrices

de enorme tamano. Finalmente, la combinacion de ambas tecnicas, com-

putacion distribuida y multi-GPUs, permitira abordar problemas de interes

donde intervienen matrices dispersas de gran tamano, en un tiempo muy

reducido. En este sentido, una de las aportaciones de este trabajo consiste

en poner a disposicion de la comunidad implementaciones optimizadas para

clusteres multi-GPU que permitan resolver sistemas de ecuaciones lineales

dispersos, que son un aspecto clave en la computacion cientfica.

La segunda parte de esta tesis se centra en un problema fsico real del

campo de la Tomografa Optica Difraccional basado en datos holograficos.

La Tomografa Optica Difraccional permite extraer informacion sobre la

forma de los objetos con una gran precision y sin someterlos a la agresion

de intensas radiaciones, por lo que posibilita la investigacion de tejidos, mi-

croorganismos, etc. en vivo, y hace posible el estudio de su dinamica. Un

modelo fsico preliminar basado en la reconstruccion bidimensional de la dis-

tribucion de partculas sembradoras en fluidos fue propuesto por J. Lobera

ii

y J.M. Coupland. Sin embargo, su alto coste computacional (memoria y

tiempo de computo) hace que su extension a un modelo tridimensional tenga

que basarse, necesariamente, en el uso de tecnicas de computacion de altas

prestaciones. En la segunda parte de esta tesis se aborda la implementacion

y validacion de este modelo fsico para el caso de reconstrucciones tridimen-

sionales. En dicho desarrollo es necesaria la resolucion de grandes sistemas

de ecuaciones dispersos. Por lo tanto, algunas de las rutinas algebraicas

que hemos implementado en esta tesis han sido utilizadas para la imple-

mentacion de estrategias computacionales capaces de resolver el problema

de la reconstruccion 3D de Tomografa Optica Difraccional.

Esta tesis esta organizada en seis captulos. El primero de ellos es una

introduccion a las areas de investigacion en las que se enmarca esta tesis.

En dicho captulo se presentan los materiales y metodos utilizados. En

primer lugar