Mapas Autoorganizados de kohonen Edgar Richard Polonio Bocanegra

Universidad San Pedro – Campus de Chimbote, Richardsmith_libra@hotmail.com

RESUMEN.

Se describe las características de los mapas auto organizados, su regla de aprendizaje, su algoritmo de

entrenamiento, con la finalidad de resolver problemas de clasificación.

Kohonen Self-Organizing Maps ABSTRACT

The characteristics of the self-organizing maps, the rule learning, the training algorithm, in order to

solve classification problems described.

INTRODUCCIÓN

Los mapas autoorganizados o SOM (Self-

Organizing Maps), también llamados redes de

Kohonen son un tipo de red neuronal no

supervisada, competitiva, distribuida de forma

regular en una rejilla de, normalmente, dos

dimensiones. Su finalidad es descubrir la

estructura subyacente de los datos introducidos

en ella. A lo largo del entrenamiento de la red, los

vectores de datos son introducidos en cada

neurona y se comparan con el vector de peso

característico de cada neurona. La neurona que

presenta menor diferencia entre su vector de peso

y el vector de datos es la neurona ganadora (o

BMU) y ella, y sus vecinas verán modificados

sus vectores de pesos. Este tipo de mapas

permiten reducir la dimensionalidad de los

vectores de entrada para representarlos mediante

una matriz de distancias unificada (U-matriz)

generalmente consistente en una matriz 2D, apta

para la visualización como una imagen plana.

ESTRUCTURA

Matriz de neuronas: Las neuronas se

distribuyen de forma regular en una

rejilla de dos dimensiones, que pueden

ser rectangulares o hexagonales, en las

que cada neurona puede tener cuatro o

seis vecinos respectivamente.

Espacio de entrada: Los datos de

entrada corresponden a un vector de N

componentes por cada atributo que

queramos comprar, siendo esta dimensión la misma del vector de pesos

sinápticos asociado a cada una de las

neuronas de la rejilla.

Espacio de salida: Corresponde con la

posición (2D) en el mapa de cada

neurona.

Relación entre neuronas: Entre todas

las neuronas hay una relación de

vecindad que es la clave para conformar

el mapa durante la etapa de

entrenamiento. Esta relación viene dada

por una función.

Ilustración 1 Estructura de un mapa autoorganizado

Entrenamiento Para cada paso del entrenamiento

(época) se introduce un vector de datos

correspondiente a una entrada seleccionada

aleatoriamente y se calcula la similitud entre este

vector y el peso de cada neurona. Aplicación de

SOM a la visualización de datos 4 La neurona

más parecida al vector de entrada será la neurona

ganadora (Best-Matching Unit ó BMU).

Generalmente se usa la distancia euclídea para

medir esta similaridad entre pesos sinápticos.

Tras esto, los vectores de pesos de la BMU y sus

vecinos son actualizados de forma que se acercan

al vector de entrada.

APLICACIÓN DE SOM A LA

VISUALIZACIÓN DE DATOS

Las dos características descritas anteriormente

hacen especialmente atractivo el uso de SOM

para representación de datos:

Reducción de la multidimensionalidad:

Podemos representar conjuntos de

datos de gran número de atributos en

mapas 2D.

Asociación de elementos con atributos

similares: Visualmente podemos ver de

forma rápida como quedan agrupados

elementos que tienen valores próximos

entre sí.

Aparte de estas razones a nivel técnico tenemos

además muchas ventajas como son:

Facilidad de implementación: La

implementación de un sistema SOM es

relativamente fácil y se adapta

perfectamente al modelo de procesado

en paralelo por lo que es también muy

fácilmente optimizable.

Abstracción de los datos de entrada:

Los SOM son totalmente transparentes

a la naturaleza de los datos de entrada,

tan solo se limitan a comparar vectores

de entrada con los pesos sinápticos de

las neuronas de la rejilla. Esto hace que

pueda ser usado en gran variedad de

problemas sin tener necesidad de

cambiar la aplicación base.

Facilidad de integración con otras

técnicas: Esta técnica se puede

compaginar con otras técnicas de

obtención de conocimiento como

pueden ser las redes bayesianas

realizando un preprocesado del

conjunto de datos.

Recientemente se está produciendo un

crecimiento del uso de mapas SOM gracias a su

potencia y facilidad de uso para trabajar en

campos como la estadística. Además una vez

obtenida el mapa, la representación no tiene por

qué limitarse a una rejilla rectangular, como se

puede apreciar en la siguiente imagen.

Ilustración 2 Ejemplo de uso de SOM en aplicaciones estadísticas

APRENDIZAJE NO SUPERVISADO

Los algoritmos de clasificación no supervisados

son aquellos que no requieren etiquetado de cada

uno de los vectores de entrada; se suelen llamar

también algoritmos auto-asociativos, porque

asocian entradas a ellas mismas. Una buena

explicación de estos algoritmos se halla en la

FAQ de redes neuronales.

El tipo más común de algoritmos de aprendizaje

o clasificación no supervisada son los algoritmos

de análisis de grupos o clustering; estos

algoritmos tratan de dividir las muestras del

conjunto de entrada en una serie de grupos con

características comunes. Un algoritmo debe

descubrir cuáles son estos clusters, pero también

cuáles son las características que define ese

cluster y cuántos clusters hay; pero éste último es

un problema que no tiene solución fácil.

Dentro de las redes neuronales, uno de los

métodos no supervisados más comunes es

precisamente el SOM, pero hay otro método

denominado aprendizaje hebbiano que usa una

red monocapa, con pesos conectando las entradas

a las salidas, y aumentarndo el valor de los pesos

que unen a dos neuronas si se activan a la vez, y

disminuir el valor si se activan de forma

diferencial. Una red hebbiana se puede disponer

en una sola capa o varias: las entradas se

propagan a la capa interna, y a la salida, y tras la

propagación, se cambian los pesos de la forma

indicada. El aprendizaje hebbiano equivale a un

análisis de componentes principales de las

entradas, según ha sido probado recientemente.

Una red neuronal supervisada tal como el

perceptrón multicapa se puede convertir en no

supervisada usando las entradas como salidas; de

esta forma, la capa interna extraerá los

componentes principales de las entradas, y se

podrá usar, por ejemplo, como memoria

asociativa; o bien, analizando las activaciones de

la capa interna, se pueden asignar diferentes

grupos (clusters) a las entradas: los patrones de

entrada/salida que provoquen unos patrones de

activación similares pertenecerán al mismo

grupo.

Los métodos no supervisados se suelen usar en lo

denominado análisis de datos exploratorio, es

decir, en una fase del análisis de los datos,

cuando no se sabe de antemano cuáles son los

grupos naturales que se forman, y se quiere

visualizar la abundancia y la relación que hay

entre los grupos "naturales"; se puede decir que

una de sus principales aplicaciones es la

visualización de datos multidimensionales,

porque un algoritmo no supervisado actúa como

una proyección de un espacio multidimensional

a otro de dimensiones visualizables. También se

pueden usar como fase inicial de algoritmos de

aprendizaje supervisados: un algoritmo como el

k-medias o el mismo SOM se pueden usar para

inicializar algoritmos de aprendizaje supervisado

tales como el LVQ (Learning Vector

Quantization). [1]

ARQUITECTURA EN RED

En general, el algoritmo SOM considera una

arquitectura en 2 capas: por una parte tenemos

una red de nodos de aprendizaje (de la que nos

importa la relación de distancias que hay entre

ellos) junto con un conjunto de vectores de

entrenamiento, de forma que todos los elementos

de la primera capa están conectados con todos los

elementos de la segunda capa. Para los

propósitos básicos que necesitamos en este

ejemplo trabajaremos con una distribución 2D

del SOM, tal y como muestra la siguiente figura

(la red de aprendizaje viene representada por

nodos rojos, y los vectores de entrenamiento

vienen representados en verde).

Ilustración 3 La red de aprendizaje viene representada por nodos rojos, y los vectores de entrenamiento vienen representados en verde

Cada nodo tiene un posición topológica

específica (que suele estar asociada a las

coordenadas (x,y)) y contiene un vector de pesos

de la misma dimensión que los vectores de

entrenamiento. Es decir, si cada vector, V, de

entrenamiento tiene dimensión n, cada nodo

tendrá un vector de pesos, W, de dimensión n.

ALGORITMO DE APRENDIZAJE

A grandes rasgos, ya que no hay vector objetivo

al que aproximarse, lo que se hace es que, en

aquellas zonas en las que la red tiene nodos con

pesos que coinciden con vectores de

entrenamiento, el resto de nodos de su entorno

tienden a aproximarse también a ese mismo

vector. De esta forma, partiendo de una

dstribución de pesos inicial (normalmente

aleatorios), el SOM tiende a aproximarse a una

distribución de pesos estable. Cada una de estas

zonas que se estabiliza se convierte en un

clasificador de propiedades, de forma que la red

se convierte en una salida que representa una

aplicación de clasificación. Una vez estabilizada

la red, cualquier vector nuevo estimulará la zona

de la red que tiene pesos similares.

De forma más detallada, los pasos que se siguen

para el proceso de entrenamiento son:

Cada nodo se inicializa con un peso

(aleatorio). Normalmente, vectores

en [0,1]n,

Se selecciona al azar un vector del

conjunto de entrenamiento.

Se calcula el nodo de la red que tiene el

peso más similar al vector anterior, que

notaremos como Best Matching

Unit (BMU). Para ello, simplemente se

calculan las distancias euclídeas entre

los vectores W de cada nodo y el vector

de entrenamiento (por motivos de

eficiencia, no se aplica la raíz cuadrada

al cálculo de la distancia euclídea, cosa

que no afecta para calcular el mínimo).

Se calcula el radio del entorno de

BMU. Este radio comenzará siendo

grande (como para cubrir la red

completa) y se va reduciendo en cada

iteración.

Cada nodo del entorno de BMU ajusta

su peso para parecerse al vector de

entrenamiento seleccionado en el paso

2, de forma que los nodos más cercanos

al BMU se vean más modificados.

Repetir desde el paso 2 (el número de

iteraciones que se considere necesario).

La fórmula que establece el radio en función de

la iteración (que hace que vaya disminuyendo,

pero no linealmente) es:

r(t)=r0e−tλ

donde r0 es el radio inicial (habitualmente, el

radio de la red, es decir, uno suficiente para

cubrir en el primer paso todos los nodos) yλ una

constante que permite hacer que el radio sea muy

pequeño cuando llegamos a la iteración máxima:

λ=Tiempo_de_Entrenamientolnr0

La siguiente figura muestra el efecto de ir

reduciendo paulatinamente el radio del entorno,

donde se marcan los nodos que se verían

afectados si el nodo BMU es el nodo amarillo:

[2]

Ilustración 4 La siguiente figura muestra el efecto de ir reduciendo paulatinamente el radio del entorno

LOS MAPAS AUTOORGANIZADOS

APLICADOS A LA BIBLIOMETRÍA.

La Bibliometría es una disciplina que estudia los

aspectos cuantitativos de la información

registrada, para ello se han creado una serie de

modelos estadísticos que aportan datos

numéricos sobre el comportamiento de la

actividad científica. También se han adaptado

modelos de otras disciplinas para facilitar los

análisis y representar los resultados desarrollados

a partir de la Bibliometría. Los mapas auto-

organizados (SOM) o modelo de Kohonen

(basado en las RNA) es una de estas

herramientas. En los estudios métricos la

aplicación de las redes neuronales, y

específicamente los SOM, están asociados en lo

fundamental con la clasificación de información,

o sea, la formación de cluster y su representación

en mapas bidimensionales de conceptos y más

específicamente con el descubrimiento de

información (data mining). Este último

vinculado con la recuperación de la información

con "ruido" e incompleta o con el tratamiento de

información que incluye diferentes tipos de datos

(números, texto, registros estructurados, etc.).

Los SOM facilitan que el conocimiento tácito se

haga explícito, a partir de la extracción no-trivial

(a partir de los datos) de conocimientos

implícitos potencialmente útiles desconocidos

previamente. Se podrán encontrar patrones o

estructuras en el conocimiento tácito. [3]

Las investigaciones bibliométricas, a través de la

utilización de las redes neuronales, incursionan

en:

la selección de variables.

clasificación de información o

formación de cluster.

regresión.

relaciones entre variables.

cambios y desviaciones.

representación de las variables.

Lo anterior se puede ejemplificar a partir de

algunas aplicaciones prácticas relacionadas con

la evaluación de páginas web [8] y trabajos

relacionados con la clasificación de revistas en

un determinado campo temático [9]. Se conocen,

además, investigaciones relacionadas con la

minería de textos (text mining) sobre todo

aplicado a la asociación de palabras o co-word.

En todos estos ejemplos se utiliza como variante

de las RNA el modelo de los mapas

autoorganizativos (self-organizing map, SOM).

En un análisis, realizado por los autores sobre el

tema, se examinaron cerca de 56 documentos

sobre redes neuronales aplicadas al análisis de

información, con ello se constato que la mayoría

utilizaban el modelo SOM como herramienta de

estudio. (2, 7, 8,12,16). Un ejemplo de SOM

podría ser.el estudio de una temática

determinada, para este caso en un mapa cada

documento (artículo de revista, podría ser una

patente, una tesis, etc.) va a ocupar un lugar en el

espacio, en función de su contenido temático.

Cada área del mapa va a Sotolongo, G.; Guzmán,

MV. Aplicaciones de las redes neuronales. El

caso de la bibliometría. Ciencias de la

Información. (preprint) 2001; 32(1):27-34. 10

reflejar un contenido específico y los tópicos van

variando levemente a lo largo del mismo. Las

diferentes tonalidades indican la densidad de

documentos, cuanto más oscura más documentos

se encuentran. Este uso frecuente de los SOM

quizás se deba a lo amigable de la interfaz de los

mapas para los usuarios finales y a la diversidad

de sus utilidades prácticas, estas representaciones

son válidas para poder identificar, además de los

desarrollos temáticos antes mencionados,

relaciones entres áreas temáticas y publicaciones,

alianzas estratégicas y características de la

cooperación. Permite, también, visualizar los

avances tecnológicos que tienen lugar en un

período, conocer la evolución de una tecnología

a través del tiempo e identificar campos

emergentes. En el acápite anterior se mencionó al

Visc

automatizado el modelo SOM. Este sistema es

utilizado por un equipo de trabajo del Instituto

Finlay para elaborar mapas científico-

tecnológicos.

Ilustración 5 Funcionamiento del Viscovery SOMine

El punto de partida, para el uso de esta

herramienta, es la entrada de un conjunto de

datos numéricos (datos multivariables, variables,

“nodos” ). Estos datos necesitan ser

preprocesados con el objetivo de “organizarlos”

en forma de matrices. Los datos son convertidos

hasta obtener una información visual en forma de

mapa, para ello se aplica un número de técnicas

de evaluación como coeficientes de correlación

entre variables o factores discriminantes [4, 13,

14]. Los mapas serán amigables a la vista del

usuario final, en ellos se identificarán

dependencias entre parametros, cluster y gráficos

que facilitarán diferentes predicciones o el

proceso de monitoreo.

APLICACIONES:

Se estima que a pesar de las limitaciones

técnicas, las redes neuronales aplicadas a la

Bibliometría constituyen un campo de

investigación muy prometedor. Un ejemplo es

presentado a continuación. La disciplina

muldidisciplinar de las redes neuronales es

aplicada en esta sección, donde se asume a la

producción de los documentos de patentes como

indicador de la capacidad de desarrollo

industrial. El objetivo es identificar posibles

competidores, alianzas estratégicas, dependencia

tecnológica, etc. Se escogió para el primer

ejemplo la representación de la situación

tecnológica de la Neisseria meningitidis.3 Las

diferentes instituciones en la primera hoja de sus

patentes hacen referencias a otras patentes, a

partir de estos datos se puede inferir el impacto

que produce una tecnología o institución en otra.

Con el objetivo de determinar la dependencia

tecnológica entre instituciones, se realizó un

análisis de citas, estas formaron los cluster que

aparecen en la figura.

Ilustración 6 Posición tecnológica de las instituciones según las citaciones.

El mapa tecnológico presentado en la figura

anterior representa a tres cluster: cluster 1

formado solamente por la Merck & Co., un

cluster 2 formado únicamente por el National

Res. Council of Canada y el cluster 3 que incluye

al resto de las instituciones. Este último grupo

está formado por una gran cantidad de

instituciones que tienen igual estrategia de

citación, sobre todo las representadas con colores

más claros y sin límites de separación. Se

presupone que estas firmas se basan para su

desarrollo en su propia base tecnológica, pues

citan poco a otras instituciones. El cluster 2

evidencia un alto nivel de autocitación, cuando

esto sucede, algunos investigadores [1] en el

tema señalan que probablemente esta institución

tenga un nicho de protección cerrada sobre un

espacio tecnológico. Puede estar ocurriendo que

exista una patente importante, la cual se ha

rodeado de invenciones mejoradas. El cluster

formado por la Merck & Co. indica un mayor

nivel de citación, esto presupone una estrategia

balanceada: absorbe tecnología externa y

produce tecnología propia. La cercanía de los

cluster también es una evidencia sobre las

instituciones que tienen estrategias parecidas a la

de otras. La Rockefeller University hace frontera

con el cluster que incluye a North American

Vaccine, y el National Res. Council de Canada;

estas instituciones forman un colegio tecnológico

invisible que basa sus desarrollos en la misma

innovación tecnológica.

Otro ejemplo Otra aplicación se presenta en un

campo diferente del conocimiento: la agricultura.

En este ejemplo no solo se tomó como elemento

de entrada la producción documental de

determinados países, también se consideraron

otros tipos de variables como "gastos en I+D" en

cada uno de los países analizados, "personal

dedicado a actividades de I+D", etc.

Ilustración 7 Mapa de América Latina y el Caribe (países seleccionados) de acuerdo con la

En la figura 6 se presenta un mapa auto-

organizado sobre la actividad en ciencia agrícola

en América Latina y el Caribe (se seleccionaron

algunos países según los datos disponibles). Con

ello se pretende lograr una representación de la

región, teniendo en cuenta los indicadores de

insumo y de resultados más significativos. En la

figura aparecen, en dos dimensiones, 22 países.

La semejanza de los países, considerando de

forma simultánea los 20 indicadores, se expresa

mediante la cercanía de estos en el mapa. Los 22

países se agrupan (autorganizan) en 3 clusters o

grupos: El cluster C1, que aparece en la esquina

inferior izquierda, es seguido por una banda de 4

países correspondientes al cluster C2 (Cuba,

Colombia, Chile y Venezuela) y otro cluster (C3)

con el resto de los países.

En el ámbito regional e internacional hay un

grupo de países formado por Brasil, México y

Argentina que tienen una investigación en la

temática con mayor solidez y con parecidos

niveles de desarrollo. Esto coincide con los

países que presentan mayor nivel regional en el

desarrollo agrícola. [4]

ANÁLISIS DE PACIENTE

DIABÉTICOS INTERNADOS

ANÁLISIS DE PACIENTE FACTORES

DE RIESGO

RIESGOS BANCARIOS VARIABLES

DE LOS DATOS [5]

INTERFERENCIA

CATRASTOFICA

Sucede cuando cuanod la informacion que fue

recientemente aprendida a menudo elimina la

que fue anteriormente aprendida. El problema

principal consiste en diseñar un sistema que sea

simultaneament sensible a pero no radicalmente

destructivo, a la nueva entrada.

ROBUSTEZ:

En la data real existen diversos puntos

denominados outliers los cuales difieren del

comun de los datos. Las SOM no son sensibles a

la presencia de este tipo de datos, no logranso

realizar una buena generalizacion del conjunto de

entrada, siendo otro problema importante que se

debe abordar. [6]

CONCLUSIONES:

El uso de las redes neurales incide en las

empresas mejorando el proceso de calificación

de las finanzas económicas al margen de error en

el ranking. Todo esto demuestra su utilización en

varios campos (capital de trabajo, pagos,

inversiones, etc.), para poder ser aplicado a una

gran variedad de proyectos e investigaciones.

En este trabajo hemos presentado los mapas auto-

organizados tal y como fueron introducidas por

Kohonen y particularizando desde el punto de

vista general de redes neuronales artificiales. De

entre las miles de aplicaciones que tienen los

mapas auto-organizados hemos descrito varias

de ellas orientadas a la segmentación de

imágenes en color. Posteriormente hemos

introducido el concepto de mapa auto-

organizado generalizado, cuya principal virtud

sea quizás su simetría respecto a los datos de

entrada y las neuronas. Hemos visto como

algunas de las variantes de mapas auto-

organizados explicados anteriormente se

enmarcan dentro de este nuevo concepto

generalizado mientras que no lo hacían en el

concepto clásico de mapa auto-organizado.

Creemos que este concepto podría dar a nuevas

desarrollos o variaciones de mapas auto-

organizados. Como aplicación hemos diseñado

un mapa auto-organizado generalizado orientado

a la segmentación de imágenes en color. La

diferencia con un mapa clásico radica

fundamentalmente en que el movimiento de las

neuronas se realiza a lo largo de las geodésicas

de cierta métrica. Esta métrica depende de una

densidad continua calculada a partir de las

muestras. La implementación se ha llevado a

cabo en MATLAB y C.

Bibliografía

[1] [En línea]. Available: http://geneura.ugr.es/~jmerelo/tutoriales/bioinfo/Kohonen.html.

[Último acceso: 22 mayo 2015].

[2] D. C. d. l. C. e. I. A. U. d. Sevilla, 10 enero 2014. [En línea]. Available:

http://www.cs.us.es/~fsancho/?e=76. [Último acceso: 22 mayo 2015].

[3] [En línea]. Available:

http://halweb.uc3m.es/esp/Personal/personas/jmmarin/esp/DM/tema5dm.pdf. [Último

acceso: 22 MAYO 2015].

[4] M. V. Guzmán. [En línea]. Available:

http://www.dynamics.unam.edu/DinamicaNoLineal/Articulos/MineriaDatos/Articulo03.pdf.

[Último acceso: 22 mayo 2015].

[5] G. Meschino. [En línea]. Available:

http://www3.fi.mdp.edu.ar/meschino/Presentaciones/GUSTAVO%2008%20-

%20KOHONEN.pdf. [Último acceso: 22 mayo 2015].

[6] [En línea]. Available: http://www.doc4net.es/doc/1850344633707/. [Último acceso: 22

mayo 2015].