capitulo

download capitulo

of 37

description

biologia

Transcript of capitulo

  • INTRODUCCIN A REDES NEURONALES ARTIFICIALES TEORA Y APLICACIONES Dr. Hctor AllendeDepartamento de Informtica Universidad Tcnica Federico Santa Mara

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Basic Neural DynamicsCaptulo 1 The ANN Books R.M. Kristev 1998 http://www.inf.utfsm.cl/~hallende/ redes neuronales/novedadesFAQ NN: "ftp://ftp.sas.com/pub/neural/FAQ.html"

    Redes Neuronales Artificiales

  • Inteligencia Computacional ?Computational IntelligenceCombinacin:Ciencias de la ComputacinNeuro-FisiologaFilosofa (Teora del conocimiento y lgica)

    Creacin de Mquinas que puedan Pensar en el sentido del test de Turin

  • Corteza Cerebral Humana:Aproximadamente 10 neuronas1000 a 10.000 Synapsis por neuronaComunicacin tren de impulsos electro-quimicos ( mensaje modulado)Proceso Cognitivo tiempo (milisegundos) Operacin Masiva Paralela Secuencial en 100 Etapas11

  • Clula NerviosaSoma: Info. Hereditaria + Plasma + Generacin SealesDendritas:Recepcin Seales ImpulsosAxn: Transmisin de SealesSinapsis: Interfaz Neuronal (Inhibitoria, Excitatoria)

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*1943 W.McCulloch, W. Pitts: Modelo ANN ( El Perceptrn )

    1959 Bernard Widrow ( SU): Filtro Adaline (Adaptative Linear Neuron) y el Madaline (Multiple Adaline) Basado en ( ANN)

    1969 Minsky y Papert: El Perceptrn (limitaciones).

    1982 J. Hopfield: Memoria Asociativa Redes de Hopfield".

    1986 Rumulhart, Hunton y Williams : redescubren el BPL algoritmo de "back-propagation learning" ( Paul Werbor, 1974)

    1989 K. Hornik, M. Stinchcombe, H. White: Multi-FANN y Aproximacin UniversalBreve Historia

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Red neuronal artificial (ANN)ANN: Es un sistema dinmico compuesto por redes paralelas y distribuidas de procesadores elementales, con la capacidad de aprender y almacenar conocimiento. ArquitecturaInteraccinFuncin de proceso

    ANN: SM sobre-parametrizado

    Redes Neuronales Artificiales

  • Aplicaciones de las ANN Resolver problemas ComplejosHacer generalizacionesEstablecer Relaciones no evidentesAnlisis de sistemas complejosPercepcinComprensin y AprendizajeGeneracin de nuevo conocimiento

  • Aplicaciones de las ANN TelecomunicacionesInformticaMineraEnergaFinanzasTransporteSalud

  • Aplicaciones de las ANN ClasificacinPre-procesamiento de datos Reconocimiento de patronesAproximacin de funcionesPrediccin de Series de TiempoOptimizacin CombinatorialControl

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Modelo Neuronal: Mc Culloch & Pitts 1943 biw1iwni. . .010101xi(t)xi(t) = wij xj(t-1) - bi nj=1

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*ANN y Neuronales BiolgicasNeurona y Conecciones Sinpticas Procesador ElementalNeuronas: El aprendizaje se produce mediante la variacin de la efectividad de las sinapsis, de esta manera cambia la influencia que unas neuronas ejercen sobre otras.ANN: La regla de aprendizaje usada indica como se ajustan los pesos de las conexiones en funcin del vector entrada

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Analogas

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Procesador Elemental.PE: Es una unidad bsica de procesamientola que posee mltiples entradas y solo una salida.Cada entrada xi es ponderada por un factor (peso) wi y se calcula la suma ponderada de las entradas:

    Luego es aplicada una transformacin mediante la funcin de activacin :

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*

    Procesador elemental.Unidad de agregacinUnidad de Activacinf(a)InputOutputxiwia=netaif

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Procesador elemental.ANN Feedforward: Se construye colocando las neuronas en capas y conectando las salidas de una capa con las entradas de las neuronas de la prxima capa.Capas de una red:Capa de entrada Zona sensorial ( S)Capa de salida Zona de Respuesta ( R)Capas ocultas Zona de asociacin ( A)

    Redes Neuronales Artificiales

  • ANN: Aprendizaje y Generalizacin Mtodos Actuales

    Tipos de Aprendizaje

    Tipos de Arquitectura

    Tipos de Funcin de Transicin: deterministas, probabilistasTipo de Algoritmo de Aprendizaje: BPL, PPL, LM, etcSupervisadoNo - SupervisadoHbridosFeedForwardSingle, MultipleRecurrentesProfesor: Hctor AllendeRedes Neuronales Artificiales*

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Feedforward Neural Network

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Redes FeedforwardFANN La capa 0 no realiza procesamiento alguno, solo distribuye las entradas a la capa siguiente

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Modelo de Turingxi(t) = i=1,...,n wij xj(t-1) - bi nj=1W (conectividad de la NN)b = (bi ) vector de umbraleswijxi(0) {0,1}

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*ArquitecturaEn funcin de la conectividad de las capas, podemos hablar de redes recurrentes (feed-back) y redes no recurrentes o redes en cascada (feed-forward). Lo ms usual es disponer las unidades en forma de capas, pudindose hablar de redes de una capa oculta, o de ms de dos capas ocultas (redes multicapa

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Neuronas y Redes simples.ANN Recurrente: La salida de una neurona es la entrada de neuronas de capas anteriores (feedback).Feedback lateral: La salida de una neurona es la entrada de otra neurona en la misma capa.

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Neuronas y Redes simples.Parmetros de la Red: Los pesos {wi}.Aprendizaje o entrenamiento: Es el procedimiento mediante el cual los pesos son ajustados.Conjunto de entrenamiento: Conjunto de datos que consiste vectores de entrada asociado con vectores de salida deseada:{(xi,yi)}.

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Neuronas como funcionesLas neuronas transforman una entrada no acotada x(t) en el tiempo t en una seal de salida acotada f(x(t)).La funcin de activacin o funcin de seal: fVelocidad de la seal:

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funciones de ActivacinFunciones Tipo SigmoideFunciones Base Radial

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funciones de activacin comunesFuncin de activacin logstica:

    Es montamente creciente para c >0

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funciones de activacin comunes

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funciones de activacin comunesTangente hiperblica:

    donde c>0.

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funciones de activacin comunesThreshold (umbral)

    c>0

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funciones de activacin comunesDistribucin exponencial:

    c>0.

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funciones de activacin comunesRazn polinomial:

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funciones de activacin comunesPulse-coded: Consiste en un tren de pulsos exponencialmente ponderados

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Tamao de las muestrasCuntas Neuronas Cuantas CapasTipo de Arquitectura ( Seleccin del Modelo ANN)Tipo de Aprendizaje Algoritmos de AprendizajeCundo usar ANN Modelador NN: Preguntas Abiertas

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Optimizacin CombinatorialAprendizaje y Generalizacin:Memorias Asociativas (Bsico)Redes MulticapasPattern RecognitionPrediccin y Pronsticos Aproximacin de FuncionesModelos de Difusin de InformacinArquitecturas ParalelasAplicaciones NN

    Redes Neuronales Artificiales

  • Test de Turing:Un computador merece ser llamado inteligente si puedehacer pensar a un ser humanoque es otro ser humano

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Estructura y Formas de ConexinFuncin de ActivacinSe suele distinguir entre funciones lineales, en las que la salida es proporcional a la entrada; funciones de umbral, en las cuales la salida es un valor discreto (tpicamente binario 0/1) que depende de si la estimulacin total supera o no un determinado valor de umbral; y funciones no lineales, no proporcionales a la entrada.CaracteristicasAprendizaje inductivoGeneralizacin.Abstraccin tolerancia al ruido:Procesamiento paraleloMemoria Distribuida

    Redes Asincronicas v/s Sincronicas

    Metodos deterministas v/s Estaticos

    Redes Neuronales Artificiales

  • Profesor: Hctor AllendeRedes Neuronales Artificiales*Funcionamiento BasicoLa arquitectura ms usada en la actualidad de una red neuronal consistira en: Una primera capa de entradas, que recibe informacin del exterior. Una serie de capas ocultas (intermedias), encargadas de realizar el trabajo de la red.Una capa de salidas, que proporciona el resultado del trabajo de la red al exterior.

    El nmero de capas intermedias y el nmero de neuronas de cada capa depender del tipo de aplicacin al que se vaya a destinar la red neuronal.

    Redes Neuronales Artificiales

    **