Redes Neurais

Ronaldo F. Ramos, Dr. ronaldo@cefet-ce.br

Roteiro✹Cérebro ✹Redes Neurais ✹Perceptrons ✹Perceptrons multicamada ✹Aplicações de redes neurais

Cérebro1011 neurônios de > 20 tipos 1014 sinapses, 1 ms-10ms de

ciclo.

Modelo de McCulloch-Pitts

Função de ativação

a) Função limiar

b) Função sigmóide 1/(1-e-x)

Mudando o bias muda a posição do limiar W[0,1]

Implementação de funções lógicas.

Toda função lógica pode ser implementada?

Calcular os pesos para as AND,NOT,OR, XOR?

Estruturas de Redes Neurais

Feed-Froward:

Perceptron de camada simples

Perceptron multi camadas

Redes Recorrentes

Redes de Hopfield (Pesos simétricos Wij=Wji)

Máquinas de Boltzman. Funções de ativação estocásticas

Redes Feed-Forward

•Família parametrizada de equações não lineares

Perceptrons

•Família parametrizada de equações não lineares

Expressividade dos Perceptrons

Considere g como uma fução de saída do tipo “passo” (STEP) Com isso poderemos representar AND, OR, NOT, maioria, etc. Representa um separador linear do espaço de entrada.

Aprendizagem nos perceptrons

Considere g como uma fução de saída do tipo “passo” (STEP) Com isso poderemos representar AND, OR, NOT, maioria, etc. Representa um separador linear do espaço de entrada. !!!!!!!!Quantas funções com n entradas binárias = 22n

Quantas linearmente separáveis ➔?

Aprendizagem nos perceptrons

Erro quadrático !!!Gradiente descendente !!!!!Regra de ajustes dos pesos !!! α = taxa de aprendizagem

Aprendizagem nos perceptrons

Converge para uma função consistente para qualquer conjunto de dados linearmente separável.

Perceptrons multicamada

Camadas, em geral, totalmente conectadas. Número de unidades ocultas escolhidas empiricamente.

Perceptrons multicamada

Qualquer função contínua com 2 camadas ou qualquer função com 3 camadas.

Aprendizagem com retroprogração (BackPropagation)

Camada de saída: Igual ao perceptron: !!!Onde: !Camadas ocultas “retropropagam” o erro da camada de saída. !!!Atualização dos pesos nas camadas ocultas: !!Neurocientistas afirmam que o cérebro não faz isso!

Comparação com árvores de decisão.

Exemplo dos caracteres escritos.

Resumindo•Cérebros têm neurônios = cada neurônio é uma unidade de

limiar linear.

•Perceptrons de uma camada são insuficientemente

expressivos.

•Redes multicamadas são suficientemente expressivas e

podem ser treinadas por “backpropagation”.

•Existem inúmeras aplicações.

•Existem inúmeras ferramentas de trabalho

(matlab,jnns,etc).

Outros tipos de redes