GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines...
-
Upload
dominique-clement -
Category
Documents
-
view
111 -
download
0
Transcript of GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines...
![Page 1: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/1.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 1
Plan2- Domaines d’application
Classification RegroupementApproximation PrédictionMémoire associativeOptimisation
Commande robotique3- Perceptron
Historique Reconnaissance de formes Neurone formel de McCulloch & Pitts Perceptron de Rosenblatt Adaline et madaline de Widrow-Hoff
![Page 2: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/2.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 2
Découverte
S. Haykin, Neural Networks: A Comprehensive Foundation, Prentice Hall, 2e édition, 1998 (1ère édition: IEEE Press). Approche ingénierie Classique dans le domaine Meilleure introduction aux
réseaux de neurones artificiels, selon un sondage.
![Page 3: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/3.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 3
Découverte
Hervé ABDI, Les réseaux de neurones, Presses Universitaires de Grenoble, 1994. Découvert à Paris, juillet
2002, 24€ Approche pédagogique Nombreux exemples numériques Perceptron : Rosenblatt et
multicouche, MA, Hopfield Appendice: calcul matriciel Appendice: programmes MATLAB
![Page 4: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/4.jpg)
Chapitre 2
Domaines d’application
![Page 5: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/5.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 5
Principaux domaines d’application
1. Classification 2. Regroupement 3. Approximation 4. Prédiction 5. Optimisation de
parcours
6. Mémoire associative
7. Commande
![Page 6: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/6.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 6
2.1 ClassificationMontrer par l’exemple à reconnaître les catégories de formes présentées à l’entrée du réseau Perceptron de Rosenblatt Réseau à rétro-propagation du gradient d’erreur (perceptron multicouche)
![Page 7: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/7.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 7
Reconnaissance de chiffres
![Page 8: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/8.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 8
Sonar Travaux de Sejnowski & Gorman, 1988
Pré-traitement: TFD
Apprentissage: formes spectrales
![Page 9: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/9.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 9
2.2 ApproximationTransformer une forme d’entrée en une forme de sortie selon une fonction de transformation apprise par le réseau Réseau à rétro-propagation du gradient d’erreurs (perceptron multicouche)
Adaline-Madaline
![Page 10: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/10.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 10
Approximation de fonction transcendentale
n=10; K=21 31 param. à entraîner :–20 poids–11 polar.
y=0,8sinπx
![Page 11: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/11.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 11
Réseau Net Talk Sejnowski & Rosenberg
1986 But: Apprendre à prononcer un texte écrit avec l’aide d’un dictionnaire phonétique
![Page 12: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/12.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 12
![Page 13: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/13.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 13
Approximation complexe: conduite d’un véhicule motorisé
1217 unités
à gauche
à droite
route + claireou + foncée
= 256
= 960 (dans le bleu)
![Page 14: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/14.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 14
Approximation complexe: conduite de véhicule motorisé Projet développé à Carnegie-Mellon Apprentissage: 1200 images présentées 40 fois chacune. Les images représentent une grande diversité de courbes, d’intensité et de distortion. L’apprentissage dure ~30 min.
Résultats: Le meilleur à … ~5 km/hrs dans une route boisée.
![Page 15: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/15.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 15
2.3 PrédictionPrédire une valeur de sortie à partir d’une forme d’entrée
Indice Dow-Jones
Couche cachée: 20
14 indicateurs, dont: DJ précédent Or Bons du trésor
![Page 16: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/16.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 16
2.4 Compression Encodeur 8-3-8
transmis
Extractionde
primitivesClassification
![Page 17: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/17.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 17
2.5 Mémorisation associativeMémoriser plusieurs formes.En rappeler 1 à partir d’une forme partielle ou bruitée.
Réseau de Hopfield BAM, ABAM
![Page 18: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/18.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 18
Reconstruction d’images
![Page 19: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/19.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 19
2.6 OptimisationTrouver une bonne solution (pas nécessairement LA solution optimale) qui minimise une fonction de coût. Réseau récurrent de Hopfield Machine de Boltzmann
![Page 20: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/20.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 20
Voyageur de commerceUn vendeur doit établir un itinéraire de visite de 5 villes. Il doit partir de Boston et revenir à Boston à la fin de son itinéraire.
Chaque ville est visitée une et une seule fois
L’itinéraire doit être le plus court possible afin de minimiser les frais d’essence
La principale difficulté rencontrée avec ce type de problème est l’explosion combinatoire des solutions à évaluer.
![Page 21: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/21.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 21
![Page 22: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/22.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 22
Réseau de Hopfield Lignes villes Colonnes séquence de visite
Poids contraintes du problème à résoudre– 1 ville visitée 1 seule fois
– 1 étape 1 seule ville– Distance entre les villes
Activation du réseau minimisation du coût
![Page 23: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/23.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 23
2.7 RegroupementApprendre sans supervision à classer les données soumises au réseau.Les classes sont regroupées selon un critère de proximité des formes. 2 formes «semblables» vont activer une seule et même classe.Les réseaux de compétition forment la base : Gagnant emporte tout ART Kohonen, LVQ
![Page 24: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/24.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 24
Réseau ART pour la classification non-supervisée
![Page 25: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/25.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 25
ART: reconnaissance de lettres manuscrites
= 0,9
= 3 et plus nouvelle
catégorie
![Page 26: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/26.jpg)
Chapitre 3
Le Perceptron
![Page 27: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/27.jpg)
Réseaux de Neurones Application en Reconnaissance de Formes
d’après B. SolaimanDépt. Image & Traitement de l'Information
Ecole Nationale Supérieure des Télécommunications de Bretagne
![Page 28: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/28.jpg)
Plan
1 Problématique de reconnaissance de formes
2 Développement d’une solution neuronale
3 Neurone formel - Perceptron, Madaline
![Page 29: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/29.jpg)
Problématique de Reconnaissance de Formes
1
Espace d'entrée
XExtraction
desprimitives
Espace des primitives
YSystème
dedécision
Espace des décisions
D
![Page 30: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/30.jpg)
z = u + v
.... .
...... ..... ... ...y1
1 Problématique de reconnaissance de formes
Les primitives :
1 Les vecteurs propres
.... .
...... ..... ..
.. ...
x
y
i
j
z
z = x1 + y1 i j
x1
v
xi
j
z
u
V1
V2
V1 V2
![Page 31: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/31.jpg)
1 Problématique de reconnaissance de formes
2 Les primitives visuelles
….
![Page 32: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/32.jpg)
1 Problématique de reconnaissance de formes
3 Les vecteurs prototypes
z (x,y) z (d1,d2,d3)
... .. .
..
... ..
... .. .. .
..y
x
zP1
P2
P3
... .. .
..
... ..
... .. .. .
..d1
zd2d3
P1
P2
P3
... .. .
..
... . ... .
. .. ...
![Page 33: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/33.jpg)
Développement d’une solution neuronale
2
Problème formel
Un ensemble de connaissances
Une base d’apprentissage
Case Based Reasoning
![Page 34: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/34.jpg)
Problème formel : Reconnaissance de chiffres manuscrits
Connaissances : L’ensemble des chiffres (0, 1, … , 9),La structures des chiffres, Forme de représentation (images 16x16),Les primitives à utiliser,Les méthodes de pré-traitement utilisées,..
Une base d’apprentissage :
5, Chiffre « 5 »
?
![Page 35: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/35.jpg)
Problème formel : Reconnaissance de pannes dans les cartes électroniques.
Connaissances : L’ensemble des pannes potentielles,Les mesures réalisables,
Une base d’apprentissage :
Carte + panne + Mesures associées
![Page 36: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/36.jpg)
2 Développement d’une solution neuronale
Démarche
1 Identifier les connaissances exploitables
2 Définir l’architecture neuronale adéquate :a. objectifs,b. nature de la base d’apprentissage
3 Définir la mémoire et l’algorithme d’apprentissage
4 Définir la stratégie de décision
![Page 37: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/37.jpg)
2 Développement d’une solution neuronale
Catégorisation des R.d.N en Reconnaissance de Formes
1 Les réseaux de neurones classifieurs
Extraction des primitives
Réseau de neurones classifieur
Espace d’objets
Espace des primitives
Espace des décisions
![Page 38: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/38.jpg)
Réseau de neurones d’extraction de primitives
2 Développement d’une solution neuronale
2Les réseaux de neurones extracteurs de primitives
Système de décision
Espace d’objets
Espace des primitives
Espace des décisions
![Page 39: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/39.jpg)
2 Développement d’une solution neuronale
3Les réseaux de neurones extracteurs de primitives/Classifieurs
Réseau d’extraction de primitives / classifieurs
Extraction des
primitives
Système de
décision
Espace d’objets
Espace des primitives (d’observations)
Espace des décisions
![Page 40: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/40.jpg)
Neurone formel : Réseaux perceptron et
madaline3
Le neurone formel de McCulloch&Pitts
?.AND. .OR.
.XOR.
…....
Fonctions logiques
![Page 41: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/41.jpg)
1
x1
wn
xn
wN
xN
y
Circuit à seuil
Combinateur linéaire adaptatif
yq
Modèle du neurone formel de McCulloch&Pitts 1943
€
y = X × WT = wnxn
n =1
N∑
⎩⎨⎧ >
=sinon. 1-
y si 1 yq
θ
Version circuit à seuil
![Page 42: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/42.jpg)
w1
x1
wn
xn
wN
xN
y
Combinateur linéaire adaptatif
€
y = b + wnxn
n =1
N∑
1
b
Biais
Version somme biaisée
0wxwxb 2211 <++
![Page 43: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/43.jpg)
w1=+1
x1
x2
w2=+1 ET
w1=+1
x1
x2
w2=+1 OU
x1 x2Sortie ET Sortie OU
-1 -1
-1 1
1 -1
1 1
-1 -1
-1
-1
1
1
1
1
Exemple
![Page 44: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/44.jpg)
x1
x2
D +
D -
x1
x2
D +
D -
x3
Surface de décision 3Surface de décision 2
La fonction réalisée par un neurone formel :
La séparation linéaire
![Page 45: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/45.jpg)
Exemple :
P Q PQ
1 1 +1
1 -1 -1
-1 1 -1
-1 -1 -1
Q
P
Y
1
w1
w2
b
PQP
Q
-
-
+
-
![Page 46: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/46.jpg)
P
Q
-
-
+
-
Exemple (suite) :
La droite qui résoud le problème est donnée par :
où b = -1w1 = 1w2 = 1
0wxwxb 2211 <++
21
2
12 w
bx
w
wx −−=
le signe de b vérifie que :
![Page 47: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/47.jpg)
Exercice :
P Q PQ
1 1 +1
1 -1 +1
-1 1 +1
-1 -1 -1
Q
P
Y
1
w1
w2
b
PQP
Q
+
-
+
+
![Page 48: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/48.jpg)
Exercice (solution) :
P
Q
+
-
+
+
La droite qui résoud le problème est donnée par :
où b = 1w1 = 1w2 = 1
0wxwxb 2211 >++
21
2
12 w
bx
w
wx −−=
le signe de b vérifie que :
![Page 49: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/49.jpg)
Le neurone sépare deux classes mais ne permet pas de les caractériser !
x1
x2
D+
D-
X
Y
C1
C2
x1
x2
s
S(X) = S(Y)
![Page 50: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/50.jpg)
Apprentissage des poids synaptiques
Apprentissage ?1 deux classes C1 et C2
linéairement séparables
2
€
b+ wnxn
n =1
N∑ = 0
Surface de séparation :
3 Apprentissage
Base d’exemples
(Xk, d(k))
d(k) = {0,1} ou {-1,+1} Estimer wn et b
![Page 51: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/51.jpg)
L’algorithme d’apprentissage de Rosenblatt , 1958
w1
x1(k)
wn
xn(k)
wN
xN(k)
y(k)
yq(k)
d(k)Algorithme
deRosenblattNouveaux
[w1, w2,…, wN] eq(k)
W (t+1) = W (t) + eq(k) Xk
![Page 52: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/52.jpg)
Xk
W (t)
W(t+1)
x1x2
x3
W (t+1) = eq(k) Xk
Interprétation géométrique de l’algorithme de Rosenblatt
La modification de poids est proportionnelle à l’erreur et au vecteur d’entrée et est de même direction que ce dernier
![Page 53: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/53.jpg)
initialisation aléatoire des poids synaptiques;
tant que CONDITION D’ARRÊT non vérifiée fairePour k = 1 jusqu'à k = K
faireprésenter la forme Xk à l'entrée;calculer yq(k);calculer eq(k);
Pour n = 0 jusqu'à n = N faireajustement des poids :
wn(t+1) = wn(t) + eq (k) xn(k)
Fin;
Fin;
Fin.
Le déroulement de l’algorithme d'apprentissage
![Page 54: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/54.jpg)
Exemple :
P Q PQ
1 1 1
1 0 -1
0 1 -1
0 0 -1
Q
P
Net
1
w1
w2
b3
Out
d
Seuil à 0,2
![Page 55: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/55.jpg)
Exemple (suite):
P Q b
1 1 1w1 w2 b
1 1 1
Initialisation des poids à 0
w1 w2 b
1 1 1
(0 0 0)
d
1
Calcul de la droite de séparation ±=++ bQwPw 21
P Q b
1 0 1w1 w2 b
-1 0 -1
w1 w2 b
0 1 0d
-1
Net Out
0 0
Net Out
2 1
… … …
![Page 56: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/56.jpg)
Rosenblatt a démontré, 1960, la convergence de cetalgorithme pour la séparation de deux classes à condition qu'elles soient linéairement séparables.
Si eq(k) = 0 yq(k)= d(k)
W (k+1) = W (k) (i.e. pas de modification des poids synaptiques)
Exemple : = 0, d(k)= 1 y (k) = 0.0001 y (k) = 0.9999
eq(k) = 0
![Page 57: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/57.jpg)
L’algorithme de Widrow-Hoff, 1960
w1
x1(k)
wn
xn(k)
wN
xN(k)
y(k)
yq(k)
d(k)
Algorithme de
Widrow-Hoff
Nouveaux[w1, w2,…, wN] e(k)
Minimiser l'erreur analogique quadratique moyenne : [d(k) - y(k)]2
W (t+1) = W (t) + e(k) Xk
![Page 58: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/58.jpg)
C1
C2
C1
C2
C1
C2
Widrow-Hoff
C1
C2
C1
C2
C1
C2
RosenblattA p p r e n t i s s a g e
![Page 59: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/59.jpg)
C2
C1
x2
x1
Marvin Minsky, 1969 Perceptrons, an introduction to computational geometry
Le problème du XOR
![Page 60: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/60.jpg)
réseaux Madalinex2
x1
Z2
Z1
Solution « artificielle »
et si N > 3 ?Naissance de l’architecture multicouches
Y
X2
X1
1
1 1b1
v1
w11
w12
w21
w22
v2
b3
b2
![Page 61: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/61.jpg)
Fausett, Prentice Hall, 1994
Exercice 2.7
P Q P•Q
1 1 1
1 -1 -1
-1 1 -1
-1 -1 -1Q
P
Y
1
w1
w2
b
P Q
P Q b
1 1 1
1 -1 1
-1 1 1
-1 -1 1
w1 w2 b
1 1 1
-1 1 -1
1 -1 -1
0 0 0
w1 w2 b
1 1 1
0 2 0
1 1 -1
1 1 -1
d
1
-1
-1
-1
Out
0
1
1
-1
Net
0
1
2
-3
![Page 62: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/62.jpg)
Exercice 2.7 (suite)
P
Q
-
-
+
-
P
Q
-
-
+
-
P
Q
-
-
+
-
P + Q + 1 = 0 Q = 0 P + Q - 1 = 0
Étape 1 Étape 2 Étape 3
![Page 63: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/63.jpg)
Fausett, Prentice Hall, 1994
Exercice 2.16
P Q P¬Q
1 1 0
1 0 1
0 1 0
0 0 0
22
4
1p1 ))p(dbw)p(Qw)p(P(E −++=∑
=
bw)p(Qw)p(P 21 ++
La règle d’apprentissage de l’ADALINE cherche à minimiser l’erreur quadratique totale :
où est la valeur « Net » et d est un élément de la table de vérité de P¬Q
Q
P
Net
1
w1
w2
b
Out
d
![Page 64: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/64.jpg)
Exercice 2.16 (suite)
E = (w1 + w2)2 + (w1 – 1)2 + (w2)2
2 w1 + w2 – 1 = 0
-4 w2 + w2 – 1 = 0 ou w2 = -1/3
2(w1 + w2) + 2(w2) = 0
w1 + 2 w2 = 0 ou w1 = -2 w2
w1 = 2/3
2(w1 + w2) + 2(w1 – 1) = 0
Le AND NOT sans valeur de biais consiste à minimiser :
Il n’y a pas d’erreur pour la dernière ligne du tableau logique, peu importe les valeurs de poids synaptiques.
Les dérivées partielles en w1 et w2 permettent de trouver le minimum de E :
![Page 65: GPA-779 Application des réseaux de neurones et des systèmes experts Cours #3 - 1 Plan 2- Domaines dapplication ClassificationRegroupement ApproximationPrédiction.](https://reader035.fdocuments.in/reader035/viewer/2022062307/551d9da2497959293b8d1c2c/html5/thumbnails/65.jpg)
Exercice 2.16 (suite)
2(w1 + w2 + b) + 2(w1 – 1 + b) = 0
E = (w1 + w2 + b)2 + (w1 – 1 + b)2 + (w2 + b)2 + b2
2(w1 + w2 + b) + 2(w2 + b) = 0
2(w1 + w2 + b) + 2(w1 – 1 + b) + 2(w2 + b) + 2b = 0
2 w1 + w2 + 2b = 1
w1 + 2 w2 + 2b = 0
2 w1 + 2 w2 + 4b = 1{
w1 = 0.5 w2 = -0.5 b = 0.25
Le AND NOT avec valeurs de biais consiste à minimiser :
Les dérivées partielles en w1, w2 et b permettent de trouver le minimum de E :