Post on 04-Apr-2015
Introduction à l’Intelligence Artificielle
2007 – Khaled Hadj Hamou, Samuel Bassetto
L’I.A. ça n’est pas…
• Ingénieur Adjoint
• MATRIX
• I.A.
• Les temps modernes
L’I.A c’est plutôt…
• Démarche cognitive assistée par ordinateur
• Donner à une machine des moyens habituellement réservées à des êtres vivants: perception, raisonnement, décision, apprentissage, action
http://www.symbio.jst.go.jp/PINO/OpenPINO/open_pino.html
historique
• Antiquitié à 1954, une émergence des machines « intelligentes »
• 1954: congrès à Darmouth, USA, Mc Carthy, Minsky, Shannon, Newell, Simon => programmes doués d’intelligence
• Quelques noms célèbres:– Babbage (machine à calculer, 1842)– Turing (machine universelle, 1936)... (apple)– Wiener ( cybernétique, 1943)– McCulloch & Pitt, Sutton, Barto, Haton,…
Des applications de l’I.A.
• Démonstration de théorèmes• Traitement Automatique du Langage Naturel• Traitement Automatique de la Parole• Interprétation d’images & vision• Robotique• Jeux• Systèmes d’aide à la décision (SE, SbC,
classification, discrimination)
Plan
• Introduction• Le raisonnement• L’apprentissage
• Quelques outils– SE– RN– DL– SMA– SàBdCas– SàBdContraintes
Introduction
• 4 processus de définition d’un système intelligent:– Search : résolution de problèmes – recherche
d’une solution dans un espace de solutions– Pattern Matching : reconnaissance de formes– Inferencing or reasoning : raisonnement– Knowledge representation : représentation des
connaissances
Introduction
Processus de traitement symbolique
Reconnaissance de formes
inférence Représentation
des connaissances
Résolution
de pbs
IHMExplications
Reconnaissance vocale
ApprentissageAcquisition des
données
Reconnaissance visuelle
Introduction
• Deux approches aux développements– Réaliser un esprit
• I.A. symbolique, systèmes à bases de connaissances
– Modéliser le vivant• I.A. connexionniste• Mc Culloch & Pitt• Rosenblatt
Plan
• Introduction• Le raisonnement• L’apprentissage
• Quelques outils– SE– RN– DL– SMA– SàBdCas– SàBdContraintes
Le raisonnement
• La résolution de problèmesP = {Initial, Opérateurs, Buts}
– Méthodes d’exploration des arbres
En p
rofo
ndeurEn largeur
Le raisonnement
• Pb : l’arbre peut être un peu grand – 1KAn pour la résolution d’un problème d’échec– Nécessiter d’adopter des Stratégies de parcours de
l’arbre
• Pb: nécessité de formaliser COMPLETEMENT le pb (temps non négligeable)
Classe de problèmes formalisables et difficiles pour l’homme (ex: les lois, le diagnostique médical, automobile…)
Le raisonnement
• Ex trivial:
A
B
CB
C
A
ButI{O}
?
Le raisonnement
B
C
A
B
CA
B
C
A
B
C
A
BC
A
B
C
A
B
C
A
11 21
1222
2313 14
• 1 voie: 4 pas• 2 voie: 3 pas• + long si on passe passe
en revue toutes les combinaisons d’empilage et dépilage
Le raisonnement
• Raisonnement itératif:– À partir de I– Branche (i)– Appliquer les opérations x fois => B est
atteint ? Sinon, on remonte à I et on passe à la branche (i+1)
…
• Utilisation de connaissances « d’experts » sur l’arborescence méthodes heuristiques
Le raisonnement
• Représentation des connaissances:
• Connaissance est qualifiée (superficielle, profonde, spécifique, incertaine, précise, complète, incomplète…)
• Heuristique: confiance accordée à une connaissance
CONFIANCE? K ?
Le raisonnement
• Les formules logiques– Logique des propositions: une proposition
syntaxiquement vraie ou fausseEx: VIN(Bordeaux) = VRAI ; VIN(Clio)=FAUX
Vin() Prédicat ; Bordeaux, Clio Argument
Assertion Assertion
Le raisonnement
• Les formules logiques– Les prédicats peuvent avoirs plusieurs arguments
Modèle(Couleur, Voiture)– Liens entre les prédicats
• Négation ¬• Et ^• Ou v
– Implication =>– Equivalence – Une formule bien formée permet de
représenter un fragment de connaissance
Le raisonnement
• Insuffisance des formules des propositions– Représenter que toutes les voitures ont un moyen de
propulsion… (on ne va pas énumérer chaque voiture)
• Logique des prédicats du 1er ordre (quantification des variables)– Même opérateurs que la logique des
propositions– Ajout d’une quantification des variables par les
opérateurs :∀ (quelque soit) et ∃ (il existe)Ex: ∀y Q(y) signifie Quelque soit y du domaine,
Q(y) est Vrai.
Le raisonnement
• « Modus Ponens »P et P=>Q, permet de dériver Q
• « Modus Tollens »¬Q et P=>Q, permet de dériver ¬P
• Formule de Skolem: toute formule bien posée peut être transformée en un ensemble de clauses (écriture de la formule par des disjonctions)
Ex: (∀x) (ENSGI(x) => Classepreparatoires(x) v CPP(x)) (∀x) (¬ ENSGI(x) v Classepreparatoire(x) v CPP(x))
• P• ¬P NIL
Le raisonnement
• Les limitations des raisonnements logiques du 1er ordre:– Nécessité de formaliser complètement le pb.– Pas d’appréciations nuancées
• Existances d’autres logiques:– Multivaluées (Valeur de vérité > 2)– Modales (modalités d’implication (possible,
peut être…))– Floue– Non monotones (une assertion vraie à un
instant, ne le sera plus à l’instant suivant)– De description (description de concepts)
Le raisonnement
• Les réseaux sémantiques– Permet de décrire des concepts, faire
des liens (relations entre les concepts et les individus)
– Raisonner sur des réseaux sémantiques Modéliser le pb par un réseau
• Pb: trouver le mécanisme de mise en correspondance structurelle
Le raisonnement
• Les réseaux sémantiques
Le raisonnement
• Une règle de production:“parcelle de connaissance”
SI prémisses ALORS conclusion (coefficient)
Si les prémisses sont vrais alors, la règle s’applique et la conclusion est vrai
Base des systèmes experts
Le raisonnement
• Les systèmes à base de règle
Base de faits
Base de règles
Moteur d’Inférence
Le raisonnement
• Le raisonnement : chaînage avant– Guidé par les données, il envisage les règles
dans le sens conditions =>conclusions– Détection des règles don’t la partie “prémisses”
est vérifiée par la base de faits– Sélection d’une règle parmi les candidats
(résolution de conflits choix d’une branche de l’arbre)
– Application de la règle, les prémisses disparaîssent de la base de faits et les conclusions viennent l’enrichir
Le raisonnement
• Le raisonnement : chaînage arrière– Raisonnement guidé par un but, il utilise les règles
dans le sens conclusions->conditions : réduction du problème
1. Détection des règles qui concluent sur le but recherché
2. Sélection de la règle à envisager3. Application de cette règle et à considérer les
prémisses comme de nouveaux sous buts à atteindres. S’ils sont déjà présent dans la BF, le travail est fait, sinon, ils sont empilés dans la pile des buts
Plan
• Introduction• Le raisonnement• L’apprentissage
• Quelques outils– SE– RN– DL– SMA– SàBdCas– SàBdContraintes
Apprentissage
• L’apprentissage et la mémoire• La mémoire: processus de stokage et
d’exploitation d’une connaissance antérieurement acquise
• Processus de mémorisation en 4 étapes:– Information– Acquisition– Stockage– Exploitation
Apprentissage
• Les différents types de mémoires
mémoire
Mémoire déclarative
Mémoire non
déclarative
Faits (sémantique
)Evènements (épisodique)
Aptitudes procédurale
sConditionnement
Apprentissage non associatif
Apprentissage perceptif
Savoir Quoi
Savoir
Comment
Apprentissage
• Les différents types de mémoires:– A chaque mémoire, son mode
d’apprentissage– Ex:…– Apport des neurosciences => Classification
et caractérisation des mémoires• Chez l’homme, l’empan mnésique est de 10E5
signes ! (=> la mémoire visuelle n’existe pas !)• Etat actuel de la science, rien ne dit qu’il n’y a pas
d’autres types de mémoires
Apprentissage
• L’accès aux mémoires:– Par adresse/ contenu– Accès séquentiel/parallèle– Représentation statique/dynamique– Représentation localisée/distribuée
Apprentissage
• L’apprentissage statistique:– Classification– Discrimination– Catégorisation– Régression
• Différents types d’apprentissage:– Supervisé– Non supervisé– Par renforcement (semi-supervisé)
Apprentissage
• La notion d’agent: un agent est une entité qui perçoit son environnement à travers des capteurs et qui agit sur son environnement par des effecteurs. (capteurs et effecteurs peuvent être logiciels…)
• Les perceptions servent à agir mais également à apprendre
• L’agent apprend une correspondance entre les perceptions et les actions en évaluant et maximisant ses performances (renforcement) fournie par l’environnement
• Il peut y avoir un décalage entre l’action et le signal de l’environnement
Apprentissage
• Passer de D à F en suivant les actions {Droite, Gauche, Haut, Bas}, en utilisant les perceptions {x,y,recomp} où recomp=0 si (x,y)=(xf,yf),sinon recomp=-1, si (x,y) = mur => recomp = -10
D
F
Apprentissage
• L’apprentissage par renforcement, un modèle d’agent
is
Environnement
actionEtat
récompenseAgent
1ia
1ir
Apprentissage
L’apprentissage par renforcement : • S: ensemble des états• A: ensemble des actions
...... 1210
1
1
0
0
t
a
t
aa
ssssst
rtrr
Apprentissage
L’apprentissage par renforcement : • Hypothèse de markov : la probabilité de passer
de l’état s à l’état s’ par l’action a dépend seulement de s et de a, pas des états précédents.
),'(),...,,,,'( 100111 aasssspasasaassssp tttttttt
Apprentissage
L’apprentissage par renforcement : • Fonction objectif à maximiser, γ ds [0,1],
fonction de rabais, pour tenir compte des récompenses passées et orienter le cheminement.
014
33
221 ...
kkt
kttttt rrrrrR
Apprentissage
L’apprentissage par renforcement : - cas stationnaire
Apprentissage
L’apprentissage par renforcement : • Fonction de valeur d’un état s sous une
politique π, l’objectif est de trouver π qui maximise cette fonction
Apprentissage
L’apprentissage par renforcement : • Fonction de valeur d’une action a, d’un état s
sous une politique π, l’objectif est de trouver π qui maximise cette fonction
Apprentissage
• L’apprentissage par renforcement
– Conflit principal: exploration vs exploitation d’un résultat (différent de l’apprentissage supervisé où la récompense est immédiate)
– Notations:S: ensemble fini d’étatsA: ensemble fini d’actionsΠ est la politique qui associé à
un état, une action à réaliser, elle est probabiliste
SV
sAS
ssaassrEr
ssatactionssT
ttttass
ttass
:
)(/:
',,/
,)(/'
11'
1'
Action a effectuer quand l’agent est à
s
Espérance des récompenses
cumulées
Notations:
Apprentissage
L’apprentissage par renforcement : • Equation de Bellman pour l’apprentissage
Apprentissage
• Problème: quelle action a mener à un instant t ?
)(* aQValeur estimée de Q*(a) à l’instant t)(aQt
Moyenne réelle de la récompense consécutive à a
Apprentissage
• Problème: quelle action a mener à un instant t ?– Greedy response => action choisie /
– Méthode excluant l’exploration des actions possibles, or la somme des optimums n’est pas forcément l’optimum des actions
Aatt aQa
))(max(arg*
Apprentissage
• Problème: quelle action a mener à un instant t ?– ε-Greedy response => action choisie /
– ε->0 : méthode greedy, ε->1 : exploration pure
paRandom
paQaAa
tt
),(
)1(,))(max(arg*
Apprentissage
• Problème: quelle action a mener à un instant t ?– Greedy response => action choisie /
– ε-Greedy response
)(* aQValeur estimée de Q*(a) à l’instant t)(aQt
Moyenne réelle de la récompense consécutive à a
Aatt aQa
))(max(arg*
Apprentissage
• Classification : mise en évidence des relations entre des objets et entre des objets et leurs paramètres.
• Discrimination : processus de classement, recherche de séparations entre des classes existantes.
• Notion de distances, de similarités.• Objectif : produire une partition homogène de
l’ensemble des objets
Plan
• Introduction• Le raisonnement• L’apprentissage
• Quelques outils– SE– RN– DL– SMA– SàBdCas– SàBdContraintes
Les outils techniques
• Les réseaux de neurones
Du neurone biologique au neurone formel
Les outils techniques
• Les réseaux de neurones
Du neurone biologique au neurone formeldendrite
axone
+
Seuillage
Sommation
Les outils techniques
• Les réseaux de neurones
Du neurone biologique au neurone formele1
Ei
en
Si
0
,,1)(
ValeurEsiEfS
ewE
iii
jjiji
Les outils techniques
• Les réseaux de neurones– Les connexions entre les neurones sont de tous
types– La plus utilisée, la structure en couches.
1 2 3 4 5 6 7 8 90
Les outils techniques
• Les réseaux de neurones– Pour réaliser cette analyse, il faut discriminer les
populations ‘0’, de ‘1’, de ‘2’,…de ‘9’
1 2 3 4 5 6 7 8 90
Les outils techniques
• Les réseaux de neurones– Structuration des réseaux– Pondération des réseaux– Apprentissage:
• Supervisé• Non supervisé• Orienté
Les outils techniques
• Les réseaux de neurones– Apprentissage: règle de Hebb:
Wij(t+1)=Wij(t)+kSiSj
La modification du poids est proportionnelle aux activités pré et post synaptiques
Si et Sj = activation des neurones i et jWij = poids de la connexion entre les neurones i & j
Les outils techniques
• Les réseaux de neurones– Le perceptron : réseau à 1 couche
N1
N2
N3
N4
S1,D1
S2,D2
S3,D3
S4,D4
Apprentissage supervisé, on réinjecte l’erreur:Wij(t+1)=Wij(t)+k(Di-Si)ej
ΔWij=k(Di-Si)ej = erreur
On ne prend en compte que l’erreur post synaptique
e1
e7
Les outils techniques
• Les réseaux de neurones– Limite du perceptron : il ne sait faire que de la
discrimination de pb linéairement séparables.
N SS=1 si x1w1+x2w2-N>0S=0 si x1w1+x2w2-N<0
x1
x2
w1
w2
S=1
S=0x1
x2
Trouver w1 et w2 trouver l’équation de l’hyperplan séparant le problème !
Les outils techniques
• Les réseaux de neurones– L’idée est de décomposer la non linéarité en un
succession de pb linéaires et de rajouter 1 couche !
D1: x1w1+x2w2-N=0D2: x1w’1+x2w’2-N=0
x1
x2Oui
H2
H1
N
x2
w1
w2
Nw’2
w’11,5
1
1Non
Les outils techniques
• Les réseaux de neurones– Pb dans un réseau multicouches, déterminer le
poids des couches intermédiaires de sorte à minimiser l’erreur de sortie, cependant, on ne connaît pas l’erreur !
– Solution : rétropropager l’erreur à chaque niveau– Algorithme de descente du gradient
Les outils techniques
• Les réseaux de neuronesObjectif : atteindre à la sortie
On diminue de manière incrémentale cette fonction:
On retrouve la loi d’apprentissage du perceptron
2)( ii ydMin
2)( ii ydC
jiiij
jij
kkl
ij
i
ij
i
ij
iiiiij
eydwDonc
ew
ew
w
y
w
d
w
ydyd
w
Cw
)(2,
)()(,0
)(
)()(2
Les outils techniques
• Les réseaux de neurones
Objectif : propager l’erreur pour modifier les poids sur la couche cachée i
On fait passer l’erreur post-synaptique en erreur présynaptique
Il faut ensuite répartir cette erreur présynaptiques aux différentes branches
Les outils techniques
• Les réseaux de neurones
Fonction de transfert = filtre
sortie
Entrée
Les outils techniques
• Les réseaux de neurones
On positionne les neurones dans les plages d’entrées tels qu’ils réagissent à leur position
Réseaux s’auto-organisants: Les neurones s’ajoutent là où il y a le moins
d’activation
D’autres outils techniques
• Les systèmes à base de cas
• Les systèmes à base de contraintes
• Les systèmes multi agents
• Les systèmes logiques de description
• Les systèmes experts
Des applications (1/5)
• Oui, il y en a! ;-) ex, sur l’optimisation des opérations de ctrls vs opérations de production.
Op de fabrication
Op de fabrication
Op de fabrication
Op de ctrl
Op de ctrl
Op de fabrication
Op de ctrl
Une application (2/5)
• Influences possibles sur une machine de production
C C C C C C
Dérive de la machine de production
Influence des opérations précédentesConception des gammes opératoires
Architecture produit
Dérive de la machine de métrologieConception de la gamme de contrôle
Lot produit
Une application (3/5)
• Source d’information pour l’analyse en temps réel et prise de décision
C C C C C C
Lot produit
FDC
GMAO
Qualité prod
Rebus
Régulation
AlarmesSPC
Qualitémesures
MES
Une application (4/5)
• Scénario: le lot est mesuré « mauvais »
• L’équipement précédent est arrêté… mais est ce que cette décision est juste ? vue la quantité d’influences possibles ?
C C C C C C
Lot produit
Une application (5/5)
• Pour traiter cette question, une négiciation s’engage entre des agents lots – des agents équipements (qui vérifient leurs états) et qui se mettent en défaut ou pas
C C C C C C
Lot produit
Très (trop) courte bibliographie
Jean-Paul Haton, Marie Christine Haton, “L’intelligence Artificielle, Que sais-je ?”, N°2444, PUF, 1993, ISBN 2130455123
Sutton & Barton, “Reinforcement learning, an introduction”, Cambridge, MA, 1998
Jacques Ferber, “MultiAgents, vers une intelligence collective”, Ed InterEditions, Collection iia, 1995
L’apprentissage par rétropropagation du gradian
Les outils techniques
• Les réseaux de neurones
Objectif : propager l’erreur pour modifier les poids
ineuroneentréeAi
ineuronesortieXi
désirableseuilf
__:
__:
_:
ii
jiij
i
iij
kkk
jjijiii
A
Cf
XA
C
w
A
A
C
w
C
ySCMin
xwAAfX
**
)(
),(
2
notons jiij
Xfw
C*,
alors
Les outils techniques
• Les réseaux de neurones
Objectif : propager l’erreur pour modifier les poids
Sur la dernière couche:
)(')(2
)('*)(*2*)(*2*
iiii
iiii
iii
i
i
ii
AfYSf
Donc
AfYSA
SYS
A
S
S
C
A
C
Les outils techniques
• Les réseaux de neurones
Objectif : propager l’erreur pour modifier les poids sur la couche cachée i
jjijii
j jiji
i
ij
ijji
i
j i
j
jj i
j
ji
fwAff
A
CwAf
A
C
Donc
AfwA
C
A
X
X
A
A
C
A
A
A
C
A
C
)('
)('
)('*****
fi dépend de fj, de la couche supérieure
On descend bien l’erreur d’une couche