Post on 08-Apr-2018
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 1/105
M é
t a h e u r i s t i q u e s
2 0 0 8 0 5
MétaheuristiquesAlgorithmes itératifs (et stochastiques) d'optimisation globale
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 2/105
2
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Auteurs
Johann Dréo
THALES Research &
Technology Laboratoire mathématiques &
techniques de la décision
Yann Collette
Renault
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 3/105
3
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 4/105
4
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Optimisation difficile
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 5/105
5
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Optimisation difficile
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 6/105
6
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Métaheuristique
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 7/1057
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Plan
Problèmes
Exemples
Caractéristiques
Applications
Validation
Exemples
Métaheuristiques
Exemples
Synthèse
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 8/105
8
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Plan
Problèmes
Exemples Recherche opérationnelle
Ingénierie
Intelligence artificielle
Caractéristiques
Applications
Validation
Exemples
Métaheuristiques
Exemples
Synthèse
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 9/105
9
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Recherche opérationnelle
Voyageur de commerce
Minimiser la longueur du trajet
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 10/105
10
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Recherche opérationnelle
Sac à dos
Maximiser l'intérêt de la
sélection d'objets
D a
k e
, C C
B Y
S A 2
. 5 ,
h t t p : / / f r . w
i k i p
e d i a
. o r g
/ w i k i / I m
a g e : K n a p s a c
k . s
v g
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 11/105
11
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Recherche opérationnelle
Planification temporelle
Déterminer un emploi du temps
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 12/105
12
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Ingénierie
Aérodynamique
Maximiser la portance
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 13/105
13
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Ingénierie
Déplacement de bras robot
Minimiser l'énergie dépensée
Adaptive Optimal Control for Redundantly Actuated Arms, Djordje Mitrovic, Stefan Klanke, and Sethu Vijayakumar, 2008
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 14/105
14
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Intelligence artificielle
IA jeu vidéo
Maximiser le gain
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 15/105
15
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Ingénierie
Problème du pont
Concours JET
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 16/105
16
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Caractéristiques des problèmes
Optimisation continue
Variables réelles
Optimisation combinatoire
Variables discrètes
Voisinage
Implicite
Fonctions
Explicite Permutation
http://commons.wikimedia.org/wiki/Image:Red black_tree_insert_case_5.png
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 17/105
17
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Difficultés avec les problèmes
Trouver le problème
Modélisation
Expression mathématique
Contraintes
Qualification des solutions
Objectifs contradictoires
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 18/105
18
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0 5
/??
Difficultés avec les problèmes
Résolution
Complexité NP ...
Nombres de variables
Temps de calcul
Fonction objectif par simulation
Conception/Production
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 19/105
19
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
NP
Algorithme Non déterministe
Résolution Polynomiale
Oracle
Estimation valeur polynomiale
h t t p : / / c omm on s . wi k i m e d i a . or g / w
i k i / I m a g e : P _n p _n p c om pl e t e _n ph a r d . s v g
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 20/105
20
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Plan
Problèmes
Exemples
Caractéristiques
Applications
Validation
Exemples
Métaheuristiques
Exemples Recherche tabou
Algorithmes évolutionnistes
Recuit simulé
Colonies de fourmis
Estimation de distribution
Synthèse
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 21/105
21
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Métaheuristiques : un peu d'histoire
1954 : Barricelli, simulation évolution,
optimisation
1965 : Rechenberg, stratégies d'évolution
1986 : terme méta heuristique, Fred Glover :
« La recherche avec tabou peut être vue comme
une "méta heuristique", superposée à une autre
heuristique. L'approche vise à éviter les
optimums locaux par une stratégie d'interdiction
(ou, plus généralement, de pénalisation) de
certains mouvements. » 1988 : conférence, algorithmes génétiques
1989 : premier logiciel A.G. Commercial
1996 : algorithmes à estimation de distribution
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 22/105
22
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Terminologie
Fonction objectif
Minimisation
Mono objectif
Solution
Représentation
Valeur
Échantillon
Ensemble de solution
Voisinage
Stochastique
Probabiliste + temps
Itératif
Critère d'arrêt
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 23/105
23
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Plan
Problèmes
Exemples
Caractéristiques
Applications
Validation
Exemples
Métaheuristiques
Exemples Recherche tabou
Algorithmes évolutionnistes
Recuit simulé
Colonies de fourmis
Estimation de distribution
Synthèse
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 24/105
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 25/105
25
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Recherche tabou
Recherche « tabou » ou « avec tabous »
Liste « tabou » de mouvements interdits Minimums locaux
Voisinage
Initialisation
Modification de solution existante
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 26/105
26
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Recherche tabou
Stopinitialisation
Modification
voisinage
Sélection du
meilleur voisin
Heuristique
spécialisée
MàJ mémoire
MàJ meilleure
solution
Itérer ?
Oui
Non
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 27/105
27
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Recherche tabou
Liste tabou
Voisinage
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 28/105
28
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Recherche tabou
Liste tabou
Voisinage
!
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 29/105
29
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Plan
Problèmes
Exemples Caractéristiques
Applications
Validation
Exemples
Métaheuristiques
Exemples Recherche tabou
Algorithmes évolutionnistes
Recuit simulé
Colonies de fourmis Estimation de distribution
Synthèse
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 30/105
30
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Algorithmes évolutionnistes
http://en.wikipedia.org/wiki/Image:Ape_skeletons.png
é
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 31/105
31
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Algorithmes évolutionnistes
1965 : stratégies d’évolution
1966 : programmation évolutionnaire
1975 : algorithmes génétiques
1980 : programmation génétique
1986 : systèmes immunitaire artificiels
é
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 32/105
32
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Algorithmes évolutionnistes
Métaheuristiques les plus connus
Différences historiques entre algorithmes
Concepts équivalents
Algorithmes génétiques
Algorithmes évolutionnaires
Algorithmes évolutionnistes
Algorithmes stochastiquesEncha î nement d'opérateurs
T i l i
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 33/105
33
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Terminologie
Solution = individu
Échantillon = population
Valeur = fitness
Représentation = codage
h t t p : / / w w w .f l i c k r . c om / ph o t o s / wi s h ym om / 5 6 6 3 9 4 5 2 0 /
O é
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 34/105
34
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Opérateurs
« Opérateurs »
Sélection
Croisement
Mutation
Évaluation
Remplacement
01011 00000
01000
00110
11011
11111 10101
10010 00001
One Max ∑i=0
4
xi
O é t
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 35/105
35
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Opérateurs
« Opérateurs »
S é lection
Croisement
Mutation
Évaluation
Remplacement
0101100000
01000
00110
11011
11111 10101
10010 00001
O é t
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 36/105
36
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Opérateurs
« Opérateurs »
Sélection
Croisement
Mutation
Évaluation
Remplacement
00001
1010110100
O é t
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 37/105
37
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Opérateurs
« Opérateurs »
Sélection
Croisement
Mutation
Évaluation
Remplacement
1010110100
O é t
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 38/105
38
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Opérateurs
« Opérateurs »
Sélection
Croisement
Mutation
É valuation
Remplacement
1010110101
O é t
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 39/105
39
M é
t a h e
u r i s t i q u e s – 2 0 0 8 0
5
/??
Opérateurs
« Opérateurs »
Sélection
Croisement
Mutation
Évaluation
Remplacement
0101100000
01000
00110
11011
11111 10101
10010 00001
11001
11101
11100
Algorithmes évolutionnistes
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 40/105
40
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Algorithmes évolutionnistes
Exemples d'opérateurs
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 41/105
41
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Exemples d'opérateurs
Sélection par « roulette proportionnelle »
surface proportionnelle à sa valeur
Problème
Biais selon échelle de la fonction objectif
x1
x2
x3
x4
45%
20%
20%
15%
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 42/105
Exemple d'opérateur
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 43/105
43
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Exemple d opérateur
Mutation gaussienne
Pour tout x :
xi
+ N i m,s
Exemple d'opérateur
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 44/105
44
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Exemple d opérateur
Simulated Binary Crossover
ui ∈ U0,1
bi = (2.ui)
(1/(1+η))
si ui≤
0.5= (1/(1 u i))(1/(1+η)) sinon
2.xi1(t+1) = (1 b i).xi
1(t) + (1+bi).xi2(t)
2.xi2(t+1) = (1+bi).xi
1(t) + (1 b i).xi2(t)
Exemple d'opérateur
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 45/105
45
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Exemple d opérateur
Croisement multipoint Croisement uniforme
11 | 0010 | 1001 | 0111 | 00
11001010
01011100
01 | 0010 | 00
11 | 0111 | 10
11001010
01011100
01110100 Masque
11001010
01011100
1101111001001000
Plan
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 46/105
46
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Plan
Problèmes
Exemples
Caractéristiques
Applications
Validation
Exemples
Métaheuristiques
Exemples
Recherche tabou
Algorithmes évolutionnistes
Recuit simulé
Colonies de fourmis Estimation de distribution
Synthèse
Recuit simulé
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 47/105
47
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Recuit simulé
http://commons.wikimedia.org/wiki/Image:Hot_metalwork.jpg
Historique
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 48/105
48
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Historique
Historique
1970 : Hastings propose l’algorithme de Metropolis Hastings,
1983 : Kirkpatrick, Gelatt et Vecchi concoivent le recuit simulé 1985 : indépendamment de ceux ci, Černý propose le même algorithme
Recuit simulé
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 49/105
49
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Recuit simulé
Coté physique
Coté optimisation
Description classique
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 50/105
50
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Description classique
Méthode de descente
Si voisin meilleur, gardé
Sinon, accepte aléatoirement un voisin moins bon
Probabilité commandé par un paramètre T (« température »)
T décro ît avec le temps
Algorithme
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 51/105
51
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Algorithme
Xcourant: point de départ
T = T0
Xsuivant = voisin(Xcourant)
Si f(Xsuivant)<= f(Xcourant)
Ou si exp((f(Xcourant) f(X suivant))/T) > rand(0,1)
et f(Xsuivant)>f(Xcourant)
Alors Xcourant = Xsuivant
T = g(T)
Fin
Loi de décroissance
de la température
Contrôle de la probad’accepter une mauvaise
solution
Algorithme
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 52/105
52
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Algorithme
Xcourant: point de départ
T = T0
Xsuivant = voisin(Xcourant)
Si f(Xsuivant)<= f(Xcourant)
Ou si exp((f(Xcourant) f(X suivant))/T) > rand(0,1)
et f(Xsuivant)>f(Xcourant)
Alors Xcourant = Xsuivant
T = g(T)
Fin
Méthode de
Metropolis
MetropolisHastings
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 53/105
53
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Metropolis Hastings
Échantillonnage de distribution de probabilité
Non intégrable, sans expression analytique, non normalisée
Fonction objectif distribution de probabilité→
Via distribution de Boltzman
Recuit simulé échantillonner une distribution paramétrique (T)→
Algorithme de Metropolis Hastings
n'importe quelle distribution
p x= exp − f x /T
∑ y
exp − f y/T
Échantillonnage de distribution paramétrique
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 54/105
54
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Échantillonnage de distribution paramétrique
Convergence
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 55/105
55
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Convergence
Garantie d'atteindre l'optimum en un temps fini.
En pratique :
limt →∞
pt x =1
Quelques problèmes
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 56/105
56
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Quelques problèmes
Ergodicité
N'importe quelle solution atteignable
Quasi ergodicit é : nombre fini de changements
Voisinage
Convergence
Quasi ergodicit é
Décroissance par palier
Décroissance graduelle
T t
ne décroit pas plus vite que : C/log(t)
C , constante liée à échelle fonction objectif
ergodique
non ergodique
t
T
Exemple variables continues
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 57/105
57
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Exemple variables continues
http://en.wikipedia.org/wiki/Image:Metropolis_hastings_algorithm.png
http://en.wikipedia.org/wiki/Image:3dRosenbrock.png
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 58/105
Décroissance température
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 59/105
59
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Décroissance température
λ.σ(Tk )
ln(1+δ)/Cmax. σ2(Tk )
ln(1+δ)/3.σ(Tk )
Δ(Tk )
Huang
Otten
Van Laarhoven
Loi de originale
Revenu simulé
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 60/105
60
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Revenu simulé
x
f(x)
p(x)
T1
T2<T1
x
Parallel Rejectionless Annealing
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 61/105
61
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
j g
xcourant
x1
x2
x3
x4
x5
min(1,exp( (f(x 1) f(x courant))/T))
min(1,exp( (f(x 2) f(x courant))/T))
min(1,exp( (f(x 3) f(x courant))/T))
min(1,exp( (f(x 4) f(x courant))/T))
min(1,exp( (f(x 5) f(x courant))/T))
Plan
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 62/105
62
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Problèmes
Exemples
Recherche opérationnelle
Ingénierie
Intelligence artificielle
Caractéristiques
Applications
Validation
Performances ?
Paramétrage
Validation
Exemples
Métaheuristiques
Exemples
Recherche tabou
Algorithmes évolutionnistes
Recuit simulé
Colonies de fourmis Estimation de distribution
Synthèse
Algorithmes de colonies de fourmis
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 63/105
63
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
g
Historique
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 64/105
64
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
q
1959, Pierre Paul Grass é : stigmergie.
1983, Deneubourg, comportement collectif
1988, Moyson et Manderick, auto organisation
1989, travaux de Goss, Aron, Deneubourg et Pasteels
1989, modèle de comportement de recherche de nourriture
1991, M. Dorigo propose le Ant System
1997, première application aux réseaux de télécommunications
2000, première preuve de convergence
2004, preuve d'équivalence avec d'autres métaheuristiques
Origine de l'idée
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 65/105
65
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
g
Algorithme de base : Ant System
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 66/105
66
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
g y
Initialisation
Jusqu'à critère d'arrêt
Pour chaque fourmis
Parcours d'un trajet
Laisser piste (quantité fixe, étalée sur chaque arrête)
Évaporation
Fin
Voyageur de commerce
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 67/105
67
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
y g
Ant System, détails
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 68/105
68
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
t itérations, k fourmis, n villes,
J i k
villes à visiter
Choix d'une ville : visibilité
ηij
= 1/d ij
Choix ville
pij
k t ={
ij
t
ij
∑l∈ J
i
k
ilt
ij
si j∈ J ik
0 si j∉ J i
k }
Quantité de phéromone
Évaporation
ij
k t =
{Q
Lk t
sii , j ∈T k t
0 sinon
}
ij t 1=1−
ijt
ijt
Hyper Cube & MinMax Ant Systems
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 69/105
69
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
MMAS
τmin< τij< τmax
Ergodicité
HCAS
Problème codage binaire
Normalisation « fonction de qualité »
i
=1−i
∑s∈S
t
Q f s s
i
∑s∈S
t
Q f s
Q f s∣S
1, , S
t =
0
1−
f s − LB
f − LB
AntNet
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 70/105
70
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Plan
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 71/105
71
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Problèmes
Exemples
Recherche opérationnelle
Ingénierie
Intelligence artificielle
Caractéristiques
Applications
Validation
Performances ?
Paramétrage
Validation
Exemples
Métaheuristiques
Exemples
Recherche tabou
Algorithmes évolutionnistes
Recuit simulé
Colonies de fourmis Estimation de distribution
Synthèse
Estimation de distribution
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 72/105
72
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Historique
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 73/105
73
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
1994 : apprentissage incrémental à population (PBIL)
1996 : algorithmes à estimation de distribution
1999 : compact genetic algorithm 2004 : équivalence avec d'autres métaheuristiques
Origines
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 74/105
74
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Idée originale
Simplifier les algorithmes génétiques
Un seul opérateur
Population Base Incremental Learning
Compact Genetic Algorithm
Algorithme
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 75/105
75
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Idées de base
Distribution de probabilité choisie a priori
Échantillonnage
Opérateurs de réduction de variance ( sélection)→
Algorithme
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 76/105
76
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Initialisation
Jusqu'à critère d'arrêt
Estimation des paramètres
Tirage échantillon selon distribution
Sélection
Fin
Exemple continu
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 77/105
77
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Distributions :
Uniforme
Gaussienne univariante
Exemple continu
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 78/105
78
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Modèles classiques
Gaussienne univariante
Mélange de gaussiennes univariantes
Gaussienne multivariante
Mélange de gaussiennes multivariantes
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 79/105
Exemple discret : OneMax
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 80/105
80
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Exemple discret : OneMax
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 81/105
81
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Métaheuristiques : synthèse
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 82/105
82
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
h t t p : / / f l i c
k r . c o m
/ p h
o t o s
/ m p
d e
h a a n
/ 3 1
7 7 3 1 0 3 /
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 83/105
Parcours / population
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 84/105
84
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Intensification / diversification
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 85/105
85
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Diversification = exploration
Intensification = exploitation
Explicite, Implicite, Direct
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 86/105
86
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Classification
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 87/105
87
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Plan
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 88/105
88
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Problèmes
Exemples
Caractéristiques
Applications
Validation
Performances ?
Paramétrage
Validation
Exemples
Métaheuristiques
Exemples
Synthèse
Validation
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 89/105
89
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
h t t p : / / f l i c
k r . c o m
/ p h
o t o s / i n g
l e i t e
s / 9 5 3 8 1 0 4 4 /
No free lunch
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 90/105
90
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Instance de mé
thode Algorithme
Paramétrage
Instance de problème
Modèle
Caractéristiques
Paramétrage
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 91/105
91
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Instance métaheuristique
1 paramétrage optimal pour 1 instance de problème
Initialisation
Critère d'arrêt
Valeurs des paramètres
Quel paramétrage ?
Critères de performance
Vitesse ou précision ?
Production ou conception ?
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 92/105
Vitesse et précision
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 93/105
93
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 94/105
Conception / production
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 95/105
95
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Conception
Vitesse négligeable
Précision cruciale
Répétitions possibles
Recherche
Diversification
Production
Vitesse cruciale
Précision négligeable
1 seul essai
Robustesse
Intensification
f(x)
F
f(x)
F
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 96/105
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 97/105
Sequential Parameter Optimization
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 98/105
98
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
(I) analyse expérimentale De plusieurs jeux de paramètres
(II) estimation des
performance
Modèle de processus
stochastique
(III) détermination de jeux
supplémentaires à tester
Sequential Parameter Optimization
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 99/105
99
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Évaluation expérimentale
Plusieurs évaluations par jeu
Meilleur jeu précédent re évalué
Nouveaux jeux évalués autant
Modélisation
Corrélation gaussienne
Régression polynomiale ordre 2
Estimation des performances pour jeux non testés
Nouveaux jeux à tester
Échantillonnage « Latin » de l'hypercube
Un seul essai par ligne/colonne
Présentation
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 100/105
10
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Bien Pas bien
i
f(x)
Boite à moustache
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 101/105
101
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
h t t p : / / e n
. w i k i p
e d i a
. o r g
/ w i k i / I m
a g e : B o x p
l o t_ v s
_ P D F
. p n g
Trouver le meilleur des deux
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 102/105
10
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??
Test statistique
Déterminer si deux échantillons proviennent de la même distribution
Déterminer si deux méthodes se comportent différemment
Et donc, si l'un est meilleur que l'autre Hypothèse « nulle » : les deux sont identiques
Acceptée : on ne sait pas faire la différence
Rejetée : ils sont différents
Avec une certaine probabilité de se tromper
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 103/105
Applications
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 104/105
10
M é
t a h e
u r i s t i q u e s – 2 0 0 8
0 5
/??http://commons.wikimedia.org/wiki/Image:Industry_Torrance.jpg
8/6/2019 CoursMeta
http://slidepdf.com/reader/full/coursmeta 105/105
eu r i s t i q u e s – 2 0 0 8
0 5