Appariement de deux images Paire dimages (640 x 480 pixels)

33
Appariement de deux images Paire d’images (640 x 480 pixels)

Transcript of Appariement de deux images Paire dimages (640 x 480 pixels)

Page 1: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de deux images

Paire d’images (640 x 480 pixels)

Page 2: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de deux images

Points d’intérêt extraits avec Harris (approx. 500 points)

Page 3: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de deux images

Appariement initial (188 couples)

Page 4: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de deux images

Estimation robuste de la matrice fondamentale

99 inliers 89 outliers

Page 5: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de deux images

Appariement guidé (157 couples)il reste qq. faux appariements

Page 6: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de trois images

Triplet d’images (640 x 480 pixels)

Page 7: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de trois images

Points d’intérêt extraits avec Harris (approx. 500 points)

Page 8: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de trois images

106 app. initial 88 inliers 18 outliers

Page 9: Appariement de deux images Paire dimages (640 x 480 pixels)

Appariement de trois images

Appariement guidé (95 couples)pas de faux appariements

Page 10: Appariement de deux images Paire dimages (640 x 480 pixels)

Problèmes

• Transformations image– rotation image– changement affine d’illumination– changement d’échelle

• Invariants– géométrique : peu discriminant– photométrique : discriminant, mais l’invariance est plus difficile

• dérivées

• moments

• filtres de Gabors

Page 11: Appariement de deux images Paire dimages (640 x 480 pixels)

Invariants photométriques

• Basés sur des dérivées calculées en un point (x,y)

)(*),(

)(*),(

)(*),(

)(*),(

)(),(

)(),(

),(

yy

xy

xx

y

x

GyxI

GyxI

GyxI

GyxI

GyxI

GyxI

yxv

Page 12: Appariement de deux images Paire dimages (640 x 480 pixels)

Invariants photométriques

• Basés sur des dérivées calculées en un point (x,y)

• Invariance aux– translations

– changements de luminosité sous la forme

)(*),(

)(*),(

)(*),(

)(*),(

)(),(

)(),(

),(

yy

xy

xx

y

x

GyxI

GyxI

GyxI

GyxI

GyxI

GyxI

yxv

bII )()( 21 xx

Page 13: Appariement de deux images Paire dimages (640 x 480 pixels)

Calcul des dérivées

• Calcul stable par convolution avec dérivées Gaussiennes

)2

exp(2

1),),(( 2

22

2 yx

yxG t

dudvvuIvyuxGGyxI xx ),(),()(),(

Page 14: Appariement de deux images Paire dimages (640 x 480 pixels)

Interpretation

( )descripteur local

• Approximation locale d’une fonction par la série de Taylor

• Décrit le voisinage d’un point

détermine la taille du voisinage

Page 15: Appariement de deux images Paire dimages (640 x 480 pixels)

Invariance à la rotation

Invariants différentiels [Koen87]

2

2

yyyyxyxyxxxx

yyxx

yyyyyxxyxxxx

yyxx

IIIIII

II

IIIIIIII

IIII

Page 16: Appariement de deux images Paire dimages (640 x 480 pixels)

Invariance à l’illumination

Dans le cas d’une transformation affine

baII )()( 21 xx

yyxx

yyyyxyxyxxxx

yyxx

yyxx

yyxx

yyyyyxxyxxxx

IIII

IIIIII

IIII

II

IIII

IIIIIIIII

2

)(

)(

2

2/1

2/3

Page 17: Appariement de deux images Paire dimages (640 x 480 pixels)

Invariance aux changements d’échelle

)()( 21 xx sII Dans le cas d’un changement d’échelle

Page 18: Appariement de deux images Paire dimages (640 x 480 pixels)

Invariance aux changements d’échelle

)()( 21 xx sII Dans le cas d’un changement d’échelle

Les dérivées sont liées par )()()()(11 21 sGsIsGI

nn iin

ii xx

Page 19: Appariement de deux images Paire dimages (640 x 480 pixels)

Points d’intérêt - détecteur de Harris

• Manque de robustesse des points d’intérêt en présence d’un changement d’échelle

Page 20: Appariement de deux images Paire dimages (640 x 480 pixels)

Solution développée

• Points d’intérêt invariants aux changements d’échelle

– adaptation des points d’intérêt (Harris) aux changement d’échelle• localisation spatiale stable

• invariance aux rotations et aux changements affines de luminosité

– extraction multi-échelle des points d’intérêt

– sélection de l’échelle caractéristique dans l’espace multi-échelle• localisation invariante dans l’espace d’échelle

Page 21: Appariement de deux images Paire dimages (640 x 480 pixels)

Points d’intérêt - adaptation à l’échelle

• Détecteur de Harris – deux valeurs propres importantes de la matrice d’auto-correlation

• Adaptation de la matrice au changement d’échelle

)()(

)()()~( 2

2

yyx

yxx

III

IIIG2s s

s

s

s

s

)~(G

yx II ,

fenêtre Gaussienne d’intégration

dérivées premières

Page 22: Appariement de deux images Paire dimages (640 x 480 pixels)

Points d’intérêt - résultats de l’adaptation

Page 23: Appariement de deux images Paire dimages (640 x 480 pixels)

Sélection de l’échelle - principe

Laplacien

échelle caractéristique : maximum dans l’espace d’échelle [Lindeberg 98]

Page 24: Appariement de deux images Paire dimages (640 x 480 pixels)

Sélection de l’échelle - principe

Laplacien

invariance de l’échelle caractéristique

Page 25: Appariement de deux images Paire dimages (640 x 480 pixels)

Points d’intérêt invariant à l’échelle

• Sélection de l’échelle caractéristique dans l’espace d’échelle – l’échelle caractéristique existe en général pour des points d’intérêt – le Laplacien permet de trouver le plus de maxima (résultat

experimental)

• Sélection des points à l’échelle caractéristique

points invariants + échelle associée

Page 26: Appariement de deux images Paire dimages (640 x 480 pixels)

Résultat de l’appariement

213 / 190 points d’intérêt détectés

Page 27: Appariement de deux images Paire dimages (640 x 480 pixels)

Résultat de l’appariement

58 points sont appariés initialement

Page 28: Appariement de deux images Paire dimages (640 x 480 pixels)

Résultat de l’appariement

32 points sont appariés après vérification - tous corrects

Page 29: Appariement de deux images Paire dimages (640 x 480 pixels)

Résultat de l’appariement

100% d’appariements corrects (33)

Page 30: Appariement de deux images Paire dimages (640 x 480 pixels)

Mesure de similarité

( ) ( )=?

Page 31: Appariement de deux images Paire dimages (640 x 480 pixels)

Différentes distances

• distance Euclidienne– ne tient pas compte des différentes incertitudes

i

ii qpqpdist 2)(),(

Page 32: Appariement de deux images Paire dimages (640 x 480 pixels)

Différentes distances

• distance Euclidienne– ne tient pas compte des différentes incertitudes

• distance ponderée– ne tient pas compte des corrélations

i

ii qpqpdist 2)(),(

i

iii qpwqpdist 2)(),(

Page 33: Appariement de deux images Paire dimages (640 x 480 pixels)

Différentes distances

• distance Euclidienne– ne tient pas compte des différentes incertitudes

• distance ponderée– ne tient pas compte des corrélations

• distance de Mahalanobis

i

ii qpqpdist 2)(),(

i

iii qpwqpdist 2)(),(

)()(),( 1 qpqpqpdist T