Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision...
Transcript of Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision...
![Page 1: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/1.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Vorlesung 11
Morphing und Active-Appearance-Modelle
Martin Giese
![Page 2: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/2.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Übersicht
MorphingActive-Appearance-Modelle (AAM)
![Page 3: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/3.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
I. Morphing
![Page 4: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/4.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing
Mophing = “Metamorphosis”
Kontinuierliche Transformation zwischen Bildern
Anwendungen:
– Synthese neuer Ansichten
– Interpolation zwischen Bildern
![Page 5: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/5.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing: AnwendungenGenerierung neuer Ansichten
Seitz (1997)
![Page 6: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/6.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing: AnwendungenInterpolation zwischen Bildern
Seitz (1997)Originalbild 1 Originalbild 2
![Page 7: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/7.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing: AnwendungenM. Jackson: “Black or White” (1992)
![Page 8: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/8.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Warping
Farbe von Bildpixeln gegeben durch Grauwerte I(x,y) bzw.
durch vektorwertige Funktion I(x,y) (Farbe, RGB)
Warping: “Verzerren” des Bildes durch räumliche
Transformation W: (x, y) → (x’, y’):
),('),('
2
1
yxWyyxWx
==
![Page 9: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/9.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Warping
“gewarptes” Bild:
W-1 ist die Umkehrfunktion von W.
Typische einfache Warping-Transformationen:
– Affin:
– Projektiv (z.B. Perspektive):
– Bilinear:
))','(),','(()),(),,(()','( 12
1121 yxWyxWIyxWyxWIyxIw
−−==
2,1 ),( =++= icybxayxW iiii
iii
iiii fyexd
cybxayxW++++
=),(
dy),( i+++= iiii cxbxyayxW
![Page 10: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/10.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
MorphingMorphing: Warping + Interpolation der Farbinformation
(cross dissolving)
Warp spezifiziert durch Vorgabe von einander
entsprechender (korrespondierender) Merkmalspaaren in
den gemorphten Bildern
Merkmale: Linien, Knoten, Kanten, Punkte, …
Korrespondenz entweder von Hand oder automatisch
durch Korrespondenzalgorithmen hergestellt.
![Page 11: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/11.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing
Warpingfunktion W(x,y,s) mit Parameter 0 ≤ s ≤ 1 der
Übergang zwischen den beiden Bildern bestimmt
Seien (x1,y1) und (x2, y2) einander entsprechende
(korrespondierende) Koordinaten in den beiden Bildern,
dann gilt:
)1,,(),()0,,(),(
1122
1111
yxyxyxyx
WW
==
Bild 1 Bild 2
W(x,y,s)
s = 0s = 1
(x1,y1)(x2,y2)
![Page 12: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/12.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Morphing
Interpolation der Farbinformation (cross dissolving):
Farbinformationen der Bilder: I1(x,y) und I2(x,y)
⇒
Möglichkeit zur Spe-
zifikation nichtlinearer
Übergangsfunktionen
),(),()1(),( 21 yxsyxsyx III +−=
Bild 2Bild 1
s = 0 s = 1
Morph
I1(x,y) I2(x,y)I(x,y)
![Page 13: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/13.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Netzwarping (mesh warping) Wolberg (1990)
Zwei topologisch äquivalente Netze über den Bildern
definiert
Algorithmus mit drei Schritten:
1. Lineare Interpolation zwischen den Knoten des Netzes:
2. Bilder 1 und 2 auf das neue Netz mit Koordinaten (x,y) warpen.
3. Farbinformationen der gewarpten Bilder linear interpolieren:
2122112
2122111
)1(),,,,()1(),,,,(
syyssyxyxWysxxssyxyxWx
+−==+−==
),(),()1(),( 21 yxsyxsyx III +−=
![Page 14: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/14.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispielEinfache lineare Überlagerung der Textur
Netzwarping
Wolberg (1998)
![Page 15: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/15.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Feldmorphing (field morphing)Beier & Neely (1992)
Warp definiert durch Linien
Warptransformation für einzelnes Linienpaar, mit den Punktkoordinaten xi = (xi,yi) bzw. pi und qi:x
11
1112
11
1111
2222222
)()()(mit )(),,,(
pqnpx
pqpqpx
npqpqpW
−−
=−
−−=
+−+==TT
βα
βαβα
p1
q1
x1
n1α
β
q2
p2x2
n2
![Page 16: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/16.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Feldmorphing (field morphing)Für mehrere Linien ein Wert x2
(k) für jede Linie berechnet; Werte linear gewichtet (ci Konstanten):
Verwendet für M. Jacksons Video
31
||length
mit
1)(
22
)(2
2
c
k
c
k
kk
k
kk
c
−+
=
=∑∑
xx
xx
γ
γ
γ
![Page 17: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/17.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Beispiele
Ein Linienpaar Viele Linienpaare
Beier & Neely (1992)
![Page 18: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/18.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispieleLinien Gewarpte Bilder
Morph
Beier & Neely (1992)
![Page 19: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/19.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Beispiele
Morphsequenz
Beier & Neely (1992)
![Page 20: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/20.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Neuere Entwicklungen
Nutzung von Regularisierungsnetzwerken zur
Approximation der Warpingfunktion
Hierarchische Netze (Auflösungspyramide)
Automatische Suche von korrespondierenden Merkmalen
Bereichsweise verschiedene Morphingtransformationen
(“prozedurales Morphen”)
Lee et al. (1996)
![Page 21: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/21.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Neuere Entwicklungen
Normaler Morph
Nase schnellergemorpht als Kopf
Warp 1
Warp 2
Morph
Warp 1
Warp 2
Morph
Wolberg (1998)
![Page 22: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/22.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
II. Active-Appearance-Modelle(AAM)
![Page 23: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/23.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Problem
Flexibles Modells für Objektform + Textur
Anwendungen:
– Objekterkennung
– Tracking
– Bildsynthese
– Medizintechnik
lernbasiert
Basiert auf PCA-Methoden
![Page 24: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/24.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
(Taylor & Cootes, 1995)
Form: Menge von Punkten, die unter bestimmten
Transformationen (Rotation, Translation, Skalierung)
invariant ist
Punkte [xr, yr]T definiert durch “Landmarken”,
d.h. Punkte auf dem Objekt, die im Bild
leicht zu identifizieren sind
Kompakte Schreibweise:
x = [x1,…, xn, y1 ,…, yn]T (Taylor & Cootes, 2000)
![Page 25: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/25.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
Mehrere Formen definiert durch xi , 1 ≤ i ≤ l
Normalisierung + Alignment: (Procrustes Methode)
1. Schwerpunkte ins Zentrum des Koordinatensystems
verschieben
2. Objekte so transformieren, dass
minimal ist; T ist die Transformationsmatrix, die geschätzt wird
3. Normalisieren, so dass
Iterativer Algorithmus
2)( ∑ −=i
iE xxTx
1|| =x
![Page 26: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/26.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
Modellierung von Formvariationen durch PCA:
Mittelwert der Daten:
Kovarianzmatrix:
Approximation durch PCA: S ≈ Ss = Us Σ2 UsT
⇒
∑=
=l
iil 1
1 xx
∑=
−−−
=l
i
Tiil
S1
))((1
1 xxxx
bUxx s+≈Eigenvektoren zu
grössten σjParametervektor
![Page 27: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/27.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
Parametervektor b erlaubt Variation der Form ⇒“deformierbares / flexibles Modell”Typischerweise kann Dimensionalität s des Parametervektors klein gewählt werden; z.B. so dass bestimmter Anteil der Varianz erklärt wirdSchätzung des Parametervektors:(Us orthogonal !)
Modellierung der Verteilung von erlaubt die Testung von Hypothesen (Klassifikation von Formen)
)(ˆ xxUb −= Ts
b̂
![Page 28: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/28.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Einfache Beispiele 72 Landmarken18 Beispielbilder
Trainingsdaten Modellierte Formen
b3
b2
b1
SD 3±(Taylor & Cootes, 2000)
![Page 29: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/29.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
133 Landmarken300 Beispielbilder36 Eigenkomponenten erklären 98 % der Varianz
Einfache Beispiele
Trainingsdaten Modellierte Formen
b3
b2
b1
SD 3±(Taylor & Cootes, 2000)
![Page 30: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/30.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Aktive Form-Modelle(active shape models)
Gemeinsame Schätzung von Form- und Transfor-mationsparametern: Approximation neuer Daten xdurch Minimierung von
Iterativer Algorithmus:1. Wahl von Anfangswert für b
2. Berechnung von
3. Schätzung von T aus
4. Schätzung von b aus
5. Wiederholung ab 2. bis Konvergenz.
2)(),( bUxTxTb sE +−=
bUxx s+=ˆxxT ≈ˆˆ
)ˆ(ˆ 1 xxTUb −= −Ts
Transformationsmatrix
![Page 31: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/31.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Texturmodelle(appearence models)
Zur Synthese von Bildern Form- und Texturmodelle erforderlichBasierend auf Formmodellen können formnormalisierte Textur oder Farbmodelle erstellt werdenIdee: Warping der Bilder auf normalisierte Form
Modellierung der Texturen auf dieser normalisierten Form
)),(),,(()),((),(),(
21 yxWyxWgyxgyxgyxg
orig
origorig
=
=→ W
Warpingtransformation
![Page 32: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/32.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Texturmodelle(appearence models)
),( yxg
),( yxgorig),( yxW
Warping transformation
(Taylor & Cootes, 2000)
![Page 33: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/33.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Texturmodelle(appearence models)
Abtastung: g(x,y) → Vektor gModellierung der Textur: Normalisierung:
Wahl von g01 und g02 für optimale Anpassung der normalisierten Vektoren g an Mittelwert Textursynthesegleichung:
02
01~gg 1gg −
=Skalierungsparameter
ggbUgg +=
g
Eigenvektoren zu grössten σj
0102 )( gg gg ++= bUgg
![Page 34: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/34.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Kombinierte Modelle für Form und Textur(combined appearence models)
Formmodell:
Texturmodell:
Parameterschätzung:
Weitere PCA (erfasst Korrelationen von Form und
Textur):
ggbUgg +=
xxbUxx +≈
−−
=
=
)()(
ggUxxDU
bDb
b Tg
Tx
g
x
cUcUU
bDb
b cc
c
g
x =
≈
=
2
1
Diagonale Skalierungsmatrix
![Page 35: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/35.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Kombinierte Modelle für Form und Textur(combined appearence models)
Bildparameter sind lineare Funktionen von c:
Schätzung von c für neues Bild:
cUUggcUDUxx
2
11
cg
cx
+=+= −
bUc ˆˆ Tc=
![Page 36: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/36.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
122 Landmarken200 Beispielbilder~ 10.000 Pixel
Beispiele
Formvariation: bx
(Taylor & Cootes, 2000)
Grauwertvariation: bg
23 Parameter (erkl. 98 % der Var.)
112 Parameter (erkl. 98 % der Var.)
![Page 37: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/37.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Beispiele“Appearance”-Variation: b (Taylor & Cootes, 2000)
80 Parameter (erkl. 98 % der Var.)
![Page 38: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/38.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispieleApproximation eines neuen Bildes
Original Approximation
(Taylor & Cootes, 2000)
![Page 39: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/39.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Active Appearance ModelleZiel: Automatische Anpassung eines Appearance Modells an neues BildVoher zur Bestimmung der Matrizen Ui und der Vektoren und ein Satz von Trainingsbildern in Form und Textur Problem: Bestimmung des Parametervektors c, der Skalierungsparameter g0i und der Matrix TMinimierung von
⇒ komplexes Optimierungsproblem
∫ −= ),(),(ˆ),( 2 yxdyxgyxgE
x g
![Page 40: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/40.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Active Appearance ModelleDas rekonstruierte Bild hängt ab vom Parametervektor: p = [cT, g01, g02,tT] T
(t enthält die Parameter der Transformationsmatrix)
Einfacher durch Minimierung des Fehlers im Raum der
normalisierten Formen: mit
d.h.
Minimierung durch Newton-Verfahren:
),(ˆ yxg
ggpr ˆ)( −= cQgg g+=ˆ
)()()( prprp TE =
r∂
ppJprppJprpp
ppJprpp
prppr
δδδ
δδδ
)()(min)()()(
)()()()(
!2 −≈⇒=+=+⇒
+=∂
+≈+
E
![Page 41: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/41.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Active Appearance ModelleKleinste-Quadrate-Lösung:
Berechnung von durch numerisches Differenzieren
prpJ
prpJpJpJp
∂∂
=
−= −
)(mit
)()())()(( 1 TTδ
prpJ
∂∂
=)(
![Page 42: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/42.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Active Appearance ModelleAuflösungspyramide erlaubt Rekonstruktion für grösseren Bereich von Translationen
![Page 43: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/43.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispieleKonvergenz (Taylor & Cootes, 2000)
![Page 44: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/44.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
BeispieleOriginalbilder und Rekonstruktionen
Medizinische Anwendung
(Taylor & Cootes, 2000)
42 Landmarken30 Trainingsbilder
![Page 45: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/45.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
Wichtige Punkte
WarpingMorphingActive Shape ModelActive Appearance Model
![Page 46: Vorlesung 11 Morphing und Active- Appearance-Modelle · M. Giese: Lernmethoden in Computervision und Computer Grafik 14 January 2003 Vorlesung 11 Morphing und Active-Appearance-Modelle](https://reader030.fdocuments.in/reader030/viewer/2022040623/5d4d851388c99391058b9c35/html5/thumbnails/46.jpg)
M. Giese: Lernmethoden in Computervision und Computer Grafik14 January 2003
LiteraturBeier T. & and Neely, S (1992) Feature-based image metamorphosis.
Proceedings of SIGGRAPH'99 26, 35-42.
Cootes, T.F. & Taylor. C.J. (1995) Active shape models: Their trainingand application. CVIU, 61, 38-59.
Cootes, T.F., Edwards, G.J. & Taylor. C.J. (1998) Active appearance models. In Proc. European Conf on Computer Vision, Freiburg, Germany, June 1-5, 2, 484-498.
Cootes, T.F.& Taylor. C.J. (2000) Statistical models of appearance for computer vision. Technical Report, University of Manchester.
Forsyth, D.A. & Ponce, J. (2003). Computer Vision: A modern Approach. Prentice-Hall. Upper Saddle River, NJ.
Seitz, S.M. & Dyer, C.R. (1996) View Morphing. Proc. SIGGRAPH 96, 21-30.
Wolberg, G. (1990) Digital Image Warping. IEEE Computer Society Press.