19th – 22nd of May, Passau Presentation of your Social Business Ideas.
Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch...
-
Upload
lieselotte-dufner -
Category
Documents
-
view
105 -
download
1
Transcript of Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch...
![Page 1: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/1.jpg)
Nichtlineare Fisher-
DiskriminanzanalyseRaphael Hoffmann
PraktikumsberichtProjektbetreuung durch Dr. Bernhard
Sick
Universität Passau
![Page 2: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/2.jpg)
2
Inhalt
• Motivation
• Lineare Fisher-Diskriminanzanalyse
• Nichtlineare Fisher-Diskriminanzanalyse
• Implementierung
• Experimente
• Zusammenfassung
1
2
3
4
5
6
![Page 3: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/3.jpg)
3
Inhalt
• Motivation
• Lineare Fisher-Diskriminanzanalyse
• Nichtlineare Fisher-Diskriminanzanalyse
• Implementierung
• Experimente
• Zusammenfassung
1
2
3
4
5
6
![Page 4: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/4.jpg)
4
Beispiel I
Motivation
Gewicht
Größe
Männer (blau)
Frauen (rot)
• Merkmalsreduktion• Klassifikation
I
F
![Page 5: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/5.jpg)
5
Klassifikation mit Diskriminanzanalyse
Motivation
Vorgehensweise:1. Finde Gerade durch den Ursprung,
so dass Klassen auf Gerade gut getrennt sind2. Finde Decision Boundary db auf Gerade
g: w ¢ x = 0
w
IF
db
![Page 6: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/6.jpg)
6
Alternative Klassifikationsverfahren
Motivation
• Perzeptron-Lernen• Lösung eines linearen
Ausgleichsproblems• Support Vector Machines
w
I
![Page 7: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/7.jpg)
7
Inhalt
• Motivation
• Lineare Fisher-Diskriminanzanalyse
• Nichtlineare Fisher-Diskriminanzanalyse
• Implementierung
• Experimente
• Zusammenfassung
1
2
3
4
5
6
![Page 8: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/8.jpg)
8
Fisher-Kriterium
Lineare Fisher-Diskriminanzanalyse
Streuung zwischen den Klassen (erklärte Streuung)
Streuung innerhalb der Klassen (unerklärte Streuung)
Menge der Vektorender Klasse i
Mittelwert der Vektorender Klasse i
Mittelwert aller Vektoren
maximiere
![Page 9: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/9.jpg)
9
Inhalt
• Motivation
• Lineare Fisher-Diskriminanzanalyse
• Nichtlineare Fisher-Diskriminanzanalyse
• Implementierung
• Experimente
• Zusammenfassung
1
2
3
4
5
6
![Page 10: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/10.jpg)
10
Beispiel II
Nichtlineare Fisher-Diskriminanzanalyse
Temperatur
Blutdruck
krank (blau)
gesund (rot)
I
![Page 11: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/11.jpg)
11
Architektur-Übersicht
Eingabe-raum
I Nichtlineare Transformation
Lineare Fisher-
Diskriminanz-analyse
HRaum
Ausgabe-Raum
F
Nichtlineare Fisher-Diskriminanzanalyse
Beispiel
![Page 12: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/12.jpg)
12
MLP-basierte Architektur (MLP-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse
Nichtlineare Transformation
Lineare Fisher-Diskriminanzanalyse
Eingabe-raum
Bias
sigmoideAktivierung
lineareAktivierung
Bias
I
Ausgabe-Raum
F
![Page 13: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/13.jpg)
13
RBF-basierte Architektur (RBF-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse
Nichtlineare Transformation
Linear Fisher-Diskriminanzanalyse
Eingabe-raum
Bias
Radiale Basisfunktionen-Aktivierung
lineareAktivierung
I
Ausgabe-Raum
F
![Page 14: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/14.jpg)
14
Kern-basierte Architektur (Kern-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse
Eingabe-raum Raum
Lineare Fisher-Diskriminanzanalyse
NichtlineareTransformation
• Kernfunktion berechnet Skalarprodukt in einem anderen Raum
• Keine explizite Anwendung von notwendig
I H
Ausgabe-Raum
F
: I £ I ! R
![Page 15: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/15.jpg)
15
Inhalt
• Motivation
• Lineare Fisher-Diskriminanzanalyse
• Nichtlineare Fisher-Diskriminanzanalyse
• Implementierung
• Experimente
• Zusammenfassung
1
2
3
4
5
6
![Page 16: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/16.jpg)
16
Implementierung im NNSIM
Implementierung
• Verschränkt: Berechnung des Fisher-Kriteriums und Gradientenabstieg
1. Setzen der Gewichte nach Fisher-Kriterium
3. Anpassung der Gewichte nach Gradientenaufstieg
2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten
1. Setzen der Gewichte nach Fisher-Kriterium
![Page 17: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/17.jpg)
17
Inhalt
• Motivation
• Lineare Fisher-Diskriminanzanalyse
• Nichtlineare Fisher-Diskriminanzanalyse
• Implementierung
• Experimente
• Zusammenfassung
1
2
3
4
5
6
![Page 18: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/18.jpg)
18
Experiment I
Experimente
• Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?
![Page 19: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/19.jpg)
19
Vergleich von Klassifikationsraten auf Standarddatensätzen
MLP RBF SVM
0.0049
0.0052
0.0240
0.0281
0.0229
0.0402
Experimente
• Fehlerraten des Cancer3-Datensatzes
trainingerror
testerror
trainingerror
testerror
trainingerror
testerror
MLP-NLDA RBF-NLDA Kern-NLDA
0.0200
0.0178
0.0191
0.0167
0.0000
0.0286
![Page 20: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/20.jpg)
20
Experiment II
Experimente
• Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?
![Page 21: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/21.jpg)
21
Lineare Separierung im Ausgabe-Raum
Mögliche Kriterien:• Euklidischer Abstand zu Klassenzentren• Maximum A Posteriori (MAP)• Klassifizierung durch lineare SVM
Experimente
?
FBeispiele
?
F
![Page 22: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/22.jpg)
22
Lineare Separierung im Ausgabe-Raum
Experimente
• MAP erlaubt Berücksichtigung eines prior
Euklidisch MAP SVM
0.0311
0.0244
0.0293
0.0201
0.0306
0.0229
trainingerror
testerror
trainingerror
testerror
trainingerror
testerror
Anmerkung:- Durchschnittswerte für Cancer1, Cancer2, Cancer3
![Page 23: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/23.jpg)
23
Experiment III
Experimente
• Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?
![Page 24: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/24.jpg)
24
Robustheit bei unterschiedlichen Klassenstärken
Experimente
• Synthetische Daten mit hoher Überlappung• Variation der Klassenstärke der Exp.-Vert.
Normal-Verteilung (rot)
Exponential-Verteilung (blau)
![Page 25: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/25.jpg)
25
Robustheit bei unterschiedlichen Klassenstärken
Experimente
Exp-gr. 10000 5000 2500 1000 100MLP 0.254
70.282
90.342
80.408
00.451
0MLP-NLDA 0.2526
0.2734
0.3142
0.3392
0.4169Anmerkungen:
- MLP mit target coding (0,...,0,1,0,...0)- MLP-NLDA mit MAP-Separierung und nicht-uniformen prior
• Analytische Ermittlung der Fehlerrate• Gleiche Berücksichtigung beider Klassen
![Page 26: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/26.jpg)
26
Klassifikation bei unterschiedlichen Klassenstärken
Anpassungen des MLP-NLDA:1. MAP nimmt uniformen prior an2. Modifizierung der unerklärten
Streuung
Experimente
Division durch Klassengröße
max.
![Page 27: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/27.jpg)
27
Experimente
Robustheit bei unterschiedlichen Klassenstärken
Exp-gr. 10000 5000 2500 1000 100MLP 0.254
70.282
90.342
80.408
00.451
0
MLP-NLDA1
0.2526
0.2734
0.3142
0.3392
0.4169
MLP-NLDA2
0.2531
0.2551
0.2706
0.2876
0.3275
MLP-NLDA3
0.2524
0.2522
0.2533
0.2516
0.2563
Prior: Klassenstärke unerklärte Streuung: normal
Prior: uniform unerklärte Streuung: normal
Prior: uniform unerklärte Streuung: modifiziert
![Page 28: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/28.jpg)
28
0.2
0.25
0.3
0.35
0.4
0.45
0.5
10000 5000 2500 1000 100
Robustheit bei unterschiedlichen Klassenstärken
Experimente
MLP
MLP-NLDA1
MLP-NLDA2
MLP-NLDA3
Prior: KlassenstärkenUnerklärte Streuung: normal
Prior: uniformUnerklärte Streuung: normal
Prior: uniformUnerklärte Streuung: modifiziert
![Page 29: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/29.jpg)
29
Inhalt
• Motivation
• Lineare Fisher-Diskriminanzanalyse
• Nichtlineare Fisher-Diskriminanzanalyse
• Implementierung
• Experimente
• Zusammenfassung
1
2
3
4
5
6
![Page 30: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/30.jpg)
30
• Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten.
• Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza.
• Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen
Zusammenfassung
![Page 31: Nichtlineare Fisher- Diskriminanzanalyse Raphael Hoffmann Praktikumsbericht Projektbetreuung durch Dr. Bernhard Sick Universität Passau.](https://reader035.fdocuments.in/reader035/viewer/2022062623/55204d8249795902118d51dd/html5/thumbnails/31.jpg)
31
• Vielen Dank für Ihre Aufmerksamkeit
Literatur:Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear
discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9:1370-1376, 1998
Ende