CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... ·...
Transcript of CLASSIFIER BERDASAR TEORI BAYESebook.repo.mercubuana-yogya.ac.id/FTI/materi20151/KPP - TM4... ·...
KLASIFIKASI & PENGENALAN POLA
Pertemuan 4
1
CLASSIFIER BERDASAR TEORI BAYES
Minimum Distance Classifiers
Minimum distance classifiers melakukan klasifikasi berdasarkan jarak terpendek.
Ada dua jenis yang dibahas: 1. The Euclidean Distance Classifier
2. The Mahalanobis Distance Classifier
2
The Euclidean Distance Classifier
Classifier Bayesian Optimal (dibahas pada pertemuan yang sebelumnya) dapat disederhanakan menggunakan asumsi-asumsi berikut:
◦ Semua kelas mempunyai probabilitas yang sama (equiprobable)
◦ Semua data dalam semua kelas mempunyai distribusi normal atau Gaussian
◦ Semua kelas mempunyai matriks kovarians yang sama
◦ Matriks kovarians berbentuk matriks diagonal dan semua elemen diagonalnya sama besar, yaitu S = 2 I dengan I adalah matriks identitas
3
Dengan asumsi-asumsi di atas, maka Classifier Bayesian
Optimal menjadi sama dengan classifier jarak Euclidean
(Euclidean Distance Classifier), yaitu suatu pola x akan
dimasukkan ke dalam kelas i jika
dengan S adl matriks kovarians dan mi adl rerata kelas i.
Jika jumlah kelas lebih dari dua maka kelas suatu
pola/data ditentukan oleh jarak yang terpendek (minimum)
4
The Euclidean Distance Classifier
ji
T
ii mxmxmxmx )()( ji
Dari formula yang digunakan untuk classifier jarak
Euclidean di atas, terlihat bahwa ada kemiripan dengan
classifier berdasar teori Bayes yang telah dipelajari pada
pertemuan sebelumnya. Perbedaan yang juga berarti
penyederhanaan diakibatkan oleh karena semua kelas
yang ada mempunyai probabilitas priori yang sama besar
(equiprobable) dan matriks kovarian yang sama untuk
semua kelas dan berbentuk matriks diagonal.
5
The Euclidean Distance Classifier
The Mahalanobis Distance Classifier
Jika asumsi terakhir pada classifier jarak Euclidean tidak terpenuhi atau dengan kata lain matriks kovarians tidak berbentuk matriks diagonal dan semua elemen diagonalnya tidak sama besar, maka jenis classifier disebut dengan classifier jarak Mahalanobis (Mahalanobis Distance Classifier)
Classifier jarak Mahalanobis menyatakan bahwa suatu pola x akan dimasukkan ke dalam kelas i jika
6
)()()()( 11
j
T
ji
T
i mxSmxmxSmx ji
Norma & Jarak Euclidean
Norm atau panjang Euclidean suatu vektor
u = (u1,u2,..,un) didefinisikan sebagai:
Jarak Euclidean antara 2 vektor u = (u1,u2,..,un) dan v = (v1,v2,..,vn) didefinisikan sebagai:
7
22
2
2
1
2/1 ...).( nuuuuuu
22
22
2
11 )(...)()(),( nn vuvuvuvuvude
Contoh 1
Terdapat pekerjaan klasifikasi dengan 2 kelas dalam ruang 3 dimensi.
Kedua kelas dimodelkan dengan distribusi Gaussian. Rerata kelas 1
adalah m1 = [0 0 0]T dan rerata kelas 2 adalah m2 = [0.5 0.5 0.5]T.
Kedua kelas mempunyai probabilitas yang sama dan matriks kovarian
untuk kedua kelas adalah sama sbb:
Jika terdapat pola x = [0.1 0.5 0.1]T, maka klasifikasikan pola tsb
menggunakan:
◦ classifier jarak Euclidean
◦ classifier jarak Mahalanobis
8
2.001.001.0
01.02.001.0
01.001.08.0
21 SS
Penyelesaian
Klasifikasi menggunakan jarak euclidean
Dari soal diketahui:
9
1.0
5.0
1.0
2.001.001.0
01.02.001.0
01.001.08.0
5.0)()(
5.0
5.0
5.0
0
0
0
21
2121
xSS
PPmm
10
5196.0
27.0
27.0
1.0
5.0
1.0
1.05.01.0
)()(
)()(
1
11
2
1
111
mx
mxmxmx
mxmxmx
T
T
Jarak euclidean ke kelas 1
11
5657.0
32.0
32.0
4.0
0
4.0
4.004.0
)()(
)()(
2
22
2
2
222
mx
mxmxmx
mxmxmx
T
T
Jarak euclidean ke kelas 2
Jarak vektor x ke kelas 1 lebih pendek daripada jarak
vektor x ke kelas 2, atau
0,5196 < 0,5657
sehingga vektor x masuk ke kelas 1
Dengan cara yang sama, maka klasifikasi dapat dilakukan
menggunakan classifier jarak mahalanobis.
12
21 mxmx
13
)()(
)()(
1
1
1
2
1
1
1
11
mxSmxd
mxSmxd
T
T
Klasifikasi menggunakan jarak mahalanobis
Jarak mahalanobis ke kelas 1
Dalam hal ini kita perlu menghitung invers
matriks kovarians S terlebih dahulu.
Invers matriks kovarians:
Jarak mahalanobis ke kelas 1
14
0154.52478.00596.0
2478.00154.50596.0
0596.00596.02515.11S
1334.1
2846.1
1.0
5.0
1.0
1.05.01.0 1
1
Sd
Jarak mahalanobis ke kelas 2
Jadi, menggunakan classifier jarak mahalanobis vektor x
masuk ke kelas yang mana?
Berikan penjelasan tentang hasil klasifikasi menggunakan
euclidean dan mahalanobis di atas.
15
9918.0
9836.0
4.0
0
4.0
4.004.0 1
2
Sd
Notes
Untuk kepentingan programming maka baik rerata kelas
maupun data dapat dibentuk menjadi satu matriks.
◦ Misal ada 2 kelas 2 rerata dibentuk matriks rerata 3x2 sbb:
m = [m1 m2]
◦ Misal ada 3 data yang akan diklasifikasikan dapat dibentuk
matriks data 3x3 sbb:
x = [x1 x2 x3]
16
Tugas 1 Anda
Buatlah m file untuk mengerjakan soal contoh di
atas, cobalah juga membuat fungsi untuk
menghitung jarak euclidean dan mahalanobis
sehingga dapat menyederhanakan program
utama yang anda buat.
17
Tugas 2 Anda
No.data Kelas 1 Kelas 2
Posisi x Posisi y Posisi x Posisi y
1 1 1,5 13 12
2 1,2 2 9 11
3 2 0,5 12 10,8
4 0,5 1,3 11 12,5
5 2 1 10 14
6 3 1.4 9 9
7 4 0,5 10,1 13
8 0,8 3 13 11,7
9 2 4 10,9 9,1
10 1,6 3 11,2 12,2
Sigma 18.1 18.2 109.2 115.3
Rerata 1.81 1.82 10.92 11.53
18
Terdapat data pada tabel berikut yang terdiri dari dua kelas yaitu kelas 1 (1) dan kelas 2 (2). Diketahui bahwa probabilitas priori kedua kelas adalah sama besar atau P(1)=P(2)=0,5.
Tugas 2 Anda (lanj.)
Maka rerata kelas 1 (m1) dan rerata kelas 2 (m2)
m1 = [1.81 1.82]T
m2 = [10.92 11.53]T
Klasifikasikanlah data d11 = [5 4]T menggunakan Euclidean distance classifier.
Klasifikasikanlah data d11 = [5 4]T menggunakan Mahalanobis distance classifier jika diketahui
19
0796.243282.21
3282.211943.2221 SS
Referensi
An Introduction to Pattern Recognition: A Matlab Approach,
2010, Sergios Theodoris, Elseivier Inc.
20