Fuzzy2012 4 Nearest Neighbor

download Fuzzy2012 4 Nearest Neighbor

of 30

Transcript of Fuzzy2012 4 Nearest Neighbor

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    1/30

    Nearest NeighborSistem Berbasis FuzzyMateri 4

    Eko Prasetyo Teknik Informatika

    Universitas Muhammadiyah resik!"#!

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    2/30

    $onse% $&asi'kasi$&asi'kasi meru%akan suatu %eker(aan yang me&akukan%eni&aian terhada% suatu obyek data untuk masukda&am suatu ke&as tertentu dari se(um&ah ke&as yangtersedia)*da dua %eker(aan utama yang di&akukan+◦ Pembangunan mode& sebagai %rototy%e untuk disim%an

    sebagai memori,◦ Menggunakan mode& tersebut untuk me&akukan %engena&an-

    k&asi'kasi-%rediksi %ada suatu obyek data &ain untuk dini&aibah.a obyek data tersebut masuk %ada ke&as mana da&ammode& yang sudah disim%annya)

    /ontoh, %engk&asi'kasian (enis he.an◦ dimana he.an mem%unyai se(um&ah atribut sehingga dari

    atribut tersebut da%at diketahui (ika ada he.an baru makabisa diketahui he.an tersebut masuk da&am ke&as yang manasesuai dengan ke&as yang sudah di%e&a(ari-diketahui)

    !

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    3/30

    $onse% $&asi'kasi$&asi'kasi ada&ah %eker(aan yang me&akukan %e&atihan-%embe&a(aran terhada% fungsi target f yang memetakan setia% setatribut 0'tur1 x ke satu dari se(um&ah &abe& ke&as y yang tersedia)Peker(aan %e&atihan akan menghasi&kan suatu mode& yangkemudian disim%an sebagai memori)Mode& da&am k&asi'kasi mem%unyai arti yang sama dengan b&a2kbo3,◦ Suatu mode& yang menerima masukan kemudian mam%u me&akukan

    %emikiran terhada% masukan tersebut dan memberikan (a.aban sebagaike&uaran dari hasi& %emikirannya)

    *&goritma %e&atihan yangsudah dikembangkan o&eh

    %ara %ene&iti se%erti+ $5Nearest Neighbor, *rti'2ia&Neura& Net.ork, Su%%ort6e2tor Ma2hine, dsb)

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    4/30

    Metode Pembe&a(aran 0Pe&atihan1Eager 7earning◦ Se2ara eks%&isit mendeskri%sikan

    fungsi target %ada semua bagian

    training set 0data &atih1)Instan2e5based 7earning◦ 7earning 8 Menyim%an semua

    training instan2es◦ Prediksi 8 Menggunakan fungsi tu(uan

    0mode&1 %ada instansi baru 0data u(i1◦ 9isebut (uga :7azy; &earning)

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    5/30

    Metode Pembe&a(aranEager 7earningMisa&+ *NN, S6M, 9e2ision Tree, Bayesian, dsb)

    *ny random movement8

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    6/30

    Metode Pembe&a(aran

    Its very simi&ar to a9eskto%>>

    7azy 7earningMisa&+ $5NN, Fuzzy $5NN, Fuzzy $5NN/, ?eighted @egression,/ase5based reasoning, dsb)

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    7/30

    K-NEARESTNEIGHBOR (K-NN)

    A

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    8/30

    $5Nearest Neighbor*&goritma yang me&akukan k&asi'kasiberdasarkan kedekatan &okasi 0(arak1 suatu datadengan data yang &ain)Prinsi% sederhana yang diado%si o&eh a&goritma $5

    NN ada&ah+ : Jika suatu hewan berjalan sepertibebek, bersuara kwek-kwek seperti bebek, dan penampilannya seperti bebek, maka hewan itumungkin bebek ;)Pada a&goritma $5NN, data berdimensi q , da%at

    dihitung (arak dari data tersebut ke data yang&ain,◦ Ni&ai (arak ini yang digunakan sebagai ni&ai

    kedekatan-kemiri%an antara data u(i dengan data &atih)

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    9/30

    $5Nearest Neighbor

    C

    # tetangga terdekat 0#5NN1! tetangga terdekat 0!5NN1

    tetangga terdekat 0 5NN1 A tetangga terdekat 0A5NN1

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    10/30

    *&goritma $5NN

    z 8 03=,y=1, ada&ah data u(idengan vektor 3= dan &abe& ke&asy= yang be&um diketahui

    Ditung (arak d03=,31, (arakdiantara data u(i z ke setia%vektor data &atih, sim%an da&am

    9Pi&ih 9 z ⊆ 9, yaitu $ tetanggaterdekat dari z

    #"

    ∑ ∈ == z ii D y x iv

    yv I y ),( )(' maxarg

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    11/30

    /ontoh

    ##

    0 2 4 6 80

    2

    4

    6

    8

    Data X Y Kelas1 1 1 0

    2 2 1 03 3 1 04 3 2 05 7 2 16 1 3 07 2 3 08 5 3 19 4 4 1

    10 6 4 111 1 5 012 6 5 113 1 6 014 4 6 115 5 6 116 2 7 117 4 7 1

    9ata u(i ada&ah data 0 ,41, 'tur 8 ,

    84)

    *kan di&akukan %rediksi, masukda&am ke&as yang manakahseharusnya G

    unakan (arak Eu2&idean >

    Data latih

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    12/30#!

    Nomordata x y Kelasasli Jarak data ujike data latih 1-NN 3-NN 7-NN

    1 1 1 0 3.6055 0 0 02 2 1 0 3.1622 0 0 03 3 1 0 3 0 0 04 3 2 0 2 0 1 1

    5 7 2 1 4.4721 0 0 06 1 3 0 2.2360 0 0 17 2 3 0 1.4142 0 1 18 5 3 1 2.2360 0 0 19 4 4 1 1 1 1 1

    10 6 4 1 3 0 0 011 1 5 0 2.2360 0 0 112 6 5 1 3.1622 0 0 013 1 6 0 2.8284 0 0 014 4 6 1 2.2360 0 0 115 5 6 1 2.8284 0 0 016 2 7 1 3.1622 0 0 017 4 7 1 3.1622 0 0 0

    Prediksi dengan K-NN

    Harak data u(i 0 ,41 ke #A data &atih

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    13/30#

    Prediksi dengan K-NN

    Unt k K!"9ata &atih yang terdekat ada&ah data nomor C 04,41 denganke&as #, maka data u(i 0 ,41 di%rediksi masuk ke&as #)

    Unt k K!#9ata &atih yang terdekat ada&ah data nomor C 04,41 dengan

    ke&as #, data nomor A 0!, 1 dan data nomor 4 0 ,!1 denganke&as ", karena ke&as # ber(um&ah # dan ke&as " ber(um&ah !0lebih banyak kelas 0 daripada kelas 1 1 maka data u(i0 ,41 di%rediksi masuk ke&as ")

    Unt k K!$9ata &atih yang terdekat ada&ah data nomor 0 , 1, C 04,41,#4 04,J1 dengan ke&as #, data nomor 4 0 ,!1, J 0#, 1, A 0!, 1,dan ## 0#, 1 dengan ke&as ", karena ke&as # ber(um&ah danke&as " ber(um&ah 4 0 lebih banyak kelas 0 daripada kelas1 1 maka data u(i 0 ,41 di%rediksi masuk ke&as ")

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    14/30

    Eva&uasi $5NN*&goritma yang menggunakan se&uruh data &atih untuk me&akukan%roses k&asi'kasi 0 complete storage 1)◦ Mengakibatkan untuk data da&am (um&ah yang sangat besar, %roses

    %rediksi men(adi sangat &ama)

    Tidak membedakan setia% 'tur dengan suatu bobot◦ Pada *NN 0*rti'2ia& Neura& Net.ork1 yang berusaha menekan 'tur yang

    tidak %unya kontribusi terhada%k&asi'kasi men(adi " %ada bagian bobot,◦ NN tidak ada bobot untuk masing5masing 'tur)

    Menyim%an sebagian atau semua data dan ham%ir tidak ada%roses %e&atihan,◦ maka $5NN sangat 2e%at da&am %roses training 0karena memang tidak

    ada1 teta%i sangat &ambat da&am %roses %rediksi)

    Da& yang rumit ada&ah menentukan ni&ai $ yang %a&ing sesuai$5NN %ada %rinsi%nya memi&ih tetangga terdekat,◦ Parameter (arak (uga %enting untuk di%ertimbangkan sesuai dengan kasus

    datanya) Eu2&idean sangat 2o2ok untuk menggunakan (arak terdekat0&urus1 antara dua data, teta%i Manhattan sangat robust untuk mendeteksiout&ier da&am data)

    #4

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    15/30

    %U&&' K-NEARESTNEIGHBOR (%K-NN)

    #

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    16/30

    Fuzzy $5NN$5NN me&akukan %rediksi se2ara tegas %ada u(iberdasarkan %erbandingan $ tetangga terdekat)Fuzzy $5Nearest Neighbor 0F$5NN1 di%erkena&kan o&eh$e&&er et a& 0#C 1 dengan mengembangkan $5NN yangdigabungkan dengan teori fuzzy da&am memberikan

    de'nisi %emberian &abe& ke&as %ada data u(i yangdi%rediksi)Pada teori fuzzy, sebuah data mem%unyai ni&aikeanggotaan %ada setia% ke&as,◦ yang artinya sebuah data bisa dimi&iki o&eh ke&as yang

    berbeda dengan ni&ai dera(at keanggotaan da&am interva&K",#L)

    Teori him%unan fuzzy men5genera&isasi teori $5NNk&asik dengan mende'nisikan ni&ai keanggotaansebuah data %ada masing5masing ke&as)

    #J

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    17/30

    Ni&ai keanggotaan

    #A

    =−

    −=

    −−

    = K

    k

    mk

    K

    k

    mk ik

    i

    x xd

    x xd c xu

    c xu

    1

    )1(2

    1

    )1(

    2

    ),(

    ),(*),(

    ),(

    u 0 x,ci1 ada&ah ni&ai

    keanggotaan data x ke ke&asc iK ada&ah (um&ah tetanggaterdekat yang digunakan

    u 0 x k ,c i1 ada&ah ni&ai keanggotaan data tetangga da&am K tetangga %ada ke&as c i, ni&ainya # (ika data &atih x k mi&ik ke&asc i atau " (ika bukan mi&ik ke&as c id 0 x, x k 1 ada&ah (arak dari data x ke data x k da&am K tetanggaterdekatm ada&ah bobot %angkat 0 weight exponent 1 yang besarnya m

    < #Nilai keanggotaan suatu data pada kelas sangat dipengaruhioleh jarak data itu ke tetangga terdekatnya,

    semakin dekat ke tetangganya maka semakin besar nilaikeanggotaan data tersebut pada kelas tetangganya,begitu pula sebaliknya.

    Harak tersebut diukur dengan N dimensi 0'tur1 data

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    18/30

    Harak yang digunakan

    #

    p N

    l

    p jl il ji x x x xd

    1

    1),(

    −= ∑=

    N ada&ah dimensi 0(um&ah 'tur1 data)Untuk % ada&ah %enentu (arak yang digunakan,

    (ika %8# maka (arak yang digunakan ada&ah Manhattan,

    (ika %8! maka (arak yang digunakan ada&ah Eu2&idean, (ika %8 ∞ maka (arak yang digunakan ada&ah /hebyshev)

    Meski%un F$5NN menggunakan ni&ai keanggotaan untukmenyatakan keanggotaan data %ada setia% ke&as, teta%i untuk

    memberikan ke&uaran akhir, F$5NN teta% harus memberikanke&as akhir hasi& %rediksi, untuk ke%er&uan ini, F$5NN memi&ihkelas dengan nilai keanggotaan terbesar %ada datatersebut

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    19/30

    *&goritma F$5NNNorma&isasikan data menggunakan ni&ai terbesar dan terke2i& data%ada setia% 'tur)/ari $ tetangga terdekat untuk data u(i 3 menggunakan %ersamaan+

    Ditung ni&ai keanggotaan u03, 2 i1 menggunakan %ersamaan diba.ahini untuk setia% i, dimana # ≤ i ≤ /)

    *mbi& ni&ai terbesar 28u03, 2 i1 untuk semua # ≤ i ≤ /)Berikan &abe& ke&as 2 ke data u(i 3)

    #C

    p N

    l

    p jl il ji x x x xd

    1

    1),(

    −= ∑=

    = −

    −=

    −−

    = K

    k mk

    K

    k

    mk ik

    i

    x xd

    x xd c xu

    c xu

    1)1(

    21

    )1(2

    ),(

    ),(*),(

    ),(

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    20/30

    /ontoh

    !"

    0 2 4 6 80

    2

    4

    6

    8

    Data X Y Kelas1 1 1 02 2 1 03 3 1 04 3 2 05 7 2 16 1 3 07 2 3 08 5 3 19 4 4 1

    10 6 4 111 1 5 012 6 5 113 1 6 014 4 6 115 5 6 116 2 7 117 4 7 1

    9ata u(i ada&ah data 0 ,41, 'tur 8 ,

    84)*kan di&akukan %rediksi, masukda&am ke&as yang manakahseharusnya G

    unakan .8!, dan (arak Eu2&idean >

    Data latih

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    21/30

    !#

    Nomordata x y Kelasasli Jarak data ujike data latih 1-NN 3-NN 7-NN

    1 1 1 0 3.6055 0 0 02 2 1 0 3.1622 0 0 03 3 1 0 3 0 0 04 3 2 0 2 0 1 1

    5 7 2 1 4.4721 0 0 06 1 3 0 2.2360 0 0 17 2 3 0 1.4142 0 1 18 5 3 1 2.2360 0 0 19 4 4 1 1 1 1 1

    10 6 4 1 3 0 0 0

    11 1 5 0 2.2360 0 0 112 6 5 1 3.1622 0 0 013 1 6 0 2.8284 0 0 014 4 6 1 2.2360 0 0 115 5 6 1 2.8284 0 0 016 2 7 1 3.1622 0 0 017 4 7 1 3.1622 0 0 0

    Prediksi dengan K-NN

    Harak data u(i 0 ,41 ke #A data &atih

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    22/30

    !!

    Nomordata x y

    Kelasasli

    Jarakdata ujike data

    latih

    1-NN

    3-NN

    7-NN

    1 1 1 0 3.6055 0 0 0

    2 2 1 0 3.1622 0 0 03 3 1 0 3 0 0 04 3 2 0 2 0 1 0.25 1 0.25005 7 2 1 4.4721 0 0 06 1 3 0 2.236 0 0 1 0.20007 2 3 0 1.4142 0 1 0.5 1 0.50008 5 3 1 2.236 0 0 1 0.20009 4 4 1 1 1 1 1 1 1 1.0000

    10 6 4 1 3 0 0 011 1 5 0 2.236 0 0 1 0.200012 6 5 1 3.1622 0 0 013 1 6 0 2.8284 0 0 014 4 6 1 2.236 0 0 1 0.2000

    15 5 6 1 2.8284 0 0 016 2 7 1 3.1622 0 0 017 4 7 1 3.1622 0 0 0

    Jumlah kelas 0 0 0.75 1.1500Jumlah kelas 1 1 1.00 1.4000

    Jumlah 1 1.75 2.5501 Nilai kea gg!"aa #i kelas 0 0 0.4286 0.4510 Nilai kea gg!"aa #i kelas 1 1 0.5714 0.5490

    12−md 1

    2−md 1

    2−md Unt k K!"

    9ata u(i 0 ,41di%rediksi masukke&as #)

    Unt k K!#9ata u(i 0 ,41

    di%rediksi masukke&as #)

    Unt k K!$9ata u(i 0 ,41di%rediksi masukke&as #)

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    23/30

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    24/30

    Frame.ork F$5NN/9i%erkena&kan o&eh Prasetyo 0!"#!1)F$5NN/ menggunakan se(um&ah $tetangga terdekat %ada setia% ke&asdari sebuah data u(i, bukan $ tetanggaterdekat se%erti %ada $5NN dan F$5NN)

    F$5NN/ menggunakan F$5NN sebagaibasis kerangka ker(a, dimana sebuahdata u(i mem%unyai ni&ai keanggotaan%ada setia% ke&as da&am interva& K")#L)◦ Hum&ah ni&ai keanggotaan sebuah data

    %ada semua ke&as sama dengan #

    1 0 ,11

    ≤≤=∑=

    ij

    C

    jij uu

    0 2 4 6 80

    2

    4

    6

    8

    Tanda dot hitam0so&id1 ada&ah data u(i

    Tiga tetangga dike&as

    dan tiga tetanggadike&as 3

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    25/30

    Frame.ork F$5NN/ ont!d

    Harak data u(i x i ke semua $ tetangga dari setia% ke&as ke5 j di(um&ahkan, formu&a yang digunakan+

    akumu&asi (arak data u(i x i ke setia% ke&as digabungkan,disimbo&kan " , formu&a yang digunakan+

    ◦ Ni&aim disini meru%akan %angkat bobot 0 weight exponent 1 se%erti %ada F$5NN, ni&ai m < #)

    Untuk menda%atkan ni&ai keanggotaan data u(i x i %ada setia% ke&aske5 j 0ada ke&as1, menggunakan formu&a+

    Untuk menentukan ke&as hasi& %rediksi data u(i x i, di%i&ih ke&asdengan ni&ai keanggotaan terbesar dari data x i) Formu&a yangdigunakan+

    ∑=

    = K

    r r iij x xd S

    1),(

    ( )∑=−

    =C

    jmiji S D

    1

    1

    2

    i

    ij

    ij D

    S

    u =

    )(maxarg'1

    ij

    C

    ju y

    ==

    041

    0 1

    0J1

    0A1

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    26/30

    *&goritma F$5NN//ari $ tetangga terdekat %ada setia% ke&as,menggunakan formu&a

    Ditung S sebagai akumu&asi (arak $ tetangga %adasetia% ke&as, menggunakan formu&a 041Ditung H sebagai akumu&asi semua (arak dari / ×$tetangga, menggunakan formu&a 0 1Ditung u sebagai ni&ai keanggotaan data %ada setia%

    ke&as, menggunakan formu&a 0J1Pi&ih ni&ai keanggotaan terbesar menggunakanformu&a 0A1, ke&as dengan ni&ai keanggotaan terbesarmen(adi ke&as hasi& %rediksi untuk data u(i tersebut)

    p N

    l

    p jl il ji x x x xd

    1

    1),(

    −= ∑=

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    27/30

    /ontoh

    !A

    0 2 4 6 80

    2

    4

    6

    8

    Data X Y Kelas1 1 1 02 2 1 03 3 1 04 3 2 05 7 2 16 1 3 07 2 3 08 5 3 19 4 4 1

    10 6 4 111 1 5 012 6 5 113 1 6 014 4 6 115 5 6 116 2 7 117 4 7 1

    9ata u(i ada&ah data 0 ,41, 'tur 8 ,

    84)*kan di&akukan %rediksi, masukda&am ke&as yang manakahseharusnya G

    unakan .8!, dan (arak Eu2&idean >

    Data latih

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    28/30

    !

    Nomordata x y

    Kelasasli

    Jarak data ujike data latih

    1 1 1 0 3.60552 2 1 0 3.16223 3 1 0 34 3 2 0 2

    5 7 2 1 4.47216 1 3 0 2.23607 2 3 0 1.41428 5 3 1 2.23609 4 4 1 1

    10 6 4 1 3

    11 1 5 0 2.236012 6 5 1 3.162213 1 6 0 2.828414 4 6 1 2.236015 5 6 1 2.828416 2 7 1 3.162217 4 7 1 3.1622

    Prediksi dengan K-NN

    Harak data u(i 0 ,41 ke #A data &atih

    Nomordata x y Kelasasli Jarak data ujike data latih

    7 2 3 0 1.4144 3 2 0 26 1 3 0 2.23611 1 5 0 2.236

    13 1 6 0 2.8283 3 1 0 32 2 1 0 3.1621 1 1 0 3.6069 4 4 1 18 5 3 1 2.236

    14 4 6 1 2.23615 5 6 1 2.82810 6 4 1 312 6 5 1 3.16216 2 7 1 3.16217 4 7 1 3.162

    5 7 2 1 4.472

    Sete&ah diurutkan

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    29/30

    !C

    Nomordata x y

    Kelasasli

    Jarak data ujike data latih K=1 K=3 K=5 K=7

    7 2 3 0 1.414 1 1 1 14 3 2 0 2 0 1 1 16 1 3 0 2.236 0 1 1 1

    11 1 5 0 2.236 0 0 1 113 1 6 0 2.828 0 0 1 13 3 1 0 3 0 0 0 12 2 1 0 3.162 0 0 0 11 1 1 0 3.606 0 0 0 09 4 4 1 1 1 1 1 18 5 3 1 2.236 0 1 1 1

    14 4 6 1 2.236 0 1 1 115 5 6 1 2.828 0 0 1 110 6 4 1 3 0 0 1 112 6 5 1 3.162 0 0 0 116 2 7 1 3.162 0 0 0 117 4 7 1 3.162 0 0 0 05 7 2 1 4.472 0 0 0 0

    Jumlah kelas 0 1.414 5.65 10.71 16.88Jumlah kelas 1 1 5.472 11.3 17.62

    $ 0 0.5 0.031 0.009 0.004$ 1 1 0.033 0.008 0.003

    Jumlah (%) 1.50 0.06 0.02 0.01 Nilai kea gg!"aa #i kelas 0 (u 0) 0.333 0.484 0.527 0.522

    Nilai kea gg!"aa #i kelas 1 (u 1) 0.667 0.516 0.473 0.478

    Unt k K!"9ata u(i 0 ,41di%rediksi masukke&as #)

    Unt k K!#9ata u(i 0 ,41di%rediksi masukke&as #)

    Unt k K!$

    9ata u(i 0 ,41di%rediksi masukke&as ")

    Unt k K!#9ata u(i 0 ,41di%rediksi masukke&as ")

  • 8/18/2019 Fuzzy2012 4 Nearest Neighbor

    30/30

    AN' +UESTIONS ,