Jaringan syaraf tiruan
-
Upload
poposayangmomo -
Category
Technology
-
view
1.671 -
download
5
description
Transcript of Jaringan syaraf tiruan
![Page 1: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/1.jpg)
Jaringan Syaraf Tiruan
PKB - Antonie
![Page 2: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/2.jpg)
Biological Inspiration
• Animals are able to react adaptively to changes in their external and internal environment, and they use their nervous system to perform these behaviours.
• The nervous system is build by relatively simple units, the neurons, so copying their behavior and functionality should be the solution.
![Page 3: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/3.jpg)
Human Brain
• Bertugas untuk memproses informasi• Seperti prosesor sederhana• Masing-masing cell tersebut berinteraksi
mendukung kinerja otak• Setiap sel (neuron) memiliki satu nukleus
(soma), bertugas memproses informasi, informasi diterima oleh dendrit, dan disebarkan melalui akson
• Pertemuan informasi antar syaraf berada di sinapsis
![Page 4: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/4.jpg)
Human Brain
• Manusia memiliki krg lbh 10^12 neuron! Dan 6x10^18 sinapsis!
• Informasi yang dikirimkan berupa rangsangan dengan sebuah batas ambang (threshold)– Pada batas tertentu, syaraf lain akan teraktifasi dan
merespon
• Hubungan antar syaraf terjadi secara dinamis• Otak manusia memiliki kemampuan untuk
belajar dan beradaptasi– Mampu mengenali pola, wajah, mengkontrol organ
tubuh!
![Page 5: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/5.jpg)
Human Neuron
Dendrites
Soma (cell body)
Axon
![Page 6: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/6.jpg)
Human Neuron (Detail)
synapses
axon dendrites
![Page 7: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/7.jpg)
Human Brain
• Neuron merupakan sistem yang fault tolerance– Dapat mengenali sinyal input yang berbeda
dari sebelumnya• Dapat mengenali orang yg blm pernah ditemui
hanya dengan melihat dari foto• Dapat mengenali orang yang berubah krn tua
misalnya
– Tetap dapat bekerja walau beberapa neuronnya rusak, neuron lain dapat tumbuh dan dilatih
![Page 8: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/8.jpg)
Learning in biological systems
Learning = learning by adaptation
The young animal learns that the green fruits are sour, while the yellowish/reddish ones are sweet. The learning happens by adapting the fruit picking behavior.
At the neural level the learning happens by changing of the synaptic strengths, eliminating some synapses, and building new ones.
![Page 9: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/9.jpg)
Learning as optimisation
The objective of adapting the responses on the basis of the information received from the environment is to achieve a better state. E.g., the animal likes to eat many energy rich, juicy fruits that make its stomach full, and makes it feel happy.
In other words, the objective of learning in biological organisms is to optimise the amount of available resources, happiness, or in general to achieve a closer to optimal state.
![Page 10: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/10.jpg)
JST
• Suatu sistem pemrosesan informasi yang mencoba meniru kinerja otak manusia
• Merupakan generalisasi model matematis dengan asumsi:– Pemrosesan informasi terjadi pada elemen sederhana (=neuron)– Sinyal dikirimkan diantara neuron-neuron melalui penghubung
(=dendrit dan akson)– Penghubung antar elemen memiliki bobot yang akan menambah
atau mengurangi sinyal– Untuk menentukan output, setiap neuron memiliki fungsi aktivasi
(biasanya non linier) yang dikenakan pada semua input– Besar output akan dibandingkan dengan threshold
![Page 11: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/11.jpg)
JST
• Baik tidaknya suatu model JST ditentukan oleh:– Pola antar neuron (arsitekur jaringan)– Metode untuk menentukan dan mengubah
bobot (disebut metode learning)– Fungsi aktivasi
• JST disebut juga: brain metaphor, computational neuroscience, parallel distributed processing
![Page 12: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/12.jpg)
JST
• JST dapat belajar dari pengalaman!• Biasanya berhubungan dengan angka (numerik)
sehingga data yang tidak numerik harus dibuat ke numerik
• Tidak ada rumus yang tetap (fixed) sehingga disebut dengan free-estimator!
• JST disebut black box atau tidak transparan karena tidak mampu menjelaskan bagaimana suatu hasil didapatkan!
• JST mampu menyelesaikan permasalahan yang tidak terstruktur dan sulit didefinisikan!
![Page 13: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/13.jpg)
Kelebihan JST
• Mampu mengakuisisi pengetahuan walau tidak ada kepastian
• Mampu melakukan generalisasi dan ekstraksi dari suatu pola data tertentu
• JST dapat menciptakan suatu pola pengetahuan melalui pengaturan diri atau kemampuan belajar (self organizing)
• Memiliki fault tolerance, gangguan dapat dianggap sebagai noise saja
• Kemampuan perhitungan secara paralel sehingga proses lebih singkat
![Page 14: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/14.jpg)
JST mampu:
• Klasifikasi: memilih suatu input data ke dalam kategori tertentu yang sudah ditetapkan
• Asosiasi: menggambarkan suatu obyek secara keseluruhan hanya dengan bagian dari obyek lain
• Self organizing: kemampuan mengolah data-data input tanpa harus mempunyai target
• Optimasi: menemukan suatu jawaban terbaik sehingga mampu meminimalisasi fungsi biaya
![Page 15: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/15.jpg)
Kelemahan JST
• Kurang mampu untuk melakukan operasi operasi numerik dengan presisi tinggi
• Kurang mampu melakukan operasi algoritma aritmatik, operasi logika dan simbolis
• Lamanya proses training yang mungkin terjadi dalam waktu yang sangat lama untuk jumlah data yang besar
![Page 16: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/16.jpg)
Aplikasi JST
• Pengenalan pola (pattern recognition)– Huruf, tanda tangan, suara, gambar yang sudah
sedikit berubah (mengandung noise)– Identifikasi pola saham– Pendeteksian uang palsu, kanker
• Signal Processing– Menekan noise pada saluran telepon
• Peramalan– Peramalan saham
• Autopilot dan simulasi• Kendali otomatis otomotif
![Page 17: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/17.jpg)
Aplikasi JST
Tasks to be solved by artificial neural networks:
• controlling the movements of a robot based on self-perception and other information (e.g., visual information);
• deciding the category of potential food items (e.g., edible or non-edible) in an artificial world;
• recognizing a visual object (e.g., a familiar face);
• predicting where a moving object goes, when a robot wants to catch it.
![Page 18: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/18.jpg)
Sejarah
• Model JST formal pertama diperkenalkan oleh McCulloch dan Pitts (1943)
• 1949, Hebb mengusulkan jaringan Hebb• 1958, Rosenblatt mengembangkan perceptron
untuk klasifikasi pola• 1960, Widrow dan Hoff mengembangkan
ADALINE dengan aturan pembelajaran Least Mean Square (LMS)
• 1974, Werbos memperkenalkan algoritma backpropagation untuk perceptron banyak lapisan
![Page 19: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/19.jpg)
Sejarah
• 1982, Kohonen mengembangkan learning unsupervised untuk pemetaan
• 1982, Grossberg dan Carpenter mengembangkan Adaptive Resonance Theory (ART, ART2, ART3)
• 1982, Hopfield mengembangkan jaringan Hopfield untuk optimasi
• 1985, Algoritma Boltzmann untuk jaringan syaraf probabilistik
• 1987, dikembangkan BAM (Bidirectional Associative Memory)
• 1988, dikembangkan Radial Basis Function
![Page 20: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/20.jpg)
Model Neuron JST
X1
X2
X3
Y1
Y2
Y3
W1
W2
W3
Fungsi aktivasi
Masukkan Keluaran
Bobot
Y1 = X1.W1 + X2.W2 + X3.W3; dst…
)(;1
zHyxwzn
iii
![Page 21: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/21.jpg)
Model Neuron
• Pada JST, neuron-neuron akan dikumpulkan dalam lapisan lapisan yang disebut dengan layers
• Neuron dalam satu lapisan akan dihubungkan dengan neuron pada lapisan lainnya
• Kadang muncul juga layer tersembunyi (hidden layer) untuk menambah keakuratan pelatihan
• Informasi tersebut bisa dirambatkan secara forward ataupun backward
![Page 22: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/22.jpg)
Istilah dalam JST• Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST• Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling
berhubungan dan membentuk lapisan• Input: sebuah nilai input yang akan diproses menjadi nilai output• Output: solusi dari nilai input• Hidden layer: lapisan yang tidak terkoneksi secara langsung dengan
lapisan input atau output, memperluas kemampuan JST• Bobot: nilai matematis dari sebuah koneksi antar neuron• Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai
bobot per-iterasi dari semua nilai input.– Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya
dan kemudian menjumlahkannya (disebut penjumlahan sigma)– Berbentuk linier atau tidak linier, dan sigmoid
• Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning
![Page 23: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/23.jpg)
JST dengan 3 layer
![Page 24: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/24.jpg)
Arsitektur Jaringan
• Single Layer– Hanya memiliki satu lapisan dengan bobot-bobot terhubung.– Langsung menerima input dan mengolahnya menjadi output
tanpa menggunakan hidden layer• Multi Layer
– Memiliki satu atau lebih lapisan input, satu atau lebih lapisan output, dan lapisan tersembunyi
– Dapat menyelesaikan masalah yang lebih kompleks karena lebih akurat
– Fungsi pembelajarannya lebih rumit• Kompetitive Model / Recurrent Model
– Hubungan antar neuron tidak diperlihatkan secara langsung pada arsitektur
– Hubungan antar neuron dapat digambarkan sebagai jaring yang rumit
![Page 25: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/25.jpg)
Model JST
• Single Layer • Multi Layer
• Competitive Layer / Recurrent
![Page 26: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/26.jpg)
Pengelompokkan JST
• JST Feed Forward– Tidak mempunyai loop– Contoh: single layer perceptron, mutilayer
perceptron, radial basis function
• JST Feed Backward (Recurrent)– Memiliki loop, lapisan output akan memberi
input lagi bagi lapisan input– Contoh: competitive networks, kohonen,
hopfield, ART
![Page 27: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/27.jpg)
Paradigma pembelajaran
• Supervised Learning– Kumpulan input berusaha membentuk target output yang sudah
diketahui sebelumnya– Perbedaan antara output yang masih salah dengan output yang
diharapkan harus sekecil mungkin– Biasanya lebih baik daripada unsupervised– Kelemahan: pertumbuhan waktu komputasi eksponensial, data
bnyk berarti semakin lambat• Unsupervised Learning
– JST mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu
• Hibrida Learning– Gabungan antara unsupervised dan supervised
![Page 28: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/28.jpg)
Algoritma Pembelajaran Umum
• Dimasukkan n data pelatihan• Inisialisasi bobot-bobot jaringan, set i = 1• Masukkan contoh ke-i ke dalam input• Cari tingkat aktivasi unit output menggunakan
algoritma yang ditetapkan– If memenuhi kriteria output then exit
else:
• Update bobot2 menggunakan fungsi galat error, Bobot baru = bobot lama + delta
• If i=n then reset i=1, else i=i+1
![Page 29: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/29.jpg)
JST dan Aplikasi
• Klasifikasi: ADALINE, Backpropagation
• Pengenalan Pola: ART, Backpropagation
• Peramalan: ADALINE, MADALINE, Backpropagation
• Optimasi: ADALINE, Hopfield, Boltzman, Backpropagation
![Page 30: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/30.jpg)
Fungsi Aktivasi
• Fungsi undak biner (hard limit)
• Fungsi undak biner (threshold)
![Page 31: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/31.jpg)
Fungsi Aktivasi
• Fungsi bipolar
• Fungsi bipolar dengan threshold
![Page 32: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/32.jpg)
Fungsi Aktivasi
• Fungsi Linier (identitas)
• Fungsi Sigmoid biner
![Page 33: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/33.jpg)
McCulloch Pitts
• Fungsi aktivasi biner• Besar bobotnya sama• Memiliki threshold yang sama
Contoh buat fungsi logika “and”, input X1 dan X2, dan Y = 1 jika dan hanya jika inputan 1
X1 X2 Y1 1 11 0 00 1 00 0 0
![Page 34: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/34.jpg)
Jawab
X1 X2 net Y, 1 jika net >=2, 0 jika net < 2
1 1 1.1+1.1=2 1
1 0 1.1+0.1=1 0
0 1 0.1+1.1=1 0
0 0 0.1+0.1=0 0
Ternyata BERHASIL mengenali pola
X1
X2
Y
2
1
1
![Page 35: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/35.jpg)
Problem “OR”
X1 X2 net Y, 1 jika net >=1, 0 jika net < 1
1 1 1.1+1.1=2 1
1 0 1.1+0.1=1 1
0 1 0.1+1.1=1 1
0 0 0.1+0.1=0 0
Ternyata BERHASIL mengenali pola
X1
X2
Y
1
1
1
![Page 36: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/36.jpg)
Problem “X1 and not(X2)”
X1 X2 net Y, 1 jika net >=2, 0 jika net < 2
1 1 1.2+1.-1=1 0
1 0 1.2+0.-1=2 1
0 1 0.2+1.-1=-1 0
0 0 0.2+0.-1=0 0
Ternyata BERHASIL mengenali pola
X1
X2
Y
2
2
-1
![Page 37: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/37.jpg)
Problem “XOR”
X1 X2 Y
1 1 0
1 0 1
0 1 1
0 0 0
GAGAL!
F(1,1) = 0
F(1,0) = 1F(0,0) = 0
F(0,1) = 1
![Page 38: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/38.jpg)
Solusi
• XOR = (x1 ^ ~x2) V (~x1 ^ x2)
• Ternyata dibutuhkan sebuah layer tersembunyi
X1
X2
Z1
Z2
Y
2
2
-1
-1
1
1
2
2
1
![Page 39: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/39.jpg)
Tabel
![Page 40: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/40.jpg)
Jaringan HEBB
• Menggunakan iterasi untuk menghitung bobot dan bias• Dalam setiap iterasi, bobot dan bias diubah berdasarkan
rumus tertentu• W = bobot• Wbaru = Wlama + X1Y1• Algoritma:
– Init, semua bobot wi = 0– Untuk semua input:
• Set fungsi aktivasi xi = si• Set output y=t• Perbaiki bobot: w(baru) = w(lama) + delta w, dengan delta w = xi*y• Perbaiki bias, b(baru) = b(lama) + y
![Page 41: Jaringan syaraf tiruan](https://reader034.fdocuments.in/reader034/viewer/2022050919/54839fc8b4af9fb7158b4723/html5/thumbnails/41.jpg)
To Be Continued
• Jaringan HEBB
• Jaringan Perceptron
• Jaringan Back Propagation
• Hybrid JST