download

Subject
Year
: T0293/Neuro Computing
: 2009
Introduction
Meeting 2
2
Single-Layered Networks
•
Walaupun sebuah neuron (tunggal) mampu melakukan
fungsi deteksi pola sederhana, kemampuan komputasi
berasal dari koneksi sejumlah neuron menjadi satu
kesatuan jaringan (neural networks)
W
X1

Y1
X2

Y2
Xn

Yn
3
• Weight-weight pada neural networks dapat dipandang
sebagai elemen-elemen suatu matriks W
• Dimensi adalah m x n, dimana m adalah sejumlah input
dan n jumlah neuron
• Sebagai contoh, bobot yang menghubungkan input
ketiga dengan neuron yang kedua adalah W3.2.
• Dengan demikian, untuk melakukan perhitungan output
suatu jaringan merupakan perkalian matrik N = X W,
dimana N dan X adalah vector baris
4
Multilayer Networks
– Nonlinear Activation Function
• Multilayer networks tidak akan lebih meningkat
kemampuan komputasinya dibendingkan dengan
‘Single layer network’, kecuali jika ada ’Non-linear
Activation Function’ diantara layer- layer.
• Menghitung output dari sebuah layer yaitu dengan
mengalikan vektor input dengan matrik bobot yang
pertama. Kemudian, jika tidak ada ‘Non-linear
Activation Function’, mengalikan hasilnya (vektor)
dengan matrik bobot yahng kedua.
5
• Perhitungan diatas dapat diekspresi-kan sebagai berikut :
(X W1) W2
• Karena perkalian matrik bersifat associative,
maka perhitungan diatas dapat ditulis sebagai berikut:
X(W1 W1)
6
• Hal ini menunjukkan bahwa ‘Two-layer linear network’
persis sama / ekivalen dengan ‘single layer network’
yang memiliki matrik bobot yang merupakan perkalian
dua buah matrik bobot.
• Dengan demikian, setiap ‘multi-layer network’ dapat
dirubah / digantikan fungsinya oleh ‘single-layer
network’.
• Dalam kuliah selanjutnya akan dibahas bahwa ‘singlelayer network’ memiliki kemampuan komputasi yang
sangat terbatas. Dengan demikian, ’non-linear activation
function’ merupakan sesuatu yang sangat vital terhadap
perkembangan kemampuan komputasi dari neural
networks.
7
• Contoh Two Layer Neural Network
X1
W 11


Y1


Y2






W 12
K11
K12
W 1n
W 21
W 22
X2



W 2n
W m1
X
m
W m2
W
mn
Weight
array W

8
Kmn
Weight
array K

Yp
Recurrent Networks
Networks yang telah dibahas sebelumnya tidak terdapat
koneksi timbal balik, yaitu koneksi yang melalui output
suatu layer menuju ke input da-ri layer yang sama atau
sebelumnya, dan disebut non recurrent atau feed
forward network.
Secara umum network yang memiliki koneksi timbal-balik
disebut ‘recurrent network’. Non recurrent network tidak
memiliki memory, dimana outputnya ditentukan oleh
input dan nilai-nilai da-ri bobot. Dalam beberapa
konfigurasi, recurrent networks memutar kembali
outputnya menjadi input.
9
Dengan demikian output dari recurrent network ditentukan
oleh input dari output sebelumnya. Dengan alasan ini,
recurrent network memiliki sifat-sifat serupa dengan
‘short-turn memory’.
10
KONSEP DASAR NEURAL NETWORKS
• Prototipe Biologis
– Perkiraan Jumlah Neuron
= 10 11
– Perkiraan Jumlah Koneksi untuk setiap neuron = 10 4
– Perkiraan Jumlah Koneksi untuk setiap neuron = 10 15
• Artificial Neuron
Artificial neuron dirancang berdasarkan sifat-sifat /
karakteristik Biologikal neuron. Gambar berikut adalah
model yang mengimplementasikan ide tersebut
11
X
1
X
X
W
W
1

W
2
2
W
X
n
NET =
XW
n
NET = X1 W1 + X2 W2 + …
+ Xn Wn
Artificial Neuron
X1, X2, … , Xn adalah input dari neuron
W1, W2, … , Wn adalah bobot (weight)
NET =
XW
12
Activation Functions
• Signal NET biasanya diproses lebih lanjut dengan
activation functions F untuk menghasilkan output OUT
linear:
OUT
=
F(NET)
OUT
OUT
=
=
1 jika NET > T
0 selainnya
dimana T adalah nilai threshold
Sigmoid:
OUT
=
1
.
(1 + e -NET
)
13
X1
W1
F
W2
X2
Wn

NET
OUT = F (NET)
ARTIFICIAL NEURON
Xn
Artificial Neuron with Activation Function
14
OUT = 1 / ( 1 + e -NET ) = F (NET)
• Fungsi Logistik Sigmoid
OUT
1
5
NET
• Fungsi Tangen Hiperbolik
OUT
0
1
NET
-1
15

Download Report