Nurochman

MLP Feed-Forward Back Propagation Network

Arsitektur MLP

x1

xn

Algoritma BackPropagation1. Inisialisasi bobot-bobot dan atau bias

tentukan laju pembelajaran (α)

tentukan nilai ambang/ nilai toleransi (𝛉)atau tentukan epoch maksimal2. While kondisi berhenti tdk terpenuhi do

langkah 3 – 103. Untuk setiap pasangan pola pelatihan,

lakukan langkah 4 – 9Tahap umpan maju

4. Setiap unit input Xi dari i=1 sampai n mengirim sinyal ke lapisan tersembunyi

5. Menghitung sinyal output pada lapisan tersembunyi

6. Menghitung sinyal output pada lapisan output

Tahap propagasi balik7. Menghitung error pada lapisan output,

menghitung besar koreksi bobot dan bias antara lapisan tersembunyi dan output, lalu update bobot dan bias

8.Menghitung error pada lapisan tersembunyi, menghitung besar koreksi bobot dan bias antara lapisan input dan tersembunyi, lalu update bobot dan bias

jkjkjk WlamaWbaruW )()(

ijijij VlamaVbaruV )()(

Tahap update bobot dan bias9.Update bobot dari lapisan tersembunyi ke

lapisan output

Update bobot dari lapisan input ke lapisan tersembunyi

10.Tes kondisi berhenti (error sudah <= 𝛉) atau epoch tercapai)

jkjkjk WlamaWbaruW )()(

ijijij VlamaVbaruV )()(

Algoritma Aplikasi1. Loading bobot dan bias hasil pelatihan2. Menghitung sinyal output pada lapisan

tersembunyi

3. Menghitung sinyal output pada lapisan output

4. Output dari lapisan output itulah yang menjadi output JST

Persyaratan Minimasi Error

2)(2

1kk ytE

Fungsi Sigmoid Biner

)exp(1

1)(1 xxf

))(1)(()( 11'

1 xfxfxf

Fungsi Sigmoid Bipolar

1)(2)( 12 xfxf

))(1))((1(2

1)( 22

'2 xfxfxf

Fungsi Tangen Hiperbolik

)2exp(1

)2exp(1)tanh(

)exp()exp(

)exp()exp()tanh(

x

xx

xx

xxx

))tanh(1))(tanh(1()(tanh ' xxx

Inisialisasi Bobot dan BiasInisialisai Acak (interval antara -lamda dan

lamda), misal (-0,4 dan 0,4)

Inisialisasi Nguyen-Widrow

Inisialisasi Nguyen-WidrowPembelajaran lebih cepatInisialisasi bobot antara lapisan

tersembunyi dan output tetap menggunakan acak

Faktor skala Nguyen-Widrow

n = jumlah unit inputp = jumlah unit tersembunyiß = faktor skala

)(

np1

)(7.0

Prosedur Inisialisasi Nguyen-WidrowInisialisasi bobot antara unit input dan unit

tersembunyi dengan cara:- menentukan bobot antara unit input dan unit tersembunyi Vij (lama) = bil acak antara (-ß dan ß)- Menghitung ||Vij||- Menginisialisasi Vij:

Menentukan bias antara unit input dan unit tersembunyi dengan bilangan acak antara (-ß dan ß)

ij

ijij

V

lamaVV

)(

Update bobot dg momentumMomentum memaksa proses perubahan

bobotTidak terperangkap dalam minimum lokal

(local minima)

Miu adalah parameter momentum dalam range 0 sampai 1

)()1( tWZtW jkjkjk

)()1( tVXtV ijijij

Tugas

Implementasikan algoritma BP untuk mengenali pola huruf di atas.

Satu huruf berukuran 3x5 dengan target masing-masing untuk B (1,1), D (1,-1), F(-1,1) dan H (-1,-1)

Gunakan representasi bipolar dan fungsi sigmoid bipolar

Any Questions?