5/13/2014

1

Hidden Markov Model II

Toto Haryanto

Termonologi dalam HMM

Model dalam HMM ditulis sebagai

Pernytaan P(O| λ) bermakna peluang suatu observasi O jika diberikan model HMM λ

Pernytaan P(O| S1,S2) bermakna peluang suatu observasi O jika diberikan model HMM λ dengan State S1,S2

Dengan

λ : Model

A : Matriks Transisi

B : Matriks Emisi

Π : Matriks Prority

5/13/2014

2

Jenis Hidden Markov Model (HMM)

Ergodic HMM

Left-Right (L-R) HMM

P B

H

Pada Ergodic HMM, suatu state diperkenankan

Untuk dapat mengunjuni state manapun.

Visualisasi Ergodic HMM dapay dilihat pada

Gambar di samping

P B H

Pada L-R HMM transisi terjadi ke

state diriinya atau state lain yang

unik

Permasalahan dalam HMM

1. Diberikan model λ = (A, B, π), bagaimana menghitung

P(O | λ), yaitu kemungkinan ditemuinya rangkaian

pengamatan O = O1, O2, ..., OT.

2. Diberikan model λ = (A, B, π), bagaimana memilih

rangkaian state I = i1, i2,...,iT sehingga P(O, I | λ),

kemungkinan gabungan rangkaian pengamatan O = O1,

O2, ..., OT dan rangkaian state jika diberikan model,

maksimal.

3. Bagaimana mengubah parameter HMM, λ = (A, B, π)

sehingga P(O | λ) maksimal.

5/13/2014

3

Solusi ?

Masalah (1) dikenal dengan istilah Evaluating

Diselesaikan dengan prosedur yang dikenal dengan forward-

backward procedure (Rabiner 1989)

Masalah (2) dikenal dengan istilah Decoding

Diselesaikan dengan menggunakan algoritme Viterbi

Masalah (3) dikenal dengan Istilah Learning

Diselesaikan dengan menggunakan algoritma Baum-Welch

Teladan 1 Masalah 1

Tomorro’s weather

Today

weather

P H B

P 0.8 0.05 0.15

H 0.2 0.6 0.2

B 0.2 0.3 0.5

Dengan

Payung

Tanpa

Payung

weather

Panas 0,1 0,9

Hujan 0,8 0,2

Berawan 0,3 0,7

Anda dalam ruang terkunci. Berapa peluang dari cuaca pada

hari jika diberikan status {P,B,P}, kemudian diketahui bahwa

selama tiga hari tersebut office boy masuk ke dalam ruangan

tidak pernah membawa payung.

Dik : Peluang baik, q1,q2,q3 pertama kali terjadi masing-masing

adalah 1/3

5/13/2014

4

Penyelesaian Masalah 1

Pembuatan Model HMM

P (P B P | x1=TP,x2 = TP, x3=TP)

P(P) * P(TP|P) * P(B| P) * P(TP| B) * P( P| B) * P (TP|P) =

1/3 * 0.9 * 0.15 * 0.7 * 0.2 * 0.9 = 0.0057

Pada kasus di atas state-nya sudah ditentukan. Bagaimana

Jika kasusnya P (TP,TP,TP| λ ) ?

Artinya : Kita harus menghitung semua state obervasi (TP)

untuk semua kemungkinan hidden state

Teladan 2 Masalah 1

S1 S2

S1 0.5 0.5

S2 0.4 0.6

Matriks Transisi (A)

I O

S1 0.2 0.8

S2 0.9 0.1

Matriks Transisi (B)

S1 0.3

S2 0.7

Matriks Priority (Π) Dimesi Matrik Transisi (A) = MxM

Dimensi Matriks Emisi (B) = M xN

Dimensi Matriks Prior (Π) = M x 1

5/13/2014

5

Teladan 2 (Masalah 1)

Berdasarkan Model HMM λ, tentukan peluang untuk

observasi sebagai berikut:

a) P (II | S1,S2)

b) P (OO | S2,S2)

Jawab:

a) Peluang bahwa observasi II pada state S1 kemudian S2

adalah mengalikan komponen sebagai berikut:

P(S1)*P(I|S1)*P(S2|S1)*P(I|S2)

0.3 * 0.2 * 0.5 * 0.9 = 0.0027

b) ???

Diagram Trelis

Digaram trelis dapat digunakan untuk memvisualisasikan

kemungkinan dalam perhitungan HMM.

http://www.igi.tugraz.at/lehre/CI

5/13/2014

6

Diagram Trelis untuk Kasus Teladan 1 Masalah1

Diagram Trelis

TP TP TP

P

H

B

n =1 n =2 n =3

State observasi : x1=TP x2=TP x3=TP

Waktu

Teladan Masalah 2

Permasalahan 2 adalah kita mencari state yang optimal dari suatu observasi terhadap model HMM yang ada.

Diselesaikan dengan manggunakan algoritma Viterbi

Beberapa langkah dalam Viterbi

Inisialisasi

Rekursif

Terminasi

Lacak Balik

5/13/2014

7

Algoritma Viterbi (Teladan Masalah 2)

Inisialisasi

Rekursif

Terminasi

Terminasi

Teladan 2 Maslah 2

Jika Anda berada di dalam ruang tertutup dan Anda tidak

mengetahui bagaimana cuaca di luar. Sementara observasi

menunjukkan bahwa officeboy selama tiga hari ternyata

({TP,DP,DP}). Tentukan peluang yang paling mungkin dari

cuaca di luar pada kondisi tersebut ? Selesaikan dengan

algoritma viterbi!

Ket:

DP : dengan payung

5/13/2014

8

Langkah 1 (Inisialisasi)

δ1(P) = π(P)* B(TP|P)

= 1/3 * 0.9 = 0.3

Ψ1 (P)= 0

δ1(H) = π(H)* B(TP|H)

= 1/3 * 0.2 = 0.0067

Ψ1 (P)= 0

δ1(B) = π(B)* B(TP|B)

= 1/3 * 0.7 = 0.23

Ψ1 (P)= 0

n =1

Langkah 2 (Rekursif)

n =2 (Menghitung kemungkinan state berikutnya dari 3 state sebelumnya)

δ2(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P)

= max {0.3* 0.8 , 0.0067 * 0.2 , 0.233 * 0.2} * 0.1 = 0.024

Ψ2 (P) = P

δ2(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H)

= max {0.3* 0.05 , 0.067 * 0.6, 0.233 * 0.3} * 0.8 = 0.056

Ψ2 (H) = B

δ2(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B)

= max {0.3* 0.15 , 0.067 * 0.2, 0.233 * 0.5} * 0.3 = 0.035

Ψ2 (B) = B

5/13/2014

9

Diagram Trelis n = 2

Lanjutkan ke rekursif berikutnya untuk n = 3

Langkah 2 (Rekursif)

n =3 (Menghitung kemungkinan state berikutnya dari 3 state sebelumnya)

δ3(P) = max{δ2(P)* A(P|P) , δ2(H)* A(P|H), δ2(B)*A(P|B)}* B(DP|P)

= max {0.024* 0.8 , 0.056 * 0.2 , 0.035 * 0.2} * 0.1 = 0.0019

Ψ3 (P) = P

δ3(H) = max{δ2(P)* A(H|P) , δ2(H)* A(H|H), δ2(B)*A(H|B)}* B(DP|H)

= max {0.024* 0.05 , 0.056* 0.6, 0.035 * 0.3} * 0.8 = 0.0269

Ψ3 (H) = H

δ3(B) = max{δ2(P)* A(B|P) , δ2(H)* A(B|H), δ2(B)*A(B|B)}* B(DP|B)

= max {0.024* 0.15 , 0.056 * 0.2, 0.035 * 0.5} * 0.3 = 0.0052

Ψ3 (B) = B

5/13/2014

10

Diagram Trelis n = 3

Langkah 3 (Terminasi)

Secara global path telah selesai sampai dengan n=3 (karna

ada tiga sekuens observasi yaitu {DP,DP,DP}

Lakukan penentuan argumen maksimum

P*(O| λ) = max(δ3(i)) =δ3(H)=0.0269

q3* = argmax(δ3(i)) = H

Artinya bahwa state terakhir dari observasi ada pada state

Hujan

5/13/2014

11

Diagram Trelis Terminasi

Langkah 4 (Lacak Balik)

Sekuens terbaik dapat dilihat dari vektor Ψ

n = N - 1= 2

q2* = Ψ3 (q3* )

= Ψ3 (H)

= H {Lihat proses rekursif pada n = 3 untuk Ψ3 (H) }

n = N - 1= 1

q1* = Ψ2 (q2* )

= Ψ2 (H)

= B {Lihat proses rekursif pada n = 2 untuk Ψ2 (H) }

5/13/2014

12

Hasil Akhir

Berdasarkan hasil q1,q1 dan q3 diperoleh bahwa

state yang mungkin dengan peluang terbesar untuk

observasi {TP,DP,DP} adalah {B,H,H}

Masalah 3

Training

Contoh Algoritma Baum-Welch

Link File Excel

5/13/2014

13

Selesai

Bersemangatlah terhadap segala sesuatu yang bermanfaat bagimu, mintalah

pertolongan kepada Rabb-mu yang janganlah kamu merasa bersedih

Terima Kasih