Hidden Markov Model II - Toto Haryanto...selama tiga hari tersebut office boy masuk ke dalam ruangan...

of 25 /25
Hidden Markov Model II Toto Haryanto

Embed Size (px)

Transcript of Hidden Markov Model II - Toto Haryanto...selama tiga hari tersebut office boy masuk ke dalam ruangan...

  • Hidden Markov Model II

    Toto Haryanto

  • Termonologi dalam HMM

    Model dalam HMM ditulis sebagai

    Pernytaan P(O| λ) bermakna peluang suatu observasi O jika diberikan model HMM λ

    Pernytaan P(O| S1,S2) bermakna peluang suatu observasi O jikadiberikan model HMM λ dengan State S1,S1

    Dengan

    λ : Model

    A : Matriks Transisi

    B : Matriks Emisi

    Π : Matriks Prority

  • Jenis Hidden Markov Model (HMM)

    Ergodic HMM

    Left-Right (L-R) HMM

    P B

    H

    Pada Ergodic HMM, suatu state diperkenankan

    Untuk dapat mengunjuni state manapun.

    Visualisasi Ergodic HMM dapay dilihat pada

    Gambar di samping

    P B H

    Pada L-R HMM transisi terjadi ke

    state diriinya atau state lain yang

    unik

  • Permasalahan dalam HMM

    1. Diberikan model λ = (A, B, π), bagaimana menghitung

    P(O | λ), yaitu kemungkinan ditemuinya rangkaian

    pengamatan O = O1, O2, ..., OT.

    2. Diberikan model λ = (A, B, π), bagaimana memilih

    rangkaian state I = i1, i2,...,iT sehingga P(O, I | λ),

    kemungkinan gabungan rangkaian pengamatan O = O1, O2,

    ..., OT dan rangkaian state jika diberikan model,

    maksimal.

    3. Bagaimana mengubah parameter HMM, λ = (A, B, π)

    sehingga P(O | λ) maksimal.

  • Solusi ?

    Masalah (1) dikenal dengan istilah Evaluating

    Diselesaikan dengan prosedur yang dikenal dengan forward-

    backward procedure (Rabiner 1989)

    Masalah (2) dikenal dengan istilah Decoding

    Diselesaikan dengan menggunakan algoritma Viterbi

    Masalah (3) dikenal dengan Istilah Learning

    Diselesaikan dengan menggunakan algoritma Baum-Welch

  • Teladan 1 Masalah 1

    Tomorro’s weather

    Today

    weather

    P H B

    P 0.8 0.05 0.15

    H 0.2 0.6 0.2

    B 0.2 0.3 0.5

    Dengan

    Payung

    Tanpa

    Payung

    weather

    Panas 0,1 0,9

    Hujan 0,8 0,2

    Berawan 0,3 0,7

    Anda dalam ruang terkunci. Berapa peluang dari cuaca pada

    hari jika diberikan status {P,B,P}, kemudian diketahui bahwa

    selama tiga hari tersebut office boy masuk ke dalam ruangan

    tidak pernah membawa payung.

    Dik : Peluang baik, q1,q2,q3 pertama kali terjadi masing-masing

    adalah 1/3

  • Penyelesaian Masalah 1

    Pembuatan Model HMM

    P (P B P | x1=TP,x2 = TP, x3=TP)

    P(P) * P(TP|P) * P(B| P) * P(TP| B) * P( P| B) * P (TP|P) =

    1/3 * 0.9 * 0.15 * 0.7 * 0.2 * 0.9 = 0.0057

    Pada kasus di atas state-nya sudah ditentukan. Bagaimana

    Jika kasusnya P (TP,TP,TP| λ ) ?

    Artinya : Kita harus menghitung semua state obervasi (TP)

    untuk semua kemungkinan hidden state

  • Teladan 2 Masalah 1

    S1 S2

    S1 0.5 0.5

    S2 0.4 0.6

    Matriks Transisi (A)

    I O

    S1 0.2 0.8

    S2 0.9 0.1

    Matriks Transisi (B)

    S1 0.3

    S2 0.7

    Matriks Priority (Π)Dimesi Matrik Transisi (A) = MxM

    Dimensi Matriks Emisi (B) = M xN

    Dimensi Matriks Prior (Π) = M x 1

  • Teladan 2 (Masalah 1)

    Berdasarkan Model HMM λ, tentukan peluang untuk

    observasi sebagai berikut:

    a) P (II | S1,S2)

    b) P (OO | S2,S2)

    Jawab:

    a) Peluang bahwa observasi II pada state S1 kemudian S2

    adalah mengalikan komponen sebagai berikut:

    P(S1)*P(I|S1)*P(S2|S1)*P(I|S2)

    0.3 * 0.2 * 0.5 * 0.9 = 0.0027

    b) ???

  • Diagram Trelis

    Digaram trelis dapat digunakan untuk memvisualisasikan

    kemungkinan dalam perhitungan HMM.

    http://www.igi.tugraz.at/lehre/CI

  • Diagram Trelis untuk Kasus Teladan 1 Masalah1

    Diagram Trelis

    TP TP TP

    P

    H

    B

    n =1 n =2 n =3

    State observasi : x1=TP x2=TP x3=TP

    Waktu

  • Teladan Masalah 2

    Permasalahan 2 adalah kita mencari state yang optimal dari suatu observasi terhadap model HMM yang ada.

    Diselesaikan dengan manggunakan algoritmaViterbi

    Beberapa langkah dalamViterbi

    Inisialisasi

    Rekursif

    Terminasi

    Lacak Balik

  • AlgoritmaViterbi (Teladan Masalah 2)

    Inisialisasi

    Rekursif

    Terminasi

    Terminasi

  • Teladan 2 Maslah 2

    Jika Anda berada di dalam ruang tertutup dan Anda tidak

    mengetahui bagaimana cuaca di luar. Sementara observasi

    menunjukkan bahwa officeboy selama tiga hari ternyata

    ({TP,DP,DP}). Tentukan peluang yang paling mungkin dari

    cuaca di luar pada kondisi tersebut ? Selesaikan dengan

    algoritma viterbi!

    Ket:

    DP : dengan payung

  • Langkah 1 (Inisialisasi)

    δ1(P) = π(P)* B(TP|P)

    = 1/3 * 0.9 = 0.3

    Ψ1 (P)= 0

    δ1(H) = π(H)* B(TP|H)

    = 1/3 * 0.2 = 0.0067

    Ψ1 (P)= 0

    δ1(B) = π(B)* B(TP|B)

    = 1/3 * 0.7 = 0.23

    Ψ1 (P)= 0

    n =1

  • Langkah 2 (Rekursif)

    n =2 (Menghitung kemungkinan state berikutnya dari 3 state sebelumnya)

    δ2(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P)

    = max {0.3* 0.8 , 0.0067 * 0.2 , 0.233 * 0.2} * 0.1 = 0.024

    Ψ2 (P) = P

    δ2(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H)

    = max {0.3* 0.05 , 0.067 * 0.6, 0.233 * 0.3} * 0.8 = 0.056

    Ψ2 (H) = B

    δ2(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B)

    = max {0.3* 0.15 , 0.067 * 0.2, 0.233 * 0.5} * 0.3 = 0.035

    Ψ2 (B) = B

  • Diagram Trelis n = 2

    Lanjutkan ke rekursif berikutnya untuk n = 3

  • Langkah 2 (Rekursif)

    n =3 (Menghitung kemungkinan state berikutnya dari 3 state sebelumnya)

    δ3(P) = max{δ1(P)* A(P|P) , δ1(H)* A(P|H), δ1(B)*A(P|B)}* B(DP|P)

    = max {0.024* 0.8 , 0.056 * 0.2 , 0.035 * 0.2} * 0.1 = 0.0019

    Ψ3 (P) = P

    δ3(H) = max{δ1(P)* A(H|P) , δ1(H)* A(H|H), δ1(B)*A(H|B)}* B(DP|H)

    = max {0.024* 0.05 , 0.056* 0.6, 0.035 * 0.3} * 0.8 = 0.0269

    Ψ3 (H) = H

    δ3(B) = max{δ1(P)* A(B|P) , δ1(H)* A(B|H), δ1(B)*A(B|B)}* B(DP|B)

    = max {0.024* 0.15 , 0.056 * 0.2, 0.035 * 0.5} * 0.3 = 0.0052

    Ψ3 (B) = B

  • Diagram Trelis n = 3

  • Langkah 3 (Terminasi)

    Secara global path telah selesai sampai dengan n=3 (karna

    ada tiga sekuens observasi yaitu {DP.DP,DP}

    Lakukan penentuan argumen maksimum

    P*(O| λ) = max(δ3(i)) =δ3(H)=0.0269

    q3* = argmax(δ3(i)) = H

    Artinya bahwa state terakhir dari observasi ada pada state

    Hujan

  • Diagram Trelis Terminasi

  • Langkah 4 (Lacak Balik)

    Sekuens terbaik dapat dilihat dari vektor Ψ

    n = N - 1= 2

    q2* = Ψ3 (q3* )

    = Ψ3 (H)

    = H {Lihat proses rekursif pada n = 3 untuk Ψ3 (H) }

    n = N - 1= 1

    q1* = Ψ2 (q2* )

    = Ψ2 (H)

    = B {Lihat proses rekursif pada n = 2 untuk Ψ2 (H) }

  • Hasil Akhir

    Berdasarkan hasil q1,q1 dan q3 diperoleh bahwa

    state yang mungkin dengan peluang terbesar untuk

    observasi {DP,DP,DP} adalah {B,H,H}

  • Masalah 3

    Training

    Contoh Algoritma Baum-Welch

    Link File Excel

    manualEstimasiTransisi.xlsx

  • Selesai

    Bersemangatlah terhadap segala sesuatu yang bermanfaat bagimu, mintalah pertolongan kepada Rabb-mu yang janganlah kamu merasa

    bersedih

    Terima Kasih