BAB 5

PROSES STOKASTIK

5.1 PENGERTIAN PROSES STOKASTIK

Proses stokastik X(t) adalah aturan untuk menentukan fungsi X(t, ξ) untuk setiap ξ. Jadi

proses stokastik adalah keluarga fungsi waktu yang tergantung pada parameter ξ atau secara

ekivalen fungsi t dan ξ. X(t) adalah proses keadaan diskret bila harga-harganya bulat. Bila tidak

demikian X(t) adalah proses kontinu.

Model stokastik adalah model yang menjelaskan kelakuan sistem secara probabilistik; informasi

yang masuk adalah secara acak (http://sipoel.unimed.in/file.php). Model ini kadang–kadang juga disebut

sebagai model simulasi Monte Carlo. Di dalam proses stochastic sifat – sifat keluaran (output)

merupakan hasil dari konsep random (acak). Meskipun output yang diperoleh dapat dinyatakan dengan

rata–rata, namun kadang – kadang ditunjukkan pula pola penyimpangannya. Model yang mendasarkan

pada teknik peluang dan memperhitungkan ketidakpastian (uncertainty) disebut model probabilistic atau

model stokastik (http://www.dephut.go.id).

Proses stokastik dapat dilihat sebagai deretan variabel acak terhadap waktu. Misalnya

pada indeks bursa efek Dow Jones. Setiap hari nilai akhir dari angka indeks tersebut diterima

sebagai hasil dari variabel acak . Pada suatu periode waktu, kita dapat menganggap angka indeks

dari Dow Jones merupakan realisasi dari proses stokastik.

Secara spesifik misalkan xi adalah angka indeks pada akhir hari ke-i dalam tahun

tertentu, dengan i=1 sampai 250 (misal jumlah hari kerja selama 1 tahun). Misalkan x37

merupakan variabel acak yang menggambarkan hasil dari hari ke-37 pada tahun tertentu. Maka

xi dimana i = 1 sampai 250 merupakan proses stokastik. Nilai yang diobservasi pada proses

stokastik ini untuk satu tahun adalah realisasi dari proses tersebut. Nilai x i pada suatu hari

disebut status / keadaan dari proses.

5.2 PROSES MARKOV

Proses markov adalah kasus khusus dari proses stokastik yang lebih umum. Proses stokastic

merupakan suatu proses Markov jika untuk setiap n+1, dengan indeks t1<t2<...<tn<tn-1 dan harga-harga

status, terjadi persamaan :

Persamaan tersebut secara narasi dapat dikatakan proses selanjutnya hanya bergantung pada status

saat ini, bukan pada ”sejarah” dari proses tersebut. Dalam proses markov status-status proses yang

terjadi selama ini dicerminkan oleh status saat ini.

Penerapan proses markov mula-mula adalah digunakan untuk menganalisa dan

memperkirakan perilaku partikel-pertikel gas dalam suatu wadah (container) tertutup serta

meramal keadaan cuaca. Sebagai suatu peralatan riset operasi dalam pengambilam keputusan

manajerial. Proses markov telah banyak diterapkan untuk menganalisa tentang perpindahan

merek (brands witching) dalam pemasaran, perhitungan rekening, jasa persewaan mobil,

perencanaan penjualan, masalah-masalah persediaan, pemeliharaan mesin, antrian, perubahan

harga pasar saham, dan administrasi rumah sakit.

Pada tahun 1906, A.A. Markov seorang ahli matematika dari Rusia yang merupakan

murid Chebysev dalam usahanya untuk menjelaskan secara matematik gejala alam yang dikenal

dengan gerak Brown, ia mengemukakan teori ketergantungan variabel acak proses acak yang

dikenal dengan proses Markov.

Temuan A.A Markov adalah ” Untuk setiap waktu t, ketika kejadian Kt, dan seluruh

kejadian sebelumnya adalah Kt(j),...,Kt(j-n) yang terjadi dari proses yang diketahui, probabilitas

seluruh kejadian yang akan datang Kt(j) hanya tergantung kepada kejadian Kt(j-1) dan tidak

tergantung kepada kejadian-kejadian sebelumnya yaitu Kt(j-2), Kt(j-3),..., Kt(j-n)”.

Gambar 4.1. Probabilitas transisional

Dimana gerakan-gerakan dari beberapa variabel di masa yang akan datang dapat

diprediksi berdasarkan gerakan-gerakan dimasa yang lalu . Kt4 dipengaruhi oleh kejadian Kt3,

Kt3 dipengaruhi oleh kejadian Kt2, dan demikian seterusnya dimana perubahan ini terjadi karena

peranan probabilitas transisional. Kejadian Kt2 misalnya tidak akan mempengaruhi kejadian

Kt4.

Proses Markov ini dapat diaplikasikan untuk sistem diskrit (discrete system) ataupun

sistem kontinyu (continuous system). Sistem diskrit adalah sistem yang perubahan kondisinya

(state) dapat diamati/terjadi secara diskrit. Suatu proses markov disebut rantai markov jika ruang

status diskret. Untuk waktu diskret, rantai markov dapat digambarkan sebagai diagram transisi.

Sedangkan sistem kontinyu adalah sistem yang perubahan kondisi dan perilaku system

terjadi secara kontinyu. Penjelasan lebih detail tentang sistem diskrit dan system kontinyu ini

akan diberikan pada sub bab berikutnya. Pada bab ini hanya akan dibahas evaluasi keandalan

sistem diskrit dengan pendekatan discrete Markov Chain.

Ada beberapa syarat agar proses Markov dapat diaplikasikan dalam evaluasi keandalan

sistem. Syarat-syarat tersebut adalah:

(1) Sistem harus berkarakter lack of memory, dimana kondisi sistem dimasa mendatang tidak

dipengaruhi (independent) oleh kondisi sebelumnya. Artinya kondisi sistem saat evaluasi tidak

dipengaruhi oleh kondisi sebelumnya, kecuali kondisi sesaat sebelum kondisi saat ini.

(2) Sistem harus stationery atau homogen, artinya perilaku sistem selalu sama disepanjang waktu

atau peluang transisi sistem dari satu kondisi ke kondisi lainnya akan selalu sama disepanjang

waktu. Dengan demikian maka pendekatan Markov hanya dapat diaplikasikan untuk sistem

dengan laju kegagalan yang konstan.

(3) State is identifiable. Kondisi yang dimungkinkan terjadi pada system harus dapat

diidentifikasi dengan jelas. Apakah sistem memiliki dua kondisi (state) yakni kondisi beroperasi

dan kondisi gagal, ataukah sistem memeiliki 3 kondisi, yakni 100% sukses, 50% sukses dan

100% gagal.

Sifat – sifat atau terminologi Markov adalah sebagai berikut :

1. Jumlah Probabilitas transisi untuk suatu awal keadaan dari suatu sistem tertentu sama

dengan 1.0

2. Probabilitas – probabilitas tersebut berlaku untuk semua partisipan dalam sistem

3. Probabilitas transisi konstan sepanjang waktu

4. Keadaan merupakan keadaan yang independen sepanjang waktu

Ciri khas dari proses markov melihat kemungkinan tersebut sebagai perubahan dari suatu

keadaan ke keadaan yang lain. Dalam proses markov, kemungkinan berubah dari suatu

keadaan ke keadaan yang lain hanya tergantung pada keadaan sekarang atau saat ini dan

bukan bagaimana sampai pada keadaan tersebut.

Matriks kemungkinan perpindahan keadaan / transisi

Kemungkinan perubahan dari satu keadaan ke keadaan yang lain dalam proses markov

disebut kemungkinan transisi, ditampilkan dengan matriks kemungkinan transisi seperti

dibawah ini

Tabel 5.1. Matriks kemungkinan transisi

Dari

keadaan

Ke

1 2 . . j . . n

1 P11 P12 . . P1j . . P1n

2 P21 P22 . . P2j . . P2n

. . . . . . . . .

. . . . . . . . .

i Pi1 Pi2 . . Pij . . Pin

. . . . . . . . .

. . . . . . . . .

n Pn1 Pn2 . . Pnj . . Pnn

N adalah jumlah keadaan dalam proses dan Pij adalah kemungkinan transisi dari keadaan

saat i ke keadaa j. Jika saat ini berada pada keadaan i maka baris i dari tabel diatas berisi

angka-angka Pi1, Pi2, ... , Pin merupakan kemungkinan berubah ke keadaan berikutnya. Oleh

karena angka tersebut melambangkan kemungkinan, maka semuanya merupakan bilangan

non negatif dan tidak lebih dari satu. Secara matematis :

0 Pij 1 i = 1, 2, .... , n

Pij = 1 i = 1, 2, ... , n

Contoh kasus

Pada suatu kota kecil terdapat dua pasar swalayan W dan L. Diasumsikan setiap pembelian di kota

tersebut melakukan kunjungan belanja satu kali per minggu. Dalam sembarang minggu seorang

pembeli hanya berbelanja di W atau L saja atau tidak keduanya. Kunjungan belanja disebut

percobaan dari proses dan toko yang dipilih disebut keadaan dari proses. Suatu sampel 100 pembeli

diambil dalam 10 minggu, kemudian data dikompilasikan.

Dalam menganalisa data, terlihat bahwa dari seluruh pembeli yang berbelanja di W dalam suatu

minggu , 90 persen tetap berbelanja di toko W pada minggu berikutnya, sedangkan sisanya

berpindah belanja pada toko L. 80 persen dari yang berbelanja di toko L dalam suatu minggu tetap

berbelanja di toko L sedangkan 20 persen berpindah belanja pada toko W.

- Matriks Transisional

Didefinisikan

Keadaan 1 : Pembeli berbelanja di W

Keadaan 2 : Pembeli berbelanja di L

Pilihan pelanggan Pilihan Pada

pada suatu minggu Minggu

Berikutnya

W L

W 90 10

L 20 80

Dengan demikian matriks kemungkinan transisi adalah

- Pemecahan Transient

Pemecahan pada kemungkinan untuk berbagai keadaan dalam waktu berikutnya

Pertama-tama kita lihat pembeli yang minggu ini berbelanja di W. Kondisi ini digambarkan pada

diagram pohon berikut yang menunjukkan keadaan saat ini dan kemungkinannya pada dua minggu

yang akan datang

Minggu ini Minggu Dua minggu

Kemungkinan

Pada dua

minggu

yang akan

datang

yang akan

datang

yang akan

datang

Belanja di W 0.81

Minggu ini Minggu Dua minggu

Kemungkinan

Pada dua

minggu

(0.9)

Belanja di W

(0.9)

Belanja di L

(0.1) 0.09

Belanja di W

Belanja di W

(0.2) 0.02

Belanja di L

(0.1)

Belanja di L

(0.8) 0.08

Dari diagram diatas terlihat bahwa kemungkinan pembeli di W minggu ini akan berbelanja di

W kembali untuk 2 minggu yang akan datang adalah 0.81 + 0.02 = 0.83, dengan cara yang

sama kemungkinan yang berbelanja di L untuk 2 minggu yang akan datang adalah 0.09 + 008

= 0.17.

Metode cara menghitung diatas adalah terlalu kompleks untuk digunakan untuk periode

waktu yang akan datang yang besar. Prosedur yang lebih mudah melibatkan penggunaan

aljabar matriks.

Dengan cara yang sama dapat kita lihat kemungkinan untuk tiga minggu yang akan datang :

- Keadan Tetap (steady state)

Dari pola berbelanja diatas, dapat ditunjukkan bahwa setelah beberapa minggu kemungkinan

berada dalam keadaan lain (berubah) akan surut menjadi kemungkinan keadaan steady state.

Keadaan demikian dilambangkan dengan 1 adalah kemungkinan berada dalam keadaan 1

dan 2 adalah kemungkinan berada dalam keadaan 2. Setelah keadaan steady state, maka

pada periode berikutnya tidak berubah. Hal tersebut memenuhi hubungan berikut :

Setelah dilakukan perkalian matriks diperoleh

1 = 0.91 + 0.22 .... (1)

2 = 0.11 + 0.82 .... (2)

1 = 1 + 2 .................. (3)

Setelah dilakukan perhitungan menggunakan metode subtitusi maka dihasilkan

1 = 2/3

2 = 1/3

5.2.1 Rantai Markov

Suatu proses markov disebut rantai markov jika ruang status diskret. Untuk waktu

diskret, rantai markov dapat digambarkan sebagai diagram transisi. Rantai markov (markov

chain) merupakan suatu teknik matematika yang biasa digunakan untuk pembuatan model

(modelling) bermacam-macam sistem dan proses bisnis. Teknik ini dapat digunakan untuk

memperkirakan perubahan di waktu yang akan datang dalam variabel-variabel dinamis atas dasar

perubahan-perubahan dari variabel-variabel dinamis tersebut diwaktu yang lalu. Teknik ini juga

dapat digunakan untuk menganalisa kejadian-kejadian diwaktu-waktu mendatang secara

matematis dan sistematis.

Contoh;

Misalkan disuatu daerah dipasarkan empat merk deterjen, katakanlah deterjen A,B,C dan D.

Terhadap para pemakai deterjen di daerah tersebut telah dilakukan penelitian dengan cara

menyebarkan daftar isian (kuesioner). Jumlah responden yang mengembalikan daftar isian

tersebut ada 1000 orang, dan diasumsikan bahwa ukuran sampel ini cukup representatif. Data

yang diperoleh berupa jumlah langganan masing-masing merk, kemudian dicatat dan

dinyatakan sebagai data jumlah langganan pada periode pertama. Berdasarkan pemikiran

bahwa langganan dapat mengubah pilihannya dari satu merk ke merk lainnya ( misalnya

karena promosi khusus, persaingan harga dan lain-lain, maka pada akhir periode dilakukan

penelitian ulang.

Tabel berikut ini menunjukkan data jumlah langganan masing-masing merk pada periode pertama,

perubahan jumlah langganan yang terjadi pada satu periode, dan jumlah langganan pada periode

kedua.

Merk Jumlah langganan

periode pertama

Perubahan selama

periode

Ju

ml

ah

lan

gga

na

n

per

iod

e

ke

du

a

Pindah ke Pindah dari

A

B

C

D

Total

220

300

230

250

1000

50

60

25

40

175

45

70

25

35

175

225

290

230

255

1000

Jika kemudian penelitian dilanjutkan dan diperoleh data rinci mengenai perubahan langganan untuk

masing-masing merk, maka matriks probabilitas transisinya dapat ditentukan. Misalnya data tersebut

adalah seperti pada tabel berikut ini:

MerkJumlah

langganan

periode

pertama

Tambahan dari

merk

Pengurangan ke

merk

A B C D A B C D

A

B

C

220

300

230

0

20

10

40

0

5

0

25

0

10

15

10

0

40

0

20

0

25

10

5

0

15

25

0

225

290

230

D

Total

250

1000

15 25 0 0 10 15 10 0 255

1000

Apabila perhitungan diatas dilanjutkan, akan diperoleh matriks probabilitas transisi sebagai

berikut :

Atau dengan singkat dituliskan sebagai

Perhatikan bahwa

Contoh kasus 2

Kondisi sebuah mesin yang digunakan dalam suatu proses produksi diketahui menurun dengan

cepat, baik dalam kualitas maupun outputnya. Karena itu, terhadap mesin tersebut dilakukan

pemeriksaan secara periodik, yaitu pada setiap akhir bulan. Setelah dilakukan serangkaian

pemeriksaan, kondisi mesin ini dicatat dan diklasifikasikan ke dalam salah satu dari tiga keadaan

(state) berikut ini :

State Kondisi

1

2

3

Baik

Cukup

Rusak

Jika Xt adalah state mesin setelah dilakukan pemeriksaan pada akhir bulan ke-t, maka urut-

urutan dari state (Xt) ini dapat dipandang sebagai proses stocastic. Misalkan probabilitas

transisi selama periode 1 bulan dari suatu state ke state lainnya adalah :

Jika dilakukan overhoul maka matriks transisinya adalah sebagai berikut :

Keputusan apakah yang sebaiknya dilakukan oleh perusahaan (melakukan overhoul atau

tidak) berdasarkan ekspektasi pendaptan atau pengeluaran?

Untuk memenuhi sifat umumnya, misalkan jumlah state pada masing-masing stage (bulan)

adalah m (pada contoh diatas m = 3)

Definisikan :

fn (i) = Ekspektasi pendapatan optimum dari stage n, n+1, ... , N jika state dari sistem (kondisi

mesin) pada awal bulan ke-n adalah i.

Maka perhitungan mundur yang menghubungkan fn dengan fn+1 dapat dituliskan sebagai

berikut :

Dimana untuk seluruh j

Sebagai bukti kebenaran persamaan diatas adalah bahwa pendapatan kumulatif, yaitu rijk +

fn+1(j), yang diperoleh dengan mencapai state j pada stage n+1 dari state i pada stage n,

terjadi dengan probabilitas pijk. Jika vik menyatakan ekspektasi pendapatan yang dihasilkan

dari transisi tunggal dari state i pada alternatif k, maka vik ini dapat dinyatakan sebagai :

Sehingga hubungan rekursifnya dapat dinyatakan sebagai :

Maka penyelesaian persoalan diatas adalah sebagai berikut :

Stage 3

ivik

k=1 k=2 f3(i) k*

1

2

3

5.3

3

-1

4.7

3.1

0.4

5.3

3.1

0.4

1

2

2

Stage 2

ivik+pi1kf3(1)+pi2kf3(2)+pi3

kf3(3)

k=1 k=2 F2(i) k*

1

2

3

5.3+0.2x5.3+0.5x3.1+0.3x0.4 =

8.03

3+0x5.3+0.5x3.1+0.5x0.4 = 4.75

-1+0x5.3+0x3.1+1x0.4 = -0.6

4.7+0.3x5.3+0.6x3.1+0.1x0.4=8.19

3.1+0.1x5.3+0.6x3.1+0.3x0.4=5.61

0.4+0.05x5.3+0.4x3.1+0.55x0.4=2.1

3

8.19

5.61

2.13

2

2

2

Stage 1

ivik+pi1kf2(1)+pi2kf2(2)+pi3

kf2(3)

k=1 k=2 F2(i) k*

1

2

3

5.3+0.2x8.19+0.5x5.61+0.3x2.13

= 10.38

3+0x8.19+0.5x5.61+0.5x2.13 =

6.87

-1+0x8.19+0x5.61+1x2.13 = 1.13

4.7+0.3x8.19+0.6x5.61+0.1x2.13=

10.74

3.1+0.1x8.19+0.6x5.61+0.3x2.13=

7.92

0.4+0.05x8.19+0.4x5.61+0.55x2.1

3=4.23

10.7

4

7.92

4.23

2

2

2

Solusi optimum diatas menunjukkan bahwa untuk bulan 1 dan 2 harus dilakukan overhoul

(k*=2) tanpa harus memperhatikan state dari sistem (kondisi mesin). Pada bulan ke-3,

overhoul harus dilakukan hanya apabila sistem berada pada state 2 atau 3 (kondisi mesin

cukup atau rusak). Ekspektasi pendapatan total untuk ketiga bulan tsb adalah f1 (1) = 10.74

jika state dari sistem pada bulan 1 baik, f1(2) = 7.92 jika cukup, dan f1 (3) = 4.23 jika rusak.

5.2 Absorbing state

Pada konteks discrete Markov chain, kondisi (state) sistem dapat dibedakan menjadi 2

yaitu, ergodic state dan absorbing state. Ergodic state adalah state yang limiting value nya

ditentukan oleh kondisi awalnya, dimana state ini bias menerima transisi probabilitas dari state

lainnya dan bisa memindahkan/mengeluarkan transisi probabilitas ke state lainnya. Pada ergodic

state maka state ini dapat dicapai dari semua state lainnya baik secara langsung atau melalui state

perantara lainnya. Jika kondisi seperti pada ergodic state ini tidak dapat terpenuhi, dimana state

hanya bisa menerima dan menyerap transisi tanpa bisa memindahkan atau mengeluarkannya

sampai sistem tersebut memulai misi (operasi) yang baru, maka state tersebut disebut dengan

absorbing state. Absorbing state ini berkaitan erat dengan mission oriented system.Pada evaluasi

keandalan dengan metode Markov maka diperlukan analisa untuk mencari jumlah interval

operasi sebelum sistem memasuki absorbing state atau sebelum sistem harus dihentikan untuk

dimulai lagi dengan misi (operasi) yang baru. Ada beberapa langkah yang harus dilakukan untuk

menentukan jumlah interval waktu sebelum sistem memasuki abosrbing state. Langkah-langkah

tersebut adalah:

(1) Buatlah matrik Q dengan menghilangkan komponen baris dan kolom pada matrik yang

berhubungan dengan absorbing state.

(2) Jadikan matrik Q sebagai pengurang dari matrik identitas, dan sebut matrik baru tersebut

dengan matrik N. ( [N] = [ I ] – [ Q ] ).

(3) Cari inverse dari matrik N.

LATIHAN SOAL

Diketahui suatu Markov Chain X0, X1, X2, ….pada state 0, 1, 2 mempunyai matriks transisi sebagai berikut :

0 1 2

Dengan distribusi awal , dan

.

Ditanyakan :

Penyelesaian :

1.2. Diketahui suatu Markov Chain X0, X1, X2, …. mempunyai matriks transisi sebagai berikut :

0 1 2

Ditanyakan :

dan

Penyelesaian:

1.3 Diketahui suatu Markov Chain X0, X1, X2, …. mempunyai matriks transisi sebagai berikut :

0 1 2

Dan diketahui bahwa proses start pada state X0 = 1.

Ditanyakan :

Penyelesaian:

1.4. Diketahui suatu Markov Chain X0, X1, X2, ….mempunyai matriks transisi sebagai berikut :

0 1 2

Ditanyakan :

dan

Penyelesaian :

1.5 Diketahui suatu Markov Chain X0, X1, X2, ….mempunyai matriks transisi sebagai berikut :

0 1 2

Dengan distribusi awal dan .

Ditanyakan :

dan

Penyelesaian :

2.1 Diketahui suatu Markov Chain X0, X1, X2, ….mempunyai matriks transisi sebagai berikut :

0 1 2

Ditanyakan :

a. matriks transisi dua langkah dari matriks

b.

c.

Penyelesaian:

a. 0 1 2

b.

c.

= 0.16