Introduction to Stochastic Time Series Models

We have learned several simple extrapolation techniques for Deterministic Time Series Models

We will study more complex extrapolation techniques that assume the time series we are analyzing are formed random or stochastic processes..

It is assumed that the time series we are analyzing as samples drawn from bigger random processes.

Mathematically,

♦ y1, y2, . . . yT drawn randomly from a probability distribution

♦ it is assumed : y1, y2, . . . yT normally distributed and based on auto regressive (order 1) process.

Remark:♦ the assumption is to simplify the analysis♦ accuracy of the model depends on how close is the

assumption to the reality.

Random Walk

The simplest stochastic time series model is a Random Walk Process.

The model:

yt = yt-1 + et; or yt - yt-1 = et; E(et) = 0; E (et.es) = 0; t ≠ s

What is the rational of the model?

If we use the model to forecast, then the prediction is the following:

yRT+1 = E (yT+1 | yT, . . . y1)

= yT + E (eT+1)= yT

yRT+2 = E (yT+2 / yT, . . . y1)

= E (yT+1 + eT+2)= E (yT + eT+1 + eT+2 ) = yT

Similarly, yRT+k = yT

Comments:

(i). The forecasts using a random walk model is always the same and is equal to yT regardless whether one period, two periods or k periods forecasts.

(ii). However, errors of the forecasts do not the same; the longer the period, the bigger the forecast error.

See the following analysis:

e1 = yT+1 - yRT+1

= yT + eT+1 - yT = eT+1var (e1) = var (eT+1) = σ2

e

e2 = yT+2 - yRT+2

= yT + eT+1 + eT+2 - yT = eT+1 + eT+2var (e2) = var (eT+1 + eT+2) = σ2

e + σ2e = 2 σ2

e sinceeT+1 and eT+2 stochastically independent.

Therefore, the longer the period the bigger the varianceand the bigger the confidence interval as well.

See Fig. 16.1 (Pindyck)

Random Walk with TrendOne of the variation of the Random Walk models is by adding the trend to the model. The model accommodates the possibility of existing increasing or decreasing trend and therefore the model:yt = yt-1 + d + et

One period forecast:yR

T+1 = E (yT+1 | yT, . . . y1) = yT + d

k-period forecast:yR

T+k = yT + k d

However the error will increase as the period increases.See Fig. 16.2

Stationery and Non Stationery Process

Since the model we are observing is from a stochastic process, we need to identify whether the process is:

(i). time invariant or(ii).time variant

If the stochastic process is time invariant it is called stasionery process; while if the process is time variant , it is called non-stationery process.

Karakteristik data time series yang stasioner atau tidak stasioner berkaitan dengan mudah tidaknya proses tersebut dimodel dan dianalisis. Jika prosesnya stasioner, proses ini dapat di model dengan suatu persamaan dengan parameter yang tetap yang dapat diestimasi dengan data masa lalu. Akan tetapi, bila prosesnya tidak stasioner, pendekatan model tersebut di atas tidak dapat dilakukan.

Hal ini analog dengan model regresi satu persamaan yang telah kita pelajari. Parameter yang dibangun berdasarkan hubungan struktural dapat diestimasi dengan baik bila hubungan struktural ini tidak berubah meskipun waktunya berubah. Akan tetapi bila hubungan struktural tersebut berubah dengan berubahnya waktu, parameternya perlu diestimasi dengan pendekatan lain.

Properties of Stasionery ProcessesIf the series yt is stationery, then(i). P(yt, . . . ,yt+k) = P(yt+m, . . . , yt+k+m) ∀ m,t,k(ii). E(yt) =μy independent of t(iii).Var(yt) = σ2

y = E [(yt-μy )2] independent of t (iv). γk = cov (yt, yt+k) ; independent of t

= cov (yt+m, yt+m+k)

Comment:For lag zero, or for k=0,γ0 = cov (yt, yt) = var (yt) = σ2

y

TimeSeries Identification through Auto-Correlation Function (ACF)

Fungsi autokorelasi bermanfaat untuk menjelaskan suatu proses stokastik. Fungsi ini akan memberikan informasi bagaimana korelasi antara data-data (yt) yang berdekatan.

Fungsi autokorelasi dengan lag (jeda) k didefinisikan sebagai:ρk = cov (yt, yt+k) / (σyt σyt+k)

untuk proses yang stasioner, var (yt) = var (yt+k) = σ2y

sehingga ρk = cov (yt, yt+k) / σ2y = γk / γ0

Dengan demikian, ρ untuk setiap proses stokastik, ρ0 = 1

Bila kita mempunyai proses stokastik sederhana yt = et; white noiseet ∼iid (0, σ2), maka fungsi autokorelasi dari proses ini adalah:ρk = cov (et, et+k) / ( var (et) var(et+k) )½

ρk = 0 karena cov (et, et+k) =0 untuk k > 0 (untuk k = 0 ?)

Ramalan k periode ke depan: yT+1 = E(eT+1) = 0 ∀ k.Dapat disimpulkan bahwa bila ρk = 0 ∀ k > 0, tidak ada manfaatnya menggunakan model ini untuk membuat ramalan.

Sampel dari fungsi autokorelasi didefinisikan sebagai:rk = ck / c0; ck = Σ (yt - ya)(yt+k - ya)

c0 = Σ (yt - ya)2 ; ya: rata-rata yt

Dalam praktek, kita hanya mempunyai suatu realisasi dari proses stokastik. Oleh karena itu, kita hanya dapat menghitung sampel fungsi autokorelasi.

Plot antara rk dan k disebut correlogram sampel sedangkanplot antara ρk dan k disebut correlogram populasi.

Kalau kita mengetahui apakah ρk = 0 atau tidak pada suatu nilai k atau mengetahui ρk = 0 untuk semua k > 0 informasi ini sangat bermanfaat. Untuk melakukan ini, ada beberapa tes yang perlu diketahui (Kenapa kita perlu tahu nilai ρkuntuk semua nilai k ?).

Tes Bartlett

Jika suatu time series dibentuk melalui proses white noise, sampel auto korelasi berdistribusi normal dengan mean 0 dan standar deviasi 1/ T½, T banyaknya pengamatan, dan dinotasikan dengan rk ∼ N (0, 1/ T½). Bila T = 100, maka rk ∼ N (0, 0.1)

Oleh karena itu, bila ada rk > 0.2 (dua kali standar deviasi), maka kita yakin dengan kepercayaan 95% bahwa ρ ≠ 0 dan berarti time series yang sedang kita analis bukan berasal dari proses white noise.

Tes Box-PierceUntuk mengetes apakah semua ρk = 0, kita gunakan tes Q yang dikenalkan oleh Box dan Pierce, Q = T Σ r2

k ∼ X2k

Bila Q > X2k,5% kita yakin dengan kepercayaan 95% bahwa tidak

semua ρk = 0. Bila ini terjadi, time series yang kita pelajari tidak berasal dari proses white noise.

Sebagai ilustrasi, lihat Gambar 16.3 (Stasioner?)Gambar ini menggambarkan pergerakan data inventory investment dari tahun 1960-1995. Sedangkan sampel fungsi autokorelasi ditunjukkan pada Gambar 16.4. Gambar fungsi autokorelasi ini memperlihatkanbahwa nilai rk turun sangat cepat seiring dengan kenaikan k. Ini menunjukkan bahwa data time series inventory investment merupakan time series yang stasioner. Sebaliknya, jika rk tidak menurun dengan cepat, indikasi ini menunjukkan bahwa data time series tidak stasioner.

Homogeneous Nonstationery Processes

Kenyataannya, tidak banyak data time series yang stasioner. Meskipun demikian, beberapa data time series yang tidak stasioner yang merupakan data-data ekonomi maupun bisnis dapat dibuat stasioner dengan cara melihat time series dari selisih dua data yang berurutan. Data time series yang demikian itu disebut homogen.

Tingkat homogenitas dari masing-masing data berbeda-beda tergantung berapa kali data tersebut diselisihkan untuk menjadi stasioner. Bila dengan proses 1 kali selisih, data sudah stasioner, data ini disebut homogen tingkat satu. Secara umum, bila suatu data memerlukan n kali proses selisih baru menjadi stasioner, data ini disebut homogen tingkat n.

Definitions:

1 If yt non stationary

wt = yt – yt-1 = Δ yt stasionary,

yt is first-order homogeneous non stationary.

2. If yt non stasionary

zt = Δyt = yt – yt-1 non stasionary,

wt = Δ2 yt = Δyt - Δyt-1 = zt – zt-1 stasionary

yt second-order homogeneous non stationary

Example:Proses Random Walk Sederhana:

yt = yt-1 + et ; tidak stasionerwt = Δ yt = yt – yt-1 = et ; white noise

Dari pembahasan terdahulu, white noise mempunyai ρ0= 1 dan ρk = 0; k > 0 dan series ini stasioner. Dengan demikian, random walk merupakan timeseries homogen tingkat satu.

Correlogram dan StasioneritasKalau kita melihat data time series dari suatu variabel yang cenderung tumbuh seperti: nilai penjualan, GNP, dsb; data time series ini tidak akan stasioner.

Tetapi, data GNP bisa merupakan data tidak stasioner homogen tingkat satu atau tingkat yang lebih tinggi.

Oleh karenanya, kalau kita membuat model time series untuk membuat ramalan GNP ke depan, kita perlu mengacu pada time series yang sudah stasioner.

Bagaimana kita menentukan bahwa suatu time series sudah stasioner dan berapa kali suatu time series homogen diselisihkan agar stasioner.

Dengan bantuan correlogram, kita dapat menjawab pertanyaan tesebut.

Untuk data yang stasioner, correlogram menurun dengan cepat seiring dengan meningkatnya k, besaran lag; sedangkan untuk data yang tidak stasioner, correlogram cenderung tidak menuju nol (tidak mengecil) meskipun k membesar.

Time series yang tidak stasioner dapat terus dicari barisan selisihnya beberapa kali sampai stasioner atau tidak mungkin stasioner dengan melihat correlogramnya.

Lihat Gambar 16.5 (stasioner) dan Gambar 16.6 (tidak stasioner).

Contoh: Mengamati Interest Rate T-Bill AS, 1960-1996Gambar 16.7 memperlihatkan gerakan interest T-Bill di AS yang diamati bulanan dari 1960-1996. Dari gambar tersebut terlihat bahwa mean nya tidak mungkin konstan. Dugaan ini diperkuat dengan Gambar 16.8 yang menunjukkan bahwa correlogram tidak segera menuju nol. Dengan demikian, data time series tersebut tidak stasioner.

Langkah selanjutnya, data tersebut dicari selisihnya (first difference) dan series yang baru ditunjukkan pada Gambar 16.9. Gambar ini memperlihatkan bahwa kali ini mean sudah konstan. Hal ini juga diperkuat dengan gambar correlogram yang cenderung menuju nol (Gambar 16.10) Kita dapat menarik kesimpulan bahwa series sudah stasioner.

Namun, series dicoba dicari lagi selisihnya lagi (first-difference dua kali). Series yang terbentuk dapat dilihat pada Gambar 16.11 dan correlogramnya disajikan pada Gambar 16.12. Dari kedua gambar tersebut dapat disimpulkan bahwa series dalam keadaan stasioner. Kondisi ini tidak jauh beda dengan kondisi series pada saat first-difference satu kali.

.Kesimpulannya, data interest rate yang dianalisis merupakan data tidak stasioner homogen tingkat satu.

Contoh Pergerakan harga suatu komoditas.

Harga suatu komoditas diamati tiap hari selama 250 hari. Data ini tidak stasioner tetapi series dari selisihnya stasioner. Hal ini dapat dilihat pada correlogram data aslinya dan data selisihnya. Dari correlogram tersebut dapat disimpulkan bahwa data selisihnya merupakan white noise (Gambar 16.13).

Dengan demikian, data aslinya dapat diduga sebagai random walk sehingga dapat dimodel sebagai:

Pt = Pt-1 + et

Model inilah yang sering digunakan untuk meramal harga saham dibursa efek.

Tes Dickey-FullerBeberapa kajian mengatakan bahwa data time series dari variabel ekonomi dan keuangan berperilaku seperti random walk atau setidak-tidaknya memiliki komponen random walk.

Kajian-kajian tersebut didasarkan pada tes “Unit Root”yang dikenalkan oleh David Dickey dan Wayne Fuller.

Jika kita percaya bahwa suatu variabel yt tumbuh seiring dengan perjalanan waktu, yt dapat dijelaskan melalui model berikut: yt = a + b t + ρ yt-1 + et; b>0

Model tersebut di atas dapat dinyatakan dalam bentuk lain:yt - yt-1 = a + b t + (ρ - 1) yt-1 + et; disebut model utuh (U).Bila b = 0 dan ρ = 1, maka modelnya menjadi model terkendala seperti berikut: yt - yt-1 = a + et; disebut model terkendala (T)

Dickey-Fuller menyatakan telah menyusun suatu distribusi untuk r (estimator ρ) yang dapat digunakan untuk menguji apakah ρ=1 atau tidak.

Tes Dickey dan Fuller pada intinya adalah menguji apakah b = 0 dan ρ = 1 sehingga model tersebut menjadi model random walk.

Untuk menguji hal tersebut dilakukan tahapan berikut:1. Regresikan model utuh, hitung ESSu ; ESS = Σ e2

t2. Regresikan model terkendala (b=0 dan ρ=1), hitung ESST3. Hitung statistik F= {(ESST – ESSu)/q} / {ESSu / (N – k)}

k : banyaknya parameter pada model utuhq : banyaknya parameter kendalaN : banyaknya pengamatan

4. Jika F > Tabel Dickey-Fuller, tolak hipotesis yang menyatakan yt random walk.

Komentar:1.Tes D-F hanya mengarahkan kepada analisis untuk menolak

atau tidak hipotesis bahwa yt mengikuti random walk.2.Bila hipotesis tidak ditolak, hasilnya masih diragukan.

IlustrasiAkan dikaji apakah data time series dari harga-harga komoditas seperti: BBM, tembaga dan karet mengikuti pola random walk atau tidak. Kajian ini menggunakan data tahunan dari 1870-1987 di AS (116 pengamatan)

Untuk melakukan kajian ini, lakukan tahapan berikut:1. Model pergerakan harga yang ditawarkan

(i). Pt – Pt-1 = a + b t + (ρ - 1) Pt-1 + et ; model utuh(ii). Pt – Pt-1 = a + et ; model terkendala

2. Regresikan model (i), hitung ESSu=4334.8 (tembaga)3. Regresikan model (ii), hitung ESST= 4913.5 (tembaga)4.F = (N – k) (ESST - ESSu) / (q) (ESSu)

= (116 – 4 ) ( 4913.5 – 4344.8) / (2)(4344.8) = 7.33Sedangkan berdasarkan Tabel Dickey-Fuller, nilai pembanding (dari Tabel 16.1) dengan sampel 100 dan kepercayaan 95%, diperoleh angka sebesar 6.49.

5. Karena F > Tabel Dickey-Fuller, hipotesis yang menyatakan gerakan harga tembaga mengikuti pola random walk ditolak. Untuk data harga BBM dan karet, hasil perhitungannya sebagai berikut: ESSu ESST F Tabel DF RW ? BBM 100.09 125.00 13.93 6.49 Tidak Karet 2242.80 2428.60 4.64 6.49 Ya

Timeseries Ko-Integrasi

Kadangkala ada dua variabel random yang masing-masing merupakan random walk akan tetapi kombinasi linier dari dua variabel tersebut merupakan time series yang stasioner.

Misalkan saja, xt dan yt masing-masing random walk tetapi zt = xt - λ yt merupakan timeseries yang stasioner

Pada situasi seperti ini, xt dan yt dikatakan berkointegrasi dan λdisebut parameter kointegrasi.

Sedangkan λ diestimasi dengan OLS melalui regresi xt pada yt. (Ingat kepada regresi linier sederhana: xt = a + b yt + et atau : a + et = xt - b yt ; dengan notasi lain: zt = xt - λ yt )

Dalam beberapa hal, teori-teori ekonomi dan keuangan mengindikasikan adanya kointegrasi antara dua variabel tertentu. Misalnya saja ada kecenderungan pergerakan bersama antara harga saham dan dividen yang dibagikan, meskipun pergerakan harga saham dan pergerakan besaran dividen yang dibagikan masing-masing bisa merupakan random walk. Dalam hal kointegrasi antara pergerakan harga saham dan pergerakan besaran dividen, parameter kointegrasinya merupakan discount rate yang digunakan para investor dalam menghitung present value dan earnings. Contoh lain?

Tes Ko-Integrasi· Bila xt random walk dan Δxt stasioner

yt random walk dan Δyt stasioner

apakah xt dan yt berkointegrasi.

Tahapan yang perlu dikerjakan:1. Lakukan regresi berikut dengan OLS

xt = a + b yt + et2. Tes apakah et stasioner atau tidak3. Bila et stasioner, maka xt dan yt berkointegrasi.

Ilustrasi Ko-integrasi antara Konsumsi dan Pendapatan

Akan dites apakah konsumsi dan pendapatan berkointegrasi dengan menggunakan data kuartalan dari tahun 1960-1995.

1.Tes apakah konsumsi dan Pendapatan masing-masing random walk dengan Tes Dickey Fuller. Hasil tes menunjukkan kedua series tersebut random walk. Sedangkan data time series Δkonsumsi dan Δpendapatan merupakan time series yang stasioner.

2. Tes KointegrasiRegresikan konsumsi pada pendapatanCt = -89.94 + 0.9346 YDt

t: (-6.65) (231.87)R2 = 0.9974 ; DW = 0.325

Kita dapat menggunakan test DW untuk menguji apakah et(residual) dari regresi tsb. mengikuti suatu random walk.

Menurut tes DW, angka 0.325 < 0.386 (nilai kritis pada Tabel DW (Tabel; 16.3)). Akibatnya, kita tidak dapat menolak hipotesis pada level 5% (Tetapi, hipotesis ini ditolak pada level 10%). Artinya, kita tidak terlalu yakin bahwa et (residual) stasioner atau tidak sehingga kita juga tidak tahu dengan pasti apakah konsumsi dan pendapatan berkointegrasi.

The End of the Lesson