BAB 1 Distribusi Sampel, Likelihood dan...
7
BAB 1 Distribusi Sampel, Likelihood dan Penaksir 1.1 Sampel Acak Misalkan X 1 ,X 2 ,...,X n sampel acak berukuran n (random sample of size n). Fungsi peluang n-variat nya adalah f X 1 ,X 2 ,··· ,Xn (x 1 ,x 2 ,...,x n )= n Y i=1 f X i (x i ) Contoh/Latihan: 1. Misalkan X 1 ,X 2 ,...,X n sampel acak dari distribusi Eksponensial den- gan parameter θ. Fungsi peluang n-variatnya adalah... 2. Misalkan X 1 ,X 2 ,...,X n sampel acak dari distribusi Uniform pada selang (a, b). Fungsi peluang n-variatnya adalah... 1.2 Likelihood Misalkan fungsi peluang n-variat bergantung pada parameter yang tidak dike- tahui θ. Fungsi peluang tersebut ditulis sebagai f X 1 ,X 2 ,...,X n (x 1 ,...,x n |θ 1 ,...,θ k ) atau f X (x|θ) 1
Transcript of BAB 1 Distribusi Sampel, Likelihood dan...
BAB 1
Distribusi Sampel, Likelihooddan Penaksir
1.1 Sampel Acak
Misalkan X1, X2, . . . , Xn sampel acak berukuran n (random sample of size n).Fungsi peluang n-variat nya adalah
fX1,X2,··· ,Xn(x1, x2, . . . , xn) =n∏
i=1
fXi(xi)
Contoh/Latihan:
1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Eksponensial den-gan parameter θ. Fungsi peluang n-variatnya adalah...
2. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Uniform pada selang(a, b). Fungsi peluang n-variatnya adalah...
1.2 Likelihood
Misalkan fungsi peluang n-variat bergantung pada parameter yang tidak dike-tahui θ. Fungsi peluang tersebut ditulis sebagai
fX1,X2,...,Xn(x1, . . . , xn|θ1, . . . , θk)
atau
fX(x|θ)
1
Contoh/Latihan:
1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi N(µ, σ2). Fungsipeluang n-variat yang bergantung pada parameternya ditulis sebagai...
DefinisiFungsi likelihood adalah ukuran yang menyatakan sebarapa sering nilai θ,diberikan bahwa x telah terobservasi. Fungsi likelihood BUKAN suatu pelu-ang. Fungsi likelihood diperoleh dengan (i) menukar peran θ dan x dalamfungsi peluang n-variat, dan (ii) membuang suku yang tidak bergantung padaθ. Notasi:
L(θ) = L(θ|x) ∝ fX(x|θ)
Contoh/Latihan:
1. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Eksponensial den-gan parameter θ. Fungsi likelihoodnya adalah...
function likefunction;
% this function calculates the likelihood function of distribution
%
% created by K Syuhada, 14/3/2011
clear
clc
n = input(’n = ’); % size of random sample
% data
x = exprnd(0.5,n,1);
sumx = sum(x);
% parameter of exponential distribution
lambda = 0.5:0.05:5;
for i = 1:length(lambda)
L(i) = (lambda(i)^n)*exp(-lambda(i)*sumx);
end
plot(lambda,L)
MA3081 Stat.Mat. 2 K. Syuhada, PhD.
2. Misalkan X1, X2, . . . , Xn sampel acak dari distribusi Uniform pada selang(π, b). Fungsi likelihoodnya adalah...
Prinsip LikelihoodJika dua percobaan, yang melibatkan model dengan parameter θ, memberikanlikelihood yang sama, maka inferensi terhadap θ haruslah sama.
IlustrasiPandang percobaan 1 dimana sebuah koin dilantunkan sebanyak n kali secarabebas. Misalkan p adalah peluang muncul MUKA dan X peubah acak yangmenyatakan banyaknya MUKA yang muncul. Fungsi peluang dari X danfungsi likelihoodnya adalah...
Pandang percobaan 2 dimana sebuah koin dilantunkan hingga diperoleh MUKAsebanyak 6 kali secara bebas. Misalkan Y peubah acak yang menyatakanbanyaknya lantunan yang dibutuhkan agar diperoleh enam MUKA. Fungsipeluang dari X dan fungsi likelihoodnya adalah...
Dari 2 percobaan diatas, misalkan kita ingin melakukan uji hipotesis:
H0 : p = 0.5 versus H0 : p < 0.5
Nilai signfikansinya atau p-value adalah...
Penaksir Likelihood MaksimumMisalkan L(θ) adalah fungsi likelihood (fungsi dari parameter θ). Kita da-pat menentukan nilai θ yang memaksimumkan L(θ). Penaksir untuk θ, yaituθ̂ disebut Penaksir Likelihood Maksimum (maximum likelihood estimator,MLE). Penaksir suatu parameter adalah fungsi dari peubah acak.
Contoh/Latihan:
1. Diketahui sampel acak berukuran n dari distribusi Bernoulli (p). Fungsilikelihoodnya:
L(θ) = θP
xi (1− θ)n−P xi , 0 < θ < 1.
Untuk menentukan nilai θ yang memaksimumkan L(θ), transformasikanL(θ) menjadi log L(θ):
`(θ) = log L(θ) =∑
xi log(θ) + (n−∑
xi) log(1− θ),
kemudian hitung turunan pertama `(θ) terhadap θ:
d`(θ)
dθ=
∑xi
θ− n−∑
xi
1− θ.
MA3081 Stat.Mat. 3 K. Syuhada, PhD.
Normalisasi dari turunan pertama tersebut memberikan nilai
θ =
∑xi
n,
yang mana sebagai penaksir ditulis sebagai berikut:
θ̂ =
∑Xi
n= X̄.
(Pr: Tunjukkan bahwa θ ini memaksimumkan L(θ) dengan menghitungturunan kedua).
2. Misalkan X1, . . . , Xn sampel acak berdistribusi U(0, θ). Tentukan θ yangmemaksimumkan L(0, θ). Dengan kata lain, tentukan penaksir θ̂ untukθ.
Sifat PenaksirSetelah kita mendapatkan penaksir θ̂, kita dapat menentukan sifat baik pe-naksir. Salah satunya adalah sifat TAK BIAS. Penaksir θ̂ dikatakan tak biasapabila
E(θ̂) = θ.
Untuk contoh sampel acak Bernoulli,
E(θ̂) = E
(X1 + · · ·+ Xn
n
)
=1
nE(X1 + · · ·+ Xn)
=1
n
(E(X1) + · · ·+ E(Xn)
)
=1
n(θ + · · ·+ θ)
= θ
Jadi, penaksir θ̂ = X̄ adalah penaksir tak bias untuk θ.
Catatan: Jika suatu penaksir θ̂ bersifat bias maka selisih nilai ekspektasi dannilai θ tidak nol, atau
E(θ̂ − θ) 6= 0.
MA3081 Stat.Mat. 4 K. Syuhada, PhD.
1.3 Statistic Cukup
Definisi -1Suatu statistik T = t(X) adalah CUKUP atau sufficient untuk suatu keluargadistribusi fX(x|θ) JIKA dan HANYA JIKA fungsi likelihoodnya bergantungterhadap X hanya melalui T:
L(θ) = h(t(X), θ)
Definisi -2Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusifX(x|θ) JIKA dan HANYA JIKA distribusi bersyarat dari X TIDAK BERGAN-TUNG pada θ:
fX|T (x|t, θ) = h(x)
Definisi -3Suatu statistik T = t(X) adalah CUKUP untuk suatu keluarga distribusifX(x|θ) JIKA dan HANYA JIKA fungsi peluangnya dapat difaktorkan sebagai:
fX(x|θ) = g(t(x)|θ) h(x)
Contoh/Latihan:
1. Misalkan Xi untuk i = 1, . . . , n saling bebas dan berdistribusi identikBernoulli(p). Tunjukkan bahwa Y =
∑ni=1 Xi adalah statistik cukup.
2. Misalkan X1, . . . , Xn sampel acak berdistribusi Poisson dengan parame-ter λ. Tunjukkan bahwa T =
∑ni=1 Xi adalah statistik cukup.
3. Misalkan Xi untuk i = 1, . . . , n saling bebas dan berdistribusi identikN(µ, 1). Tunjukkan bahwa Y = X̄ adalah statistik cukup.
4. Misalkan X1, . . . , Xn sampel acak berdistribusi Gamma dengan param-eter (α, λ). Tunjukkan bahwa T =
∑ni=1 ln(Xi) adalah statistik cukup.
5. Pandang sampel acak berukuran n dari U(a, b), dengan a diketahui. Tun-jukkan bahwa T = X(n) adalah statistik cukup.
6. Pandang sampel acak berukuran n dari N(µ, σ2), dengan µ, σ2 tidakdiketahui. Tunjukkan bahwa statistik T berikut adalah cukup:
T =
(S2
X
X̄
)
MA3081 Stat.Mat. 5 K. Syuhada, PhD.
1.4 Distribusi Sampel
Misalkan X1, X2, . . . , Xn sampel acak berukuran n dari distribusi Poisson den-gan parameter λ. Peubah acak Xi, i = 1, . . . , n saling bebas dan berdistribusiidentik dengan fungsi peluang n-variat:
P (X = x) =n∏
i=1
e−λ λxi
xi!=
e−nλ λy
∏ni=1 xi!
,
dengan y =∑
xi. Dapat ditunjukkan juga Y =∑
Xi cukup. Distribusisampel dari Y adalah
fY(y|θ) =e−nλ (nλ)y
y!.
Misalkan Xi ∼ U(0, θ). Peubah acak-peubah acak Xi tersebut saling bebasdan berdistribusi identik, dengan fungsi peluang:
fX(x|θ) =
Statistik T = X(n) cukup dan memiliki fungsi distribusi:
P (X(n) ≤ x) =
dan fungsi peluang:
f(x) =
1.5 Statistik Terurut
Misalkan X1, . . . , Xn sampel acak berukuran n dari suatu populasi yang berdis-tribusi tertentu, dengan fungsi peluang fX dan fungsi distribusi FX . PandangX(k), statistik terurut ke-k. Untuk menentukan fX(k)
(x), pertama partisikan
I1 = (−∞, x]; I2 = (x, x + dx]; I3 = (x + dx,∞).
Fungsi peluang fX(k)(x) adalah peluang mengamati sejumlah k − 1 dari X di
I1, tepat sebuah X di I2, dan sejumlah n− k dari X di I3:
fX(k)(x) ≈
(n
k − 1, 1, n− k
) (FX(x)
)k−1 (fX(x)dx
)1 (1− FX(x)
)n−k
MA3081 Stat.Mat. 6 K. Syuhada, PhD.
yang dengan metode diferensial maka kita peroleh
fX(k)(x) =
(n
k − 1, 1, n− k
) (FX(x)
)k−1 (1− FX(x)
)n−kfX(x)
Contoh/Latihan:
1. Fungsi peluang dari statistik terutur terkecil/terbesar adalah...
2. Statistik terurut ke-k pada distribusi U(0, 1) memiliki fungsi peluang...
1.6 Momen dari Mean dan Proporsi Sampel
1.7 Teorema Limit Pusat
MA3081 Stat.Mat. 7 K. Syuhada, PhD.
