RANK FULL MODEL(VARIANCE ESTIMATION)

Untuk dapat melakukan pendugaan interval terhadap parameter model (β0, β1, β2 ,…,βk) dan uji hipotesis tentang parameter model maka perlu dilakukan pendugaan terhadap varians (σ2) yaitu varians dari variabel-variabel random y1, y2, …, yk.

Varians suatu variabel random adalah ukuran variabilitasnya, secara teori adalah rata-rata atau nilai harapan dari kudrat selisih antara variabel random tersebut dengan rata-rata populasinya.

• Pembilang pada rumus di atas atau (y-Xb)΄(y-Xb) dikenal dengan penduga jumlah kuadrat residu (error).

• Jumlah kuadrat residu ini merefleksikan variasi random atau variasi yang tidak dijelaskan oleh variabel y (response).

Regression through the origin

Model regresi linier berganda yang umum menggunakan intercept. Artinya model terdiri dari k parameter β1, β2, …, βk yang berkaitan dengan k variabel x0, x1, …, xk, dan juga mengandung satu parameter β0 yang bediri sendiri. Parameter ini yang disebut dengan intercept. Sehingga jumlah parameter yang harus diestimasi dalam model adalah p=k+1.

Pada kondisi tertentu intercept ini tidak diperlukan atau β0=0. Sehingga model mempunyai bentuky= β1x1 + β2x2 + …+ βkxk

dan disebut dengan regression through the origin.

dan penduganya adalah b=(X΄X)-1X΄y. Penduga untuk σ2 adalah dengan p=k.

k

2

1

pn

SSs s

Re2

Maximum Likelihood EstimatorsAsumsi: ε1, ε2, …, εn random variabel berdistribusi normal dan independent dengan masing-masing memiliki rata-rata 0 dan varians σ2. Langkah-langkah metode ini:1.Nyatakan fungsi densitas dari residual ke-i f(εi).

2.Tentukan fungsi likelihood (L): fungsi densitas gabungan dari random errors. Karena random errors saling bebas maka fungsi densitas gabungan merupakan perkalian dari fungsi marginalnya. L adalah:

3.Nyatakan L sbg fungsi dari β dan σ2.

n

iin fL

1

221 )(),,...,,(

4. Tentukan ln L5. Maksimumkan Ln L terhadap β untuk

mendapatkan penduga maksimum likelihood bagi β0, β1, …, βk.

6. Maksimumkan Ln L terhadap σ2 untuk mendapatkan penduga maksimum likelihood bagi σ2.

1. εi merupakan r.v. dg rata-rata 0 dan varians σ2, shg fungsi densitasnya adalah:

2. Fungsi likelihoodnya adalah:

221 ))((

2

1)(

i

ef i

n

iin fL

1

221 )(),,...,,(

n

i

i

e1

))(( 221

2

1

n

ii

enn

1

222

1 )(

2/22/ )(2

1

3. ε=y-Xβ, Σε2=ε΄ε=(y-Xβ)΄(y-Xβ), sehingga:

4. Kemudian log. natural kedua sisi menjadi:

)]()')[((

2/22/2

2122

1

)(2

1),,...,,(

XyXy

nnn eL

)ln(2/2ln2/),,...,,(ln 2221 nnL n

)])()'[()2(1

2 XyXy

QXXyXyyXyXy )'(')'(2')()'(

)'(2)'(2 XXyXQ

0)'(2)'(2 XXyX

)'()'( 1 yXXX

Theorema(Fisher-Neyman Factorization). Diketahui X variabel acak dimana fungsi densitasnya mengandung parameter tunggal θ. Jika X1, X2,…, Xn mrpk sampel acak yang dipilih dari distribusi ini dengan fungsi densitas gabungan f(x1, x2,…, xn;θ). Statistik u(x1, x2,…, xn) merupakan statistik cukup (sufficient) untuk θ jika dan hanya jikaf(x1, x2,…, xn;θ)=g[Y; θ]h(x1, x2,…, xn)

dengan g hanya tergantung pada x1, x2,…, xn melalui Y, dan h tidak tergantung pada θ.

TheoremaDiketahui y=Xβ+ε dengan X matrik rank penuh dengan ordo nx(k+1), β adalah vaktor (x+1)x1 dari parameter yang tidak diketahui dan ε adalah vektor random nx1 berdistribusi normal dengan rata-rata 0 dan varians σ2I. Maka b=(X’X)-1X’y dan s2=e’e/(n-p) adalah statistik cukup untuk β dan σ2.

εi merupakan r.v. dg rata-rata 0 dan varians σ2, shg fungsi densitasnya adalah:

Distribusi gabungan untuk ε1, ε2,…, εn adalah

221 ))((

2

1)(

i

ef i

n

iin ff

1

221 )(),;,...,,(

n

i

i

e1

))(( 221

2

1

n

ii

enn

1

222

1 )(

2/22/ )(2

1

ε=y-Xβ, Σε2=ε΄ε=(y-Xβ)΄(y-Xβ), sehingga:

Sehingga

)]()')[((

2/22/2

2122

1

)(2

1),,...,,(

XyXy

nnn ef

)(')'()()'()()'( bXXbXbyXbyXyXy

2Re )()()'( spnSSXbyXby s

)]}(')'())[(exp{(

)(2

1),;,...,,( 2

21

2/22/2

21 2

bXXbspnfnnn

),...,,(),;,(),;,...,,( 21222

21 nn hsbgf