Analisis Regresi 1 - stat.ipb.ac.id · Ringkasan Regresi Berganda Model Regresi Berganda dengan 2...
Embed Size (px)
Transcript of Analisis Regresi 1 - stat.ipb.ac.id · Ringkasan Regresi Berganda Model Regresi Berganda dengan 2...

Pokok Bahasan :
Regresi Linier dengan Dua Peubah
Penjelas
Analisis Regresi 1

Itasia Dina S, Departemen Statistika FMIPA IPB
Penulisan model regresi linier
berganda dengan notasi matriks
Model Regresi Linier dengan 2 peubah penjelas
Model Regresi Linier Berganda
Dengan notasi matriks dapat dituliskan :
εxβxββY 22110
nny
y
y
.
.
x x1
. . .
. . .
x x1
x x1
.
.
2
1
2
1
0
2n1n
2212
2111
2
1
penjelas p banyaknyak , 11111
nkknny X

Itasia Dina S, Departemen Statistika FMIPA IPB
Pendugaan model regresi
berganda dengan matriks
Notasi Matriks pada Model Regresi Linier Berganda
dengan k = 2
Penduga parameter regresi berganda dg notasi
matriks :
Xy
nny
y
y
.
.
x x1
. . .
. . .
x x1
x x1
.
.
2
1
2
1
0
2n1n
2212
2111
2
1
11)(k)1()1(1)1( ' )'( ybnnkkk XXX
1

Itasia Dina S, Departemen Statistika FMIPA IPB
Contoh: model regresi linier berganda
dalam notasi matriks
0
1
0
30 2.2 1
25 2.8 1
40 3.9 1
30 3.2 1
20 3.0 1
25 3.4 1
30 3.1 1
2.3
2.5
4.0
2.9
3.0
3.2
3.5
Xy
Data : Model Regresi dalam notasi Matriks :
Xyy x1 x2
3.5 3.1 30
3.2 3.4 25
3.0 3.0 20
2.9 3.2 30
4.0 3.9 40
2.5 2.8 25
2.3 2.2 30

Itasia Dina S, Departemen Statistika FMIPA IPB
Contoh : Menduga parameter regresi
linier berganda dg matriks
11)(k)1()1(1)1( ' )'( ybnnkkk XXX
1
30 2.2 1
25 2.8 1
40 3.9 1
30 3.2 1
20 3.0 1
25 3.4 1
30 3.1 1
Dugaan bagi parameter regresi :
Dari data contoh tsb. didapat :
30 25 40 30 20 25 30
2.2 2.8 3.9 3.2 3.0 3.4 1.3
1 1 1 1 1 1 1
X’X =
3 x 7
7 x 3

Itasia Dina S, Departemen Statistika FMIPA IPB
Contoh : Menduga parameter regresi
linier berganda dg matriks
X X
7 0 216 200 0
216 683 626 0
200 0 626 0 5950 0
. . .
. . .
. . .
Dengan perhitungan cara matriks didapat :
0.005 0.028- 0.064-
0.028- 0.760 1.529-
0.064- 1.529- 6.683
)'( 1XX
30 25 40 30 20 25 30
2.2 2.8 3.9 3.2 3.0 3.4 1.3
1 1 1 1 1 1 1
0.005 0.028- 0.064-
0.028- 0.760 1.529-
0.064- 1.529- 6.683
2.3
2.5
4.0
2.9
3.0
3.2
3.5
b =
017.0
898.0
214.0
Dugaan garis regresinya :
21 017.0898.0214.0ˆ xxy y
lanjutan
(X’X) -1 X’

Itasia Dina S, Departemen Statistika FMIPA IPB
Pemeriksaan Model
untuk
Regresi Berganda
•Peubah penjelas apa yang memiliki hubungan linier dg peubah respon
•Apakah penambahan peubah penjelas ke dalam model diperlukan

Itasia Dina S, Departemen Statistika FMIPA IPB
Ringkasan Regresi Berganda
Model Regresi Berganda dengan 2 peubah penjelas :
Model umum Regresi Berganda dengan k peubah
penjelas dalam notasi matriks :
Dugaan bagi parameter Regresi Berganda:
εxβxββY 22110
11111 nkknn
y X
11)(k)1()1(1)1( ' )'( ybnnkkk XXX
1

Itasia Dina S, Departemen Statistika FMIPA IPB
Ringkasan Regresi Berganda
yby HX ˆ
21
110
100'
)(ˆ ),cov(
),(cov )(ˆ)(ˆ s
bVbb
bb bVbV
XX
Nilai ramalan
Matriks dugaan ragam peragam bagi b :
Dugaan simpangan baku
lanjutan
dengan : s2 = KT sisaan
scb jjj )1)(1(

Itasia Dina S, Departemen Statistika FMIPA IPB
Uji Parameter
Regresi Linier Berganda : uji-t
0atau
0atau
0 :
0 :
1
1
11
10
H
Hscs
s
bjjb
b
jj
j
j
, t )1)(1(hit
εxβxββY 22110
Hipotesis :
1.
Statistik uji-nya :
Derajat bebasnya = n – k - 1
Unsur ke (j+1) diagonal (X’X)-1
Akar dari KT sisaan
k = banyaknya peubah penjelas
Model Regresi-nya :
2.
0atau
0atau
0 :
0 :
2
2
21
20
H
H

Itasia Dina S, Departemen Statistika FMIPA IPB
Uji Parameter
Regresi Linier Berganda : uji-t
Uji-t dimaksudkan untuk menguji pengaruh setiap peubah penjelas secara satu per satu terhadap peubah responnya
0atau
0atau
0 :
0 :
1
0
j
j
j
j
H
H
lanjutan
Peubah penjelas Xj tidak berhubungan linier dg Y
Peubah penjelas Xj berhubungan linier dg Y
Peubah penjelas Xj berhubungan linier positif dg Y
Peubah penjelas Xj berhubungan linier negatif dg Y
Model Regresi Berganda dg 2 peubah penjelas :
εxβxββY 22110

Itasia Dina S, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan notasi matriks
Dengan menggunakan data contoh pada slide
sebelumnya ingin diuji apakah X1 dan atau X2
berpengaruh linier thdp Y
Didapatkan bahwa
Dugaan garis regresi-nya:
Hipotesisnya :
0.005 0.028- 0.064-
0.028- 0.760 1.529-
0.064- 1.529- 6.683
)'( 1XX
21 017.0898.0214.0ˆ xxy
0 :
0 :
1
0
j
j
H
H
Peubah penjelas Xj tidak berhubungan linier dg Y
Peubah penjelas Xj berhubungan linier dg Y

Itasia Dina S, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan notasi matriks
Statistik uji-nya :
lanjutan
scss
bjjb
b
jj
j
j
, t )1)(1(hit
55.3253.0
898.0t 0.25300.2902 x 76.0s 1,juntuk hitb1
. . . 2 1
467 44 671031 0 08422 S2=
829.00205.0
017.00205.00.2902 x 005.0s 2,juntuk hitb2
t

Itasia Dina S, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan notasi matriks
Tolak H0Tolak H0
a/2=.025
-tn-3,α/2
Terima H0
0
a/2=.025
-2.776 2.776
d.b. = 7 - 3 = 4 t4,.025 = 2.776
(lanjutan)
tn-3,α/2
Untuk j=1 t hit = 3.55 tolak H0
Untuk j=2 t hit = 0.829 terima H0
KESIMPULAN :
1. Cukup bukti untuk mengatakan
bahwa ada hub linier antara x1 dan Y
2. Tidak cukup bukti untuk mengatakan
bahwa ada hub linier antara x2 dan Y

Itasia Dina S, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan Minitab
Regression Analysis: Y versus X1, X2
The regression equation is
Y = - 0.214 + 0.898 X1 + 0.0175 X2
Predictor Coef SE Coef T P
Constant -0.2138 0.7502 -0.29 0.790
X1 0.8984 0.2530 3.55 0.024
X2 0.01745 0.02116 0.82 0.456
S = 0.290208 R-Sq = 83.3% R-Sq(adj) = 74.9%
lanjutan
> 0.05
Terima H0

Itasia Dina S, Departemen Statistika FMIPA IPB
Uji Parameter
Regresi Linier Berganda : uji-F
Dengan uji F ini kita dapat mengetahui :
peubah-peubah penjelas yang ada dalam model
berpengaruh secara serempak terhadap respon atau
tidak.
Penambahan satu peubah penjelas ke dalam model
setelah peubah penjelas lainnya ada dalam model
berpengaruh nyata atau tidak terhadap respon
Penambahan sekelompok peubah penjelas ke dalam
model setelah peubah penjelas lainnya ada dalam
model berpengaruh nyata atau tidak terhadap respon

Itasia Dina S, Departemen Statistika FMIPA IPB
Uji Parameter
Regresi Linier Berganda : uji-F
Sumber
Keragaman
Derajat Bebas (db)
Jumlah Kuadrat
(JK)
Kuadrat Tengah (KT)
Regresi | b0 2 b’X’Y – Y’11’Y
Sisaan n - 3 Y’Y – b’X’Y
Total
(terkoreksi)n - 1 Y’Y – Y’11’Y
2
JKRegresi
3n
JKsisaan
Regresi | b0 k b’X’Y – Y’11’Y
Sisaan n – k - 1 Y’Y – b’X’Y
Total terkoreksi n - 1 Y’Y – Y’11’Y
2ssisaan
sisaan
db
JK
Regresi
Regresi
db
JK
0
2
bTengah Nilai
yn
Banyaknya
peubah
penjelas
Tabel Sidik Ragam

Itasia Dina S, Departemen Statistika FMIPA IPB
Uji Parameter
Regresi Linier Berganda : uji-F
Sumber
Keragaman
Derajat Bebas (db)
Jumlah Kuadrat
(JK)
Kuadrat Tengah (KT)
b1, b2| b0 2 b’X’Y – Y’11’Y
Sisaan n - 3 Y’Y – b’X’Y
Total
(terkoreksi)n - 1 Y’Y – Y’11’Y
2
JKRegresi
Apakah X1 dan X2 dalam model
berpengaruh secara serempak terhadap Y
sisaan
b|b,b
hitKT
KTF 021
1
εxβxββY 22110
1,2j ,0satu ada min:
0:
1
210
jH
H
3n
JKsisaan

Itasia Dina S, Departemen Statistika FMIPA IPB
Uji Parameter
Regresi Linier Berganda : uji-F
0:
Y model dalam 0:
21
2211020
H
xxH
Sumber
Keragaman
Derajat Bebas (db)
Jumlah Kuadrat (JK)Kuadrat Tengah
(KT)
b1, b2 | b0 2 b’X’Y – Y’11’Y
Sisaan n – 3 Y’Y – b’X’Y
Total
(terkoreksi)n - 1 Y’Y – Y’11’Y
3-nJKsisaan
Apakah penambahan X2 ke dalam model
berpengaruh terhadap Y
εxββY 110
sisaan
b,b|b
hitKT
KTF 102102 b,b b 1 01021 b |bb |b,b JKJK
1
JK10 2 b,b |b

Itasia Dina S, Departemen Statistika FMIPA IPB
Koefisien Determinasi Berganda
Proporsi keragaman pada Y dijelaskan oleh
semua peubah X secara bersama-sama
yyyy
yy
SS
SSE
SS
SSESSR
1
Keragaman Total
dijelaskan ygKeragaman 2

Itasia Dina S, Departemen Statistika FMIPA IPB
Adjusted R2
R2 besarnya tidak pernah turun ketika peubah X
ditambahkan ke dalam model
Hanya nilai Y yang menentukan besarnya SSyy
Tidak ada gunanya kalau membandingkan model yg satu dg yg
sdh ditambah peubah penjelasnya.
Solusi: Adjusted R2
Setiap penambahan peubah penjelas akan menurunkan nilai
adjusted R2.
22 1
1
11 R
SSyy
SSE
SS
SSE
kn
nR
yya