MATERI REGRESI & KORELASI

Agung Priyo Utomo (STIS Jakarta) 1

ANALISIS REGRESI & KORELASI (REGRESSION & CORRELATION ANALYSIS)

Oleh:Agung Priyo Utomo, S.Si., MT.Sekolah Tinggi Ilmu Statistik (STIS)


HUBUNGAN ANTAR VARIABEL

HUBUNGAN ANTAR VARIABEL

HUB. FUNGSIONAL/MATEMATIS, y = f(x)

HUB. SECARASTATISTIK, y = f(x) + ε

MODEL LINIER MODEL NON LINIER

INTRINSIK NON INTRINSIKMODEL REGRESI

MODEL EXP. DESIGN

DLL

Transformasi


REGRESI DAN KORELASI(Keduanya mempelajari hubungan antar variabel)

REGRESIMempelajari bentuk hubungan antar variabel melaluisuatu persamaan (RLS, RLB, Regresi non Linear). Hubungan bisa berupa hubungan sebab akibat.Dapat mengukur seberapa besar suatu variabelmempengaruhi variabel lainDapat digunakan untuk melakukan peramalan nilaisuatu variabel berdasarkan variabel lain


REGRESI DAN KORELASI(Keduanya mempelajari hubungan antar variabel)

KORELASIMempelajari keeratan hubungan antar 2 variabelkuantitatif yang bisa dilihat dari besarnya angka, bukantandanyaDapat mengetahui arah hubungan yang terjadi(berbanding lurus jika tandanya positif, dan berbandingterbalik jika tandanya negatif)Nilainya berkisar -1 sampai dengan 1Tidak bisa menyatakan hubungan sebab akibat


Korelasi yang tinggi tidak selalu berarti bahwasuatu variabel menyebabkan/mempengaruhi

variabel yang lain

Contoh: (1) # kematian karena kekeringan di musim panas

# soft drink yang dikonsumsi di musin panasHigh positive correlationApakah soft drink menyebabkan kematian?

(2) Gaji guru dan jumlah $ yang diperoleh dalampenjualan minuman keras.High positive correlationApakah guru membelanjakan uangnya untukmembeli minuman keras?


DEPENDENT AND INDEPENDENT VARIABLE

Dependent Variable/Variabel Tak Bebas (Y): Variabel yang nilainya ditentukan oleh variabel lain. Diasumsikan bersifat random/stochastic

Independent Variable/Variabel Bebas (X): Variabelyang nilainya ditentukan secara bebas (variabel yang diduga mempengaruhi variabel tak bebas). Diasumsikan bersifat fixed/non stochastic.

Syarat :Y: Berjenis data kuantitatifX: Berjenis data kuantitatif atau kualitatif/kategorik


JENIS DATA UNTUK Y

Data Observasidiperoleh tanpa melakukan kontrol thd var. X

tdk kuat menyatakan cause-effect relationships

Data Eksperimendiperoleh dengan melakukan kontrol thd var. X

dapat menyatakan cause-effect relationships


Examples

Effect of Car Age on its Price (to what degree can Car Age predict Its Price)Effect of Woman Age on Her Fertility (to what degree can Woman Age predict Her Fertility level)Effect of A Person Height on His/Her Weight (to what degree can A Person Height predict His/Her Weight)Effect of Household Income to Their Consumption Expenditure (to what degree can Household Income predict Their Consumption Expenditure)Effect of Dow Jones Performance on Darts performance (to what degree can Dow Jones predict Dart performance)


KONSEP DASAR

Pada suatu nilai X tertentu akantdp banyak kemungkinan nilai-nilaiY (Y akan terdistribusi mengikutisuatu fungsi peluang tertentuDistribusi Normal) dengan Nilairata-rata E(Y) dan Nilai varians σ2

tertentuNilai rata-rata E(Y) diasumsikanberubah secara sistematikmengikuti perubahan nilai X, ygdigambarkan dalam bentuk garislinierNilai varians σ2 pada setiap nilai X akan sama


PROSEDUR DALAM ANALISIS REGRESI

1. Identifikasi dan pembentukan model2. Pendugaan parameter model3. Pengujian keberartian parameter 4. Penilaian ketepatan model (goodness of fit) dan

pemeriksaan asumsi


IDENTIFIKASI MODELContoh Ploting Data Dow vs Dart

Relationship can be represented by line of best fit

Scatter plot (diagram pencar)

Berguna utkmengidentifikasi model hubungan antara variabel X dan Y. Bila pencaran titik-titikpada plot ini menunjukkanadanya suatukecenderungan (trend) yang linier, maka model regresilinier layak digunakan.

0

20

40

60

80

100

120

140

160

180

0 1 2 3 4 5 6 7 8

X

Y


KETERANGAN

Ternyata titik-titik (plotting data) tersebut terlihatmengelompok di sekitar garis lurusPada scatter plot tersebut, sebenarnya bisa ditarikbeberapa garis yang dekat terhadap titik-titik tersebutTujuan kita di sini adalah1. Mencari garis yang paling tepat2. Melakukan Peramalan3. Ingin mengetahui hubungan yang terjadi (seberapa

cepat Darts berubah pada saat Dow Jones berubahsebesar satu unit)


Beberapa Model Regresi Linear

First-Order Model with One Predictor Variable

Second-Order Model with One Predictor Variable

Second-Order Model with Two Predictor Variables with Interaction

etc.

y x x x x x x= + + + + + +β β β β β β ε0 1 1 2 2 3 12

4 22

5 1 2y x x x x x x= + + + + + +β β β β β β ε0 1 1 2 2 3 12

4 22

5 1 2

y x x= + + +β β β ε0 1 1 2 12y x x= + + +β β β ε0 1 1 2 12

y x= + +β β ε0 1 1y x= + +β β ε0 1 1


Model Regresi Linear Sederhana

Yi = β0 + β1Xi + εi (i = 1, 2, …, n)dimana :

Yi merupakan nilai dari variabel dependent padaobservasi ke-i

β0 dan β1 merupakan parameter model εi merupakan komponen error

(pengaruh variabel bebas lain selain variabel X)Xi adalah nilai variabel bebas X pada observasi ke-in adalah banyaknya data observasi (sampel)

Note: β0 dan β1 disebut juga koefisien regresi, β0merupakan intercept dan β1 merupakan slope(gradien garis) yang menyatakan perubahannilai Y untuk setiap kenaikan satu satuan X


Beberapa Asumsi

Yi (Variabel Tak Bebas/Dependent Variable) merupakan random variable/bersifat stochastic

Xi (Variabel bebas/Independent Variable) bersifatfixed/non stochastic (bukan merupakan random variable)

E(εi) = 0

E(εi εj) = σ2 untuk i = j (Homoscedastic)

E(εi εj) = 0 untuk i ≠ j (Non autocorrelation)


Beberapa Asumsi (Lanjutan)

εi merupakan random variable yang terdistribusisecara bebas dan indentik mengikuti distribusi normal dengan rata-rata 0 dan varian σ2 atau biasa dituliskansebagai

εi ~ NID(0, σ2)iid

BAGAIMANA JIKA ADA ASUMSI YANG TIDAK TERPENUHI? BAGAIMANA MENDETEKSINYA?

BAGAIMANA MENGUJI? BAGAIMANA ALTERNATIF SOLUSINYA?


PENDUGAAN/ESTIMASI PARAMETER

METODE ESTIMASI PADA REGRESI LINIER

MAXIMUM LIKELIHOODMETHOD

LEAST SQUARESMETHOD

Ordinary Least Squares (OLS)

Generalized LeastSquares (GLS)


Least Squares Criterion

Prinsipnya: Min Pada model regresi linear sederhana dengan asumsiyang telah diberlakukan, maka dipakai Metode OLS untuk mengestimasi parameter modelEstimasi Parameter

Prediksi/estimasi untuk Y jika nilai X diketahui

∑εi

i2

xy 10ˆˆ β−=β

∑∑

−

−−==β

ii

iii

xx

xy

xx

yyxx

SS

21 )(

))((ˆ

ii xY 10ˆˆˆ β+β=


CONTOH: REED AUTO SALES

Sebagai bagian dari kampanyenya, Reed Auto menggunakan media televisi untuk iklan selama akhirpekan yang lalu. Berikut adalah data dari 5 sampelpenjualan.

Banyaknya iklan TV Jumlah Mobil Terjual1 143 242 181 173 27



Kemiringan Persamaan Regresi Estimasib1 = 220 - (10)(100)/5 = 5

24 - (10)2/5Intercept Persamaan Regresi Estimasi

b0 = 20 - 5(2) = 10Estimasi Persamaan Regresi

y = 10 + 5xInterpretasi: Jika banyaknya iklan bertambah 1 kali, maka dapat meningkatkan banyak penjualan mobilsebanyak 5.

^



Scatter Diagram

30

y = 5x + 10

0

5

10

15

20

25

Jum

lah

Mob

il Te

rjua

l

0 1 2Banyaknya Iklan TV 3 4


Example: Relationship between Car Age (X) and its Price (Y)

0

20

40

60

80

100

120

140

160

180

0 1 2 3 4 5 6 7 8

X

Y


Prosedur Penghitungan untukEstimasi Parameter


2026 $by decreases price theagein increaseyear single aFor decreases. price theincreases age the As

X26.2047.195Y:uationgressionEqRe

47.195))58)(26.20(975(101)XbY(

n1b

26.20182.20

909.408SSb

909.40810/)975)(58(4732n / Y))(X(XYS182.2010/(58) - 326 n/)X(XS

326X and 4732XY 975, Y ,58X

10

XX

XY1

XY

22XX

2

2

−=

=−−=∑−∑=

−=−

==

−=−=∑∑−∑===∑−∑=

=∑=∑=∑=∑

)


Regression line and data points for Car Age and Price Data


Sifat-sifat Estimator Least Squares

Jika semua asumsi yang diberlakukan terhadap model regresi terpenuhi, maka menurut suatu teorema (Gauss Markov theorem) estimator tersebut akan bersifatBLUE (Best Linear Unbiased Estimator). Best = Terbaik, mempunyai varian yang minimumLinear = Linear dalam Variabel Random YUnbiased = Tak biasArtinya estimator tersebut akan unbiased danmempunyai varian yang minimum diantara semuaestimator unbiased yang lain.


Residual

Age (yrs)

Price ($100s)

Estimated Mean

Response Residual Squared

Residual

Xi Yi iY iii YYe −=

2ii

2i )YY(e −=

5 85 94 -9 844 103 114 -11 1316 70 74 -4 155 82 94 -12 1485 89 94 -5 275 98 94 4 156 66 74 -8 636 95 74 21 4452 169 155 14 1977 70 54 16 2677 48 54 -6 32

58 975 975 0 1424


Inferensi dalam Analisis Regresi

Model Regresi Linear Sederhana

Yi = β0 + β1Xi + εi

Dimana εi merupakan random variabel yang

terdistribusi NID(0,σ2)Contoh: Sebuah Perusahaan, Westwood Company, sedangmeneliti tentang hubungan antara jumlah sparepartyang diproduksi (X) dengan jumlah jam kerja yang diperlukan (Y) dari 10 proses produksi terakhir. (Data ada di buku Neter and Wasserman, halaman 40)


INFERENSI TENTANG MODELConfidence Interval dan Uji Hipotesis

Confidence Interval (1-α)100% untuk

Pada contoh Westwood Company, diperolehn = 10SSE = 60 MSE = 7.5

Sehingga CI 95 % untuk β1 adalahP(1.89 ≤ β1 ≤ 2.11) = 95 %

1β

%100)1())ˆ(ˆ)ˆ(ˆ( )2,1(111)2,1(11 22α−=β+β≤β≤β−β −−−− αα nn tstsP

0.2ˆ1 =β 0.10ˆ

0 =β

0.2=X284002 =∑ iX 3400)( 2 =−∑ XXi

13660)( 2 =−∑ YYi



Uji Hipotesis Tentang β1a. H0: β1 = 0 b.H0: β1 ≤ 0 c. H0: β1 ≥ 0

H1: β1 ≠ 0 H1: β1 > 0 H1: β1 < 0

Statistik Uji:

Keputusan pada tingkat sign. α : Tolak H0 jikaa. b. c.

Kesimpulan :Jika H0 ditolak, maka dengan tingkat kepercayaan (1- α) 100 %, terdapat hubungan yang linier antara variabel X dan variabel Y

)ˆ(

ˆ

1

1*

ββ

=s

t

)2,1( 2|*| −−α> ntt )2,1(* −α−> ntt )2,1(* −α−< ntt



Pada contoh Westwood Co., diperoleh t* = 42.58t(0.975,8) = 2.306 dan t(0.95,8) = 1.860

Keputusan?Kesimpulan?

Statistik Uji-t setara dengan Statistik Uji-F


PENDEKATAN ANOVA DALAM ANALISIS REGRESI

YYYYYY iiii −+−=− ˆˆ

Dasar: Partisi dari Sum Squares Total (SST) danderajat bebas

SST SSE SSRTotal Sum of Squares Error SS Regression SS

df n – 1 n – 2 1

Rumus untuk penghitungan

∑ ∑∑ −+−=− 222 )ˆ()ˆ()( YYYYYY iiii

nY

YSST ii

∑∑ −=2

2 )(⎟⎟⎠

⎞⎜⎜⎝

⎛−β= ∑ ∑

nXi

XSSR i

222

1)(ˆ


ILUSTRASI GEOMETRIS PARTISI JUMLAH KUADRAT

Y

iYYi

ii YY ˆ−

YYi −ˆ



Mean Squares (MS): SS dibagi dengan derajat bebasnya

Tabel ANOVA untuk Regresi Linear Sederhana

21 −===

nSSEMSEdanSSRSSRMSR

Source of Variation SS df MS E{MS}

MSR

MSE

F*

Regression 1

Error n–2

Total n–1

∑ − 2)ˆ( YYi

∑ − 2)ˆ( ii YY

∑ − 2)( YYi

∑ −β+σ 221

2 )( XXi

2σMSEMSR



5.786013600

113600

==== MSEdanMSR

Anova tersebut dapat digunakan untuk mengujiH0: β1 = 0 vs H1: β1 ≠ 0

Tabel ANOVA untuk Kasus Westwood CompanyPada Westwood Co., diperoleh SSR = 13600 dan SSE = 60, sehingga



Tabel ANOVA untuk Kasus Westwood Company

Keputusan: Tolak H0 jika F* > F(1-α;1, n-2)

Dari tabel F, diperoleh F(0.95;1, 8) = 5,32Kesimpulan?

Source of Variation

SS df MS F*

Regression 13600 1 13600

7.5Error 60 8

Total 13660 9

1813


PENILAIAN KETEPATAN MODEL (GOODNESS OF FIT)

Koefisien Determinasi (R2)Mengukur proporsi keragaman total dari nilaiobservasi Y di sekitar rataannya yang dapatditerangkan oleh garis regresinya atau variabel bebasyg digunakan.

Nilainya: 0 ≤ R2 ≤ 1, makin mendekati 1 berarti model regresi yg digunakan makin tepat/baik

SSTSSE

SSTSSRR −== 12


KOEFISIEN KORELASILinear Correlation Coefficient

suatu ukuran yang menyatakan erat tidaknya hubunganlinier yang ada antara variable X dan Y, nilai korelasi dirumuskan sebagai

Nilai koefisien korelasi berkisar -1 sampai 1 (-1 ≤ r ≤ 1)tanda positif atau negatif dari R sesuai dengan tandapositif atau negatif pada parameter β1

∑∑∑

−−

−−=±=

222

)()(

))((

yyxx

yyxxRr

ii

ii


Various degrees of linear correlation



KOEFISIEN DETERMINASIR2 = SSR/SST = 100/114 = 0,8772

Artinya:Hubungan regresi sangat kuat karena 88% variasi mobilyang terjual dapat dijelaskan oleh banyaknya iklan TV.

KOEFISIEN KORELASI

9366,08772,0rxy +=+=


Example: linear correlation coefficient for Car Age and Price Data


SPSS Printout for one Predictor

Model Summary

.924a .853 .837 12.577Model1

R R SquareAdjustedR Square

Std. Error ofthe Estimate

Predictors: (Constant), Car Age (years)a.

Variables Entered/Removed b

Car Age(years)

a . Enter

Model1

VariablesEntered

VariablesRemoved Method

All requested variables entered.a.

Dependent Variable: Price ($)b.

R2, Percentage of Variance


ANOVAb

8285.014 1 8285.014 52.380 .000a

1423.532 9 158.1709708.545 10

RegressionResidualTotal

Model1

Sum ofSquares df Mean Square F Sig.

Predictors: (Constant), Car Age (years)a.

Dependent Variable: Price ($)b. Is regression Significant?

Error of prediction

Coefficients a

195.468 15.240 12.826 .000-20.261 2.800 -.924 -7.237 .000

(Constant)Car Age (years)

Model1

B Std. Error

UnstandardizedCoefficients

Beta

StandardizedCoefficients

t Sig.

Dependent Variable: Price ($)a.

InterceptSlope


MODEL REGRESI BERGANDA

Model Regresi Linier Sederhanay = β0 + β1x1 + β2x2 + … + βpxp + ε

Persamaan Regresi Linier SederhanaE(y) = β0 + β1x1 + β2x2 + … + βpxp

Estimasi Persamaan Regresi Linier Sederhanay = b0 + b1x1 + b2x2 + … + bpxp

dimanay = variabel tak bebas (response/dependent variable)xi = variabel bebas (predictor/independent variable) ke-iε = suku sisaan (error/residual)βi = koefisien regresi dari variabel bebas ke-i

^


METODE KUADRAT TERKECIL

Kriteria Kuadrat TerkecilPrinsip: Meminimalkan jumlah kuadrat error

Pencarian estimasi koefisien regresi dapat diperolehmelalui aljabar matriks, namun dalam pelatihan iniakan menggunakan hasil penghitungan menggunakankomputerbi menyatakan estimasi perubahan y yang disebabkanoleh berubahnya nilai xi sebesar satu satuan, denganasumsi variabel bebas yang lain konstan

∑ − 2ii )yy( min∑ − 2ii )yy( min


SURVEI GAJI PROGRAMER

Perusahaan perangkat lunak mengumpulkan data denganjumlah sampel 20 programer komputer. Suatu anggapandibuat bahwa analisis regresi dapat digunakan untukmenghitung/mengetahui apakah gaji dipengaruhi olehpengalaman kerja (tahun) dan skor kecerdasan paraprogramer.Pengalaman, skor kecerdasan, dan gaji ($1000s) dari 20 sampel programer komputer terdapat pada slide berikutnya.



Pengalaman Skor Gaji Pengalaman Skor Gaji4 78 24 9 88 387 100 43 2 73 26.61 86 23.7 10 75 36.25 82 34.3 5 81 31.68 86 35.8 6 74 2910 84 38 8 87 340 75 22.2 4 79 30.11 80 23.1 6 94 33.96 83 30 3 70 28.26 91 33 3 89 30



SPSS Computer OutputPersamaan regresinya adalahGaji = 3,17 + 1,40 pengalaman + 0,251 skor

Var. Bebas Coef Stdev t-ratio p Konstanta 3,174 6,156 0,52 0,613Pengalaman 1,4039 0,1986 7,07 0,000Skor 0,25089 0,07735 3,24 0,005

s = 2,419 R-sq = 83,4% R-sq(adj) = 81,5%



SPSS Computer Output

Analysis of Variance

SOURCE DF SS MS F PRegression 2 500,33 250,16 42,76 0,000Error 17 99,46 5,85Total 19 599,79


PEMERIKSAAN ASUMSI:

Linieritas, Plot antara nilai-nilairesidual (ei) dengan nilai-nilai Xi , Jika pencarantitik yang terbentuktersebar secara acak disekitar nol, maka asumsilinieritas terpenuhi.

Umur Mobil (tahun)

87654321

Uns

tand

ardi

zed

Res

idua

l

30

20

10

0

-10

-20


PEMERIKSAAN ASUMSI:

Normalitas, Plot antara residual yang diurutkan e(i)dengan nilai harapannyaE(e(i)) (Normal Probability Plot) Jika pencaran titik-titiknya membentuk ataumendekati suatu garislinier maka asumsikenormalan terpenuhi.

gDependent Variable: Harga Jual Mobil ($00s)

Observed Cum Prob

1.00.75.50.250.00

Expe

cted

Cum

Pro

b

1.00

.75

.50

.25

0.00


PEMERIKSAAN ASUMSI:

Homoskedastisitas, Sama halnya seperti padalinieritas jika plot antara eidengan Xi menunjukkanpola yang acak, atau plot antara ei dengan Yi menunjukkan pola acak, maka asumsi kesamaanvarians (homoskedastisitas) terpenuhi

Unstandardized Predicted Value

160140120100806040

Uns

tand

ardi

zed

Res

idua

l

30

20

10

0

-10

-20


PEMERIKSAAN ASUMSI:

Independensi/Autokorelasi, sering terjadi terutama jika data yang digunakanuntuk analisis regresi merupakan data time series. Autokorelasi dapat menimbulkan masalah seriusterutama pada nilai penduga dari varians sample (MSE). Pemeriksaan dengan membuat plot antara et (residual pada waktu ke t) dengan waktu (t), ataudengan statistik Durbin Watson


PEMERIKSAAN ASUMSI:

Multikollinieritas,adalah korelasi antar variabel bebas pada model regresibergandaPemeriksaan awal dengan mencari nilai korelasi antar peubahbebas atau dengan melihat nilai VIF (Variance InflactionFactor). Nilai VIF yang besar (>5) mengindikasikan adanyamultikollinieritas.Jika variabel bebas berkorelasi kuat (misal, |r| > 0,7), makatidak dapat diketahui efek variabel bebas tertentu terhadapvariabel tak bebas secara terpisah.Jika estimasi persamaan regresi digunakan hanya untukkeperluan prediksi, maka multikolinearitas umumnya bukanmasalah serius.


Regresi dengan Variabel BebasKualitatif/Kategorik

Dibuat Indicator variable/Dummy variabel yaitumeng”kuantitatifkan” data kualitatif, dengan kode 0 atau 1Bila satu variabel bebas memiliki k kategori, makaakan dibuat sebanyak (k-1) variabel indikator, ygmasing2 bernilai 0 atau 1Selanjutnya pendugaan dan pengujian parameter ekivalen dengan regresi berganda


PEMILIHAN MODEL REGRESI TERBAIK

1. Backward EliminationTahap pertama akan memasukkan semua variable bebas X, kemudian secara bertahap akanmengeluarkan satu-persatu X yang tidakpotensial. Prosedur seleksi akan terhenti biladikeluarkannya suatu variable bebas tidak lagisecara significant mereduksi SSE atau menambahnilai R2

.


PEMILIHAN MODEL REGRESI TERBAIK 2. Forward Elimination,

Metoda ini bekerja berkebalikan dari metodabackward dan dimulai dengan memasukkan variabelbebas yang memiliki korelasi paling erat denganvariabel tak bebasnya (variabel yang paling potensial untuk memiliki hubungan linier dengan Y ). Kemudian secara bertahap memasukkan variabelbebas yang petensial berikutnya. Prosedur seleksiakan terhenti sampai tidak ada lagi variabel bebasyang potensial


PEMILIHAN MODEL REGRESI TERBAIK

3. Stepwise EliminationMetoda stepwise memiliki prosedur yang hampir sama dengan metoda forward, hanya saja bila suatuvariabel bebas telah masuk pada satu tahapan, dapatsaja pada tahapan berikutnya variabel tersebutdikeluarkan karena menjadi tidak potensial lagidibandingkan dengan variabel yang masuk model setelahnya.

MATERI REGRESI & KORELASI

Documents

Transcript of MATERI REGRESI & KORELASI