REGRESI & KORELASI

ANALISIS REGRESI & KORELASI (REGRESSION & CORRELATION ANALYSIS)Oleh: Agung Priyo Utomo, S.Si., MT. Sekolah Tinggi Ilmu Statistik (STIS)

Agung Priyo Utomo (STIS Jakarta)

1

HUBUNGAN ANTAR VARIABELHUBUNGAN ANTAR VARIABELHUB. FUNGSIONAL/ MATEMATIS, y = f(x) HUB. SECARA STATISTIK, y = f(x) + MODEL NON LINIER INTRINSIK NON INTRINSIK

MODEL LINIERMODEL REGRESI MODEL EXP. DESIGN DLLTransformasi


2

REGRESI DAN KORELASI(Keduanya mempelajari hubungan antar variabel) REGRESI Mempelajari bentuk hubungan antar variabel melalui suatu persamaan (RLS, RLB, Regresi non Linear). Hubungan bisa berupa hubungan sebab akibat. Dapat mengukur seberapa besar suatu variabel mempengaruhi variabel lain Dapat digunakan untuk melakukan peramalan nilai suatu variabel berdasarkan variabel lain


3

REGRESI DAN KORELASI(Keduanya mempelajari hubungan antar variabel) KORELASI Mempelajari keeratan hubungan antar 2 variabel kuantitatif yang bisa dilihat dari besarnya angka, bukan tandanya Dapat mengetahui arah hubungan yang terjadi (berbanding lurus jika tandanya positif, dan berbanding terbalik jika tandanya negatif) Nilainya berkisar -1 sampai dengan 1 Tidak bisa menyatakan hubungan sebab akibat


4

Korelasi yang tinggi tidak selalu berarti bahwa suatu variabel menyebabkan/mempengaruhi variabel yang lainContoh: (1) # kematian karena kekeringan di musim panas # soft drink yang dikonsumsi di musin panas High positive correlation Apakah soft drink menyebabkan kematian? (2) Gaji guru dan jumlah $ yang diperoleh dalam penjualan minuman keras. High positive correlation Apakah guru membelanjakan uangnya untuk membeli minuman keras?Agung Priyo Utomo (STIS Jakarta) 5

DEPENDENT AND INDEPENDENT VARIABLE

Dependent Variable/Variabel Tak Bebas (Y): Variabel yang nilainya ditentukan oleh variabel lain. Diasumsikan bersifat random/stochastic Independent Variable/Variabel Bebas (X): Variabel yang nilainya ditentukan secara bebas (variabel yang diduga mempengaruhi variabel tak bebas). Diasumsikan bersifat fixed/non stochastic. Syarat : Y: Berjenis data kuantitatif X: Berjenis data kuantitatif atau kualitatif/kategorikAgung Priyo Utomo (STIS Jakarta) 6

JENIS DATA UNTUK Y

Data Observasi diperoleh tanpa melakukan kontrol thd var. X tdk kuat menyatakan cause-effect relationships Data Eksperimen diperoleh dengan melakukan kontrol thd var. X dapat menyatakan cause-effect relationships


7

Examples

Effect of Car Age on its Price (to what degree can Car Age predict Its Price) Effect of Woman Age on Her Fertility (to what degree can Woman Age predict Her Fertility level) Effect of A Person Height on His/Her Weight (to what degree can A Person Height predict His/Her Weight) Effect of Household Income to Their Consumption Expenditure (to what degree can Household Income predict Their Consumption Expenditure) Effect of Dow Jones Performance on Darts performance (to what degree can Dow Jones predict Dart performance)Agung Priyo Utomo (STIS Jakarta) 8

KONSEP DASAR

Pada suatu nilai X tertentu akan tdp banyak kemungkinan nilai-nilai Y (Y akan terdistribusi mengikuti suatu fungsi peluang tertentu Distribusi Normal) dengan Nilai rata-rata E(Y) dan Nilai varians 2 tertentu Nilai rata-rata E(Y) diasumsikan berubah secara sistematik mengikuti perubahan nilai X, yg digambarkan dalam bentuk garis linier Nilai varians 2 pada setiap nilai X akan samaAgung Priyo Utomo (STIS Jakarta) 9

PROSEDUR DALAM ANALISIS REGRESI1. 2. 3. 4. Identifikasi dan pembentukan model Pendugaan parameter model Pengujian keberartian parameter Penilaian ketepatan model (goodness of fit) dan pemeriksaan asumsi


10

IDENTIFIKASI MODEL Contoh Ploting Data Dow vs DartScatter plot (diagram pencar) Berguna180 160

140

120

utk mengidentifikasi model hubungan antara variabel X dan Y. Bila pencaran titik-titik pada plot ini menunjukkan adanya suatu kecenderungan (trend) yang linier, maka model regresi linier layak digunakan.

100 Y 80 60 40 20 0 0 1 2 3 4 X 5 6 7 8

Relationship can be represented by line of best fit11


KETERANGAN

Ternyata titik-titik (plotting data) tersebut terlihat mengelompok di sekitar garis lurus Pada scatter plot tersebut, sebenarnya bisa ditarik beberapa garis yang dekat terhadap titik-titik tersebut Tujuan kita di sini adalah 1. Mencari garis yang paling tepat 2. Melakukan Peramalan 3. Ingin mengetahui hubungan yang terjadi (seberapa cepat Darts berubah pada saat Dow Jones berubah sebesar satu unit)


12

Beberapa Model Regresi Linear

First-Order Model with One Predictor Variable y = 0 + 1x1 + Second-Order Model with One Predictor Variable2 y = 0 + 1x1 + 2x1 +

Second-Order Model with Two Predictor Variables with Interaction2 2 y = 0 + 1x1 + 2x2 + 3x1 + 4x2 + 5x1x2 +

etc.Agung Priyo Utomo (STIS Jakarta) 13

Model Regresi Linear Sederhana

Yi = 0 + 1X i + i

(i = 1, 2, , n)

dimana : Yi merupakan nilai dari variabel dependent pada observasi ke-i 0 dan 1 merupakan parameter model i merupakan komponen error (pengaruh variabel bebas lain selain variabel X) Xi adalah nilai variabel bebas X pada observasi ke-i n adalah banyaknya data observasi (sampel)

Note: 0 dan 1 disebut juga koefisien regresi, 0 merupakan intercept dan 1 merupakan slope (gradien garis) yang menyatakan perubahan nilai Y untuk setiap kenaikan satu satuan XAgung Priyo Utomo (STIS Jakarta) 14

Beberapa Asumsi

Yi (Variabel Tak Bebas/Dependent Variable) merupakan random variable/bersifat stochastic Xi (Variabel bebas/Independent Variable) bersifat fixed/non stochastic (bukan merupakan random variable) E(i) = 0 E(i j) = 2 untuk i = j (Homoscedastic) E(i j) = 0 untuk i j (Non autocorrelation)15


Beberapa Asumsi (Lanjutan)

i merupakan random variable yang terdistribusi secara bebas dan indentik mengikuti distribusi normal dengan rata-rata 0 dan varian 2 atau biasa dituliskan sebagai i iid NID(0, 2) ~ BAGAIMANA JIKA ADA ASUMSI YANG TIDAK TERPENUHI? BAGAIMANA MENDETEKSINYA? BAGAIMANA MENGUJI? BAGAIMANA ALTERNATIF SOLUSINYA?


16

PENDUGAAN/ESTIMASI PARAMETER

METODE ESTIMASI PADA REGRESI LINIER MAXIMUM LIKELIHOOD METHOD LEAST SQUARES METHODGeneralized Least Squares (GLS)

Ordinary Least Squares (OLS)


17

Least Squares Criterion

Prinsipnya: Min i2 i Pada model regresi linear sederhana dengan asumsi yang telah diberlakukan, maka dipakai Metode OLS untuk mengestimasi parameter model Estimasi Parameter 0 = y 1 x

= S xy = 1 S xx

( xi x )( yi y )i

( xi x )2i

Prediksi/estimasi untuk Y jika nilai X diketahui Yi = 0 + xi 1


18

CONTOH: REED AUTO SALESSebagai bagian dari kampanyenya, Reed Auto menggunakan media televisi untuk iklan selama akhir pekan yang lalu. Berikut adalah data dari 5 sampel penjualan. Banyaknya iklan TV 1 3 2 1 3 Jumlah Mobil Terjual 14 24 18 17 2719


CONTOH: REED AUTO SALES

Kemiringan Persamaan Regresi Estimasi b1 = 220 - (10)(100)/5 = 5 24 - (10)2/5 Intercept Persamaan Regresi Estimasi b0 = 20 - 5(2) = 10 Estimasi Persamaan Regresi ^ y = 10 + 5x Interpretasi: Jika banyaknya iklan bertambah 1 kali, maka dapat meningkatkan banyak penjualan mobil sebanyak 5.Agung Priyo Utomo (STIS Jakarta) 20


Scatter Diagram30 Jumlah Mobil Terjual 25 20 y = 5x + 10

15 10 5 0 0

1 Banyaknya2Iklan TV

3

4


21

Example: Relationship between Car Age (X) and its Price (Y)180 160

140

120

100 Y 80 60 40 20 0 0 1 2 3 4 X 5 6 7 8


22

Prosedur Penghitungan untuk Estimasi Parameter


23

X = 58, Y = 975, XY = 4732 and X = 326 SXX = X ( X ) 2 / n = 326 - (58) 2 / 10 = 20.182 SXY = XY ( X)( Y) / n = 4732 (58)(975) / 10 = 408.909 SXY 408.909 b1 = = = 20.26 SXX 20.182 1 1 b 0 = ( Y b1 X) = (975 (20.26)(58)) = 195.47 n 10 Re gressionEq uation : Y = 195.47 20.26X As the age increases the price decreases. For a single year increase in age the price decreases by $ 202624

2

2


Regression line and data points for Car Age and Price Data


25

Sifat-sifat Estimator Least Squares

Jika semua asumsi yang diberlakukan terhadap model regresi terpenuhi, maka menurut suatu teorema (Gauss Markov theorem) estimator tersebut akan bersifat BLUE (Best Linear Unbiased Estimator). Best = Terbaik, mempunyai varian yang minimum Linear = Linear dalam Variabel Random Y Unbiased = Tak bias Artinya estimator tersebut akan unbiased dan mempunyai varian yang minimum diantara semua estimator unbiased yang lain.


26

ResidualAge (yrs) Xi 5 4 6 5 5 5 6 6 2 7 7 58 Price ($100s) Yi 85 103 70 82 89 98 66 95 169 70 48 975 Estimated Mean Response Residual Squared Residual2 e i = (Yi Yi ) 2

Yi94 114 74 94 94 94 74 74 155 54 54 975

e i = Yi Yi-9 -11 -4 -12 -5 4 -8 21 14 16 -6 0

84 131 15 148 27 15 63 445 197 267 32 142427


Inferensi dalam Analisis Regresi

Model Regresi Linear Sederhana Yi = 0 + 1X i + i Dimana i merupakan random variabel yang terdistribusi NID(0,2)

Contoh: Sebuah Perusahaan, Westwood Company, sedang meneliti tentang hubungan antara jumlah sparepart yang diproduksi (X) dengan jumlah jam kerja yang diperlukan (Y) dari 10 proses produksi terakhir. (Data ada di buku Neter and Wasserman, halaman 40)Agung Priyo Utomo (STIS Jakarta) 28

INFERENSI TENTANG MODEL

Confidence Interval dan Uji HipotesisConfidence Interval (1-)100% untuk 1 P (1 s (1 )t(12 ,n 2 )

1 1 + s (1 )t(1

2 ,n 2)

) = (1 )100%

Pada contoh Westwood Company, diperoleh 1 = 2.0 0 = 10.0 n = 10 SSE = 60 MSE = 7.5 2 ( X i X ) 2 = 3400 X = 2.0 X i = 28400(Yi Y ) 2 = 13660

Sehingga CI 95 % untuk 1 adalah P(1.89 1 2.11) = 95 %dg tk. Kep. 95%, apabila jml sparepart yg diproduksi bertambah satusatuan, maka jml jam kerja yg diperlukan bertambah antara 1,89 s.d. Agung Priyo Utomo (STIS Jakarta) 2,11 jam29


Confidence Interval dan Uji HipotesisUji Hipotesis Tentang 1 a. H0: 1 = 0 b.H0: 1 0 H1 : 1 0 H1 : 1 > 0 1 * Statistik Uji: t = s ( ) 1 c. H0: 1 0 H1 : 1 < 0

| t* |> t(1 pada Keputusan 2 ,n 2) tingkat > t(1 , 2) Tolak < 0 jika,n 2 ) t* sign. n : t* H t(1 a. b. c.

Kesimpulan : Jika H0 ditolak, maka dengan tingkat kepercayaan (1- ) 100 %, terdapat hubungan yang linier antara variabel X 30 Agung Priyo x berpengaruh secara signifikan dan variabel Y (variabel Utomo (STIS Jakarta)


Confidence Interval dan Uji HipotesisPada contoh Westwood Co., diperoleh t* = 42.58 t(0.975,8) = 2.306 dan t(0.95,8) = 1.860 Keputusan? Kesimpulan? Statistik Uji-t setara dengan Statistik Uji-F


31

PENDEKATAN ANOVA DALAM ANALISIS REGRESI

Dasar: Partisi dari Sum Squares Total (SST) dan derajat bebas Yi Y = Yi Yi + Yi Y 2 (Yi Y ) = (Yi Yi ) 2 + (Yi Y ) 2 SST Total Sum of Squares df n1 SSE Error SS n2 SSR Regression SS 1

Rumus untuk penghitungan ( Yi ) 2 ( Xi ) 2 2 SST = Yi 2 SSR = 1 X i2 n n Agung Priyo Utomo (STIS Jakarta) 32

ILUSTRASI GEOMETRIS PARTISI JUMLAH KUADRAT Yi Yi

Yi Yi Yi Y

Y


33


Mean Squares (MS): SS dibagi dengan derajat bebasnya SSR SSE MSR = = SSR dan MSE = 1 n2 Tabel ANOVA untuk Regresi Linear SederhanaSource of Variation Regression Error Total SS df MS E{MS} F*

(Yi Y ) 2 (Yi Yi ) 2

1

MSR

2 2 + 1 ( X i X ) 2

n2 MSE n1

2

MSR MSE

(Yi Y ) 2


34


Anova tersebut dapat digunakan untuk menguji H0: 1 = 0 vs H1: 1 0 Tabel ANOVA untuk Kasus Westwood Company Pada Westwood Co., diperoleh SSR = 13600 dan SSE = 60, sehingga 13600 60 MSR = = 13600 dan MSE = = 7 .5 1 8


35


Tabel ANOVA untuk Kasus Westwood CompanySource of Variation Regression Error Total SS 13600 60 13660 df MS F* 1813

1 13600 8 7.5 9

Keputusan: Tolak H0 jika F* > F(1-;1, n-2) Dari tabel F, diperoleh F(0.95;1, 8) = 5,32 Kesimpulan?Agung Priyo Utomo (STIS Jakarta) 36

PENILAIAN KETEPATAN MODEL (GOODNESS OF FIT)

Koefisien Determinasi (R2) Mengukur proporsi keragaman total dari nilai observasi Y di sekitar rataannya yang dapat diterangkan oleh garis regresinya atau variabel bebas yg digunakan.SSR SSE R = = 1 SST SST2

Nilainya: 0 R2 1, makin mendekati 1 berarti model regresi yg digunakan makin tepat/baik37


KOEFISIEN KORELASILinear Correlation Coefficient

suatu ukuran yang menyatakan erat tidaknya hubungan linier yang ada antara variable X dan Y, nilai korelasi dirumuskan sebagair= R =2

( xi x )( yi y ) ( xi x ) 2 ( yi y ) 2

Nilai koefisien korelasi berkisar -1 sampai 1 (-1 r 1) tanda positif atau negatif dari R sesuai dengan tanda positif atau negatif pada parameter 1Agung Priyo Utomo (STIS Jakarta) 38

Various degrees of linear correlation


39

Various degrees of linear correlation


40


KOEFISIEN DETERMINASI R2 = SSR/SST = 100/114 = 0,8772 Artinya: Hubungan regresi sangat kuat karena 88% variasi mobil yang terjual dapat dijelaskan oleh banyaknya iklan TV.

KOEFISIEN KORELASIrxy = + 0,8772 = +0,9366


41

Example: linear correlation coefficient for Car Age and Price Data


42

SPSS Printout for one PredictorVariables Entered/Removed Model 1 Variables Entered Car Age a (years) Variables Removed .b

Method Enter

a. All requested variables entered. b. Dependent Variable: Price ($)Model Summary Model 1 R .924 a R Square .853 Adjusted R Square .837 Std. Error of the Estimate 12.577

a. Predictors: (Constant), Car Age (years)

R2, Percentage of VarianceAgung Priyo Utomo (STIS Jakarta) 43

Error of predictionModel 1

ANOVAb Sum of Squares 8285.014 1423.532 9708.545 df 1 9 10 Mean Square 8285.014 158.170 F 52.380 Sig. .000 a

Regression Residual Total

a. Predictors: (Constant), Car Age (years) b. Dependent Variable: Price ($)Coefficientsa

Is regression Significant?

Model 1

(Constant) Car Age (years)

Unstandardized Coefficients B Std. Error 195.468 15.240 -20.261 2.800

Standardized Coefficients Beta -.924

t 12.826 -7.237

Sig. .000 .000

a. Dependent Variable: Price ($)

Slope

InterceptAgung Priyo Utomo (STIS Jakarta) 44

MODEL REGRESI BERGANDA

Model Regresi Linier Sederhana y = 0 + 1x1 + 2x2 + + pxp + Persamaan Regresi Linier Sederhana E(y) = 0 + 1x1 + 2x2 + + pxp^ Estimasi Persamaan Regresi Linier Sederhana y = b0 + b1x1 + b2x2 + + bpxp dimana y = variabel tak bebas (response/dependent variable) xi = variabel bebas (predictor/independent variable) ke-i = suku sisaan (error/residual) i = koefisien regresi dari variabel bebas ke-iAgung Priyo Utomo (STIS Jakarta) 45

METODE KUADRAT TERKECIL

Kriteria Kuadrat Terkecil Prinsip: Meminimalkan jumlah kuadrat error min ( y i y i )2

Pencarian estimasi koefisien regresi dapat diperoleh melalui aljabar matriks, namun dalam pelatihan ini akan menggunakan hasil penghitungan menggunakan komputer bi menyatakan estimasi perubahan y yang disebabkan oleh berubahnya nilai xi sebesar satu satuan, dengan asumsi variabel bebas yang lain konstanAgung Priyo Utomo (STIS Jakarta) 46

SURVEI GAJI PROGRAMERPerusahaan perangkat lunak mengumpulkan data dengan jumlah sampel 20 programer komputer. Suatu anggapan dibuat bahwa analisis regresi dapat digunakan untuk menghitung/mengetahui apakah gaji dipengaruhi oleh pengalaman kerja (tahun) dan skor kecerdasan para programer. Pengalaman, skor kecerdasan, dan gaji ($1000s) dari 20 sampel programer komputer terdapat pada slide berikutnya.


47

SURVEI GAJI PROGRAMERPengalaman 4 7 1 5 8 10 0 1 6 6 Skor 78 100 86 82 86 84 75 80 83 91 Gaji 24 43 23.7 34.3 35.8 38 22.2 23.1 30 33 Pengalaman 9 2 10 5 6 8 4 6 3 3 Skor 88 73 75 81 74 87 79 94 70 89 Gaji 38 26.6 36.2 31.6 29 34 30.1 33.9 28.2 3048


SURVEI GAJI PROGRAMER

SPSS Computer Output Persamaan regresinya adalah Gaji = 3,17 + 1,40 pengalaman + 0,251 skorVar. Bebas Konstanta Pengalaman Skor s = 2,419 Coef 3,174 1,4039 0,25089 Stdev 6,156 0,1986 0,07735 t-ratio 0,52 7,07 3,24 p 0,613 0,000 0,005

R-sq = 83,4%

R-sq(adj) = 81,5%


49

SURVEI GAJI PROGRAMER

SPSS Computer Output Analysis of Variance SOURCE Regression Error Total DF 2 17 19 SS 500,33 99,46 599,79 MS 250,16 5,85 F P 42,76 0,000


50

PEMERIKSAAN ASUMSI:

Unstandardized Residual

Linieritas, Plot antara nilai-nilai residual (ei) dengan nilainilai Xi , Jika pencaran titik yang terbentuk tersebar secara acak di sekitar nol, maka asumsi linieritas terpenuhi.

30

20

10

0

-10

-20 1 2 3 4 5 6 7 8

Umur Mobil (tahun)


51

PEMERIKSAAN ASUMSI:

Normalitas, Plot antara residual yang diurutkan e(i) dengan nilai harapannya E(e(i)) (Normal Probability Plot) Jika pencaran titik-titik nya membentuk atau mendekati suatu garis linier maka asumsi kenormalan terpenuhi.


52

PEMERIKSAAN ASUMSI:

Homoskedastisitas, Sama halnya seperti pada linieritas jika plot antara ei dengan Xi menunjukkan pola yang acak, atau plot antara ei dengan Yi menunjukkan pola acak, maka asumsi kesamaan varians (homoskedastisitas) terpenuhi

30

20

10

Unstandardized Residual

0

-10

-20 40 60 80 100 120 140 160

Unstandardized Predicted Value


53

PEMERIKSAAN ASUMSI:

Independensi/Autokorelasi, sering terjadi terutama jika data yang digunakan untuk analisis regresi merupakan data time series. Autokorelasi dapat menimbulkan masalah serius terutama pada nilai penduga dari varians sample (MSE). Pemeriksaan dengan membuat plot antara et (residual pada waktu ke t) dengan waktu (t), atau dengan statistik Durbin Watson


54

PEMERIKSAAN ASUMSI:

Multikollinieritas, adalah korelasi antar variabel bebas pada model regresi berganda Pemeriksaan awal dengan mencari nilai korelasi antar peubah bebas atau dengan melihat nilai VIF (Variance Inflaction Factor). Nilai VIF yang besar (>5) mengindikasikan adanya multikollinieritas. Jika variabel bebas berkorelasi kuat (misal, |r| > 0,7), maka tidak dapat diketahui efek variabel bebas tertentu terhadap variabel tak bebas secara terpisah. Jika estimasi persamaan regresi digunakan hanya untuk keperluan prediksi, maka multikolinearitas umumnya bukan masalah serius.55


Regresi dengan Variabel Bebas Kualitatif/Kategorik

Dibuat Indicator variable/Dummy variabel yaitu mengkuantitatifkan data kualitatif, dengan kode 0 atau 1 Bila satu variabel bebas memiliki k kategori, maka akan dibuat sebanyak (k-1) variabel indikator, yg masing2 bernilai 0 atau 1 Selanjutnya pendugaan dan pengujian parameter ekivalen dengan regresi berganda


56

PEMILIHAN MODEL REGRESI TERBAIK1. Backward Elimination Tahap pertama akan memasukkan semua variable bebas X, kemudian secara bertahap akan mengeluarkan satu-persatu X yang tidak potensial. Prosedur seleksi akan terhenti bila dikeluarkannya suatu variable bebas tidak lagi secara significant mereduksi SSE atau menambah nilai R2.


57

PEMILIHAN MODEL REGRESI TERBAIK2. Forward Elimination, Metoda ini bekerja berkebalikan dari metoda backward dan dimulai dengan memasukkan variabel bebas yang memiliki korelasi paling erat dengan variabel tak bebasnya (variabel yang paling potensial untuk memiliki hubungan linier dengan Y ). Kemudian secara bertahap memasukkan variabel bebas yang petensial berikutnya. Prosedur seleksi akan terhenti sampai tidak ada lagi variabel bebas yang potensialAgung Priyo Utomo (STIS Jakarta) 58

PEMILIHAN MODEL REGRESI TERBAIK3. Stepwise Elimination Metoda stepwise memiliki prosedur yang hampir sama dengan metoda forward, hanya saja bila suatu variabel bebas telah masuk pada satu tahapan, dapat saja pada tahapan berikutnya variabel tersebut dikeluarkan karena menjadi tidak potensial lagi dibandingkan dengan variabel yang masuk model setelahnya.


59

REGRESI & KORELASI

Documents

Transcript of REGRESI & KORELASI