1

BASIT REGRESYON MODELI

Huseyin Tastan1

1Yıldız Teknik UniversitesiIktisat Bolumu

Ders Kitabı:Introductory Econometrics: A Modern Approach (2nd ed.)

J. Wooldridge

14 Ekim 2012

2

Basit Regresyon Modeli

Basit Regresyon Modeli

y = β0 + β1x+ u

I y: bagımlı degisken

I x: acıklayıcı degisken

I Iki degiskenli regresyon modeli (bivariate regression model),tek acıklayıcı degiskenli model, basit regresyon modeli (simpleregression model)

I Amac: bagımlı degisken y’yi, bagımsız degisken x ileacıklamak.

I Regression teriminin orijini: Galton’un ortalamaya donus(regress) yasası

3

Basit Regresyon Modeli

Degiskenlere birbirinin yerine kullanabilen cesitli isimler verilmistir:

Terminolojiy x

Bagımlı degisken Bagımsız degisken(Dependent variable) (Independent variable)Acıklanan degisken Acıklayıcı degisken(Explained variable) (Explanatory variable)

Tepki degiskeni Kontrol degiskeni(Response variable) (Control variable)

Tahmin edilen degisken Tahmin eden degisken(Predicted variable) (Predictor variable)

Regressand Regressor

4

Basit Regresyon Modeli: y = β0 + β1x+ u

Rassal Hata Terimi u (Error term - Disturbance term)

Bagımlı degisken y uzerinde etkili olan x’in dısındaki digerfaktorleri temsil eder. Bu diger etkenlere gozlenemeyen(unobserved) faktorler denir.

Egim Katsayısı β1

I Eger u’da yer alan diger faktorler sabit tutulursa, yani ∆u = 0kabul edilirse x’in y uzerindeki etkisi asagıdaki gibi bulunabilir:

∆y = β1∆x

I β1: Diger faktorler sabitken (ceteris paribus) x’deki bir birimdegismenin y’de yaratacagı degisimi gosterir.

Sabit terim (intercept) β0

x = 0 iken y’nin alacagı degeri gosterir.

5

Basit Regresyon Modeli Ornekler

Tarımsal uretim ve gubre kullanımı

yield = β0 + β1fertilizer + u

yield: soya fasulyesi uretim miktarıfertilizer: gubre miktarı

Egim Katsayısı β1

∆yield = β1∆fertilizer

Ceteris Paribus gubre miktarındaki 1 birimlik degisim, cıktı duzeyiniβ1 kadar degistirir.

Rassal hata terimi uSoya fasulyesi cıktısını etkileyen, gubre dısındaki, yagmur miktarı,topragın kalitesi gibi tum faktorlerin ortak etkisini gosterir.Ceteris Paribus ⇔ Holding all other factors fixed ⇔ ∆u = 0

6

Basit Regresyon Modeli Ornekler

Basit Ucret Denklemi

wage = β0 + β1educ+ u

wage: saat basına ucretler (dolar); educ: egitim duzeyi (yıl)

Egim Katsayısı β1

∆wage = β1∆educ

Ceteris Paribus egitim duzeyindeki 1 yıllık degisim, saat basınaucretleri β1 $ kadar degistirir.

Rassal hata terimi uUcretleri etkileyen egitim dısındaki diger faktorler?Isgucu piyasasındaki tecrube, dogustan gelen yetenek, su ancalısılan yerdeki kıdem, is etigi, alınan egitimin kalitesi, calısanıncinsiyeti, etnik kokeni, kır ya da kente yasaması, medeni hali, cocuksayısı, dıs gorunusu vs. gibi cok sayıda faktor ucretleri etkileyebilir.

7

Dogrusallık (Linearity)

I Basit regresyonun dogrusal (linear) olması su anlamagelmektedir: x’deki 1 birimlik degismenin y’de meydanagetirecegi etki, x’in baslangıc (initial) degeri ne olursa olsun,aynıdır (sabittir).

I Bu sabit etki varsayımı uygulamada cogu zaman gerceklereuymaz.

I Ornegin, olcege gore artan ya da azalan getiri dogrusalmodelle acıklanamaz.

I Ucret denkleminde, ilave bir yıl egitimin etkisi onceki egitimduzey(ler)ine gore daha fazla olacaktır.

I Benzer sekilde tecrube duzeyi ucretler uzerinde once artansonra azalan bir etkiye sahip olabilir.

I Bu ve buna benzer etkilerin kolayca nasıl modelleneceginidaha sonra gorecegiz.

8

Ceteris Paribus cıkarımlarının yapılabilmesi icin gereklivarsayımlar

1. Hata teriminin anakutle ortalamasının sıfır olması

I Basit regresyonda sabit terim (β0) mevcut oldugu surece suvarsayımı yapabiliriz:

E(u) = 0

I Bu, u’nun icerdigi gozlenemeyen (unobservables) etkilerindagılımıyla ilgili bir varsayımdır. u’ların bir kısmı +, bir kısmı− isaretlidir ve bunlar birbirlerini gotururler diye varsayıyoruz.

I β0’ı yeniden tanımlayarak bu varsayımın gerceklesmesini herzaman saglayabiliriz.

9

Ceteris Paribus cıkarımlarının yapılabilmesi icin gereklivarsayımlar

2. Hata terimi u ile acıklayıcı degisken x’in iliskisiz olmasıkosulu

I x’in y uzerindeki etkisini gorebilmemiz icin u’da icerilengozlenemeyen faktorlerin aynı -sabit- kalmaları (ceteris paribuskosulu) gerekli idi. Bundan nasıl emin olabiliriz?

I Bunun icin x ile u’nun iliskisiz olması gereklidir. Ancak, u hemx ile, hem de x’in herhangi bir fonksiyonu ( ornegin x2,

√x

vs.) ile iliskisiz olmalı.

I Bunun icin Sıfır Kosullu Ortalama (Zero Conditional Mean)varsayımını yapmamız gerekmektedir:

E(u|x) = E(u) = 0

10

Sıfır Kosullu Ortalama Varsayımı

Hata terimi u ile acıklayıcı degisken x’in iliskisiz olması kosulu

E(u|x) = E(u) = 0

I Burada u ve x tesadufi degiskenlerdir (random variables). Bunedenle, x’in verilen herhangi bir degeri icin u’nun kosulludagılımını tanımlayabiliriz.

I x’in verilen belli bir degerine anakutlenin (population) belli birdilimi (kısmı) karsılık gelir. Buradan hareketle u’nun bupopulasyon dilimi icindeki beklenen degerini (ortalamasını)alabiliriz.

I Burada kritik varsayım, u’nun ortalama degerinin x’in alacagıdegere baglı olmamasıdır.

I x’in verilen herhangi bir degeri icin gozlenemeyen faktorlerinortalaması aynıdır ve dolayısıyla da u’nun tum anakutledekiortalama degerine (sıfıra) esittir.

11

Sıfır Kosullu Ortalama Varsayımı: Ornek

Ucret Denklemi:

wage = β0 + β1educ+ u

I Bu regresyonda u calısanların dogustan gelen yetenegini(innate ability) icersin. Bunu abil ile gosterelim.

I E(u|x) varsayımı tum egitim seviyelerinde dogustan gelenyetenegin aynı oldugunu soyler:

E(abil|educ = 8) = E(abil|educ = 12) = . . . = 0

I Eger egitimle dogustan yetenegin iliskili oldugunudusunuyorsak (daha yetenekliler okulda da daha iyiler), buhalde varsayım saglanamaz.

I Dogustan yetenegi gozlemleyemedigimiz icin de ortalamadogustan yetenegin tum egitim seviyelerinde aynı olupolmadıgını bilemeyiz.

12

Sıfır Kosullu Ortalama Varsayımı: Ornek

Tarımsal uretim-gubre kullanımı deneyi:

I Soya fasulyesi gubre deneyini hatırlayalım. Arazi esit parcalarabolunup rassal olarak herbirine farklı miktarlarda gubreuygulanıyordu.

I Eger gubre miktarları bu toprak parcalarının ozelliklerindeniliskisiz olarak belirleniyorsa sıfır kosullu ortalama varsayımısaglanır.

I Ancak, yuksek kaliteli toprak parcalarına yuksek miktardagubre uygulanırsa hata teriminin beklenen degeri gubre miktarıile birlikte artar.

I Bu durumda sıfır kosullu ortalama varsayımı saglanamaz.

13

Populasyon (Anakutle) Regresyon Fonksiyonu (PRF)

I Basit regresyon modelinde y’nin x’e gore kosullu beklenendegerini alalım:

E(y|x) = β0 + β1x+ E(u|x)︸ ︷︷ ︸=0

= β0 + β1x

I Buna PRF adı verilir. Acıktır ki, bagımlı degiskenin kosullubeklenen degeri x’in dogrusal bir fonksiyonudur.

I PRF’nin dogrusallıgı: x’deki 1 birimlik degisime karsılık y’ninkosullu beklenen degeri (kosullu ortalaması) β1 kadardegismektedir.

I Verilmis bir x duzeyinde y’nin dagılımının merkezi E(y|x)’dir.

Populasyon Regresyon Fonksiyonu (PRF)

15

Bagımlı degiskenin sistematik ve sistematik olmayankısımları

I Basit regresyon modelinde

y = β0 + β1x+ u

E(u|x) = 0 varsayımı gecerliyken bagımlı degisken y’yi ikikısıma ayırmak mumkundur:

I Sistematik kısım: β0 + β1x. Bu y’nin x tarafından acıklanankısmıdır.

I Sistematik olmayan kısım: u. Bu ise y’nin x tarafındanacıklanamayan kısmıdır.

16

Sıradan En Kucuk Kareler Tahmin Edicileri

I Bilinmeyen populasyon parametreleri (β0, β1) veriledenhareketle nasıl tahmin edilebilir?

I Populasyondan n gozlemli (hacimli) bir rassal orneklem(random sample) cektigimizi dusunelim:

{yi, xi : i = 1, 2, . . . , n}

I Regresyon modelini herbir gozlem icin asagıdaki gibiyazabiliriz:

yi = β0 + β1xi + ui, i = 1, 2, . . . , n

I Bu durumda elimizde iki bilinmeyenli n denklem olacaktır.

17

Anakutle Katsayılarının (β0, β1) Tahmini

yi = β0 + β1xi + ui, i = 1, 2, . . . , n

Iki bilinmeyenli n denklem:

y1 = β0 + β1x1 + u1

y2 = β0 + β1x2 + u2

y3 = β0 + β1x3 + u3

... =...

yn = β0 + β1xn + un

Rassal Orneklem Ornek: Tasarruflar ve Gelir SerpilmeCizimi

19

Anakutle Katsayılarının (β0, β1) Tahmini: MomentlerYontemi

Ceteris Paribus cıkarımlarının yapılabilmesi icin gerekli iki varsayımyapmıstık:

E(u) = 0

Cov(x, u) = E(xu) = 0

NOT: E(u|x) = 0 ise tanım geregi Cov(x, u) = 0 olur, ancak tersidogru olmayabilir. E(u) = 0 oldugundan yine tanım geregiCov(x, u) = E(xu). Bu varsayımları ve u = y − β0 − β1x bilgisinikullanarak Populasyon Moment Kosullarını olusturabiliriz:

E(y − β0 − β1x) = 0

E[x(y − β0 − β1x)] = 0

2 denklem, 2 bilinmeyen

20

Momentler Yontemi: Orneklem Moment Kosulları

Populasyon moment kosulları

E(y − β0 − β1x) = 0

E[x(y − β0 − β1x)] = 0

yerine bunların orneklem (sample) analoglarını yazarsak:

1

n

n∑i=1

(yi − β0 − β1xi) = 0

1

n

n∑i=1

xi(yi − β0 − β1xi) = 0

Orneklem verilerini kullanarak ortaya cıkan bu sistemi β0 ve β1 icincozebiliriz. Burada parametrelerin uzerinde sapka olduguna dikkatedilmelidir. Artık elimizde bilinmeyen sabit sayılar degil, cekilenornekleme gore degisen rassal degiskenler vardır.

21

Momentler Yontemi: Orneklem Moment Kosulları

Toplam operatorunun ozelliklerini kullanarak birinci orneklemkosulundan hareketle

y = β0 + β1x

yazılabilir. Burada y ve x orneklem ortalamalarıdır.Buradan,

β0 = y − β1x

yazılabilir. Bunu ikinci orneklem moment kosulunda yerine koyupcozersek egim katsayısı tahmincisini bulabiliriz.

22

Momentler Yontemi

2. moment kosulunu n ile carptıktan sonra β0’yı yerine koyarsak:

n∑i=1

xi(yi − (y − β1x)− β1xi) = 0

olur. Bu ifadeyi yeniden duzenleyerek

n∑i=1

xi(yi − y) = β1

n∑i=1

xi(xi − x)

yazabiliriz.

23

Egim Katsayısının Tahmincisi

β1 =

∑ni=1(xi − x)(yi − y)∑n

i=1(xi − x)2

Bunu elde ederken asagıdaki ozellikleri kullandık:

n∑i=1

xi(xi − x) =n∑i=1

(xi − x)2

n∑i=1

xi(yi − y) =

n∑i=1

(xi − x)(yi − y)

24

Egim Katsayısının Tahmincisi

β1 =

∑ni=1(xi − x)(yi − y)∑n

i=1(xi − x)2

1. Egim katsayısı tahmincisi x ile y’nin orneklem kovaryansının,x’in orneklem varyansına oranıdır.

2. β1’nın isareti orneklem kovaryansının isaretine baglıdır. Egerorneklemde x ile y aynı yonde iliskiliyse β1 pozitif isaretli, tersyonde iliskiliyse negatif isaretli olacaktır.

3. β1’nın hesaplanabilmesi icin x’de yeterli degiskenlik olmalıdır:n∑i=1

(xi − x)2 > 0

Eger orneklemde tum x’ler aynı degerleri alıyorsa orneklemvaryansı 0 olur. Bu durumda β1 tanımsız olur. Ornegin, ucretdenkleminde tum calısanlar 12 yıllık egitim duzeyine sahipseegitimin ucretler uzerindeki etkisi hesaplanamaz.

25

Sıradan En Kucuk Kareler (OLS - Ordinary Least Squares)

y’nin modelce tahmin edilen degerleri (fitted values):

yi = β0 + β1xi

Kalıntı (residual) terimleri gozlenen ile tahmin edilen y degerleriarasındaki farktır:

ui = yi − yi= yi − β0 − β1xi

Kalıntı terimi, hata terimi ile karıstırılmamalıdır. u gozlenemeyenbir rassal degiskendir. u ise modelce tahmin edilen bir buyukluktur.

OLS-SEKK amac fonksiyonu

OLS yontemi kalıntı kareleri toplamını en kucuk yapacak sekildetahmincileri secer:

minβ0,β1

n∑i=1

u2i

Kalıntılar

27

Sıradan En Kucuk Kareler (OLS - Ordinary Least Squares)

OLS-SEKK amac fonksiyonu

OLS yontemi kalıntı kareleri toplamını (SSR) en kucuk yapacaksekilde tahmincileri secer:

minβ0,β1

SSR =n∑i=1

(yi − β0 − β1xi)2

OLS birinci sıra kosulları

∂SSR

∂β0

= −2n∑i=1

(yi − β0 − β1xi) = 0

∂SSR

∂β1

= −2n∑i=1

xi(yi − β0 − β1xi) = 0

Bu denklem sisteminin cozumu Momentler Yontemi cozumu ileaynıdır. Orneklem moment kosullarının −2n ile carpılmıs haliolduguna dikkat ediniz.

28

Populasyon ve Orneklem Regresyon Fonksiyonları

Populasyon Regresyon Fonksiyonu - PRF

E(y|x) = β0 + β1x

PRF tektir ve bilinmez.

Orneklem Regresyon Fonksiyonu (Sample Regression Function- SRF)

y = β0 + β1x

SRF, PRF’nin bir tahmini olarak dusunulebilir. Egim katsayısınınyorumu:

β1 =∆y

∆x

ya da∆y = β1∆x

29

Basit Regresyon Ornek: Yonetici Maasları ve FirmaPerformansı

I Firma performansı ile yoneticilerin kazancları arasındaki iliskiyiolcmek istiyoruz. Model:

salary = β0 + β1roe+ u

I salary: yıllık yonetici maasları (1000 US$), roe: son uc yıla aitsermaye karlılık oranı (return on equity), %

I GRETL ceosal1.gdt dosyasında yer alan n = 209 firmaverisinden hareketle ORF asagıdaki gibi tahmin ediliyor:

salary = 963.191 + 18.501roe

I β1 = 18.501. Yorum: Sermaye karlılık oranındaki %1 puanlıkartıs ortalama yonetici maaslarını yaklasık 18.501 birim, yani18,501 US$ arttırır (ceteris paribus).

Yonetici Maasları - ORF

0

2000

4000

6000

8000

10000

12000

14000

16000

0 10 20 30 40 50

sala

ry

roe

salary versus roe (with least squares fit)

Y = 963. + 18.5X

Yonetici Maasları - ORF Yonetici Maasları - Tahmin edilen degerler, kalıntılar

33

OLS (SEKK) Tahmin Edicilerinin Cebirsel Ozellikleri

I OLS kalıntılarının toplamı ve dolayısıyla da ornek ortalamasısıfıra esittir:

n∑i=1

ui = 0, ¯u = 0

Bu birinci orneklem moment kosulunun sonucudur.

I Acıklayıcı degisken x ile kalıntı terimleri arasındaki orneklemkovaryansı sıfırdır:

n∑i=1

xiui = 0

Bu da ikinci orneklem moment kosulunun sonucudur.

I (x, y) noktası daima OLS regresyon dogrusu uzerine duser.

I Tahmin edilen y degerlerinin ortalaması, gozlenen ydegerlerinin ortalamasına esittir: y = ¯y

34

Kareler Toplamları (Sum of Squares)

I Her bir i gozlemi icin

yi = yi + ui

Her iki tarafın orneklem ortalamalarından farklarının karesinialıp toplarsak asagıdaki buyuklukleri elde ederiz:

I Toplam Kareler Toplamı (SST: Total Sum of Squares)

SST =

n∑i=1

(yi − y)2

I Acıklanan Kareler Toplamı (SSE: Explained Sum of Squares)

SSE =n∑i=1

(yi − y)2

I Kalıntı Kareleri Toplamı (SSR: Residual Sum of Squares)

SSR =n∑i=1

u2i

35

Kareler Toplamları (Sum of Squares)

I SST y’deki toplam degiskenligi verir.

SST =n∑i=1

(yi − y)2

Var(y) = SST/(n− 1) olduguna dikkat ediniz.I Benzer sekilde SSE modelce acıklanan kısımdaki degiskenligi

verir.

SSE =n∑i=1

(yi − y)2

I SSR ise kalıntılardaki degiskenligin bir olcutudur.

SSR =n∑i=1

u2i

I y’deki toplam degiskenlik asagıdaki gibi yazılabilir:

SST = SSE + SSR

36

Uyum Iyiligi (Goodness-of-fit)

I Tanım geregi y’deki toplam degiskenlik asagıdaki gibiyazılabilir:

SST = SSE + SSR

I Bu ifadenin her iki tarafını SST’ye bolersek:

1 =SSE

SST+SSR

SSTI Acıklanan kısmın degiskenliginin toplam degiskenlik icindeki

payı regresyonun determinasyon (belirlilik) katsayısıdır ve R2

ile gosterilir:

R2 =SSE

SST= 1− SSR

SSTI SSE hic bir zaman SST’den buyuk olamayacagı icin

0 ≤ R2 ≤ 1I R2 y’deki degiskenligin x tarafından acıklanan kısmının

yuzdesini verir. Regresyonun acıklama gucu yukseldikce R2 1’eyaklasır.

I R2 su sekilde de hesaplanabilir: R2 = Corr(y, y)2

37

Regresyona Dogrusal Olmayan (Nonlinear) Bicim Ekleme

I Dogrusal (linear) bicim cogu kez gercegi yansıtmaz. Bunedenle dogrusal-olmayan modellerle calısmak gerekebilir.

I Bagımlı ve bagımsız degiskeni uygun bicimde tanımlayarakbasit regresyonu (degiskenlerde) dogrusal-olmayan bir modeledonusturebiliriz.

I Regresyon modeli hala parametrelerde dogrusaldır.Parametrelerin dogrusal olmayan donusturmeleri kullanılmaz.

I Sıkca uygulanan bir yontem degiskenlerin dogal logaritmadonusturmesinin kullanılmasıdır. (log(y) = ln(y)).

I Degiskenlerin baska dogrusal olmayan donusturmeleri dekullanılabilir, e.g., karesel kalıp, kubik kalıp, ters kalıp, vs.

38

Parametrelerde Dogrusallık

I Bir regresyon modelinin dogrusallıgını x ve y’nin degilparametrelerin (β)’ların dogrusallıgı belirler.

I x ve y’nin log x, log y, x2,√x, 1/x, y1/4 gibi donusturmelerini

regresyonda kullanabiliriz. Modelimiz hala dogrusaldır.

I Ancak β’ların dogrusal olmayan donusturmelerinin yer aldıgımodeller dogrusal degildir ve OLS cercevesinde incelenemez.

I Ornegin asagıdaki modeller parametrelerde dogrusal degildir:

tuketim =1

β0 + β1gelir+ u

y = β0 + β21x+ u

y = β0 + eβ1x + u

39

Dogal Logaritma Donusturmesi Iceren Fonksiyon Kalıpları

Log-Level

log y = β0 + β1x+ u

∆ log y = β1∆x

%∆y = (100β1)∆x

Yorum: x’de meydana gelen bir birim degisime karsılık y, %(100β1)kadar degisir. Not: 100∆ log y = %∆y

Level-Log

y = β0 + β1 log x+ u

∆y = β1∆ log x

=

(β1

100

)100∆ log x︸ ︷︷ ︸

%∆x

Yorum: x’de meydana gelen %1 degisime karsılık y, (β1/100) birimkadar degisir (kendi birimi cinsinden).

40

Dogal Logaritma Donusturmesi Iceren Fonksiyon Kalıpları

Log-Log (Sabit Esneklik Modeli)

log y = β0 + β1 log x+ u

∆ log y = β1∆ log x

%∆y = β1%∆x

Yorum: Burada β1 y’nin x’e gore esnekligini verir. x’de meydanagelen %1 degisime karsılık y’de meydana gelen degisim %β1 olur.

%∆y

%∆x= β1

Ornek: Ucret-Egitim iliskisi, log(wage) = β0 + β1educ+ u42

Ucret-Egitim Iliskisi

-5

0

5

10

15

20

25

0 2 4 6 8 10 12 14 16 18

wag

e

educ

wage versus educ (with least squares fit)

Y = -0.905 + 0.541X

0

0.05

0.1

0.15

0.2

0 5 10 15 20 25

Rel

ativ

e fr

eque

ncy

wage

-1

-0.5

0

0.5

1

1.5

2

2.5

3

3.5

0 2 4 6 8 10 12 14 16 18

lwag

e

educ

lwage versus educ (with least squares fit)

Y = 0.584 + 0.0827X

0

0.05

0.1

0.15

0.2

-0.5 0 0.5 1 1.5 2 2.5 3

Rel

ativ

e fr

eque

ncy

lwage

43

Log-Level Basit Ucret Denklemi

logwage = 0.584(0.097)

+ 0.083(0.008)

educ

n = 526 R2 = 0.186

(standart hatalar parantez icindedir)

I Bu modelde egim katsayısını 100 ile carparak % olarakyorumlayabiliriz; 100× 0.083 = 8.3

I Bir yıllık fazladan egitim ortalama ucretleri yaklasık %8.3arttıracaktır. Buna ilave bir yıllık egitimin getirisi (return toanother year of education) denir.

I YANLIS: ilave bir yıllık egitim logwage’i %8.3 arttırır. Burada%8.3 artan logwage degil wage’dir.

I R2 = 0.186 Egitim logaritmik ucretlerdeki degiskenliginyaklasık %18.6’sını acıklayabilmektedir.

44

Log-Log Ornek: Yonetici Maasları (ceosal1.gdt)

Model:log(salary) = β0 + β1 log(sales) + u

Tahmin sonucları:

log(salary) = 4.822(0.288)

+ 0.257(0.035)

log(sales)

n = 209 R2 = 0.211

(standart hatalar parantez icindedir)

I Yorum: Satıslarda meydana gelen %1 artıs CEO maaslarındaortalamada %0.257 artısa yol acmaktadır. Bir baska ifadeyle,yonetici maaslarının satıslara gore esnekligi 0.257 olaraktahmin edilmistir. Satıslarda yaklasık %4’luk bir artıs maasları%1 arttırmaktadır.

I R2 = 0.211 Log satıslar, log maaslardaki degiskenligin yaklasık%21.1’ini acıklayabilmektedir.

Dogal Logaritma Donusturmesi Iceren Fonksiyon Kalıpları:

Ozet

46

EKK(OLS) tahmin edicilerinin, β0, β1, istatistikselozellikleri

I Anakutleden cekilen farklı rasgele orneklerden bulacagımızOLS parametre tahmin degerlerinin dagılımları ne tur ozelliklergosterecektir?

I OLS tahmin edicilerinin ornekleme dagılımlarının ozelliklerinelerdir?

I Ilk olarak sonlu orneklem ozelliklerinden sapmasızlık veetkinliklerini inceleyecegiz.

I Hatırlarsak sapmasızlık ornekleme dagılımındaki ortalamanınbilinmeyen dogru degere esit oldugunu soyluyordu.

I Etkinlik ise ilgili tahmin edicinin varyansının o tahmin edicilerkumesi icinde en kucuk oldugu anlamına geliyordu.

47

OLS tahmincilerinin sapmasızlıgı

OLS t.e.’nin sapmasızlıgı icin asagıdaki varsayımlar gereklidir:

1. SLR.1: Model parametrelerde dogrusaldır: y = β0 + β1x+ u

2. SLR.2: Tahminde kullanılan veriler ilgili anakutleden rassalornekleme yoluyla secilmistir.

3. SLR.3: Sıfır Kosullu Ortalama: E(u|x) = 0. Rassal orneklemeicin bu varsayım sunu da zorunlu kılar:

E(ui|xi) = 0, ∀ i = 1, 2, . . . , n

4. SLR.4: x’de yeterli degiskenligin olması. Bu varsayım x’inorneklem varyansının 0 olmamasını gerektirir:

n∑i=1

(xi − x)2 > 0

48

OLS tahmincilerinin sapmasızlıgı

TEOREM:β’ların Sapmasızlıgı

SLR.1-SLR.4 varsayımları altında OLS tahmin edicileri sapmasızdır:

E(β0) = β0, E(β1) = β1

ISPAT:

Sapmasızlık OLS tahmin edicilerinin ornekleme dagılımlarının ortanoktasının (beklentisinin) bilinmeyen populasyon parametrelerineesit oldugunu soyler.

49

Sapmasızlık Uzerine Notlar

I Sapmasızlık tekrarlanan orneklerden bulunan cok sayıdaki β0

ve β1 tahminlerine ait ornek dagılımlarının (samplingdistributions) bir ozelligidir.

I Dolayısıyla, tek bir orneklemden (ki cogu kez boyledir)hareketle hesaplanan betasapkalarla ilgili olarak hicbir seysoylemez. Bilinmeyen kitle parametrelerinden cok uzak birtahmin de elde edebiliriz.

I Yukarıda yaptıgımız 4 varsayımdan biri veya bir kacısaglanamazsa sapmasızlık ozelligi gecerli olmaz.

I Dogrusallıgın ve rassal orneklemenin olmaması, u’nun icerdigifaktorlerin x ile iliskili olmaları (ki, sahte (spurious)korelasyona sebep olur) durumlarında sapmalı tahminediciler elde edilir.

50

OLS’nin Sapmasızlıgı: Basit Bir Monte Carlo Deneyi

I Veri uretim sureci:

y = 1 + 0.5x+ 2×N(0, 1)

I Gercek populasyon parametreleri biliniyor: β0 = 1, β1 = 0.5,u = 2×N(0, 1). Burada N(0, 1) standart normal dagılımdancekilen rassal sayıyı ifade etmektedir.

I Benzer sekilde x’ler Uniform dagılımdan cekilsin:x = 10× Unif(0, 1)

I Simdi bu populasyon modelinde parametre degerlerinibilmedigimizi ve OLS yontemini kullanarak tahmin edecegimizidusunelim.

I GRETL programını kullanarak yukarıda belirtilen dagılımlardanrassal sayılar turetip cok sayıda ornekler elde edebilir ve herornek icin OLS tahminlerini bir dosya icinde kaydedebiliriz.

I Bu basit bir Monte Carlo deneyidir. Tahmin edicilerin, testistatistiklerinin ornekleme dagılımlarının elde edilmesindesıklıkla kullanılır.

51

OLS’nin Sapmasızlıgı: Basit Bir Monte Carlo Deneyi

nulldata 50

seed 123

genr x = 10 * uniform()

loop 1000

genr u = 2 * normal()

genr y = 1 + 0.5 * x + u

ols y const x

genr a = $coeff(const)

genr b = $coeff(x)

genr r2 = $rsq

store MC1coeffs.gdt a b

Endloop

Sabit Terimin OLS t.e.’nin Ornekleme Dagılımı

Egim Katsayısının OLS t.e.’nin Ornekleme Dagılımı54

OLS Tahmincilerinin Varyansı

I OLS t.e., β0 ve β1’nın sapmasızlıgı icin SLR.1-SLR.4varsayımları gerekli ve yeterliydi.

I OLS tahmincilerinin sonlu orneklem ozelliklerinden etkinligintesis edilebilmesi va tahmincilerin varyans ve standarthatalarının belirlenebilmesi icin bir varsayıma daha ihtiyacduyulur.

I SLR.5: Sabit Varyans (Homoscedasticity): Bu varsayımgozlenemeyen hata teriminin x’e kosullu varyansının sabit birsayı oldugunu soyler:

Var(u|x) = σ2

I Bu aynı zamanda kosulsuz varyanstır: Var(u) = σ2

I Bu varsayımla birlikte u ve x’in istatistiksel acıdan bagımsız(independent) oldugunu soyleyebiliriz: E(u|x) = E(u) = 0 veVar(u|x) = Var(u) = σ2

55

OLS Tahmincilerinin Varyansı

I SLR.3 ve SLR.5 varsayımları y’nin kosullu ortalama ve kosulluvaryansı ile de ifade edilebilir:

E(y|x) = β0 + β1x

Var(y|x) = σ2

I x verilmisken y’nin kosullu beklenen degeri x’in dogrusal birfonksiyonudur.

I x verilmisken y’nin kosullu varyansı sabittir ve hata terimininvaryansına esittir.

I σ2’ye kısaca hata varyansı (error variance) adı verilir.

Sabit Varyans (Homoscedasticity) Varsayımı Altında BasitRegresyon Modeli

Ucretlerin Degiskenliginin Egitim Duzeyine Gore ArttıgıDurum (Degisen Varyans - Heteroskedasticity)

58

OLS Tahmincilerinin Orneklem Varyansları

SLR.3 ve SLR.5 varsayımları altında egim katsayısının OLStahmincisinin orneklem varyansı:

Var(β1) =σ2∑n

i=1(xi − x)2=σ2

s2x

Sabit terimin OLS tahmincisinin orneklem varyansı

Var(β0) =σ2n−1

∑ni=1 x

2i∑n

i=1(xi − x)2

I Bu varyans formulleri x degerlerine kosullu olarak turetilmistir.

I Degisen varyans durumunda (SLR.5 varsayımınınsaglanmaması) bu formuller gecersizdir.

I OLS tahmincilerin varyansları hata varyansı ile dogru orantılı,x’deki degiskenlikle ise ters orantılıdır.

59

Hata Terimi ve Kalıntı Arasındaki Fark

I Hata terimi ile kalıntı terimi birbirine karıstırılmamalıdır.

I Hata terimi tıpkı populasyon parametreleri gibi gozlenemez vebilinemez:

yi = β0 + β1xi + ui

I Kalıntı ya da artık terimleri ise (residuals) verilerden hareketletahmin edilebilir:

yi = β0 + β1xi + ui

I Kalıntılar hata teriminin bir fonksiyonu olarak yazılabilir:

ui = yi − β0 − β1xi = β0 + β1xi + ui − β0 − β1xi

ui = ui − (β0 − β0)− (β1 − β1)xi

I Sapmasızlık ozelliginden hareketle E(u) = E(u) = 0 olacagıacıktır.

60

Hata Varyansının Tahmini

I σ2’nin sapmasız bir tahmincisini bulmak istiyoruz.I Varsayım geregi E(u2) = σ2 oldugundan hata varyansının

sapmasız bir tahmin edicisi :

1

n

n∑i=1

u2i

I Ancak u’ları da gozleyemedigimiz icin bunu kullanamayız. Bunedenle varyans tahmini OLS kalıntılarına dayandırılır:

1

n

n∑i=1

u2i =

SSR

n

I Ancak bu tahminci sapmalıdır. Serbestlik derecesiduzeltmesinin yapılması gerekir. Hata varyansının sapmasızbir tahmin edicisi sudur:

σ2 =1

n− 2

n∑i=1

u2i =

SSR

n− 2

I Serbestlik derecesi (degrees of freedom - dof) = gozlem sayısı- parametre sayısı = n-2

61

OLS Tahmincilerinin Standart Hataları

I Hata varyansının karekokune regresyonun standart hatası(standard error of regressin) denir:

σ =√σ2 =

√√√√ 1

n− 2

n∑i=1

u2i =

√SSR

n− 2

I σ hata kareleri ortalaması karekoku olarak da adlandırılır (rootmean squared error).

I Egim katsayısının OLS tahmincisinin standart hatası:

se(β1) =σ√∑n

i=1(xi − x)2=

σ

sx

62

Orijinden Gecen Regresyon

I Bazı durumlarda x = 0 iken y = 0 olsun isteriz. Ornegin, gelirsıfırken vergi tahsilatı da sıfır olacaktır.

I Modeli sabit terimsiz olarak su sekilde kurabiliriz: y = β1x.Sabit terimli modelden ayırmak icin sapka yerine tildekullanıldıgına dikkat ediniz.

I OLS yontemi kalıntı kareleri toplamını en kucuk yapar

minn∑i=1

(y − β1xi)2

I Buradan birinci sıra kosulu:n∑i=1

xi(y − β1xi) = 0

I Bu cozulurse orijinden gecen regresyonun egim tahmincisibulunur:

β1 =

∑ni=1 xiyi∑ni=1 x

2i