STK643 PEMODELAN NON-PARAMETRIK

Regresi Nonparametrik

REGRESI NONPARAMETRIK

Model: 𝑦 = 𝑚 𝑥 + 𝜀

dengan 𝑦 = peubah respon

𝑥 = peubah bebas (covariate)

𝜀 = galat dengan ragam 0 dan ragam σ2

REGRESI NONPARAMETRIK

Nadaraya-Watson kernel estimator:

𝑚 𝑥 = 𝐾

(𝑥𝑖 − 𝑥)ℎ

𝑦𝑖𝑛𝑖=1

𝐾(𝑥𝑖 − 𝑥)

ℎ𝑛𝑖=1

= 𝑤𝑖𝑦𝑖

𝑛

𝑖=1

𝑤𝑖 =1

𝑛ℎ

𝐾(𝑥𝑖 − 𝑥)

ℎ

𝑓 (𝑥)

𝑓 (𝑥) =1

𝑛ℎ 𝐾

(𝑥𝑖 − 𝑥)

ℎ

𝑛

𝑖=1

REGRESI NONPARAMETRIK

REGRESI NONPARAMETRIK

REGRESI NONPARAMETRIK

Teknik pemulusan dalam regresi nonparametrik untuk

menduga kurva regresi :

1. Rataan bergerak (running mean);

2. Regresi sederhana (running line);

3. Regresi polinomial (running polynomial);

4. Kernel (Kernel smoothing); dan

5. Spline (spline smoothing).

REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)

Suatu pemulus yang sangat sederhana untuk menduga kurva regresi dengan rataan dari

k titik sekitar xi, disebut sebagai pemulus rataan bergerak atau rataan lokal dengan

pembobot Wni(x) bernilai 1

f k(xi)=1

k yj

{j:xj∈N xj }

di mana N(xi) adalah tetangga terdekat simetrik (symmetric nearest neighborhood)

sekitar xi, yaitu sejumlah (k-1)/2 titik terdekat di bawah xi dan (k-1)/2 titik terdekat di

atas xi.

REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)

Algoritma

1. Urutkan data x dari nilai terkecil sampai dengan terbesar

2. Tentukan k titik data sekitar xi.

3. Pemulus rataan dihitung untuk setiap xi sebagai berikut:

a. Tentukan indeks batas bawah i1=maksimum{(i-(k-1)/2); 1}

b.Tentukan indeks batas atas i2=minimum{(i+(k-1)/2); n}

c. Tentukan pemulusnya:

𝑠 𝑘 𝑥𝑖 =1

𝑖1 − 𝑖2 + 1 𝑌𝑗

𝑖2

𝑗=𝑖1

REGRESI NONPARAMETRIK

𝑓 𝑥 = 𝑥3si n𝑥 + 3.4

2

***

***

*

*

*

*

*

***

**

**

*

*

*

***

*

*

*

*

**

*

*

**

*

*

*

*

*

*

****

***

*

*

*

*

*

**

**

*

*

**

*

*

*

*

***

***

***

**

*

****

*****

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

*

**

*

*

***

*

**

**

*

*

**

**

*

***

*

**

*

*

*****

*

*

*

******

*

***

**

***

****

*

*

**

**

*

*

***

**

*

*

**

*

*

*

***

*

*

**

**

**

**

*

***

**

***

-3 -2 -1 0 1 2 3

-8-6

-4-2

02

4

Data Simulasi

Prediktor

Re

spo

n

REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Pemulusan Rataan Lokal

Prediktor

Re

sp

on

k = 15

k = 25

k = 15

k = 25

REGRESI NONPARAMETRIK 2. REGRESI SEDERHANA (RUNNING LINE)

Pemulus garis bergerak pada suatu xi adalah 𝑠 𝑘 𝑥𝑖

= 𝑙𝑖(𝑥𝑖), di mana

li x =y i+βi x−x

dengan y i, x i, dan β i adalah rataan respon, rataan prediktor, dan penduga kemiringan

garis regresi, untuk data dalam N(xi). Persamaan garis regresi sederhana lokal ini diduga

dengan metode kuadrat terkecil.

REGRESI NONPARAMETRIK 2. REGRESI SEDERHANA (RUNNING LINE)

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Pemulusan Garis Lokal

Prediktor

Re

spo

n

k = 15

k = 25

REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)

Pemulus polinomial dilakukan berdasarkan fungsi polinomial f(x)

berderajat atau berordo p berikut:

f x =b0+b1x+b2x2+…+bpx

p

Pendugaan fungsinya pada suatu titik tertentu x0 menggunakan metode kuadrat terkecil terboboti dengan pembobotan terhadap pengamatan-pengamatan sekitar titik x0.

REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)

Fungsi pembobot yang digunakan adalah fungsi tricube berikut.

𝑊 𝑧 = 1 − |𝑧|3 3 𝑢𝑛𝑡𝑢𝑘 |𝑧| < 1

0 𝑢𝑛𝑡𝑢𝑘 |𝑧| ≥ 1

Dalam hal ini 𝑧𝑖 = 𝑥𝑖 − 𝑥0 /ℎ, di mana h adalah lebar jendela (jarak terjauh dari xi) yang mencakup pengamatan-pengamatan untuk regresi lokal.

REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Pemulus Polinomial Ordo 2

Prediktor

Re

spo

n

span = 0.1span = 0.2

span = 0.3

REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)

Pemulusan spline akan menghasilkan kurva yang lebih mulus daripada

pemulus-pemulus sebelumnya. Pemulus spline termasuk ke dalam

kategori pemulus linier. Metode pemulusan spline menduga fungsi f (x)

dengan cara meminimumkan 𝑄𝜆(𝑓 ) seperti berikut.

Qλ(f )= Yi−f

xi2

n

i=1

+λ f "(x)2

xn

x1

dx

di mana 𝑓 "(𝑥) adalah turunan kedua dari 𝑓 𝑥 , dengan data yang telah diurutkan dari terkecil (x1) sampai terbesar (xn).

REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)

f adalah potongan polinomial kubik pada setiap selang (xi, xi+1), yaitu

f x = h

λi+hsi(x)

n

i=1

dengan si(x) adalah interpolant dari μi untuk i=1,2,...,n.

REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Pemulusan Spline

Prediktor

Re

sp

on

knot = 5knot = 15

knot = 25

REGRESI NONPARAMETRIK SELANG KEPERCAYAAN

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Polinomial Lokal (Loess - derajat 2)

Prediktor

Re

sp

on

lowess dan loess (locally weighted scatterplot smoother)