STK643 PEMODELAN NON-PARAMETRIK NONPARAMETRIK Teknik pemulusan dalam regresi nonparametrik untuk...

Click here to load reader

  • date post

    29-Apr-2019
  • Category

    Documents

  • view

    216
  • download

    1

Embed Size (px)

Transcript of STK643 PEMODELAN NON-PARAMETRIK NONPARAMETRIK Teknik pemulusan dalam regresi nonparametrik untuk...

STK643 PEMODELAN NON-PARAMETRIK

Regresi Nonparametrik

REGRESI NONPARAMETRIK

Model: = +

dengan = peubah respon

= peubah bebas (covariate)

= galat dengan ragam 0 dan ragam 2

REGRESI NONPARAMETRIK

Nadaraya-Watson kernel estimator:

=

( )

=1

( )

=1

=

=1

=1

( )

()

() =1

( )

=1

REGRESI NONPARAMETRIK

REGRESI NONPARAMETRIK

REGRESI NONPARAMETRIK

Teknik pemulusan dalam regresi nonparametrik untuk

menduga kurva regresi :

1. Rataan bergerak (running mean);

2. Regresi sederhana (running line);

3. Regresi polinomial (running polynomial);

4. Kernel (Kernel smoothing); dan

5. Spline (spline smoothing).

REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)

Suatu pemulus yang sangat sederhana untuk menduga kurva regresi dengan rataan dari

k titik sekitar xi, disebut sebagai pemulus rataan bergerak atau rataan lokal dengan

pembobot Wni(x) bernilai 1

f k(xi)=1

k yj

{j:xjN xj }

di mana N(xi) adalah tetangga terdekat simetrik (symmetric nearest neighborhood)

sekitar xi, yaitu sejumlah (k-1)/2 titik terdekat di bawah xi dan (k-1)/2 titik terdekat di

atas xi.

REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)

Algoritma

1. Urutkan data x dari nilai terkecil sampai dengan terbesar

2. Tentukan k titik data sekitar xi.

3. Pemulus rataan dihitung untuk setiap xi sebagai berikut:

a. Tentukan indeks batas bawah i1=maksimum{(i-(k-1)/2); 1}

b.Tentukan indeks batas atas i2=minimum{(i+(k-1)/2); n}

c. Tentukan pemulusnya:

=1

1 2 + 1

2

=1

REGRESI NONPARAMETRIK

= 3si n + 3.4

2

***

***

*

*

*

*

*

***

**

**

*

*

*

***

*

*

*

*

**

*

*

**

*

*

*

*

*

*

****

***

*

*

*

*

*

**

**

*

*

**

*

*

*

*

***

***

***

**

*

****

*****

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

*

**

*

*

***

*

**

**

*

*

**

**

*

***

*

**

*

*

*****

*

*

*

******

*

***

**

***

****

*

*

**

**

*

*

***

**

*

*

**

*

*

*

***

*

*

**

**

**

**

*

***

**

***

-3 -2 -1 0 1 2 3

-8-6

-4-2

02

4

Data Simulasi

Prediktor

Re

spo

n

REGRESI NONPARAMETRIK 1. RATAAN BERGERAK (RUNNING MEAN)

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Pemulusan Rataan Lokal

Prediktor

Re

sp

on

k = 15

k = 25

k = 15

k = 25

REGRESI NONPARAMETRIK 2. REGRESI SEDERHANA (RUNNING LINE)

Pemulus garis bergerak pada suatu xi adalah

= (), di mana

li x =y i+i xx

dengan y i, x i, dan

i adalah rataan respon, rataan prediktor, dan penduga kemiringan

garis regresi, untuk data dalam N(xi). Persamaan garis regresi sederhana lokal ini diduga

dengan metode kuadrat terkecil.

REGRESI NONPARAMETRIK 2. REGRESI SEDERHANA (RUNNING LINE)

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Pemulusan Garis Lokal

Prediktor

Re

spo

n

k = 15

k = 25

REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)

Pemulus polinomial dilakukan berdasarkan fungsi polinomial f(x)

berderajat atau berordo p berikut:

f x =b0+b1x+b2x2++bpx

p

Pendugaan fungsinya pada suatu titik tertentu x0 menggunakan metode kuadrat terkecil terboboti dengan pembobotan terhadap pengamatan-pengamatan sekitar titik x0.

REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)

Fungsi pembobot yang digunakan adalah fungsi tricube berikut.

= 1 ||3 3 || < 1

0 || 1

Dalam hal ini = 0 /, di mana h adalah lebar jendela (jarak terjauh dari xi) yang mencakup pengamatan-pengamatan untuk regresi lokal.

REGRESI NONPARAMETRIK 3. REGRESI POLINOMIAL (RUNNING POLINOMIAL)

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Pemulus Polinomial Ordo 2

Prediktor

Re

spo

n

span = 0.1span = 0.2

span = 0.3

REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)

Pemulusan spline akan menghasilkan kurva yang lebih mulus daripada

pemulus-pemulus sebelumnya. Pemulus spline termasuk ke dalam

kategori pemulus linier. Metode pemulusan spline menduga fungsi f (x)

dengan cara meminimumkan ( ) seperti berikut.

Q(f )= Yif

xi2

n

i=1

+ f "(x)2

xn

x1

dx

di mana "() adalah turunan kedua dari , dengan data yang telah diurutkan dari terkecil (x1) sampai terbesar (xn).

REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)

f adalah potongan polinomial kubik pada setiap selang (xi, xi+1), yaitu

f x = h

i+hsi(x)

n

i=1

dengan si(x) adalah interpolant dari i untuk i=1,2,...,n.

REGRESI NONPARAMETRIK 5. SPLINE (SPLINE SMOOTHING)

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Pemulusan Spline

Prediktor

Re

sp

on

knot = 5knot = 15

knot = 25

REGRESI NONPARAMETRIK SELANG KEPERCAYAAN

*

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

*

*

*

*

**

*

*

*

***

*

*

***

*

*

*

*

*

***

*****

**

*

*

*

*

**

*

*

****

*

*

*

*

*

**

*

**

*

**

*

**

*

*

*

*

**

*

**

*

*

*

*

*

*

*

*

*

*

*

***

*

*

*

***

*

**

***

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**

**

*

*

**

*

*

**

*

**

*

*

**

*

**

*

*

*

*

*

***

***

*

*

**

*

***

*

***

*

*

*

*

**

**

**

*

*

*

*

*

*

*

*

*

*

*

**

*

*

-3 -2 -1 0 1 2 3

-50

5

Polinomial Lokal (Loess - derajat 2)

Prediktor

Re

sp

on

lowess dan loess (locally weighted scatterplot smoother)