Analiza szeregów czasowych:

6. Liniowe modele niestacjonarne

P. F. Górahttp://th-www.if.uj.edu.pl/zfs/gora/

semestr letni 2007/08

Warunki stacjonarnosci modelu AR(p)

yn = β1yn−1 + β2yn−2 + · · ·+ βpyn−p + α0ηn . (1)

Proces (1) jest stacjonarny wtedy i tylko wtedy, gdy pierwiastki równania

λp − β1λp−1 − β2λp−2 − · · · − βp = 0 (2)

leza wewnatrz okregu jednostkowego. Jezeli którys pierwiastek lezy pozaokregiem jednostkowym, model wybucha.

Co sie dzieje, jesli jakis pierwiastek lezy na okregu jednostkowym? Model jestniestacjonarny, ale czy mozemy jakos sobie z tym poradzic?

6. Liniowe modele niestacjonarne 2

Trendy liniowe

Rozwazmy proces

yn+1 = yn + αηn (3)

Proces ten jest niestacjonarny, równanie (2) ma dla niego postac λ−1 = 0, aleszereg pierwszych róznic jest stacjonarny:

z(1)n ≡ yn+1 − yn = αηn (4)

jest stacjonarny!

Ogólnie, jesli zbudowany ze współczynników procesu wielomian wystepujacyw równaniu (2) ma postac (λ − 1)Bp(λ), gdzie Bp jest wielomianem stopniap, majacym wszystkie pierwiastki wewnatrz okregu jednostkowego, proces takinazywamy procesem ARIMA(1,p,0). Proces taki ma (lokalny) trend liniowy.6. Liniowe modele niestacjonarne 3

Trendy kwadratowe

Podobnie, jesli zbudowany ze współczynników procesu wielomian wystepujacyw równaniu (2) ma postac (λ − 1)2Bp(λ), gdzie Bp jest wielomianem stopniap, majacym wszystkie pierwiastki wewnatrz okregu jednostkowego, proces takinazywamy procesem ARIMA(2,p,0). Proces taki ma (lokalny) trend kwadratowy.Szereg jego drugich róznic jest stacjonarny.

Przykład:

yn+1 = 2yn − yn−1 + α0ηn (5a)

z(1)n ≡ yn+1 − yn = z

(1)n−1 + α0ηn (5b)

z(2)n ≡ z

(1)n − z

(1)n−1 = α0ηn (5c)

6. Liniowe modele niestacjonarne 4

Przykład szeregu z trendem liniowym

-90

-80

-70

-60

-50

-40

-30

-20

-10

0

10

0 64 128 192 256 320 384 448 512

time seriesfirst differences

Niestacjonarny szereg czasowy i stacjonarny szereg pierwszych róznic

6. Liniowe modele niestacjonarne 5

Przykład szeregu z trendem kwadratowym

0

1000

2000

3000

4000

5000

6000

0 64 128 192 256 320 384 448 512

time series

Niestacjonarny szereg czasowy

6. Liniowe modele niestacjonarne 6

-30

-20

-10

0

10

20

30

40

0 64 128 192 256 320 384 448 512

first differencessecond differences

Niestacjonarny szereg pierwszych róznic szeregu z poprzedniego rysunkui stacjonarny szereg drugich róznic

6. Liniowe modele niestacjonarne 7

“Empiryczny” sposób postepowania

Jesli domyslamy sie, ze badany szereg czasowy moze miec trend

liniowy, badamy szereg jego pierwszych róznic. Jesli szereg

pierwszych róznic jest niestacjonarny, badamy szereg drugich

róznic.

W praktycznych zastosowaniach szeregi z trendami liniowymi

i kwadratowymi na ogół wystarczaja, mozemy sie wiec ograniczyc

do badania pierwszych i drugich róznic.6. Liniowe modele niestacjonarne 8

Przykład szeregu z trendem szesciennym (nierealistyczny)

-300000

-200000

-100000

0

100000

200000

300000

400000

0 64 128 192 256 320 384 448 512

time series

-5000

-4000

-3000

-2000

-1000

0

1000

2000

3000

0 64 128 192 256 320 384 448 512

first differences

-50

-40

-30

-20

-10

0

10

20

30

0 64 128 192 256 320 384 448 512

second differencesthird differences

6. Liniowe modele niestacjonarne 9

Dopasowywanie modelu

• Z niestacjonarnego szeregu czasowego tworzymy stacjonarny szereg pier-wszych, ewentualnie drugich róznic.

• Do stacjonarnego szeregu róznic dopasowujemy model ARMA(p,q).

• Wyjsciowy szereg jest wówczas procesem typu ARIMA(p,d,q), gdzie d ozna-cza rzad róznicy, jaki był potrzebny do uzyskania szeregu stacjonarnego.

• “I” w nazwie ARIMA oznacza “Integrated” — wycałkowany, czyli wysumo-wany.

6. Liniowe modele niestacjonarne 10

Przykład

-2.0

-1.5

-1.0

-0.5

0.0

0.5

1.0

0 128 256 384 512 640 768 896 1024

-0.5

0.0

0.5

0 128 256 384 512 640 768 896 1024

Niestacjonarny szereg czasowy i stacjonarny szereg pierwszych róznic

6. Liniowe modele niestacjonarne 11

-1

-0.5

0

0.5

1

0 2 4 6 8 10 12 14 16

Funkcja korelacji ρk i funkcja korelacji czastkowej ϕkk dla szeregu pierwszychróznic z poprzedniego rysunku. Uznajemy, iz ϕ33 ' 0.

6. Liniowe modele niestacjonarne 12

Poniewaz ϕ33 ' 0, przyjmujemy, ze szereg pierwszych róznic jest proce-sem AR(p = 2). Z równan Yule’a-Walkera obliczamy β1 = −0.849523,β2 = −0.165224. Wielomian okreslajacy stabilnosc szeregu pierwszych róz-nic dany jest przez λ2−β1λ−β2, a wobec tego wielomian okreslajacy stabilnoscprzecałkowanego procesu dany jest przez (λ−1)(λ2−β1λ−β2), a zatem ba-dany proces jest procesem ARIMA(2,1,0). Natezenie szumu szacujemy liczacpierwiastek z wariancji szeregu pierwszych róznic. Ostatecznie dla badanegoprocesu otrzymujemy

yn+1 = 0.150477 yn + 0.684299 yn−1 + 0.165224 yn−2 + 0.189055 ηn

(6)

Proces, którego uzyto do wygenerowania tego przykładu, miał postac

yn+1 = 0.166667 yn + 0.666667 yn−1 + 0.166667 yn−2 + 0.125000 ηn

6. Liniowe modele niestacjonarne 13

Gdy szum jest silniejszy, sytuacja moze sie pogorszyc

-4.0

-2.0

0.0

2.0

4.0

6.0

8.0

10.0

12.0

64 128 192 256 320 384 448 512 576 640 704 768 832 896 960 1024

-2.0

-1.0

0.0

1.0

2.0

64 128 192 256 320 384 448 512 576 640 704 768 832 896 960 1024

Niestacjonarny szereg czasowy i stacjonarny szereg pierwszych róznic

6. Liniowe modele niestacjonarne 14

-1

-0.5

0

0.5

1

0 2 4 6 8 10 12 14 16

Funkcja korelacji ρk i funkcja korelacji czastkowej ϕkk dla szeregu pierwszychróznic z poprzedniego rysunku.

6. Liniowe modele niestacjonarne 15

W tym wypadku tez moglibysmy na oko uznac, ze ϕ33 ' 0, a zatem, ze sze-reg pierwszych róznic mozna opisac procesem AR(2). Ale czy istnieje jakieskryterium pozwalajace rozstrzygnac o rzedzie modelu?

6. Liniowe modele niestacjonarne 16

Kryterium Akaike

AIC — Akaike Information Criterion

Jest jasne, ze jesli do danych dopasowujemy rózne model, dopasowanie bedzietym lepsze, im wiecej swobodnych parametrów bedziemy mieli do dyspozycji.Z drugiej strony modele ze zbyt duza liczba swobodnych parametrów sa uwa-zane za niedobre. Powinnismy wiec jednoczesnie nagradzac dobre dopasowa-nie i „karac” za zbyt wiele parametrów. Zakładamy, ze błedy pochodza z rozkładunormalnego i ze dopasowanie przeprowadzamy metoda najmniejszych kwadra-tów.

6. Liniowe modele niestacjonarne 17

AIC = lnQ + 2p

N(7)

gdzie Q jest rezydualnym błedem: Przy dopasowywaniu modelu AR(p),

Q =∑n

zn −

p∑

j=1

βjzn−j

2

(8)

gdzie {βj}pj=1 sa dopasowanymi parametrami dla procesu rzedu p. Im wyzszep, tym, potencjalnie, mniejsze Q, ale zarazem tym wiekszy jest człon 2p/N .Dobieramy takie p, aby AIC było najmniejsze.

Uwaga: gdyby błedy nie pochodziły z rozkładu normalnego, trzebaby przyjac inna definicje AIC.

6. Liniowe modele niestacjonarne 18

5.8

5.9

6

6.1

6.2

6.3

6.4

6.5

6.6

4 8 12 16 20 24 28 32

AIC

p

Kryterium Akaike sugeruje uzycie modelu AR(6).

6. Liniowe modele niestacjonarne 19

Dla n = 6 otrzymalibysmy β1 = −0.832051, β2 = −0.181079, β3 =

0.0407839, β4 = 0.0650440, β5 = 0.0504210, β6 = 0.0310754, a za-tem wyjsciowy szereg byłby procesem ARIMA(6,1,0) o parametrach

yn+1 = 0.167949 yn + 0.650972 yn−1 + 0.221863 yn−2

+ 0.024260 yn−3 − 0.014620 yn−4 − 0.081496 yn−5

− 0.031075 yn−6 + 0.700224 ηn (9)

Dla porównania, przyjecie p = 2 daje β1 = −0.831124, β2 = −0.189943

i dalej ARIMA(2,1,0):

yn+1 = 0.168876 yn + 0.641181 yn−1 + 0.189943 yn−2 + 0.700224 ηn

(10)co jest nieco gorszym przyblizeniem idealnych parametrów uzytych do wygene-rowania szeregu.

6. Liniowe modele niestacjonarne 20

Kryterium Akaike w “zwykłej” metodzie najmniejszych kwadratów

-1

0

1

2

3

4

5

6

0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0

y(x)

x

danegenerating function

Punkty wygenerowane według wzoru

yn = 0.125x3n + 0.25x2

n − 2.5xn + 3.0 + 0.5 ηn (11)

6. Liniowe modele niestacjonarne 21

-1

0

1

2

3

4

5

6

0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0

y(x)

x

dane

1.00276 x2- 3.71561 x + 3.45878 AIC = 1.003000

0.116057 x3 + 0.28466 x2 - 2.51242 x + 3.01371 AIC = 0.743705

-0.00220287 x4 + 0.134231 x3 + 0.235956 x2 - 2.46613 x + 3.00285 AIC = 0.806068

Wyniki dopasowaniaDopasowane krzywe trzeciego i czwartego stopnia — w skali rysunku nierozróznialne

6. Liniowe modele niestacjonarne 22

Szeregi sezonowe

Staramy sie zidentyfikowac okres, po czym tworzymy szereg odpowiednich róznic

-3

-2

-1

0

1

2

3

0 100 200 300 400 500

y n

n

szeregszereg 32-gich roznic

Do stacjonarnego szeregu róznic dopasowujemy jakis model ARMA

6. Liniowe modele niestacjonarne 23