Αυτο-συσχέτιση ( auto-correlation )

23
Αυτο-συσχέτιση (auto-correlation) • covariance («συνδιασπορά») και συντελεστής συσχέτισης (correlation coefficient) • αυτο-συσχέτιση (auto-correlation) • βασικά παραδείγματα

description

Αυτο-συσχέτιση ( auto-correlation ). covariance («συνδιασπορά») και συντελεστής συσχέτισης (correlation coefficient) αυτο-συσχέτιση (auto-correlation) βασικά παραδείγματα. Covariance («συνδιασπορά»). παράδειγμα : - PowerPoint PPT Presentation

Transcript of Αυτο-συσχέτιση ( auto-correlation )

Page 1: Αυτο-συσχέτιση  ( auto-correlation )

Αυτο-συσχέτιση (auto-correlation)

• covariance («συνδιασπορά») και συντελεστής συσχέτισης (correlation coefficient)

• αυτο-συσχέτιση (auto-correlation)• βασικά παραδείγματα

Page 2: Αυτο-συσχέτιση  ( auto-correlation )

Covariance («συνδιασπορά»)• παράδειγμα:

• έχουμε μετρήσει τη διάμετρο Δi και το ύψος Υi για Ν δέντρα, δηλ. έχουμε Ν ζεύγη μετρήσεων (Δi,Υi), i = 1,2,3, …, N

• ερώτηση: υπάρχει κάποια σχέση μεταξύ Δi και Υi, π.χ. «όσο πιο μεγάλο είναι Δi, τόσο πιο μεγάλο είναι Υi» ?

• πρώτος τρόπος απάντησης: γραφική παράσταση

ΔiΔi

Υi Υi

περίπτωση 1: περίπτωση 2:

υπάρχει σχέση,Υi ανάλογο του Δi

σχέση ?

Page 3: Αυτο-συσχέτιση  ( auto-correlation )

• ποσοτικός προσδιορισμός της σχέσης μεταξύ Δ και Υ:covariance («συνδιασπορά»)

• ερμηνεία:- Cov(Δ,Υ) > 0: αν Δ μεγάλο (μεγαλύτερο από μΔ) τότε και

Υ μεγάλο (μεγαλύτερο από μΥ), αν Δ μικρό τότε και Υ μικρό

- Cov(Δ,Υ) < 0: αν Δ μικρό (μικρότερο από μΔ) τότε Υ μεγάλο (μεγαλύτερο από μΥ), αν Δ μεγάλο τότε Υ μικρό

- Cov(Δ,Υ) = 0: Υ μικρό ή μεγάλο, ανεξάρτητα από το αν Δ είναι μικρό ή μεγάλο

• η τιμή της Cov εξαρτάται από τις τιμές (και μονάδες) των Δ και Υ, κάτι το οποίο δυσκολεύει την ερμηνεία της Cov: για ποιές τιμές της Cov μπορούμε να πούμε ότι η σχέση μεταξύ Δ και Υ είναι ισχυρή ή ασθενής ?

όπου

και

(μέσος όρος των Δi)

(μέσος όρος των Yi)

Page 4: Αυτο-συσχέτιση  ( auto-correlation )

ο συντελεστής συσχέτισης r (correlation coefficient)

• ή

(οι παράγοντες 1/(Ν-1) φεύγουν)

) τώρα -1 · r · 1

όπου

και

(η διασπορά των Δi)

(η διασπορά των Yi)

Page 5: Αυτο-συσχέτιση  ( auto-correlation )

• ο συντελεστής συσχέτισης

δίνει και το βαθμό της συσχέτισης:• r = 1 ή r = -1: μέγιστη συσχέτιση• r > 0: θετική συσχέτιση (αν Δ μεγάλο τότε και Υ μεγάλο,

αν Δ μικρό τοτε και Υ μικρό), τόσο πιο ισχυρή συσχέτιση όσο πιο κοντά είναι το r στο 1

• r < 0: αρνητική συσχέτιση, «αντι-συσχέτιση» (αν Δ μεγάλο τότε Υ μικρό, αν Δ μικρό τοτε Υ μεγάλο), τόσο πιο ισχυρή αντι-συσχέτιση όσο

πιο κοντά είναι το r στο -1

• r = 0: καμμία συσχέτιση

Page 6: Αυτο-συσχέτιση  ( auto-correlation )

συντελεστής συσχέτισης: εφαρμογή στις ΧΣ

• έστω μια ΧΣ X(ti)• σχηματίζουμε ζεύγη

(X(t1),X(t1+k)), (X(t2),X(t2+k)), (X(t3),X(t3+k)), ….. (X(tN-k),X(tN))δηλ. ζεύγη από την ΧΣ και την μετατοπισμένη κατά k ΧΣ

• συντελεστής αυτο-συσχέτισης

όπου ο μέσος όρος της ΧΣ

κ

tX(ti)

X(ti+k)

Page 7: Αυτο-συσχέτιση  ( auto-correlation )

συντελεστής αυτο-συσχέτισης: ιδιότητες

• κ = 0,1,2,3, …., N-1• το σύνολο των rk ονομάζεται (συνάρτηση) αυτο-

συσχέτιση(ς) [auto-correlation (function), acf]• r-k = rk

• r0 = (Ν-1)σ2Χ / (Ν-1)σ2

Χ = 1• πρόβλημα: για μεγάλα k έχουμε μόνο λίγους όρους

) rk έχει μεγάλο στατιστικό σφάλμα για μεγάλο k) στην πράξη παίρνουμε υπ’όψιν τα rk μόνο μέχρι περίπου Ν/4 ή το πολύ Ν/2

• -1 · rk · 1, για όλα τα k

Page 8: Αυτο-συσχέτιση  ( auto-correlation )

αυτο-συσχέτιση: ερμηνεία

• {rk} δίνει το μέτρο της συσχέτισης (correlation) παρατηρήσεων/μετρήσεων οι οποίες απέχουν κατά τοχρονικό διάστημα τκ

• {rk} εκφράζει κατά πόσο οι μετρήσεις με χρονική απόσταση τκ έχουν σχέση μεταξύ τους, δηλ. αν π.χ. Χ(ti) παίρνει μεγάλη τιμή τότε και Χ(ti+k) παίρνει μεγάλη τιμή, ή αντιθέτως παίρνει μικρή ή αρνητική τιμή, ή δεν επηρεάζεται καθόλου

• {rk} εκφράζει τη μνήμη της ΧΣ (καλύτερα: της διαδικασίας η οποία έχει παράγει την ΧΣ), δηλ. κατά πόσο το παρόν θυμάται το παρελθόν, και κατά πόσο το μέλλον θα επηρεαστεί από το παρόν

Page 9: Αυτο-συσχέτιση  ( auto-correlation )

αυτο-συσχέτιση, παράδειγμα:

αρχική ΧΣ:σαν θόρυβος, αλλάκαι με δομές(AR-1, a1=0.7, u2 [-1,1])

αυτο-συσχέτιση(acf), μέχρι Ν/4

acf, μέχρι k = 201/e

•η acf πέφτει μεν στο μηδέν, αλλά τα πρώτα rk > 0 ) η ΧΣ έχει μνήμη•υπάρχει χαρακτηριστικός χρόνος (characteristic time) = χρονικό διάστημα για το οποίο η ΧΣ θυμάται το παρελθόν της

Page 10: Αυτο-συσχέτιση  ( auto-correlation )

χαρακτηριστικός χρόνος

• υπάρχουν 3 βασικοί τρόποι για τον ορισμό του χαρακτηριστικού χρόνου c 1. c:= χρόνος όπου η acf περνάει πρώτη φορά από το μηδέν (c » 10.5)2. c:= χρόνος όπου η acf έχει το πρώτο ελάχιστο (c » 11)3. c:= χρόνος όπου η acf πέφτει κάτω από 1/e (e η σταθερή του Euler,

1/e » 0.37) (c » 2.5) • ποιόν ορισμό προτιμάμε εξαρτάται απά την εφαρμογή, συχνά ο «1/e

time» είναι μια καλή επιλογή – αιτία: συχνά η acf πέφτει εκθετικά

acf, μέχρι k = 20

acf, μέχρι k = 10log-linear

γραμμικό στο log-lin, rk » exp[-a k]

1/e

1/e

Page 11: Αυτο-συσχέτιση  ( auto-correlation )

ο χαρακτηριστικός χρόνος και η αρχική ΧΣ

αρχική ΧΣ, μέχρι 40

c » 10.5 (χρόνος όπου η acf περνάει πρώτη φορά από το μηδέν) c » 11 (χρόνος όπου η acf έχει το πρώτο ελάχιστο)c » 2.5 (χρόνος όπου η acf πέφτει κάτω από 1/e)

) συχνά μπορούμε να αναγνωρίσουμε τον χαρακτηριστικό χρόνο στηναρχική ΧΣ

10«ταλαντώσεις»

2.5μικρές δομές

Page 12: Αυτο-συσχέτιση  ( auto-correlation )

εναλλακτικός τρόπος παράστασης της συσχέτισης

Χ(ti)

Χ(ti)

X(ti+1)

X(ti+20)

γραφική παράσταση των ζευγών (X(ti), X(ti+k)), i = 1,2,3, …, N-k

k = 1

k = 20

γραμμική δομή,με θόρυβο

καμμία δομή,θόρυβος

Page 13: Αυτο-συσχέτιση  ( auto-correlation )

Ανάλυση: σύνοψη (μέθοδος του τρέχοντα μέσου όρου)

=

+

+

αρxική ΧΣ

τάση

περιοδικότητα(1o υπόλοιπο)

θόρυβος(2ο υπόλοιπο)

Page 14: Αυτο-συσχέτιση  ( auto-correlation )

αυτο-συσχέτιση, παράδειγμa: περιοδική ΧΣ

αρχική ΧΣ,X(ti) = 10 sin(2π ti/39.5)περιοδική

αυτο-συσχέτιση(acf), μέχρι Ν,δηλ. ολόκληρη η acf

η acf είναι περιοδική, όμως το πλάτος μικραίνει …

Page 15: Αυτο-συσχέτιση  ( auto-correlation )

Γιατί πέφτει το πλάτος ?

όσο μεγαλώνει το k, έχουμε λιγότεροyς όρους στο άθροισμα,rk έιναι «υποτιμημένο» (biased, underestimated), και το στατιστικό σφάλμα αυξάνει

) παίρνουμε υπ’όψιν τα rk μόνο μέχρι Ν/4 ή το πολύ Ν/2

εξ’αλλου στην αυτο-συσχέτιση μας ενδιαφέρει κυρίως η απόσβεση (decay)της συσχέτισης (correlation), δηλ. περίπου μέχρι το k όπου το rk γίνεται 0

Page 16: Αυτο-συσχέτιση  ( auto-correlation )

αυτο-συσχέτιση, παράδειγμa: περιοδική ΧΣ, ξανά

μέρος της αρχικής ΧΣ + acf

η περίοδος είναι ίδια στην αρχική ΧΣ και στην acf) για σχετικά καθαρά περιοδικές ΧΣ, η acf δεν μας δίνει πολλές πληροφορίες τις οποίες δεν τις είχαμε ήδη από την αρχική ΧΣ

αρχική ΧΣ,X(ti) = 10 sin(2π ti/39.5)περιοδική

αυτο-συσχέτιση(acf), μέχρι N/4

η acf είναι περιοδική (το πλάτος μικραίνει λίγο λόγω στατιστικού σφάλματος)

Page 17: Αυτο-συσχέτιση  ( auto-correlation )

• περιοδική ΧΣ: αναλυτική acfΧ(ti) = a sin( ti)

X = 0) rk » i sin( ti) sin( ti+k)

• sin(A) sin(B) = ½[ cos(B-A) - cos(A+B)] • ) rk » (1/2) i [ cos( (ti+k-ti)) - cos( (ti+k+ti)) ]

» cos( k) - i cos( (ti+k+ti))

k

= 0 (όπως ο μέσος όρος !)

) για περιοδικές ΧΣ η acf έιναι επίσης περιοδική, με την ίδια περίοδο, και ξεκινά από το 1 (r0 = 1)

Page 18: Αυτο-συσχέτιση  ( auto-correlation )

Άσκηση 5:

• Δημιουργείστε τη ΧΣ X(ti) = 10 sin(2π ti / 39.5) + 50.0i = 1, 2, 3, …, N, και N = 512

• υπολογίστε την αυτο-συσχέτιση

για k = 0,1,2,3, ...• γραφική παράσταση, μέχρι Ν/4

(ο χρονικός άξονας ξεκινά από 0 = 0 !)

Page 19: Αυτο-συσχέτιση  ( auto-correlation )

p = 0 1,1 nooverhangsdefault1,1 maximal overhangat the right-hand end1,1 maximal overhangat the left-hand end1,1 maximal overhangs at both beginningand end

καμμία πρόσθεση

πρόσθεση στη δεξιά πλευρά

πρόσθεση στην αριστερά πλευρά

πρόσθεση αριστερά και δεξιά

ΧΣ

Page 20: Αυτο-συσχέτιση  ( auto-correlation )

αυτο-συσχέτιση, παράδειγμa: θόρυβος

αρχική ΧΣ,ομοιόμορφοςθόρυβος στο [-2,2]

αυτο-συσχέτιση(acf)

r0 = 1, και rk ¼ 0, για k =1,2,3, …) η ΧΣ είναι εντελώς τυχαία (completely random) και παριστάνειλευκό θόρυβο (white noise)

ορισμός: λευκός θόρυβος , rk = (k)= μη-συσχετιζόμένη (uncorrelated) ΧΣ

Page 21: Αυτο-συσχέτιση  ( auto-correlation )

πότε μπορούμε να πούμε ότι rk ¼ 0 ?• μπορεί να αποδειχθεί, ότι

αν μια ΧΣ είναι εντελώς τυχαία, τότε 95% των rk βρίσκονται στο διάστημα

(95% confidence interval)• τα 5% των rk επιτρέπεται να βρίσκονται έξω, όχι όμως συστηματικά ! • στο παράδειγμα του λευκού θορύβου:

• ) τεστ για το αν μια ΧΣ είναι τυχαία: (1) υπολόγισε την αυτο-συσχέτιση,(2) αν 95% των rk είναι στο διαστημα τότεη ΧΣ είναι εντελώς τυχαία

acf

Page 22: Αυτο-συσχέτιση  ( auto-correlation )

Άσκηση 6:

• Δημιουργείστε τη ΧΣ X(ti) = G(ti),i=1,2,3, …, N, και N = 512όπου G(ti) θόρυβος με κατανομή Gauss (μέσος όρος μ = 5 και στάνταρτ απόκλιση σ = 2)

1. γραφική παράσταση της ΧΣ X(ti)

2. ιστόγραμμα της ΧΣ X(ti), μαζί με την κατανομή Gauss

3. υπολογίστε την αυτο-συσχέτιση,γραφική παράσταση, μαζί με το «διάστημα ελέγχου» (confidence interval)

Page 23: Αυτο-συσχέτιση  ( auto-correlation )

• τυχαίοι αριθμοί με κατανομή Gauss στη Mathematica:

<<Statistics`ContinuousDistributions`Random[ NormalDistribution[5., 2.] ]

μέσος όρος μ στάνταρτ απόκλιση σ

• γραφική παράσταση της κατανομής Gauss:

pgauss = Plot[ nx*PDF[ NormalDistribution[5.,2.] , z ] , {z,0,10} ];

• ιστόγραμμα στη Mathematica:

xh = Histogram[ x, HistogramCategories! 10, Ticks ! IntervalCenters , HistogramScale! 1]

hi xi = 1 αριθμός των «δοχείων» (pdf, εμβαδόν = 1) (bins, διαστημάτων)