Ω

ω1

t0

X(ω1, t)

X(ω2, t)

X(ω1, t0)

t

ω2

X(ω2, t0)

Σχήμα 1: Υλοποιήσεις της στοχαστικής διαδικασίας X(t).

1 Στοχαστικές διαδικασίες

Σε αυτό το εδάφιο θα παρουσιάσουμε, συνοπτικά, βασικά στοιχεία της Θεωρίας Στοχαστι-

κών Διαδικασιών (Stochastic Processes). Σημειώνουμε ότι το αντικείμενο είναι εκτενέ-

στατο, τεχνικά απαιτητικό, με πάρα πολλές εφαρμογές σε πολλούς κλάδους της Επιστήμης.

Οι στοχαστικές διαδικασίες είναι γενίκευση των τυχαίων διανυσμάτων σε άπειρες διαστά-

σεις. Στο Σχήμα 1 σχεδιάζουμε δύο υλοποιήσεις της στοχαστικής διαδικασίας συνεχούς

χρόνου X(t).

Μπορούμε να θεωρήσουμε μία στοχαστική διαδικασία ως (δείτε το Σχήμα 1):

1. Συλλογή σημάτων X(ωi, t), για ωi ∈ Ω και −∞ < t < ∞: για κάθε ωi λαμβάνουμε

τη συνάρτηση X(ωi, t), −∞ < t <∞, η οποία καλείται υλοποίηση (realization) της

στοχαστικής διαδικασίας.

2. Συλλογή τυχαίων μεταβλητών: για t = t0, οι τιμές X(ωi, t0), με ωi ∈ Ω, ορίζουν την

τυχαία μεταβλητή

X(t0) : Ω→R.

Συνεπώς, η στοχαστική διαδικασία X(t) μπορεί να θεωρηθεί ως συλλογή από άπειροπλήθος τυχαίων μεταβλητών X(t), t ∈ R ή Xn, n ∈ Z.

1

1.1 Περιγραφή στοχαστικών διαδικασιών

1.1.1 Αναλυτική περιγραφή

Στην αναλυτική περιγραφή η στοχαστική διαδικασία περιγράφεται συναρτήσει μίας ή περισσο-

τέρων τυχαίων μεταβλητών, δηλαδή, X(t) = f(t,Θ), με Θ = [Θ1 · · · Θn ]T τυχαίο διάνυσμα.

0 0.05 0.1 0.15 0.2 0.25 0.3

−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

Time t

Y(t

)

Σχήμα 2: Υλοποιήσεις της Y (t) για F0 = 10Hz.

Παράδειγμα: ΄Εστω οι στοχαστικές διαδικασίες

Y (t) = cos(2πF0t+ Φ), Φ ∼ U [0, 2π),

X(t) = X cos(2πF0t + φ), X ∼ N (0, 1).

Z(t) = X cos(2πF0t + Φ), X ∼ N (0, σ2X), Φ ∼ U [0, 2π), X, Θ ανεξάρτητες.

(1)

Στα Σχήματα 2 και 3 σχεδιάζονται πέντε υλοποιήσεις των Y (t) και X(t), αντίστοιχα.

2

0 0.05 0.1 0.15 0.2 0.25 0.3

−2

−1.5

−1

−0.5

0

0.5

1

1.5

2

Time t

X(t

)

Σχήμα 3: Υλοποιήσεις της X(t) για F0 = 10Hz.

1.1.2 Στατιστική περιγραφή

Η στοχαστική διαδικασία X(t) καλείται πλήρως καθορισμένη αν, για κάθε n ∈ N και

(t1, . . . , tn) ∈ Rn, η από-κοινού πυκνότητα πιθανότητας των τ.μ. X(t1), . . . , X(tn),

fX(t1),...,X(tn)(x1, . . . , xn),

είναι γνωστή.

Για τη στατιστική περιγραφή M-τάξης μιας στοχαστικής διαδικασίας απαιτείται η γνώση

της από-κοινού πυκνότητας πιθανότητας των τυχαίων μεταβλητών X(t1), . . . , X(tn) για κάθε

n ≤M και (t1, . . . , tn) ∈ Rn.

Παράδειγμα: Αν θεωρούνται γνωστά

1. η συνάρτηση πυκνότητας πιθανότητας fXt(x), ∀t, x ∈ R

2. η από-κοινού συνάρτηση πυκνότητας πιθανότητας fX(t1),X(t2)(x1, x2), ∀t1, t2, x1, x2 ∈ R

τότε έχουμε στατιστική περιγραφή δεύτερης τάξης.

3

Η στατιστική περιγραφή M-τάξης μπορεί να αρκεί για την πλήρη περιγραφή της στοχα-

στικής διαδικασίας ή μπορεί να μην αρκεί.

2 Στατιστικές μέσες τιμές

Η μέση τιμή της X(t) είναι η συνάρτηση mX(t), −∞ < t <∞, η οποία, για κάθε χρονικήστιγμή t, ισούται με τη μέση τιμή της τ.μ. X(t), δηλαδή

mX(t) = E [X(t)] =

∫∞

−∞

xfX(t)(x) dx. (2)

Παράδειγμα: ΄Εστω X(t) = a cos(2πF0t +Θ), Θ ∼ U [0, 2π), δηλαδή

fΘ(θ) =

12π, 0 ≤ θ < 2π,

0, αλλού.

Τότε1

E [X(t)] =

∫ 2π

0

a cos(2πF0t+ θ)1

2πdθ = 0. (3)

Παρατηρούμε ότι η μέση τιμή της X(t) είναι σταθερή για κάθε t ∈ R.

Η συνάρτηση αυτοσυσχέτισης (autocorrelation function) της X(t) ορίζεται ως

εξής:

RXX(t1, t2) = E [X(t1)X(t2)] =

∫∞

−∞

∫∞

−∞

x1x2fX(t1)X(t2)(x1, x2)dx1dx2.

Παράδειγμα: ΄Εστω X(t) = a cos(2πF0t+Θ) με Θ ∼ U [0, 2π). Η συνάρτηση αυτοσυσχέ-1Παρατηρήστε ότι, για δεδομένο t, το X(t) είναι συνάρτηση του Θ. Για να υπολογίσουμε το E [X(t)] δεν

είναι ανάγκη να υπολογίσουμε την πυκνότητα πιθανότητας fX(t)(x). Αρκεί να χρησιμοποιήσουμε το θεώρημα

υπολογισμού μέσων τιμών συναρτήσεων τ.μ.

X(t) = gt(Θ)⇒ E [X(t)] = E [gt(Θ)] =

∫∞

−∞

gt(θ) fΘ(θ) dθ.

Το∫ 2π

0 cos(θ+2πF0t) dθ είναι το ολοκλήρωμα συνημιτόνου με συχνότητα F = 12π , άρα, περίοδο T = 1

F =

2π, πάνω σε διάστημα 2π = T , και συνεπώς ισούται με 0.

4

τισης της X(t) είναι2

RXX(t1, t2) = E [X(t1)X(t2)]

= E [a cos(2πF0t1 +Θ) a cos(2πF0t2 +Θ)]

= a2 E[1

2cos (2πF0(t1 − t2)) +

1

2cos(2πF0(t1 + t2) + 2Θ)

]

=a2

2cos (2πF0(t1 − t2))

όπου κάναμε χρήση του

E [cos(2πF0(t1 + t2) + 2Θ)] =

∫ 2π

0

cos(2πF0(t1 + t2) + 2θ)1

2πdθ = 0.

3 Στάσιμες στοχαστικές διαδικασίες

Η στοχαστική διαδικασία X(t) καλείται αυστηρά στάσιμη (strictly stationary) αν, για

κάθε n ∈ N , (t1, . . . , tn) ∈ Rn, και ∆ ∈ R, ισχύει η σχέση

fX(t1),...,X(tn)(x1, . . . , xn) = fX(t1+∆),...,X(tn+∆)(x1, . . . , xn). (4)

Δηλαδή, η από-κοινού συνάρτηση πυκνότητας πιθανότητας είναι αμετάβλητη σε ολίσθηση ∆

στο χρόνο. Η συνθήκη (4), γενικά, είναι πολύ περιοριστική.

Η στοχαστική διαδικασία X(t) καλείται στάσιμη υπό την ευρεία έννοια (wide-

sense stationary) αν

1. mX(t) = E [X(t)] = mX , δηλαδή, η μέση τιμή είναι ανεξάρτητη του t, και

2. RXX(t1, t2) = E [X(t1)X(t2)] = RX(t1 − t2), δηλαδή, η συνάρτηση αυτοσυσχέτισης

εξαρτάται μόνο από τη διαφορά τ = t1 − t2.

Διαισθητικά, μπορούμε να πούμε ότι “οι υλοποιήσεις μίας στάσιμης στοχαστικής διαδικασί-

ας X(t) κινούνται γύρω από το μέσο όρο mX , μοιάζουν μεταξύ τους, και μοιάζουν με τις

μετατοπισμένες εκδοχές τους.”

2Θυμηθείτε ότι cos a cos b = 12 (cos(a+ b) + cos(a− b)) .

5

Σε αρκετά σημεία στη συνέχεια, όταν αναφερόμαστε σε δύο χρονικές στιγμές t1 και t2 με

διαφορά τ = t1 − t2 θα χρησιμοποιούμε τις τιμές t1 = t + τ και t2 = t ή τις τιμές t1 = t και

t2 = t− τ .

Θεώρημα: Η συνάρτηση αυτοσυσχέτισης RX(τ) της στάσιμης υπό την ευρεία έννοια

στοχαστικής διαδικασίας X(t) έχει, μεταξύ άλλων, τις εξής ιδιότητες:

1. RX(τ)=RX(−τ),

2. |RX(τ)| ≤ RX(0).

Απόδειξη:

1. RX(τ) = E(X(t)X(t− τ)) = E [X(t− τ)X(t)] = RX(−τ).

2. 0 ≤ E[(X(t)±X(t− τ))2

]= E [X2(t)]+E [X2(t− τ)]±2E [X(t)X(t− τ)], το οποίο

δίδει 2RX(0)± 2RX(τ) ≥ 0, ή ισοδύναμα, ∓RX(τ) ≤ RX(0)⇒ |RX(τ)| ≤ RX(0).

Η συνάρτηση αυτοσυσχέτισης RX(τ) παρέχει ένα “μέτρο ομοιότητας” των τυχαίων μεταβλη-

τών X(t) και X(t − τ). Αν RX(τ) ≈ ±RX(0), τότε οι τιμές που παίρνουν οι X(t) και

X(t− τ) είναι πολύ συσχετισμένες. Πιο συγκεκριμένα, αν RX(τ) ≈ RX(0), τότε αναμένουμε

ότι X(ω, t) ≈ X(ω, t− τ) για “πολλά” ω ∈ Ω, ενώ αν RX(τ) ≈ −RX(0), τότε αναμένουμε

ότι X(ω, t) ≈ −X(ω, t− τ) για “πολλά” ω ∈ Ω. Αν RX(τ) ≈ 0, τότε οι τυχαίες μεταβλητές

X(t) και X(t − τ) είναι σχεδόν ασυσχέτιστες και η τιμή της μίας δεν μάς δίνει σημαντική

πληροφορία για την τιμή της άλλης.

Αν η RX(τ) φθίνει (πολύ) αργά όσο το τ απομακρύνεται από το μηδέν, τότε οι υλοποιήσεις

της X(t) μεταβάλλονται (πολύ) αργά στο χρόνο διότι X(t) ≈ X(t− τ) για μεγάλο διάστημα

του τ . Δύο οριακές περιπτώσεις, όπου η συνάρτηση αυτοσυσχέτισης μεταβάλλεται ακριβώς

όπως οι υλοποιήσεις της στοχαστικής διαδικασίας, παρουσιάζονται στα επόμενα παραδείγματα.

Παράδειγμα: ΄Εστω η στοχαστική διαδικασία X(t) = X, X ∼ N (0, 1). Υλοποιήσεις

της X(t) σχεδιάζονται στο Σχήμα 4. Παρατηρούμε ότι οι υλοποιήσεις είναι σταθερές στο

χρόνο. Η μέση τιμή της X(t) είναι

E [X(t)] = E [X ] = 0

6

0 0.5 1 1.5 2 2.5 3−1.5

−1

−0.5

0

0.5

1

Time t

X(t

)

−3 −2 −1 0 1 2 30

0.5

1

1.5

2

τ

RX(τ

)

Σχήμα 4: Πάνω: υλοποιήσεις της X(t) = X, X ∼ N (0, 1), για t ∈ [0, 3]. Κάτω: συνάρτηση

αυτοσυσχέτισης RX(τ) = 1, τ ∈ [−3, 3].

και η συνάρτηση αυτοσχέτισης είναι

RXX(t1, t2) = E [X(t1)X(t2)] = E [X2] = 1.

Παρατηρούμε ότι η συνάρτηση αυτοσυσχέτισης είναι σταθερή όπως σταθερές είναι και οι

υλοποιήσεις της X(t).

Παράδειγμα: Είδαμε σε προηγούμενο παράδειγμα ότι αν X(t) = a cos(2πF0t+Θ), με

Θ ∼ U [0, 2π), τότε η X(t) είναι στάσιμη υπό την ευρεία έννοια με συνάρτηση αυτοσυσχέτισης

RX(τ) =a2

2cos(2πF0τ). Η συνάρτηση αυτοσυσχέτισης είναι ένα ημιτονοειδές σήμα με συ-

χνότητα F0 και, συνεπώς, μεταβάλλεται με τον ίδιο ακριβώς τρόπο με τον οποίο μεταβάλλεται

κάθε υλοποίηση της X(t) (δείτε το Σχήμα 5).

΄Οπως θα δούμε στη συνέχεια, η συνάρτηση αυτοσυσχέτισης RX(τ) παίζει σημαντικό ρόλο

στην περιγραφή της στάσιμης στοχαστικής διαδικασίας X(t) στο πεδίο των συχνοτήτων.

7

0 0.05 0.1 0.15 0.2 0.25 0.3

−1

−0.5

0

0.5

1

Time t

X(t

)

−0.1 −0.05 0 0.05 0.1 0.15

−0.5

0

0.5

τ

RX(τ

)

Σχήμα 5: Πάνω: υλοποιήσεις της X(t) = cos(2πF0t + Θ), t ∈ [0, 0.3]. Κάτω: συνάρτηση

αυτοσυσχέτισης RX(τ) =12cos(2πF0τ), τ ∈ [−0.15, 0.15].

3.1 Εργοδικές διαδικασίες

΄Εστω η στάσιμη στοχαστική διαδικασία X(t) και η συνάρτηση g(x). Τότε

E [g (X(t0))] =

∫∞

−∞

g(x)fX(t0)(x) dx.

΄Εστω ότι έχουμε στη διάθεσή μας μία μόνο υλοποίηση της X(t) την X(ωi, t), −∞ < t <∞.Η χρονική μέση τιμή της g(X(ωi, t)) ορίζεται ως εξής:

〈g(X(ωi, t))〉 = limT→∞

1

T

∫ T

2

−T

2

g (X(ωi, t)) dt.

Η στάσιμη στοχαστική διαδικασία X(t) καλείται εργοδική (ergodic) αν για “όλες τις συ-

ναρτήσεις g(x) και όλα τα ω ∈ Ω” ισχύει

〈g(X(ω, t)〉 = limT→∞

1

T

∫ T

2

−T

2

g (X(ω, t)) dt = E [g(X(t))] . (5)

Χωρίς να χρησιμοποιούμε αυστηρούς μαθηματικούς όρους, θα μπορούσαμε να πούμε ότι για

εργοδικές στοχαστικές διαδικασίες “οι χρονικές μέσες τιμές είναι ίσες με τις αντίστοιχες

8

στατιστικές μέσες τιμές.”

Η έννοια της εργοδικότητας είναι σημαντικότατη όμως είναι σχετικά δύσκολο να μελετηθεί

αυστηρά. Δεν θα μάς απασχολήσει στη συνέχεια του μαθήματος.

3.2 Ενέργεια και ισχύς

Η ενέργεια και η ισχύς μίας στοχαστικής διαδικασίας ορίζονται ως εξής:

EX = E[∫ +∞

−∞

X2(t) dt

]

,

PX = E[

limT→∞

1

T

∫ T

2

−T

2

X2(t) dt

]

.

Μπορεί να αποδειχθεί ότι

EX = E[∫ +∞

−∞

X2(t) dt

]

!=

∫ +∞

−∞

E[X2(t)

]dt =

∫ +∞

−∞

RX(t, t) dt,

PX = limT→∞

1

T

∫ T

2

−T

2

E [X2(t)] dt = limT→∞

1

T

∫ T

2

−T

2

RX(t, t)dt.

Αν η διαδικασία είναι στάσιμη, τότε RX(t, t) = RX(0). Συνεπώς PX = RX(0) και EX =∫ +∞

−∞RX(0) dt. Αν η X(t) έχει μη μηδενική ισχύ, δηλαδή, αν RX(0) > 0, τότε έχει άπειρη

ενέργεια.

Παράδειγμα: Για την X(t) = a cos (2πF0t+Θ), Θ ∼ U [0, 2π), έχουμε

PX = RX(0) =a2

2.

3.3 Πολλές στοχαστικές διαδικασίες

΄Εστω οι στοχαστικές διαδικασίες X(t) και Y (t), οι οποίες ορίζονται στον ίδιο δειγματόχωρο.

Οι X(t) και Y (t) είναι ανεξάρτητες αν, για κάθε t1, t2 ∈ R, οι τ.μ. X(t1) και Y (t2) είναι

ανεξάρτητες.

Η συνάρτηση ετεροσυσχέτισης (cross-correlation function) ορίζεται ως εξής:

RXY (t1, t2) = E [X(t1)Y (t2)] = RY X(t2, t1). (6)

9

h(t)X(t) Y (t)

Σχήμα 6: ΓΧΑ σύστημα με στοχαστική είσοδο.

Οι X(t) και Y (t) καλούνται από-κοινού στάσιμες υπό την ευρεία έννοια (jointly

wide-sense stationary) αν καθεμία είναι στάσιμη υπό την ευρεία έννοια και επιπλέον

RXY (t1, t2) = RXY (t1 − t2) = RY X(t2 − t1). (7)

Παράδειγμα: Αν X(t) και Y (t) είναι από-κοινού στάσιμες υπό την ευρεία έννοια και

Z(t) = X(t) + Y (t), τότε

RZZ(t+ τ, t) = E [Z(t+ τ)Z(t)] = E [(X(t+ τ) + Y (t+ τ)) (X(t) + Y (t))]

= RX(τ) +RY (τ) +RXY (τ) +RXY (−τ) = RZ(τ).

Αρα, η Z(t) είναι στάσιμη υπό την ευρεία έννοια.

4 Στοχαστικές διαδικασίες και γραμμικά συστήμα-

τα

Ας θεωρήσουμε το σενάριο που αναπαρίσταται στο Σχήμα 6. Τότε, ισχύει το παρακάτω

εξαιρετικά σημαντικό θεώρημα.

Θεώρημα: ΄Εστω ότι η στάσιμη υπό την ευρεία έννοια στοχαστική διαδικασία X(t),

με μέση τιμή mX και συνάρτηση αυτοσυσχέτισης RX(τ), είναι είσοδος σε ΓΧΑ σύστημα με

κρουστική απόκριση h(t) και έξοδο Y (t). Τότε, οι X(t) και Y (t) είναι από-κοινού στάσιμες

και

1. mY = mX

∫ +∞

−∞h(t) dt,

2. RXY (τ) = RX(τ) ∗ h(−τ),

3. RY (τ) = RX(τ) ∗ h(τ) ∗ h(−τ).

10

Απόδειξη: Η έξοδος του συστήματος δίδεται από τη συνέλιξη

Y (t) =

∫ +∞

−∞

X(τ) h(t− τ) dτ.

1. Αρχικά, αποδεικνύουμε τη σχέση που συνδέει τις μέσες τιμές των X(t) και Y (t).

mY (t) = E [Y (t)] = E[∫ +∞

−∞

X(τ) h(t− τ) dτ

]

!=

∫ +∞

−∞

E [X(τ)] h(t− τ) dτ

=

∫ +∞

−∞

mX h(t− τ) dτ = mX

∫ +∞

−∞

h(t− τ) dτ

u=t−τ= mX

∫ +∞

−∞

h(u) du.

2. Στη συνέχεια, αποδεικνύουμε τη σχέση που συνδέει την αυτοσυσχέτιση της εισόδου με

την ετεροσυσχέτιση εισόδου-εξόδου. Για το λόγο αυτό, θα δουλέψουμε με συναρτήσεις

δύο μεταβλητών t1 και t2, με t1, t2 ∈ R. Επίσης, θα χρησιμοποιήσουμε μία άλλη(ισοδύναμη) παραμετροποίηση ως προς t και τ , με t = t1, τ = t1 − t2.

RXY (t1, t2) = E [X(t1)Y (t2)] = E[

X(t1)

∫ +∞

−∞

X(s) h(t2 − s) ds

]

=

∫ +∞

−∞

E [X(t1)X(s)] h(t2 − s) ds

=

∫ +∞

−∞

RX(t1 − s) h(t2 − s) ds

u=s−t2=

∫ +∞

−∞

RX(t1 − t2︸ ︷︷ ︸

τ

−u) h(−u) du

=

∫ +∞

−∞

RX(τ − u) h(−u) du

= RX(τ) ∗ h(−τ).

Για να αποδείξουμε την τελευταία ισότητα, ορίζουμε g(u) = h(−u). Τότε

RX(τ)∗h(−τ) = RX(τ)∗g(τ) =∫ +∞

−∞

g(u)RX(τ−u) du =

∫ +∞

−∞

h(−u)RX(τ−u) du.

11

3.

RY (t1, t2) = E [Y (t1)Y (t2)] = E[(∫

−∞

−∞

X(s) h(t1 − s) ds

)

Y (t2)

]

=

∫ +∞

−∞

E [X(s) Y (t2)] h(t1 − s) ds

=

∫ +∞

−∞

RXY (s− t2) h(t1 − s) ds

u=s−t2=

∫ +∞

−∞

RXY (u) h(t1 − t2︸ ︷︷ ︸

τ

−u) du

=

∫ +∞

−∞

RXY (u) h(τ − u) du

= RXY (τ) ∗ h(τ)

= RX(τ) ∗ h(−τ) ∗ h(τ).

4.1 Κυκλοστάσιμες στοχαστικές διαδικασίες

Η στοχαστική διαδικασία X(t) καλείται κυκλοστάσιμη υπό την ευρεία έννοια (wide-

sense cyclostationary) με περίοδο T αν η μέση τιμή mX(t) είναι περιοδική με περίοδο T και

η συνάρτηση αυτοσυσχέτισης RXX(t + τ, t) είναι περιοδική, ως προς το όρισμα t, με περίοδο

T .3 Δηλαδή

mX(t + T ) = mX(t), ∀t ∈ R,

RXX(t+ τ, t) = RXX(t + T + τ, t+ T ), ∀t, τ ∈ R.(8)

Παράδειγμα: ΄Εστω Y (t) = X(t) cos(2πF0t), όπου X(t) είναι στάσιμη υπό την ευρεία

έννοια με μέση τιμή mX και συνάρτηση αυτοσυσχέτισης RX(τ). Τότε

mY (t) = E [Y (t)] = E [X(t) cos(2πF0t)] = E [X(t)] cos(2πF0t) = mX cos(2πF0t),

3Προφανώς, κάθε στάσιμη στοχαστική διαδικασία είναι και κυκλοστάσιμη για κάθε περίοδο T ∈ R.

12

0 50 100 150 200 250 300 350 400 450 500−25

−20

−15

−10

−5

0

5

10

15

20

25

Time t

Σχήμα 7: Μία υλοποίηση στάσιμης X(t) (πράσινο), η −X(t) (μπλε) και η Y (t) =

X(t) cos(2πF0t) (κόκκινο).

13

το οποίο είναι περιοδικό με περίοδο T0 =1F0

. Επιπλέον,

RY Y (t+ τ, t) = E [X(t+ τ) cos(2πF0(t + τ))X(t) cos(2πF0t)]

= E [X(t+ τ)X(t)] cos(2πF0(t + τ)) cos(2πF0t)

= RX(τ)1

2[cos(2πF0τ) + cos(4πF0t+ 2πF0τ)] ,

(9)

το οποίο είναι περιοδικό ως προς το όρισμα t με περίοδο T0

2και, άρα, και T0.

5 Στοχαστικές διαδικασίες στο πεδίο των συχνο-

τήτων

Ας υποθέσουμε ότι δίδεται συνάρτηση x(t) με∫ +∞

−∞x2(t)dt < ∞. Τότε, είναι γνωστό ότι ο

μετασχηματισμός Fourier (μ.F) της x(t), X(F ), ορίζεται. Η ποσότητα |X(F )|2 υποδεικνύειπώς κατανέμεται η ενέργεια του x(t) στις συχνότητες και καλείται φασματική πυκνότητα

ενέργειας (energy spectral density).

Η περιγραφή των στοχαστικών διαδικασιών στο πεδίο της συχνότητας είναι πιο περίπλοκη.

Αρχικά, θεωρούμε κάθε υλοποίηση της X(t), X(ω, t), σαν ντετερμινιστικό σήμα. Για να εξα-

σφαλίσουμε την ύπαρξη του μ.F αποκόπτουμε το X(ω, t) στο διάστημα [−T2, T2], λαμβάνοντας

XT (ω, t) =

X(ω, t), |t| < T/2,

0, |t| ≥ T/2.(10)

Είναι προφανές ότι∫ +∞

−∞X2

T (ω, t)dt < ∞ (γιατί;) και άρα XT (ω, F ) = FXT (ω, t) υπάρ-χει. Παρατηρήστε ότι η ποσότητα XT (ω, F ) είναι μία στοχαστική διαδικασία στο πεδίο των

συχνοτήτων (γιατί;).

Η ποσότητα|XT (ω, F )|2

Tκαλείται περιοδόγραμμα (periodogram) της X(ω, t) και υπο-

δεικνύει πώς κατανέμεται η ισχύς του XT (ω, t) στις συχνότητες. Με στόχο τον ορισμό μίας

συνάρτησης, η οποία περιγράφει πώς κατανέμεται κατά μέσο όρο η ισχύς της στοχαστικής

διαδικασίας X(t) στις συχνότητες, ορίζουμε τη φασματική πυκνότητα ισχύος (power

spectral density)

SX(F ) = limT→∞

E [|XT (ω, F )|2]T

. (11)

14

−0.5 −0.4 −0.3 −0.2 −0.1 0 0.1 0.2 0.3 0.4 0.510

−5

10−4

10−3

10−2

10−1

100

101

102

Σχήμα 8: Περιοδογράμματα δύο υλοποιήσεων (μπλε, πράσινο) και φασματική πυκνότητα ι-

σχύος (κόκκινο) στάσιμης στοχαστικής διαδικασίας.

15

Στο Σχήμα 8, σχεδιάζουμε τα περιοδογράμματα δύο υλοποιήσεων μίας στοχαστικής διαδικα-

σίας και της φασματική πυκνότητα ισχύος.

Ο ορισμός (11) είναι γενικός, δηλαδή, ισχύει για πολύ μεγάλη κλάση στοχαστικών διαδι-

κασιών, αλλά είναι δύσχρηστος. Μπορούν να αποδειχθούν τα εξής σημαντικά αποτελέσματα

(οι αποδείξεις είναι εκτός των πλαισίων του μαθήματος):

1. Αν X(t) στάσιμη υπό την ευρεία έννοια, τότε

SX(F ) = FRX(τ). (12)

2. Αν X(t) κυκλοστάσιμη υπό την ευρεία έννοια, τότε

SX(F ) = FRX(τ) με RX(τ) =1

T

∫

T

RXX(t+ τ, t) dt.

5.1 Πειραματική εκτίμηση της φασματικής πυκνότητας ισχύ-

ος

Αν δίδονται υλοποιήσεις X(ωi, t), i = 1, . . . , N , 0 ≤ t ≤ T , τότε υπολογίζουμε τα περιοδο-

γράμματα|X(ωi, F )|2

T, με X(ωi, F ) = FX(ωi, t).

Κάθε περιοδόγραμμα αποτελεί εκτίμηση της φασματικής πυκνότητας ισχύος SX(F ). ΄Ομως,

η εκτίμηση αυτή δεν είναι αξιόπιστη λόγω της μεγάλης διασποράς του περιοδογράμματος στις

συχνότητες στις οποίες η SX(F ) παίρνει “μεγάλες” τιμές.4 Μία πιο αξιόπιστη εκτίμηση

(δείτε το Σχήμα 9) για το SX(F ) υπολογίζεται αν πάρουμε αριθμητικές μέσες τιμές πάνω σε

περιοδογράμματα πολλών υλοποιήσεων (αν είναι διαθέσιμες), δηλαδή,

SX(F ) =1

N

N∑

i=1

|X(ωi, F )|2T

. (13)

4Η πλήρης εξήγηση του γιατί το περιοδόγραμμα δεν αποτελεί αξιόπιστη εκτίμηση της φασματικής πυκνό-

τητας ισχύος είναι εκτός του πλαισίου του μαθήματος.

16

−0.5 −0.4 −0.3 −0.2 −0.1 0 0.1 0.2 0.3 0.4 0.510

−2

10−1

100

101

102

Frequency f

Pow

er s

pect

ral d

ensi

ty

Σχήμα 9: Εκτίμηση φασματικής πυκνότητα ισχύος μέσω 100 περιοδογραμμάτων (μπλε) και

φασματική πυκνότητα ισχύος (κόκκινο) στάσιμης στοχαστικής διαδικασίας.

17

X(t) Y (t)

H(F )

0

H(F )

1 1

−F0−(F0 +∆F ) F0 +∆FF0 F

Σχήμα 10: Φυσική σημασία SX(F ).

6 Φασματική πυκνότητα ισχύος στάσιμων στοχα-

στικών διαδικασιών

΄Εστω X(t) στάσιμη στοχαστική διαδικασία με συνάρτηση αυτοσυσχέτισης RX(τ). Τότε,

όπως είπαμε, η φασματική πυκνότητα ισχύος της X(t) δίδεται από τη σχέση

SX(F ) = FRX(τ) =∫ +∞

−∞

RX(τ)e−j2πFτdτ. (14)

Ο αντίστροφος μετασχηματισμός Fourier δίδει

RX(τ) = F−1SX(F ) =∫ +∞

−∞

SX(F )ej2πFτdF. (15)

Παρατηρούμε ότι

RX(0) =

∫ +∞

−∞

SX(F ) dF (16)

άρα, το ολοκλήρωμα της φασματικής πυκνότητας ισχύος ισούται με την ισχύ της X(t), PX =

RX(0).

Στη συνέχεια, θα αποδείξουμε ότι η SX(F ) υποδεικνύει τον τρόπο με τον οποίο κατανέμε-

ται η ισχύς τηςX(t) στις συχνότητες, συνεπώς, είναι όντως φασματική πυκνότητα ισχύος. Ας

θεωρήσουμε το ΓΧΑ σύστημα του Σχήματος 10 με είσοδο τη στάσιμη στοχαστική διαδικασία

X(t) με φασματική πυκνότητα ισχύος SX(F ). Η απόκριση συχνοτήτων του συστήματος είναι

H(F ) =

1, |F | ∈ [F0, F0 +∆F ),

0, αλλού(17)

με ∆F “μικρό” θετικό αριθμό. Το ΓΧΑ σύστημα αποκόπτει όλες τις συχνότητες εκτός

αυτών με |F | ∈ [F0, F0+∆F ). Συνεπώς, “η έξοδος Y (t) οφείλεται στις συνιστώσες του X(t)

18

που ευρίσκονται στο διάστημα συχνοτήτων [F0, F0 +∆F )”. Η φασματική πυκνότητα ισχύος

της εξόδου είναι

SY (F ) = SX(F ) |H(F )|2

και η ισχύς της είναι PY ≈ 2∆F SX(F0) (γιατί;). Δηλαδή, η ισχύς της εξόδου είναι ανάλογη

της τιμής της SX(F ) στο σημείο F0, SX(F0). Σε συνδυασμό με το ότι το ολοκλήρωμα

της SX(F ) ισούται με την ισχύ PX , συμπεραίνουμε ότι δικαιολογημένα η SX(F ) καλείται

φασματική πυκνότητα ισχύος, διότι υποδεικνύει, κατά μέσο όρο, τον τρόπο κατανομής της

ισχύος της X(t) στις συχνότητες.

Ο ορισμός της φασματικής πυκνότητας ισχύος μπορεί να επεκταθεί σε δύο από-κοινού

στάσιμες στοχαστικές διαδικασίες X(t) και Y (t) (cross power spectral density)

SXY (F ) = FRXY (τ). (18)

΄Ασκηση: Να αποδειχθεί ότι η φασματική πυκνότητα ισχύος του αθροίσματος των από-

κοινού στάσιμων στοχαστικών διαδικασιών X(t) και Y (t), Z(t) = X(t) + Y (t), δίδεται από

τη σχέση

RZ(τ)→ SZ(F ) = SX(F ) + SY (F ) + 2Re[SXY (F )]. (19)

7 Gaussian στοχαστικές διαδικασίες

Εξ αιτίας του θεωρήματος κεντρικού ορίου (central limit theorem), πολλές διαδικασίες

στη φύση μπορούν να μοντελοποιηθούν ικανοποιητικά ως Gaussian.

Η στοχαστική διαδικασίαX(t) καλείταιGaussian αν για κάθε n ∈ N και (t1, . . . , tn) ∈ Rn,

οι τυχαίες μεταβλητές X(t1), . . . , X(tn) είναι από-κοινού Gaussian5. Η πλήρης περιγραφή

5Υπενθυμίζουμε ότι το τυχαίο διάνυσμα X = [X1 · · · Xn ]T καλείται Gaussian αν έχει συνάρτηση πυκνό-

τητας πιθανότητας

fX(x) =1

(√2π)n|C|1/2

e−1

2(x−µ)TC

−1(x−µ), (20)

όπου µ = [ E [X1] · · · E [Xn] ]T και C ο πίνακας συνδιασποράς με στοιχεία

Cij = E [(Xi − E [Xi])(Xj − E [Xj ])].

19

h(t)W (t) Y (t)

Σχήμα 11: ΓΧΑ σύστημα με είσοδο λευκό θόρυβο.

της X(t) απαιτεί μόνο τη γνώση της μέσης τιμής mX(t) και της συνάρτησης αυτοσυσχέτισης

RXX(ti, tj) = E [X(ti)X(tj)].

Υπενθυμίζουμε ότι γραμμικοί συνδυασμοί από-κοινού Gaussian τ.μ. δίδουν Gaussian τ.μ.

Τα παρακάτω θεωρήματα είναι σημαντικά. Οι αποδείξεις είναι εκτός των πλαισίων του

μαθήματος.

Θεώρημα: Αν η GaussianX(t) είναι είσοδος σε LTI, τότε η έξοδος Y (t) είναι Gaussian.

Θεώρημα: Για Gaussian στοχαστικές διαδικασίες, στασιμότητα υπό την ευρεία έννοια

και υπό την αυστηρή έννοια είναι ισοδύναμες.

Θεώρημα: Μία ικανή συνθήκη για εργοδικότητα, ως προς τη μέση τιμή, μίας στάσιμης

Gaussian στοχαστικής διαδικασίας μηδενικής μέσης τιμής είναι

∫ +∞

−∞

|RX(τ)|dτ <∞.

8 Λευκός θόρυβος

Μία διαδικασία W (t) καλείται λευκός θόρυβος (white noise) αν SW (F ) = N0, δηλαδή, η

φασματική πυκνότητα ισχύος είναι σταθερή. Ο λευκός θόρυβος είναι μία εξαιρετικά χρήσιμη

μαθηματική κατασκευή, η οποία όμως δεν έχει αντίστοιχο στη φύση. Για παράδειγμα, η ισχύς

του λευκού θορύβου είναι

PW =

∫ +∞

−∞

SW (F ) dF =

∫ +∞

−∞

N0 dF =∞

και η συνάρτηση αυτοσυσχέτισης είναι

RW (τ) = F−1 [N0] = N0 δ(τ).

20

Επομένως, αν W (t) είναι λευκός θόρυβος, τότε το W (t) έχει άπειρη ισχύ, και επιπλέον, οι

τυχαίες μεταβλητέςW (t1) καιW (t2), με t1 6= t2, είναι ασυσχέτιστες, ανεξάρτητα από το πόσο

μικρή είναι η διαφορά t1 − t2. Ο θερμικός θόρυβος που εμφανίζεται σε όλες τις ηλεκτρονικές

συσκευές έχει χαρακτηριστικά που μοιάζουν με αυτά του λευκού θορύβου. Για παράδειγμα,

η φασματική πυκνότητα ισχύος του είναι (περίπου) σταθερή για |F | / 1012Hz και κατόπιν

φθίνει προς το μηδέν. Στην πράξη, θα “βλέπουμε” την έξοδο γραμμικών χρονικά αμετάβλητων

συστημάτων με είσοδο λευκό θόρυβο και όχι το λευκό θόρυβο αυτόν καθεαυτόν. Αυτές οι

έξοδοι είναι καλώς ορισμένες.

Για παράδειγμα, στο Σχήμα 11 έχουμε το λευκό θόρυβο W (t) είσοδο στο ΓΧΑ σύστημα

με κρουστική απόκριση h(t). Η έξοδος Y (t) είναι στάσιμη στοχαστική διαδικασία με μέση

τιμή μηδέν, συνάρτηση αυτοσυσχέτισης

RY (τ) = N0 h(τ) ∗ h(−τ)

και φασματική πυκνότητα ισχύος SY (F ) = N0 |H(F )|2. Η ισχύς της Y (t) είναι

RY (0) =

∫ +∞

−∞

SY (F ) dF = N0

∫ +∞

−∞

|H(F )|2dF. (21)

Παράδειγμα: Στο MATLAB, δημιουργούμε δείγματα λευκού θορύβου με διασπορά 1 με

την εντολή

n = randn(N, 1)⇒ n(i) i.i.d. ∼ N (0, 1).

Προφανώς

n = σw ∗ randn(N, 1)⇒ n(i) i.i.d. ∼ N (0, σ2w).

9 Στοχαστικές διαδικασίες περιορισμένου εύρους

φάσματος

Η στοχαστική διαδικασία X(t) καλείται περιορισμένου εύρους φάσματος (band-

limited) αν SX(F ) = 0 για |F | ≥ W , όπου W είναι το εύρος φάσματος της διαδικασίας.

Πάρα πολλές στοχαστικές διαδικασίες που συναντάμε στην πράξη μπορούν να μοντελοποιη-

θούν πολύ καλά ως στοχαστικές διαδικασίες περιορισμένου εύρους φάσματος.

21

Το παρακάτων σημαντικό θεώρημα ισχύει (η απόδειξη είναι εκτός των πλαισίων του μα-

θήματος).

Θεώρημα Δειγματοληψίας: Αν X(t) στάσιμη στοχαστική διαδικασία με SX(F ) = 0

για |F | > W , τότε από τα X(kTs), με Ts =1

2W, μπορούμε να “ανακτήσουμε” την X(t) υπό

την εξής έννοια:

E[∣∣∣X(t)−

+∞∑

k=−∞

X(kTs) sinc (2W (t− kTs))∣∣∣

2]

= 0, ∀t. (22)

9.1 Φασματική πυκνότητα ισχύος δειγματοληπτημένης στο-

χαστικής διαδικασίας

Θεώρημα: ΄Εστω X(t) στάσιμη υπό την ευρεία έννοια στοχαστική διαδικασία με συνάρτηση

αυτοσυσχέτισης RX(τ) και φασματική πυκνότητα ισχύος SX(F ). ΄Εστω X [n] = X(nTs).

Τότε, η X [n] είναι στάσιμη στοχαστική διαδικασία διακριτού χρόνου με RX [m] = RX(mTs),

και φασματική πυκνότητα ισχύος

S(f) =1

Ts

+∞∑

n=−∞

SX

(

F +n

Ts

)

, με f =F

Fs

(23)

όπου Fs =1Ts

.

22

Παράρτημα

΄Ασκηση: ΄Εστω X(t) στάσιμη υπό την ευρεία έννοια με E [X(t)] = mX , συνάρτηση αυτο-

συσχέτισης RX(τ) και φασματική πυκνότητα ισχύος SX(F ). Να υπολογιστεί η φασματική

πυκνότητα ισχύος της Y (t) = X(t) cos 2πF0t.

Λύση: Η μέση τιμή της Y (t) είναι

mY (t) = E [Y (t)] = E [X(t)] cos(2πF0t) = mX cos(2πF0t). (24)

Η E [Y (t)] είναι περιοδική με T0 =1

F0. Η συνάρτηση αυτοσυσχέτισης της Y (t) είναι

RY Y (t + τ, t) = E [Y (t+ τ)Y (t)]

= E[X(t+ τ) cos(2πF0(t+ τ))X(t) cos(2πF0t)

]

= E[X(t+ τ)X(t)

]cos (2πF0(t+ τ)) cos(2πF0t).

(25)

Κάνοντας χρήση της

cos a cos b =1

2[cos(a+ b) + cos(a− b)]

προκύπτει ότι

RY Y (t+ τ, t) = RX(τ)1

2

[cos (2πF0(2t + τ)) + cos(2πF0τ)

]

=1

2RX(τ) cos(2πF0τ) +

1

2RX(τ) cos (2πF0(2t+ τ)) .

(26)

Παρατηρούμε ότι6

RY Y (t + T0 + τ, t+ T0) = E[Y (t+ T0 + τ) Y (t+ T0)

]

= · · ·

= RY Y (t+ τ, t).

(27)

Συνεπώς, η Y (t) είναι κυκλοστάσιμη υπό την ευρεία έννοια με περίοδο T0. Τότε

RY (τ) =1

T0

∫

T0

RY Y (t + τ, t) dt

=1

2T0

∫

T0

RX(τ) cos(2πF0τ) dt+1

2T0

∫

T0

RX(τ) cos (2πF0(2t+ τ)) dt

=1

2RX(τ) cos(2πF0τ) +

RX(τ)

2T0

∫

T0

cos (2πF0(2t+ τ)) dt.

(28)

6Να προσπαθήσετε να κάνετε την απόδειξη.

23

Το cos (2πF0(2t+ τ)) είναι συνημίτονο με συχνότητα 2F0, περίοδοT0

2και φάση τ . Συνεπώς,

το τελευταίο ολοκλήρωμα της (28) είναι ολοκλήρωμα συνημιτόνου πάνω σε δύο περιόδους,

και είναι ίσο με μηδέν. Τελικά,

RY (τ) =1

2RX(τ) cos(2πF0τ) (29)

και

SY (F ) = FRY (τ). (30)

Γνωρίζουμε ότι αν g(t)F←→ G(F ), τότε

g(t) cos 2πF0t←→1

2

[G(F + F0) +G(F − F0)

]

οπότε,

SY (F ) =1

4

[SX(F + F0) + SX(F − F0)

]. (31)

Αν η X(t) είναι κυκλοστάσιμη με περίοδο T , με T = kT0 =k

F0

, τότε ισχύουν ακριβώς τα

ίδια.

24