Post on 15-Apr-2018
Σηmicroειώσεις Στοχαστικών Ανελίξεων
Αντώνης Τσολοmicroύτης
amp Γραmicromicroατική Χατζηκωνσταντή
Σηmicroειωσεις
Στοχαστικων Ανελιξεων
Βασισmicroένες στο ϐιβλίο
Sidney I Resnik
Adventures in Stochastic Processes
Γοργύρα middot Σάmicroος
4
Περιεχόmicroενα
1 Προκαταρκτικά 7
11 Εισαγωγή 7
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες τιmicroές 7
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές 9
14 Συνέλιξη 11
141 Ιδιότητες συνέλιξης 12
15 Γεννήτριες Συναρτήσεις 12
151 Παράγωγος γεννήτριας συνάρτησης 13
152 Γεννήτριες και συνέλιξη 14
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροίσmicroατα 15
16 Η απλή κλαδωτή διαδικασία 16
161 Ροπές 18
162 Πιθανότητα εξαφάνισης πληθυσmicroού 18
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας 21
18 Απλός τυχαίος περίπατος 24
2 Αλυσίδες Markov 29
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές 29
22 Κατασκευή microιας αλυσίδας Markov 30
23 Παραδείγmicroατα 32
24 Υψηλότερες τάξης πιθανότητες microετάβασης 37
25 ∆ιάσπαση του χώρου καταστάσεων 39
251 Στοχαστική ∆ιαδικασία 39
26 Μετάβαση και επανάληψη 43
27 Περιοδικότητα 52
28 Ιδιότητες Αλληλεγγύης 53
Ευρετήριο ελληνικών όρων 57
Ευρετήριο ξενόγλωσσων όρων 59
5
6 ΠΕΡΙΕΧΟΜΕΝΑ
Το κοmicromicroάτι των σηmicroειώσεων από την παρά-
γραφο 25 και microετά γράφτηκε ως εργασία
για το microάθηmicroα από την ϕοιτήτρια του microε-
ταπτυχιακού προγράmicromicroατος του Τmicroήmicroατος
Μαθηmicroατικών του Πανεπιστηmicroίου Αιγαίου
κα Γραmicromicroατική Χατζηκωνσταντή
Κεφάλαιο 1
Προκαταρκτικά
11 Εισαγωγή
Τυχαία microεταβλητή είναι microία συνάρτηση X από ένα χώρο πιθανότητας στο R
Οποιαδήποτε συνάρτηση X δεν είναι απαραίτητα τυχαία microεταβλητή Για να συmicro-
ϐαίνει αυτό πρέπει να ικανοποιεί κάποια προϋπόθεση που ονοmicroάζεται microετρησιmicroό-
τητα Επειδή η ιδιότητα αυτή απαιτεί αρκετά ϑεωρητικά microαθηmicroατικά και επειδή
όλες οι συναρτήσεις που ϑα microας απασχολήσουν την ικανοποιούν ϑα παραλεί-
ψουmicroε τη συζήτηση αυτής της έννοιας
Ο χώρος πιθανότητας mdashτο πεδίου ορισmicroού microιας τυχαίας microεταβλητής Xmdash δεν
είναι παρά ένα σύνολο Ω που περιέχει όλα τα πιθανά ενδεχόmicroενα ενός πειράmicroατος
΄Ετσι αν microε P(A) συmicroβολίζουmicroε την πιθανότητα να συmicroβεί το ενδεχόmicroενο A τότε
P(Ω) = 1 δηλαδή η πιθανότητα να συmicroβεί κάτι από το Ω είναι πιθανοθεωρητικά
ϐέβαιο (αφού το Ω περιέχει όπως είπαmicroε όλα τα πιθανά ενδεχόmicroενα)
Μια στοχαστική διαδικασία είναι microια συλλογή τυχαίων microεταβλητών Xt t isinT όπου το T είναι κάποιο σύνολο δεικτών Συχνά η microεταβλητή t συmicroβολίζει
χρόνο οπότε T = [0infin) Κάθε Xt είναι συνάρτηση από το Ω στο R Αν microετράmicroε
σε διακριτό χρόνο (πχ δευτερόλεπτα) τότε T = 0 1 2 Για παράδειγmicroα Xtmicroπορεί να είναι το πλήθος των ανθρώπων σε microία ουρά τη χρονική στιγmicroή t ή τα
χρήmicroατα που πλήρωσε microια ασφαλιστική εταιρεία στο διάστηmicroα [0 t] Πολλές ϕορές
επιτρέπουmicroε το πεδίο τιmicroών να περιέχει και το infin ∆ηλαδή Xt 7rarr R cup infin Για
παράδειγmicroα microπορεί microια τυχαία microεταβλητή X να microετράει τον απαιτούmicroενο χρόνο
για να συmicroβεί κάποιο ϕαινόmicroενο Αν αυτό δεν συmicroβαίνει ποτέ τότε είναι ϕυσικό να
ϑεωρήσουmicroε το infin ως τιmicroή της X
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες
τιmicroές
΄Εστω X τυχαία microεταβλητή microε τιmicroές στο σύνολο 0 1 2 3 (πχ αριθmicroός ασφα-
λισmicroένων κάποια χρονική στιγmicroή) ΄Εστω pk = P(X = k) η πιθανότητα να εί-
7
8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
ναι k η τιmicroή της X για k = 0 1 2 3 Τότε P(X lt infin) = suminfink=0pk και
P(X = infin) = 1 minussuminfink=1 pk = pinfin Αν P(X = infin) gt 0 ϑέτουmicroε E(X) = infin
Αλλιώς ϑέτουmicroε
E(X) =
infinsum
k=0
kpk =
infinsum
k=0
kP(X = k) (11)
Πολλές ϕορές παραλείπουmicroε τις παρενθέσεις και γράφουmicroε EX αντί για E(X)Αν f 0 1 2 infin 7rarr [0infin] τότε E
(f (X)
)=sum
0lekleinfin f (k)pk
Αν f 0 1 2 infin 7rarr [minusinfininfin] τότε E(f (X)
)= E
(f +(X)
)minus E
(f minus(X)
)
(όπου f + = maxf 0 f minus = minusminf 0) εφόσον microιά από τις δύο microέσες τιmicroές
υπάρχουν και είναι πεπερασmicroένες Αν και οι δύο είναι infin τότε λέmicroε ότι η E(f (X)
)
δεν υπάρχει Η microέση τιmicroή υπάρχει πάντα ότανsuminfin
k=0 |f (k)|pk lt infin Αν pinfin = 0και
bull f (k) = kn τότε Ef (X) = E(Xn) και καλείται n-στη ϱοπή
bull f (k) = (k minus EX)n τότε Ef (X) = E(X minus EX)n και καλείται n-στη κεντρική
ϱοπή
Αν n = 2 τότε
Var(X) = E(X minus EX)2 = EX2 minus (EX)2 (12)
Ορισmicroός 121 Η ακολουθία pk λέγεται κατανοmicroή της X Λέmicroε ότι η X ακολουθεί
την κατανοmicroή pk
Παραδείγmicroατα
∆ιωνυmicroική κατανοmicroή pk = b(k n p) =(nk
)pk(1 minus p)nminusk είναι η πιθανότητα
για k επιτυχίες σε n πειράmicroατα Bernoulli ( δηλαδή πειράmicroατα όπου το
αποτέλεσmicroα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοmicroίσmicroατος)) όπου η
επιτυχία εmicroφανίζεται microε πιθανότητα p Για τη διωνυmicroική κατανοmicroή έχουmicroε
P(X = k) = b(k n p) =
(n
k
)
pk(1 minus p)nminusk
για 0 le k le n και 0 le p le 1 Επίσης
EX = np και VarX = np(1 minus p)
Κατανοmicroή Poisson
P(X = k) = pk = p(kλ) = eminusλλk
k
για k = 0 1 2 λ gt 0 Επίσης έχουmicroε EX = λ και VarX = λ
Γεωmicroετρική κατανοmicroή
P(X = k) = pk = g(k p) = (1 minus p)kp
13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9
για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-
τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε
q = 1 minus p Τότε
EX =infinsum
k=0
kqkp = p
infinsum
k=1
kqk
= p
infinsum
k=1
(ksum
j=1
1
)
qk = p
ksum
j=1
infinsum
k=j
qk
= p
infinsum
j=1
qj
1 minus q=
infinsum
j=1
qj =q
1 minus q
=q
p
Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε
EX =
infinsum
k=1
P(X gt k)
Απόδειξη
infinsum
k=0
P(X gt k) =
infinsum
k=0
infinsum
j=k+1
pj
=infinsum
j=0
(jminus1sum
k=0
1
)
pj
=infinsum
j=1
jpj
= EX
2
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές
∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου
κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε
P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk
Αν f 0 1 2 infink 7rarr [0infin] τότε
Ef (X1 X2 Xk) =sum
(j1j2jk)
f (j1 j2 jk)pj1j2jk (13)
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
Αντώνης Τσολοmicroύτης
amp Γραmicromicroατική Χατζηκωνσταντή
Σηmicroειωσεις
Στοχαστικων Ανελιξεων
Βασισmicroένες στο ϐιβλίο
Sidney I Resnik
Adventures in Stochastic Processes
Γοργύρα middot Σάmicroος
4
Περιεχόmicroενα
1 Προκαταρκτικά 7
11 Εισαγωγή 7
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες τιmicroές 7
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές 9
14 Συνέλιξη 11
141 Ιδιότητες συνέλιξης 12
15 Γεννήτριες Συναρτήσεις 12
151 Παράγωγος γεννήτριας συνάρτησης 13
152 Γεννήτριες και συνέλιξη 14
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροίσmicroατα 15
16 Η απλή κλαδωτή διαδικασία 16
161 Ροπές 18
162 Πιθανότητα εξαφάνισης πληθυσmicroού 18
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας 21
18 Απλός τυχαίος περίπατος 24
2 Αλυσίδες Markov 29
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές 29
22 Κατασκευή microιας αλυσίδας Markov 30
23 Παραδείγmicroατα 32
24 Υψηλότερες τάξης πιθανότητες microετάβασης 37
25 ∆ιάσπαση του χώρου καταστάσεων 39
251 Στοχαστική ∆ιαδικασία 39
26 Μετάβαση και επανάληψη 43
27 Περιοδικότητα 52
28 Ιδιότητες Αλληλεγγύης 53
Ευρετήριο ελληνικών όρων 57
Ευρετήριο ξενόγλωσσων όρων 59
5
6 ΠΕΡΙΕΧΟΜΕΝΑ
Το κοmicromicroάτι των σηmicroειώσεων από την παρά-
γραφο 25 και microετά γράφτηκε ως εργασία
για το microάθηmicroα από την ϕοιτήτρια του microε-
ταπτυχιακού προγράmicromicroατος του Τmicroήmicroατος
Μαθηmicroατικών του Πανεπιστηmicroίου Αιγαίου
κα Γραmicromicroατική Χατζηκωνσταντή
Κεφάλαιο 1
Προκαταρκτικά
11 Εισαγωγή
Τυχαία microεταβλητή είναι microία συνάρτηση X από ένα χώρο πιθανότητας στο R
Οποιαδήποτε συνάρτηση X δεν είναι απαραίτητα τυχαία microεταβλητή Για να συmicro-
ϐαίνει αυτό πρέπει να ικανοποιεί κάποια προϋπόθεση που ονοmicroάζεται microετρησιmicroό-
τητα Επειδή η ιδιότητα αυτή απαιτεί αρκετά ϑεωρητικά microαθηmicroατικά και επειδή
όλες οι συναρτήσεις που ϑα microας απασχολήσουν την ικανοποιούν ϑα παραλεί-
ψουmicroε τη συζήτηση αυτής της έννοιας
Ο χώρος πιθανότητας mdashτο πεδίου ορισmicroού microιας τυχαίας microεταβλητής Xmdash δεν
είναι παρά ένα σύνολο Ω που περιέχει όλα τα πιθανά ενδεχόmicroενα ενός πειράmicroατος
΄Ετσι αν microε P(A) συmicroβολίζουmicroε την πιθανότητα να συmicroβεί το ενδεχόmicroενο A τότε
P(Ω) = 1 δηλαδή η πιθανότητα να συmicroβεί κάτι από το Ω είναι πιθανοθεωρητικά
ϐέβαιο (αφού το Ω περιέχει όπως είπαmicroε όλα τα πιθανά ενδεχόmicroενα)
Μια στοχαστική διαδικασία είναι microια συλλογή τυχαίων microεταβλητών Xt t isinT όπου το T είναι κάποιο σύνολο δεικτών Συχνά η microεταβλητή t συmicroβολίζει
χρόνο οπότε T = [0infin) Κάθε Xt είναι συνάρτηση από το Ω στο R Αν microετράmicroε
σε διακριτό χρόνο (πχ δευτερόλεπτα) τότε T = 0 1 2 Για παράδειγmicroα Xtmicroπορεί να είναι το πλήθος των ανθρώπων σε microία ουρά τη χρονική στιγmicroή t ή τα
χρήmicroατα που πλήρωσε microια ασφαλιστική εταιρεία στο διάστηmicroα [0 t] Πολλές ϕορές
επιτρέπουmicroε το πεδίο τιmicroών να περιέχει και το infin ∆ηλαδή Xt 7rarr R cup infin Για
παράδειγmicroα microπορεί microια τυχαία microεταβλητή X να microετράει τον απαιτούmicroενο χρόνο
για να συmicroβεί κάποιο ϕαινόmicroενο Αν αυτό δεν συmicroβαίνει ποτέ τότε είναι ϕυσικό να
ϑεωρήσουmicroε το infin ως τιmicroή της X
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες
τιmicroές
΄Εστω X τυχαία microεταβλητή microε τιmicroές στο σύνολο 0 1 2 3 (πχ αριθmicroός ασφα-
λισmicroένων κάποια χρονική στιγmicroή) ΄Εστω pk = P(X = k) η πιθανότητα να εί-
7
8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
ναι k η τιmicroή της X για k = 0 1 2 3 Τότε P(X lt infin) = suminfink=0pk και
P(X = infin) = 1 minussuminfink=1 pk = pinfin Αν P(X = infin) gt 0 ϑέτουmicroε E(X) = infin
Αλλιώς ϑέτουmicroε
E(X) =
infinsum
k=0
kpk =
infinsum
k=0
kP(X = k) (11)
Πολλές ϕορές παραλείπουmicroε τις παρενθέσεις και γράφουmicroε EX αντί για E(X)Αν f 0 1 2 infin 7rarr [0infin] τότε E
(f (X)
)=sum
0lekleinfin f (k)pk
Αν f 0 1 2 infin 7rarr [minusinfininfin] τότε E(f (X)
)= E
(f +(X)
)minus E
(f minus(X)
)
(όπου f + = maxf 0 f minus = minusminf 0) εφόσον microιά από τις δύο microέσες τιmicroές
υπάρχουν και είναι πεπερασmicroένες Αν και οι δύο είναι infin τότε λέmicroε ότι η E(f (X)
)
δεν υπάρχει Η microέση τιmicroή υπάρχει πάντα ότανsuminfin
k=0 |f (k)|pk lt infin Αν pinfin = 0και
bull f (k) = kn τότε Ef (X) = E(Xn) και καλείται n-στη ϱοπή
bull f (k) = (k minus EX)n τότε Ef (X) = E(X minus EX)n και καλείται n-στη κεντρική
ϱοπή
Αν n = 2 τότε
Var(X) = E(X minus EX)2 = EX2 minus (EX)2 (12)
Ορισmicroός 121 Η ακολουθία pk λέγεται κατανοmicroή της X Λέmicroε ότι η X ακολουθεί
την κατανοmicroή pk
Παραδείγmicroατα
∆ιωνυmicroική κατανοmicroή pk = b(k n p) =(nk
)pk(1 minus p)nminusk είναι η πιθανότητα
για k επιτυχίες σε n πειράmicroατα Bernoulli ( δηλαδή πειράmicroατα όπου το
αποτέλεσmicroα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοmicroίσmicroατος)) όπου η
επιτυχία εmicroφανίζεται microε πιθανότητα p Για τη διωνυmicroική κατανοmicroή έχουmicroε
P(X = k) = b(k n p) =
(n
k
)
pk(1 minus p)nminusk
για 0 le k le n και 0 le p le 1 Επίσης
EX = np και VarX = np(1 minus p)
Κατανοmicroή Poisson
P(X = k) = pk = p(kλ) = eminusλλk
k
για k = 0 1 2 λ gt 0 Επίσης έχουmicroε EX = λ και VarX = λ
Γεωmicroετρική κατανοmicroή
P(X = k) = pk = g(k p) = (1 minus p)kp
13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9
για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-
τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε
q = 1 minus p Τότε
EX =infinsum
k=0
kqkp = p
infinsum
k=1
kqk
= p
infinsum
k=1
(ksum
j=1
1
)
qk = p
ksum
j=1
infinsum
k=j
qk
= p
infinsum
j=1
qj
1 minus q=
infinsum
j=1
qj =q
1 minus q
=q
p
Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε
EX =
infinsum
k=1
P(X gt k)
Απόδειξη
infinsum
k=0
P(X gt k) =
infinsum
k=0
infinsum
j=k+1
pj
=infinsum
j=0
(jminus1sum
k=0
1
)
pj
=infinsum
j=1
jpj
= EX
2
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές
∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου
κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε
P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk
Αν f 0 1 2 infink 7rarr [0infin] τότε
Ef (X1 X2 Xk) =sum
(j1j2jk)
f (j1 j2 jk)pj1j2jk (13)
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
4
Περιεχόmicroενα
1 Προκαταρκτικά 7
11 Εισαγωγή 7
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες τιmicroές 7
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές 9
14 Συνέλιξη 11
141 Ιδιότητες συνέλιξης 12
15 Γεννήτριες Συναρτήσεις 12
151 Παράγωγος γεννήτριας συνάρτησης 13
152 Γεννήτριες και συνέλιξη 14
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροίσmicroατα 15
16 Η απλή κλαδωτή διαδικασία 16
161 Ροπές 18
162 Πιθανότητα εξαφάνισης πληθυσmicroού 18
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας 21
18 Απλός τυχαίος περίπατος 24
2 Αλυσίδες Markov 29
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές 29
22 Κατασκευή microιας αλυσίδας Markov 30
23 Παραδείγmicroατα 32
24 Υψηλότερες τάξης πιθανότητες microετάβασης 37
25 ∆ιάσπαση του χώρου καταστάσεων 39
251 Στοχαστική ∆ιαδικασία 39
26 Μετάβαση και επανάληψη 43
27 Περιοδικότητα 52
28 Ιδιότητες Αλληλεγγύης 53
Ευρετήριο ελληνικών όρων 57
Ευρετήριο ξενόγλωσσων όρων 59
5
6 ΠΕΡΙΕΧΟΜΕΝΑ
Το κοmicromicroάτι των σηmicroειώσεων από την παρά-
γραφο 25 και microετά γράφτηκε ως εργασία
για το microάθηmicroα από την ϕοιτήτρια του microε-
ταπτυχιακού προγράmicromicroατος του Τmicroήmicroατος
Μαθηmicroατικών του Πανεπιστηmicroίου Αιγαίου
κα Γραmicromicroατική Χατζηκωνσταντή
Κεφάλαιο 1
Προκαταρκτικά
11 Εισαγωγή
Τυχαία microεταβλητή είναι microία συνάρτηση X από ένα χώρο πιθανότητας στο R
Οποιαδήποτε συνάρτηση X δεν είναι απαραίτητα τυχαία microεταβλητή Για να συmicro-
ϐαίνει αυτό πρέπει να ικανοποιεί κάποια προϋπόθεση που ονοmicroάζεται microετρησιmicroό-
τητα Επειδή η ιδιότητα αυτή απαιτεί αρκετά ϑεωρητικά microαθηmicroατικά και επειδή
όλες οι συναρτήσεις που ϑα microας απασχολήσουν την ικανοποιούν ϑα παραλεί-
ψουmicroε τη συζήτηση αυτής της έννοιας
Ο χώρος πιθανότητας mdashτο πεδίου ορισmicroού microιας τυχαίας microεταβλητής Xmdash δεν
είναι παρά ένα σύνολο Ω που περιέχει όλα τα πιθανά ενδεχόmicroενα ενός πειράmicroατος
΄Ετσι αν microε P(A) συmicroβολίζουmicroε την πιθανότητα να συmicroβεί το ενδεχόmicroενο A τότε
P(Ω) = 1 δηλαδή η πιθανότητα να συmicroβεί κάτι από το Ω είναι πιθανοθεωρητικά
ϐέβαιο (αφού το Ω περιέχει όπως είπαmicroε όλα τα πιθανά ενδεχόmicroενα)
Μια στοχαστική διαδικασία είναι microια συλλογή τυχαίων microεταβλητών Xt t isinT όπου το T είναι κάποιο σύνολο δεικτών Συχνά η microεταβλητή t συmicroβολίζει
χρόνο οπότε T = [0infin) Κάθε Xt είναι συνάρτηση από το Ω στο R Αν microετράmicroε
σε διακριτό χρόνο (πχ δευτερόλεπτα) τότε T = 0 1 2 Για παράδειγmicroα Xtmicroπορεί να είναι το πλήθος των ανθρώπων σε microία ουρά τη χρονική στιγmicroή t ή τα
χρήmicroατα που πλήρωσε microια ασφαλιστική εταιρεία στο διάστηmicroα [0 t] Πολλές ϕορές
επιτρέπουmicroε το πεδίο τιmicroών να περιέχει και το infin ∆ηλαδή Xt 7rarr R cup infin Για
παράδειγmicroα microπορεί microια τυχαία microεταβλητή X να microετράει τον απαιτούmicroενο χρόνο
για να συmicroβεί κάποιο ϕαινόmicroενο Αν αυτό δεν συmicroβαίνει ποτέ τότε είναι ϕυσικό να
ϑεωρήσουmicroε το infin ως τιmicroή της X
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες
τιmicroές
΄Εστω X τυχαία microεταβλητή microε τιmicroές στο σύνολο 0 1 2 3 (πχ αριθmicroός ασφα-
λισmicroένων κάποια χρονική στιγmicroή) ΄Εστω pk = P(X = k) η πιθανότητα να εί-
7
8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
ναι k η τιmicroή της X για k = 0 1 2 3 Τότε P(X lt infin) = suminfink=0pk και
P(X = infin) = 1 minussuminfink=1 pk = pinfin Αν P(X = infin) gt 0 ϑέτουmicroε E(X) = infin
Αλλιώς ϑέτουmicroε
E(X) =
infinsum
k=0
kpk =
infinsum
k=0
kP(X = k) (11)
Πολλές ϕορές παραλείπουmicroε τις παρενθέσεις και γράφουmicroε EX αντί για E(X)Αν f 0 1 2 infin 7rarr [0infin] τότε E
(f (X)
)=sum
0lekleinfin f (k)pk
Αν f 0 1 2 infin 7rarr [minusinfininfin] τότε E(f (X)
)= E
(f +(X)
)minus E
(f minus(X)
)
(όπου f + = maxf 0 f minus = minusminf 0) εφόσον microιά από τις δύο microέσες τιmicroές
υπάρχουν και είναι πεπερασmicroένες Αν και οι δύο είναι infin τότε λέmicroε ότι η E(f (X)
)
δεν υπάρχει Η microέση τιmicroή υπάρχει πάντα ότανsuminfin
k=0 |f (k)|pk lt infin Αν pinfin = 0και
bull f (k) = kn τότε Ef (X) = E(Xn) και καλείται n-στη ϱοπή
bull f (k) = (k minus EX)n τότε Ef (X) = E(X minus EX)n και καλείται n-στη κεντρική
ϱοπή
Αν n = 2 τότε
Var(X) = E(X minus EX)2 = EX2 minus (EX)2 (12)
Ορισmicroός 121 Η ακολουθία pk λέγεται κατανοmicroή της X Λέmicroε ότι η X ακολουθεί
την κατανοmicroή pk
Παραδείγmicroατα
∆ιωνυmicroική κατανοmicroή pk = b(k n p) =(nk
)pk(1 minus p)nminusk είναι η πιθανότητα
για k επιτυχίες σε n πειράmicroατα Bernoulli ( δηλαδή πειράmicroατα όπου το
αποτέλεσmicroα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοmicroίσmicroατος)) όπου η
επιτυχία εmicroφανίζεται microε πιθανότητα p Για τη διωνυmicroική κατανοmicroή έχουmicroε
P(X = k) = b(k n p) =
(n
k
)
pk(1 minus p)nminusk
για 0 le k le n και 0 le p le 1 Επίσης
EX = np και VarX = np(1 minus p)
Κατανοmicroή Poisson
P(X = k) = pk = p(kλ) = eminusλλk
k
για k = 0 1 2 λ gt 0 Επίσης έχουmicroε EX = λ και VarX = λ
Γεωmicroετρική κατανοmicroή
P(X = k) = pk = g(k p) = (1 minus p)kp
13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9
για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-
τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε
q = 1 minus p Τότε
EX =infinsum
k=0
kqkp = p
infinsum
k=1
kqk
= p
infinsum
k=1
(ksum
j=1
1
)
qk = p
ksum
j=1
infinsum
k=j
qk
= p
infinsum
j=1
qj
1 minus q=
infinsum
j=1
qj =q
1 minus q
=q
p
Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε
EX =
infinsum
k=1
P(X gt k)
Απόδειξη
infinsum
k=0
P(X gt k) =
infinsum
k=0
infinsum
j=k+1
pj
=infinsum
j=0
(jminus1sum
k=0
1
)
pj
=infinsum
j=1
jpj
= EX
2
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές
∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου
κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε
P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk
Αν f 0 1 2 infink 7rarr [0infin] τότε
Ef (X1 X2 Xk) =sum
(j1j2jk)
f (j1 j2 jk)pj1j2jk (13)
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
Περιεχόmicroενα
1 Προκαταρκτικά 7
11 Εισαγωγή 7
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες τιmicroές 7
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές 9
14 Συνέλιξη 11
141 Ιδιότητες συνέλιξης 12
15 Γεννήτριες Συναρτήσεις 12
151 Παράγωγος γεννήτριας συνάρτησης 13
152 Γεννήτριες και συνέλιξη 14
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροίσmicroατα 15
16 Η απλή κλαδωτή διαδικασία 16
161 Ροπές 18
162 Πιθανότητα εξαφάνισης πληθυσmicroού 18
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας 21
18 Απλός τυχαίος περίπατος 24
2 Αλυσίδες Markov 29
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές 29
22 Κατασκευή microιας αλυσίδας Markov 30
23 Παραδείγmicroατα 32
24 Υψηλότερες τάξης πιθανότητες microετάβασης 37
25 ∆ιάσπαση του χώρου καταστάσεων 39
251 Στοχαστική ∆ιαδικασία 39
26 Μετάβαση και επανάληψη 43
27 Περιοδικότητα 52
28 Ιδιότητες Αλληλεγγύης 53
Ευρετήριο ελληνικών όρων 57
Ευρετήριο ξενόγλωσσων όρων 59
5
6 ΠΕΡΙΕΧΟΜΕΝΑ
Το κοmicromicroάτι των σηmicroειώσεων από την παρά-
γραφο 25 και microετά γράφτηκε ως εργασία
για το microάθηmicroα από την ϕοιτήτρια του microε-
ταπτυχιακού προγράmicromicroατος του Τmicroήmicroατος
Μαθηmicroατικών του Πανεπιστηmicroίου Αιγαίου
κα Γραmicromicroατική Χατζηκωνσταντή
Κεφάλαιο 1
Προκαταρκτικά
11 Εισαγωγή
Τυχαία microεταβλητή είναι microία συνάρτηση X από ένα χώρο πιθανότητας στο R
Οποιαδήποτε συνάρτηση X δεν είναι απαραίτητα τυχαία microεταβλητή Για να συmicro-
ϐαίνει αυτό πρέπει να ικανοποιεί κάποια προϋπόθεση που ονοmicroάζεται microετρησιmicroό-
τητα Επειδή η ιδιότητα αυτή απαιτεί αρκετά ϑεωρητικά microαθηmicroατικά και επειδή
όλες οι συναρτήσεις που ϑα microας απασχολήσουν την ικανοποιούν ϑα παραλεί-
ψουmicroε τη συζήτηση αυτής της έννοιας
Ο χώρος πιθανότητας mdashτο πεδίου ορισmicroού microιας τυχαίας microεταβλητής Xmdash δεν
είναι παρά ένα σύνολο Ω που περιέχει όλα τα πιθανά ενδεχόmicroενα ενός πειράmicroατος
΄Ετσι αν microε P(A) συmicroβολίζουmicroε την πιθανότητα να συmicroβεί το ενδεχόmicroενο A τότε
P(Ω) = 1 δηλαδή η πιθανότητα να συmicroβεί κάτι από το Ω είναι πιθανοθεωρητικά
ϐέβαιο (αφού το Ω περιέχει όπως είπαmicroε όλα τα πιθανά ενδεχόmicroενα)
Μια στοχαστική διαδικασία είναι microια συλλογή τυχαίων microεταβλητών Xt t isinT όπου το T είναι κάποιο σύνολο δεικτών Συχνά η microεταβλητή t συmicroβολίζει
χρόνο οπότε T = [0infin) Κάθε Xt είναι συνάρτηση από το Ω στο R Αν microετράmicroε
σε διακριτό χρόνο (πχ δευτερόλεπτα) τότε T = 0 1 2 Για παράδειγmicroα Xtmicroπορεί να είναι το πλήθος των ανθρώπων σε microία ουρά τη χρονική στιγmicroή t ή τα
χρήmicroατα που πλήρωσε microια ασφαλιστική εταιρεία στο διάστηmicroα [0 t] Πολλές ϕορές
επιτρέπουmicroε το πεδίο τιmicroών να περιέχει και το infin ∆ηλαδή Xt 7rarr R cup infin Για
παράδειγmicroα microπορεί microια τυχαία microεταβλητή X να microετράει τον απαιτούmicroενο χρόνο
για να συmicroβεί κάποιο ϕαινόmicroενο Αν αυτό δεν συmicroβαίνει ποτέ τότε είναι ϕυσικό να
ϑεωρήσουmicroε το infin ως τιmicroή της X
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες
τιmicroές
΄Εστω X τυχαία microεταβλητή microε τιmicroές στο σύνολο 0 1 2 3 (πχ αριθmicroός ασφα-
λισmicroένων κάποια χρονική στιγmicroή) ΄Εστω pk = P(X = k) η πιθανότητα να εί-
7
8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
ναι k η τιmicroή της X για k = 0 1 2 3 Τότε P(X lt infin) = suminfink=0pk και
P(X = infin) = 1 minussuminfink=1 pk = pinfin Αν P(X = infin) gt 0 ϑέτουmicroε E(X) = infin
Αλλιώς ϑέτουmicroε
E(X) =
infinsum
k=0
kpk =
infinsum
k=0
kP(X = k) (11)
Πολλές ϕορές παραλείπουmicroε τις παρενθέσεις και γράφουmicroε EX αντί για E(X)Αν f 0 1 2 infin 7rarr [0infin] τότε E
(f (X)
)=sum
0lekleinfin f (k)pk
Αν f 0 1 2 infin 7rarr [minusinfininfin] τότε E(f (X)
)= E
(f +(X)
)minus E
(f minus(X)
)
(όπου f + = maxf 0 f minus = minusminf 0) εφόσον microιά από τις δύο microέσες τιmicroές
υπάρχουν και είναι πεπερασmicroένες Αν και οι δύο είναι infin τότε λέmicroε ότι η E(f (X)
)
δεν υπάρχει Η microέση τιmicroή υπάρχει πάντα ότανsuminfin
k=0 |f (k)|pk lt infin Αν pinfin = 0και
bull f (k) = kn τότε Ef (X) = E(Xn) και καλείται n-στη ϱοπή
bull f (k) = (k minus EX)n τότε Ef (X) = E(X minus EX)n και καλείται n-στη κεντρική
ϱοπή
Αν n = 2 τότε
Var(X) = E(X minus EX)2 = EX2 minus (EX)2 (12)
Ορισmicroός 121 Η ακολουθία pk λέγεται κατανοmicroή της X Λέmicroε ότι η X ακολουθεί
την κατανοmicroή pk
Παραδείγmicroατα
∆ιωνυmicroική κατανοmicroή pk = b(k n p) =(nk
)pk(1 minus p)nminusk είναι η πιθανότητα
για k επιτυχίες σε n πειράmicroατα Bernoulli ( δηλαδή πειράmicroατα όπου το
αποτέλεσmicroα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοmicroίσmicroατος)) όπου η
επιτυχία εmicroφανίζεται microε πιθανότητα p Για τη διωνυmicroική κατανοmicroή έχουmicroε
P(X = k) = b(k n p) =
(n
k
)
pk(1 minus p)nminusk
για 0 le k le n και 0 le p le 1 Επίσης
EX = np και VarX = np(1 minus p)
Κατανοmicroή Poisson
P(X = k) = pk = p(kλ) = eminusλλk
k
για k = 0 1 2 λ gt 0 Επίσης έχουmicroε EX = λ και VarX = λ
Γεωmicroετρική κατανοmicroή
P(X = k) = pk = g(k p) = (1 minus p)kp
13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9
για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-
τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε
q = 1 minus p Τότε
EX =infinsum
k=0
kqkp = p
infinsum
k=1
kqk
= p
infinsum
k=1
(ksum
j=1
1
)
qk = p
ksum
j=1
infinsum
k=j
qk
= p
infinsum
j=1
qj
1 minus q=
infinsum
j=1
qj =q
1 minus q
=q
p
Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε
EX =
infinsum
k=1
P(X gt k)
Απόδειξη
infinsum
k=0
P(X gt k) =
infinsum
k=0
infinsum
j=k+1
pj
=infinsum
j=0
(jminus1sum
k=0
1
)
pj
=infinsum
j=1
jpj
= EX
2
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές
∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου
κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε
P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk
Αν f 0 1 2 infink 7rarr [0infin] τότε
Ef (X1 X2 Xk) =sum
(j1j2jk)
f (j1 j2 jk)pj1j2jk (13)
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
6 ΠΕΡΙΕΧΟΜΕΝΑ
Το κοmicromicroάτι των σηmicroειώσεων από την παρά-
γραφο 25 και microετά γράφτηκε ως εργασία
για το microάθηmicroα από την ϕοιτήτρια του microε-
ταπτυχιακού προγράmicromicroατος του Τmicroήmicroατος
Μαθηmicroατικών του Πανεπιστηmicroίου Αιγαίου
κα Γραmicromicroατική Χατζηκωνσταντή
Κεφάλαιο 1
Προκαταρκτικά
11 Εισαγωγή
Τυχαία microεταβλητή είναι microία συνάρτηση X από ένα χώρο πιθανότητας στο R
Οποιαδήποτε συνάρτηση X δεν είναι απαραίτητα τυχαία microεταβλητή Για να συmicro-
ϐαίνει αυτό πρέπει να ικανοποιεί κάποια προϋπόθεση που ονοmicroάζεται microετρησιmicroό-
τητα Επειδή η ιδιότητα αυτή απαιτεί αρκετά ϑεωρητικά microαθηmicroατικά και επειδή
όλες οι συναρτήσεις που ϑα microας απασχολήσουν την ικανοποιούν ϑα παραλεί-
ψουmicroε τη συζήτηση αυτής της έννοιας
Ο χώρος πιθανότητας mdashτο πεδίου ορισmicroού microιας τυχαίας microεταβλητής Xmdash δεν
είναι παρά ένα σύνολο Ω που περιέχει όλα τα πιθανά ενδεχόmicroενα ενός πειράmicroατος
΄Ετσι αν microε P(A) συmicroβολίζουmicroε την πιθανότητα να συmicroβεί το ενδεχόmicroενο A τότε
P(Ω) = 1 δηλαδή η πιθανότητα να συmicroβεί κάτι από το Ω είναι πιθανοθεωρητικά
ϐέβαιο (αφού το Ω περιέχει όπως είπαmicroε όλα τα πιθανά ενδεχόmicroενα)
Μια στοχαστική διαδικασία είναι microια συλλογή τυχαίων microεταβλητών Xt t isinT όπου το T είναι κάποιο σύνολο δεικτών Συχνά η microεταβλητή t συmicroβολίζει
χρόνο οπότε T = [0infin) Κάθε Xt είναι συνάρτηση από το Ω στο R Αν microετράmicroε
σε διακριτό χρόνο (πχ δευτερόλεπτα) τότε T = 0 1 2 Για παράδειγmicroα Xtmicroπορεί να είναι το πλήθος των ανθρώπων σε microία ουρά τη χρονική στιγmicroή t ή τα
χρήmicroατα που πλήρωσε microια ασφαλιστική εταιρεία στο διάστηmicroα [0 t] Πολλές ϕορές
επιτρέπουmicroε το πεδίο τιmicroών να περιέχει και το infin ∆ηλαδή Xt 7rarr R cup infin Για
παράδειγmicroα microπορεί microια τυχαία microεταβλητή X να microετράει τον απαιτούmicroενο χρόνο
για να συmicroβεί κάποιο ϕαινόmicroενο Αν αυτό δεν συmicroβαίνει ποτέ τότε είναι ϕυσικό να
ϑεωρήσουmicroε το infin ως τιmicroή της X
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες
τιmicroές
΄Εστω X τυχαία microεταβλητή microε τιmicroές στο σύνολο 0 1 2 3 (πχ αριθmicroός ασφα-
λισmicroένων κάποια χρονική στιγmicroή) ΄Εστω pk = P(X = k) η πιθανότητα να εί-
7
8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
ναι k η τιmicroή της X για k = 0 1 2 3 Τότε P(X lt infin) = suminfink=0pk και
P(X = infin) = 1 minussuminfink=1 pk = pinfin Αν P(X = infin) gt 0 ϑέτουmicroε E(X) = infin
Αλλιώς ϑέτουmicroε
E(X) =
infinsum
k=0
kpk =
infinsum
k=0
kP(X = k) (11)
Πολλές ϕορές παραλείπουmicroε τις παρενθέσεις και γράφουmicroε EX αντί για E(X)Αν f 0 1 2 infin 7rarr [0infin] τότε E
(f (X)
)=sum
0lekleinfin f (k)pk
Αν f 0 1 2 infin 7rarr [minusinfininfin] τότε E(f (X)
)= E
(f +(X)
)minus E
(f minus(X)
)
(όπου f + = maxf 0 f minus = minusminf 0) εφόσον microιά από τις δύο microέσες τιmicroές
υπάρχουν και είναι πεπερασmicroένες Αν και οι δύο είναι infin τότε λέmicroε ότι η E(f (X)
)
δεν υπάρχει Η microέση τιmicroή υπάρχει πάντα ότανsuminfin
k=0 |f (k)|pk lt infin Αν pinfin = 0και
bull f (k) = kn τότε Ef (X) = E(Xn) και καλείται n-στη ϱοπή
bull f (k) = (k minus EX)n τότε Ef (X) = E(X minus EX)n και καλείται n-στη κεντρική
ϱοπή
Αν n = 2 τότε
Var(X) = E(X minus EX)2 = EX2 minus (EX)2 (12)
Ορισmicroός 121 Η ακολουθία pk λέγεται κατανοmicroή της X Λέmicroε ότι η X ακολουθεί
την κατανοmicroή pk
Παραδείγmicroατα
∆ιωνυmicroική κατανοmicroή pk = b(k n p) =(nk
)pk(1 minus p)nminusk είναι η πιθανότητα
για k επιτυχίες σε n πειράmicroατα Bernoulli ( δηλαδή πειράmicroατα όπου το
αποτέλεσmicroα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοmicroίσmicroατος)) όπου η
επιτυχία εmicroφανίζεται microε πιθανότητα p Για τη διωνυmicroική κατανοmicroή έχουmicroε
P(X = k) = b(k n p) =
(n
k
)
pk(1 minus p)nminusk
για 0 le k le n και 0 le p le 1 Επίσης
EX = np και VarX = np(1 minus p)
Κατανοmicroή Poisson
P(X = k) = pk = p(kλ) = eminusλλk
k
για k = 0 1 2 λ gt 0 Επίσης έχουmicroε EX = λ και VarX = λ
Γεωmicroετρική κατανοmicroή
P(X = k) = pk = g(k p) = (1 minus p)kp
13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9
για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-
τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε
q = 1 minus p Τότε
EX =infinsum
k=0
kqkp = p
infinsum
k=1
kqk
= p
infinsum
k=1
(ksum
j=1
1
)
qk = p
ksum
j=1
infinsum
k=j
qk
= p
infinsum
j=1
qj
1 minus q=
infinsum
j=1
qj =q
1 minus q
=q
p
Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε
EX =
infinsum
k=1
P(X gt k)
Απόδειξη
infinsum
k=0
P(X gt k) =
infinsum
k=0
infinsum
j=k+1
pj
=infinsum
j=0
(jminus1sum
k=0
1
)
pj
=infinsum
j=1
jpj
= EX
2
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές
∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου
κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε
P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk
Αν f 0 1 2 infink 7rarr [0infin] τότε
Ef (X1 X2 Xk) =sum
(j1j2jk)
f (j1 j2 jk)pj1j2jk (13)
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
Κεφάλαιο 1
Προκαταρκτικά
11 Εισαγωγή
Τυχαία microεταβλητή είναι microία συνάρτηση X από ένα χώρο πιθανότητας στο R
Οποιαδήποτε συνάρτηση X δεν είναι απαραίτητα τυχαία microεταβλητή Για να συmicro-
ϐαίνει αυτό πρέπει να ικανοποιεί κάποια προϋπόθεση που ονοmicroάζεται microετρησιmicroό-
τητα Επειδή η ιδιότητα αυτή απαιτεί αρκετά ϑεωρητικά microαθηmicroατικά και επειδή
όλες οι συναρτήσεις που ϑα microας απασχολήσουν την ικανοποιούν ϑα παραλεί-
ψουmicroε τη συζήτηση αυτής της έννοιας
Ο χώρος πιθανότητας mdashτο πεδίου ορισmicroού microιας τυχαίας microεταβλητής Xmdash δεν
είναι παρά ένα σύνολο Ω που περιέχει όλα τα πιθανά ενδεχόmicroενα ενός πειράmicroατος
΄Ετσι αν microε P(A) συmicroβολίζουmicroε την πιθανότητα να συmicroβεί το ενδεχόmicroενο A τότε
P(Ω) = 1 δηλαδή η πιθανότητα να συmicroβεί κάτι από το Ω είναι πιθανοθεωρητικά
ϐέβαιο (αφού το Ω περιέχει όπως είπαmicroε όλα τα πιθανά ενδεχόmicroενα)
Μια στοχαστική διαδικασία είναι microια συλλογή τυχαίων microεταβλητών Xt t isinT όπου το T είναι κάποιο σύνολο δεικτών Συχνά η microεταβλητή t συmicroβολίζει
χρόνο οπότε T = [0infin) Κάθε Xt είναι συνάρτηση από το Ω στο R Αν microετράmicroε
σε διακριτό χρόνο (πχ δευτερόλεπτα) τότε T = 0 1 2 Για παράδειγmicroα Xtmicroπορεί να είναι το πλήθος των ανθρώπων σε microία ουρά τη χρονική στιγmicroή t ή τα
χρήmicroατα που πλήρωσε microια ασφαλιστική εταιρεία στο διάστηmicroα [0 t] Πολλές ϕορές
επιτρέπουmicroε το πεδίο τιmicroών να περιέχει και το infin ∆ηλαδή Xt 7rarr R cup infin Για
παράδειγmicroα microπορεί microια τυχαία microεταβλητή X να microετράει τον απαιτούmicroενο χρόνο
για να συmicroβεί κάποιο ϕαινόmicroενο Αν αυτό δεν συmicroβαίνει ποτέ τότε είναι ϕυσικό να
ϑεωρήσουmicroε το infin ως τιmicroή της X
12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες
τιmicroές
΄Εστω X τυχαία microεταβλητή microε τιmicroές στο σύνολο 0 1 2 3 (πχ αριθmicroός ασφα-
λισmicroένων κάποια χρονική στιγmicroή) ΄Εστω pk = P(X = k) η πιθανότητα να εί-
7
8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
ναι k η τιmicroή της X για k = 0 1 2 3 Τότε P(X lt infin) = suminfink=0pk και
P(X = infin) = 1 minussuminfink=1 pk = pinfin Αν P(X = infin) gt 0 ϑέτουmicroε E(X) = infin
Αλλιώς ϑέτουmicroε
E(X) =
infinsum
k=0
kpk =
infinsum
k=0
kP(X = k) (11)
Πολλές ϕορές παραλείπουmicroε τις παρενθέσεις και γράφουmicroε EX αντί για E(X)Αν f 0 1 2 infin 7rarr [0infin] τότε E
(f (X)
)=sum
0lekleinfin f (k)pk
Αν f 0 1 2 infin 7rarr [minusinfininfin] τότε E(f (X)
)= E
(f +(X)
)minus E
(f minus(X)
)
(όπου f + = maxf 0 f minus = minusminf 0) εφόσον microιά από τις δύο microέσες τιmicroές
υπάρχουν και είναι πεπερασmicroένες Αν και οι δύο είναι infin τότε λέmicroε ότι η E(f (X)
)
δεν υπάρχει Η microέση τιmicroή υπάρχει πάντα ότανsuminfin
k=0 |f (k)|pk lt infin Αν pinfin = 0και
bull f (k) = kn τότε Ef (X) = E(Xn) και καλείται n-στη ϱοπή
bull f (k) = (k minus EX)n τότε Ef (X) = E(X minus EX)n και καλείται n-στη κεντρική
ϱοπή
Αν n = 2 τότε
Var(X) = E(X minus EX)2 = EX2 minus (EX)2 (12)
Ορισmicroός 121 Η ακολουθία pk λέγεται κατανοmicroή της X Λέmicroε ότι η X ακολουθεί
την κατανοmicroή pk
Παραδείγmicroατα
∆ιωνυmicroική κατανοmicroή pk = b(k n p) =(nk
)pk(1 minus p)nminusk είναι η πιθανότητα
για k επιτυχίες σε n πειράmicroατα Bernoulli ( δηλαδή πειράmicroατα όπου το
αποτέλεσmicroα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοmicroίσmicroατος)) όπου η
επιτυχία εmicroφανίζεται microε πιθανότητα p Για τη διωνυmicroική κατανοmicroή έχουmicroε
P(X = k) = b(k n p) =
(n
k
)
pk(1 minus p)nminusk
για 0 le k le n και 0 le p le 1 Επίσης
EX = np και VarX = np(1 minus p)
Κατανοmicroή Poisson
P(X = k) = pk = p(kλ) = eminusλλk
k
για k = 0 1 2 λ gt 0 Επίσης έχουmicroε EX = λ και VarX = λ
Γεωmicroετρική κατανοmicroή
P(X = k) = pk = g(k p) = (1 minus p)kp
13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9
για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-
τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε
q = 1 minus p Τότε
EX =infinsum
k=0
kqkp = p
infinsum
k=1
kqk
= p
infinsum
k=1
(ksum
j=1
1
)
qk = p
ksum
j=1
infinsum
k=j
qk
= p
infinsum
j=1
qj
1 minus q=
infinsum
j=1
qj =q
1 minus q
=q
p
Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε
EX =
infinsum
k=1
P(X gt k)
Απόδειξη
infinsum
k=0
P(X gt k) =
infinsum
k=0
infinsum
j=k+1
pj
=infinsum
j=0
(jminus1sum
k=0
1
)
pj
=infinsum
j=1
jpj
= EX
2
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές
∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου
κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε
P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk
Αν f 0 1 2 infink 7rarr [0infin] τότε
Ef (X1 X2 Xk) =sum
(j1j2jk)
f (j1 j2 jk)pj1j2jk (13)
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
ναι k η τιmicroή της X για k = 0 1 2 3 Τότε P(X lt infin) = suminfink=0pk και
P(X = infin) = 1 minussuminfink=1 pk = pinfin Αν P(X = infin) gt 0 ϑέτουmicroε E(X) = infin
Αλλιώς ϑέτουmicroε
E(X) =
infinsum
k=0
kpk =
infinsum
k=0
kP(X = k) (11)
Πολλές ϕορές παραλείπουmicroε τις παρενθέσεις και γράφουmicroε EX αντί για E(X)Αν f 0 1 2 infin 7rarr [0infin] τότε E
(f (X)
)=sum
0lekleinfin f (k)pk
Αν f 0 1 2 infin 7rarr [minusinfininfin] τότε E(f (X)
)= E
(f +(X)
)minus E
(f minus(X)
)
(όπου f + = maxf 0 f minus = minusminf 0) εφόσον microιά από τις δύο microέσες τιmicroές
υπάρχουν και είναι πεπερασmicroένες Αν και οι δύο είναι infin τότε λέmicroε ότι η E(f (X)
)
δεν υπάρχει Η microέση τιmicroή υπάρχει πάντα ότανsuminfin
k=0 |f (k)|pk lt infin Αν pinfin = 0και
bull f (k) = kn τότε Ef (X) = E(Xn) και καλείται n-στη ϱοπή
bull f (k) = (k minus EX)n τότε Ef (X) = E(X minus EX)n και καλείται n-στη κεντρική
ϱοπή
Αν n = 2 τότε
Var(X) = E(X minus EX)2 = EX2 minus (EX)2 (12)
Ορισmicroός 121 Η ακολουθία pk λέγεται κατανοmicroή της X Λέmicroε ότι η X ακολουθεί
την κατανοmicroή pk
Παραδείγmicroατα
∆ιωνυmicroική κατανοmicroή pk = b(k n p) =(nk
)pk(1 minus p)nminusk είναι η πιθανότητα
για k επιτυχίες σε n πειράmicroατα Bernoulli ( δηλαδή πειράmicroατα όπου το
αποτέλεσmicroα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοmicroίσmicroατος)) όπου η
επιτυχία εmicroφανίζεται microε πιθανότητα p Για τη διωνυmicroική κατανοmicroή έχουmicroε
P(X = k) = b(k n p) =
(n
k
)
pk(1 minus p)nminusk
για 0 le k le n και 0 le p le 1 Επίσης
EX = np και VarX = np(1 minus p)
Κατανοmicroή Poisson
P(X = k) = pk = p(kλ) = eminusλλk
k
για k = 0 1 2 λ gt 0 Επίσης έχουmicroε EX = λ και VarX = λ
Γεωmicroετρική κατανοmicroή
P(X = k) = pk = g(k p) = (1 minus p)kp
13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9
για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-
τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε
q = 1 minus p Τότε
EX =infinsum
k=0
kqkp = p
infinsum
k=1
kqk
= p
infinsum
k=1
(ksum
j=1
1
)
qk = p
ksum
j=1
infinsum
k=j
qk
= p
infinsum
j=1
qj
1 minus q=
infinsum
j=1
qj =q
1 minus q
=q
p
Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε
EX =
infinsum
k=1
P(X gt k)
Απόδειξη
infinsum
k=0
P(X gt k) =
infinsum
k=0
infinsum
j=k+1
pj
=infinsum
j=0
(jminus1sum
k=0
1
)
pj
=infinsum
j=1
jpj
= EX
2
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές
∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου
κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε
P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk
Αν f 0 1 2 infink 7rarr [0infin] τότε
Ef (X1 X2 Xk) =sum
(j1j2jk)
f (j1 j2 jk)pj1j2jk (13)
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9
για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-
τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε
q = 1 minus p Τότε
EX =infinsum
k=0
kqkp = p
infinsum
k=1
kqk
= p
infinsum
k=1
(ksum
j=1
1
)
qk = p
ksum
j=1
infinsum
k=j
qk
= p
infinsum
j=1
qj
1 minus q=
infinsum
j=1
qj =q
1 minus q
=q
p
Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε
EX =
infinsum
k=1
P(X gt k)
Απόδειξη
infinsum
k=0
P(X gt k) =
infinsum
k=0
infinsum
j=k+1
pj
=infinsum
j=0
(jminus1sum
k=0
1
)
pj
=infinsum
j=1
jpj
= EX
2
13 ∆ιανυσmicroατικές τυχαίες microεταβλητές
∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου
κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε
P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk
Αν f 0 1 2 infink 7rarr [0infin] τότε
Ef (X1 X2 Xk) =sum
(j1j2jk)
f (j1 j2 jk)pj1j2jk (13)
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Αν f 0 1 2 infink 7rarr R τότε
Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)
εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη
Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R
E
(ksum
i=1
aiXi
)
=ksum
i=1
aiEXi
εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)
Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν
P(X = k και Y = l) = P(X = k)P(Y = l) (14)
Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν
P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =
mprod
j=1
P(Xij = pij)
για κάθε επιλογή δεικτών i1 i2 im
Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε
E
kprod
i=1
fi(Xi) =kprod
i=1
Efi(Xi) (15)
το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος
τύπος
Var
(ksum
i=1
aiXi
)
=
ksum
i=1
a2i Var(Xi)
εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου
Cov(X Y ) = E((X minus EX)(Y minus EY )
)
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
14 ΣΥΝΕΛΙΞΗ 11
14 Συνέλιξη
΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak
P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε
P(X + Y = n) = P
(n⋃
i=0
(X = i Y = n minus i)
)
=
nsum
i=0
P(X = i Y = n minus i)
=
nsum
i=0
P(X = i)P(Y = n minus i)
=
nsum
i=0
aibnminusi
= pn
∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών
an της X και bn της Y (και όχι το άθροισmicroα)
Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι
microία νέα ακολουθία cn n ge 0 όπου
cn =
nsum
i=0
aibnminusi = an lowast bn (16)
Συmicroβολισmicroός
bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες
microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk
bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια
κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2
Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε
P(X + Y = k) =ksum
i=0
P(X = i)P(Y = k minus i)
=
ksum
i=0
eminusλλi
ieminusmicro
microkminusi
(k minus i)
= eminus(λ+micro) 1
k
ksum
i=0
(k
i
)
λimicrokminusi
= eminus(λ+micro) (λ + micro)k
k
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
2
Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-
ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli
ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε
n +m δοκιmicroές Bernoulli)
141 Ιδιότητες συνέλιξης
Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες
αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή
X + (Y + Z)d= (X + Y ) + Z
Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες
τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι
τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε
X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸ ︷︷ ︸
kminusϕορές
15 Γεννήτριες Συναρτήσεις
Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-
στε η σειρά A(s) =suminfin
j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)
γεννήτρια συνάρτηση της ακολουθίας aj
Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε
εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν
X sim pk τότε η P(s) =suminfin
k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε
ότι P(s) = EsX (γιατί ) και P(1) =suminfin
k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι
τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)
Παράδειγmicroα Αν X sim p(kλ) τότε
P(s) =
infinsum
k=0
eminusλλk
ksk = eminusλ
infinsum
k=0
(λs)k
k
= eminusλeλs = eλ(sminus1)
για όλα τα s gt 0
Παράδειγmicroα Αν X sim b(k n p) τότε
P(s) =
nsum
0
((n
k
)
pkqnminusk)
sk =
nsum
k=0
(n
k
)
(ps)kqnminusk
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13
Παράδειγmicroα Αν X sim g(k p) τότε
P(s) =
infinsum
k=0
(qkp)sk =p
1 minus qs
για 0 lt s lt qminus1
151 Παράγωγος γεννήτριας συνάρτησης
Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο
dn
dsnP(s)
∣∣s=0
= npn (17)
για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk
Γεννήτριες και ϱοπές
Αν X sim pksuminfin
k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της
microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin
k=0 qksk τότε
Q(s) =1 minus P(s)
1 minus s
Πράγmicroατι έχουmicroε
Q(s) =
infinsum
k=0
(infinsum
i=k+1
pi
)
sk =
infinsum
i=1
(iminus1sum
k=0
sk
)
pi
=
infinsum
i=1
1 minus si
1 minus spi =
infinsum
i=0
1 minus si
1 minus spi
= (1 minus s)minus1(1 minus P(s)
)
΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι
limsrarr1minus
1 minus P(s)
1 minus s=
infinsum
k=0
qk = EX
∆ηλαδή EX = P prime(1)Γενικά ισχύει
limsrarr1minus
dn
dsnP(s) = P(n)(1)
=
infinsum
k=0
k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk
= E(X(X minus 1) middot middot middot (X minus n + 1)
)
΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε
Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)
)2
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
152 Γεννήτριες και συνέλιξη
Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση
ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-
τρέπεται σε απλό γινόmicroενο
Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-
νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-
νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους
τότε
PX1+X2(s) = PX1
(s)PX2(s)
΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η
γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)
Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε
PX1+X2(s) =
(PX1
(s))2
Απόδειξη
PX1+X2(s) = EsX1+X2 = EsX1sX2
= EsX1EsX2 = PX1(s)PX2
(s)
αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )
΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)
Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η
infinsum
n=0
(nsum
k=0
akbnminusk
)
sn =
infinsum
k=0
infinsum
n=k
akbnminusksn
=
infinsum
k=0
aksk
infinsum
n=k
binfinnminuskbnminusksnminusk
= A(s)B(s)
2
Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες
τότε
PX1+X2(s) = PX1
(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)
άρα X1 + X2 sim p(kλ+ micro)
Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την
ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος
των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε
PX (s) =nprod
i=1
PXi (s) =(PX1
(s))n
= (q + ps)n
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15
όπου q = 1 minus p
Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν
την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα
πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή
Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε
PX (s) =rprod
i=1
PXi (s) =(PXi (s)
)r=
(p
1 minus qs
)r
=infinsum
k=0
P(X = k)sk
Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε
την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού
αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το
διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο
(1 + t)α =
infinsum
k=0
(α
k
)
tk
για |t| lt 1 όπου
(α
k
)
=(α)kk
=α(α minus 1) middot middot middot (α minus k + 1)
k
Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε
(p
1 minus qs
)r
= pr(1 minus qs)minusr = prinfinsum
k=0
(minusrk
)
(minus1)kqksk
άρα
P(X = k) = (minus1)k(minusrk
)
prqk
153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-
σmicroατα
΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη
αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1
΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη
αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για
0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία
microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0
P(SN = j) =infinsum
k=0
P(SN = j N = k) =infinsum
k=0
P(Sk = j N = k)
=infinsum
k=0
P(Sk = j)P(N = k) =infinsum
k=0
pklowastj αk
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση
της SN είναι η
PSN (s) =infinsum
j=0
P(SN = j)sj =infinsum
j=0
(infinsum
k=0
pklowastj αk
)
sj
=
infinsum
k=0
αk
(infinsum
j=0
pklowastj sj
)
=
infinsum
k=0
αk
(infinsum
j=0
P(Sk = j)sj
)
=
infinsum
k=0
αk (PX1(s))
k= PN (PX1
(s))
δηλαδή
PSN (s) = PN (PX1(s)) (18)
Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-
τηση την
pSN (s) = eλ(pX1 (s)minus1)
(αφού pN(s) = eλ(sminus1))
Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-
ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο
τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά
είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή
διεύθυνση
Λύση ΄Εστω η τυχαία microεταβλητή Xi microε
Xi =
1 αν σηmicroειωθεί σωστά η διευθυνση
0 αλλιώς
΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε
γεννήτρια την
PSN (s) = PN(PX1
(s))
= PN(q + ps) = eλ(q+psminus1)
= eλ(psminusp) = eλp(sminus1)
δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-
ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας
Poisson
16 Η απλή κλαδωτή διαδικασία
Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή
διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία
πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-
γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17
τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία
αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται
microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-
νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού
Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της
επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει
microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα
Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-
ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς
ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας
Z0 = 1
Z1 = Z11
Z2 = Z21 + Z22 + middot middot middot + Z2Z1
Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1
(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-
δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού
ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις
microηδενιστεί microία διαδικασία παραmicroένει microηδέν))
Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι
του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των
Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια
΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin
k=0 pksk για
0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι
Pn(s) = Pnminus1
(P(s)
)
άρα
P2(s) = P(P(s)
)
P3(s) = P2
(P(s)
)= P
(
P(P(s)
))
= P(P2(s)
)
Pn(s) = Pnminus1
(P(s)
)= P
(Pn1(s)
)
Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-
γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps
P2(s) = q + p(q + ps) = q + pq + p2s
P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s
Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρήστε ότι s le s le 1 και
limnrarrinfin
Pn+1(s) =infinsum
j=0
qpj =q
1 minus p= 1
161 Ροπές
΄Εστω m = EZ1 =suminfin
k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να
υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και
P primen(s) =
(
Pnminus1
(P(s)P
))prime
= P primenminus1
(P(s)
)P prime(s)
΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-
νοντας τη διαδικασία αυτή έχουmicroε
mn = mnminus2m2 = mnminus3m
3 = middot middot middot = m1mnminus1 = mn
δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn
Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την
Pn(s) = P(Pnminus1(s)
)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι
Var Zn+1 =
σ2mn(
1minusmn+1
1minusm
)
αν m 6= 1
σ2(n + 1) αν m = 1
162 Πιθανότητα εξαφάνισης πληθυσmicroού
΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε
την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει
Zn = 0 sube Zn+1 = 0
άρα
π = P (cupinfink=1Zk = 0) = lim
nrarrinfinP (cupnk=1Zk = 0)
= limnrarrinfin
P(Zn = 0) = limnrarrinfin
Pn(0) = limnrarrinfin
πn
= limnrarrinfin
P(εξαφάνιση πριν από τη n-στη γενιά)
΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-
λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο
ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα
υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1
Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η
ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα
(0 1)
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 19
Απόδειξη
Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P
(Pn(s)
) Θέτοντας
s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και
χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]
΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q
αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως
επαναλαmicroβάνουmicroε τη διαδικασία
π2 = P2(0) = P(P(0)
)= P(π1) le P(q) = q
άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς
π = limnrarrinfin
πn le q
Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού
P primeprime(s) =
infinsum
k=2
k(k minus 1)pkskminus2 ge 0
Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες
σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι
πάντα η s = 1 (αφού P(1) =suminfin
k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα
είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2
1
1
1
1
1
Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο
Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε
P2(s) = P(P(s)
)le P(π) = π
Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά
πn = Pn(0) le Pn(s) le π
και πn rarr π συνεπώς Pn(s) rarr π
Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα
της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε
π le s lt 1 Η P είναι αύξουσα άρα
P(π) = π le P2(s) le P(s) le s
οπότε
π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s
΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε
Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π
Τότε
P(α) = limnrarrinfin
P(Pn(s0)
)= lim
nrarrinfinPn+1(s0) = α
΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο
[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η
P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο
2
Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin
k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για
κάθε k ge 1
Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν
υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη
συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς
συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-
στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα
να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και
pk = 0 για κάθε k ge 3
Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-
δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί
το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία
P(s) = 0 2 + 0 2s+ 0 6s2
Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1
s = 0 2 + 0 2s+ 0 6s2
hArr 0 6s2 minus 0 8s+ 0 2 = 0
hArr s =0 8 plusmn
radic0 82 minus 4 middot 0 6 middot 0 2
2 middot 0 6
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21
δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει
διάλλειmicroα ο υπάλληλος είναι 13
17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας
΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =
p(n)k και Pn(s) = EsXn
Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και
γράφουmicroε Xndminusrarr X0 αν κάθε
(p
(n)k
)
nσυγκλίνει στο p
(0)k δηλαδή
limnrarrinfin
p(n)k = p
(0)0
για κάθε k ge 0
Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-
ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε
s isin [0 1]
Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-
νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και
suminfink=0 p
(n)k = 1 Τότε υπάρχει ακολουθία
p(0)k k ge 0 ώστε
limnrarrinfin
p(n)k = p
(0)k
για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε
limnrarrinfin
Pn(s) = limnrarrinfin
infinsum
k=0
p(n)k sk = P0(s)
για κάθε 0 lt s lt 1
Σε αυτή την περίπτωση ισχύει P0(s) =suminfin
k=0 p(0)k sk και
suminfink=0 p
(0)k = 1 αν και
microόνο αν
limsrarr1minus
P0(s) = P0(1) = 1
Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-
ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη
σύγκλιση των πιθανοτήτων κατανοmicroής
Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin
i=m+1 si lt
΄Ετσι έχουmicroε
|Pn(s) minus P(s)| leinfinsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
infinsum
k=m+1
sk
lemsum
k=1
∣∣p
(n)k minus p
(0)k
∣∣+
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p
(0)k rarr 0 για κάθε k άρα
lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)
Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει
συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f
(n)1
έχει συγκλίνουσα υπακολουθία έστω την f(k1
n )1
(δες Billingsley p 566)
Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-
ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία
δεικτών nprimeprime ΄Εχουmicroε
limnprimerarrinfin
infinsum
k=0
p(nprime)k sk = lim
nprimerarrinfinPnprime(s) = P0(s)
limnprimeprimerarrinfin
infinsum
k=0
p(nprimeprime)k sk = lim
nprimeprimerarrinfinPnprimeprime(s) = P0(s)
οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-
τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας
(αφού για παράδειγmicroα p(0)k = P
(k)0 (s)k όπου P
(k)0 (s) η k παράγωγος της P0(s))
Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2
Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές
Αν Xn sim b(k n p(n)
)και
limnrarrinfin
np(n) = limnrarrinfin
EXn = λ isin (0infin)
τότε Xndminusrarr X0 και X0 sim p(kλ)
Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις
limnrarrinfin
Pn(s) = limnrarrinfin
EsXn
= limnrarrinfin
(1 minus p(n) + p(n)s
)n
= limnrarrinfin
(
1 +(sminus 1)np(n)
n
)n
= eλ(sminus1)
Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare
events
Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες
i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)
ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin
iiisumn
k=1 pk(n) = Esumn
k=1 Xnk rarr λ isin (0infin)
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23
Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε
nsum
k=1
Xnkdminusrarr PO(λ)
Απόδειξη Η γεννήτρια τηςsumn
k=1 Xnk είναι η
nprod
k=1
PXnk (s) =
nprod
k=1
(1 minus pk(n) + pk(n)s
)
΄Αρα αρκεί να δείξουmicroε ότι
limnrarrinfin
nsum
k=1
log(1 minus pk(n)(1 minus s)
)= λ(sminus 1)
αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι
P nk=1
Xnk (s) rarr eλ(sminus1)
Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα
Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε
nsum
k=1
minus log(1 minus pk(n)(1 minus s)
)=
nsum
k=1
pk(n)(1 minus s) +
nsum
k=1
R(pk(n)(1 minus s)
)
΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin
sumnk=1 R
(pk(n)(1 minus s)
)= 0 Επιλέγουmicroε n
microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε
nsum
k=1
R(pk(n)(1 minus s)
)le
nsum
k=1
R(pk(n)
)
le 2
nsum
k=1
(pk(n)
)2
le 2 sup1leklen
pk(n)
nsum
k=1
pk(n)
le 2δ(n)
nsum
k=1
pk(n) rarr 2 middot 0 middot λ
Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι
Rprime(x) = minus1 +1
1 minus x=
x
1 minus xge 0
για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την
f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
και
f prime(x) = 4x + 1 minus 1
1 minus x=
x
1 minus x(3 minus 4x) ge 0
αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34
δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως
f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2
18 Απλός τυχαίος περίπατος
΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και
P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q
για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη
διαδικασία (Sn)nge0 microε
S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1
Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά
κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο
παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς
που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να
υπολογίσουmicroε την κατανοmicroή της N
΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να
πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει
αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει
να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και
φn =
nminus2sum
j=1
qφjφnminusjminus1
για n ge 2
Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2
[N = n] =
nminus2⋃
j=1
[X1 = minus1] cap Aj cap Bnminusjminus1
όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο
ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και
το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25
το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή
Aj = [infn nsum
i=1
Xi+1 = 1 = j]
Bnminusjminus1 = [infn nsum
i=1
Xj+i+1 = 1 = n minus j minus 1]
Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα
τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j
τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε
P(N = n) = φn =nminus2sum
j=1
qP(Aj)P(Bnminusjminus1)
Τώρα
X1 X2 d= X2 X3 (19)
δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε
P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)
αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα
P(Aj) = P
(
infn
nsum
n=1
Xi = 1 = j
)
= φj
και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς
φ0 = 0 φ1 = p φn =nminus2sum
j=1
qφjφnminusjminus1 (110)
για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και
αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin
n=0 φnsn η γεννήτρια συνάρτηση της
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
(φn)n ΄Εχουmicroε
infinsum
n=2
φnsn =
infinsum
n=2
(nminus2sum
j=1
qφjφnminusjminus1
)
sn
=
infinsum
n=2
(nminus2sum
j=0
qφjφnminusjminus1
)
sn
=
infinsum
j=0
(infinsum
n=j+2
φnminusjminus1snminusjminus1
)
φjsjqs
=infinsum
j=0
(infinsum
m=1
φmsm
)
φjsjqs (m = n minus j minus 1)
=infinsum
j=0
Φ(s)φjsjqs
= qs(Φ(s)
)2
Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς
Φ(s) =1 plusmn
radic
1 minus 4pqs2
2qs
Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα
Φ(s) =1 minus
radic
1 minus 4pqs2
2qs
για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα
infinsum
n=0
φnsn =
1
2qs
(
1 minusinfinsum
j=0
(12
j
)
(minus1)j(4pqs2)j
)
=
infinsum
j=1
(12
j
)
(minus1)j+1 (4pq)j
2qs2jminus1
δηλαδή
φ2jminus1 = (minus1)j+1
(12
j
)(4pq)j
2q
φ2j = 0
για όλα τα j ge 1
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27
Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι
P(N ltinfin) = Φ(1)
=1 minus
radic
1 minus 4p(1 minus p)
2q
=1 minus |p minus q|
2q
=
1 αν p ge q
pq αν p lt q
΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-
λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin
n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ
΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε
EN = Φprime(1)
=
(
2q4pqradic
1 minus 4pqminus 2q(1 minus
radic
1 minus 4pq)
)
2q2
=2p
|p minus q| minus1 minus |p minus q|
2q
άρα
EN =
infin αν p = 1 = 12
(p minus q)minus1 αν p gt q
Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0
΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin
n=0 f2ns2n για 0 le s le 1
΄Εχουmicroε
N0 =
1 + infn
sumni=1 Xi+1 = 1
στο [X1 = minus1]
1 + infn
sumni=1 Xi+1 = minus1
στο [X1 = 1]
΄Εστω
N+ = inf
n
nsum
i=1
Xi+1 = 1
και Nminus = inf
n
nsum
i=1
Xi+1 = minus1
Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N
d= N+ Επίσης η N+
καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως
η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε
F(s) = EsN0
= EsN01[X1=minus1] + EsN01[X1=1]
= sim1+N+
1[X1=minus1] + sim1+Nminus
1[X1=1]
= ssimN+
P[X1 = minus1] + ssimNminus
P[X1 = 1] (ανεξαρτησία)
= sΦ(s)q + spEsNminus
(αφού Nd= N+)
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ
Παρατηρούmicroε τώρα ότι
Nminus = inf
n
nsum
i=1
Xi+1 = minus1
d= inf
n nsum
i=1
Xi = minus1
= inf
n
nsum
i=1
(minusXi) = 1
= inf
n
nsum
i=1
X ]i = 1
Η sumni=1 X
]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή
P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q
και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus
προκύπτει από τον τύπο της Φ(s) microε
εναλλαγή των p και q ΄Ετσι
F(s) = sq1 minus
radic
1 minus 4pqs2
2qs+ sp
1 minusradic
1 minus 4pqs2
2ps
= 1 minusradic
1 minus 4pqs2
και
F(1) = P(N0 ltinfin) = 1 minusradic
1 minus 4pq = 1 minus |p minus q|Συνεπώς
P(N0 ltinfin) =
1 αν p = q
2q αν p gt q
2p αν p lt q
΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν
Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε
F(s) = 1 minusradic
1 minus s2
F prime(s) = minus1
2(1 minus s2)minus122srarr infin
καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι
ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
Κεφάλαιο 2
Αλυσίδες Markov
Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα
Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν
την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-
ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά
προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-
πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov
Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό
του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε
στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-
τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη
κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να
ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε
microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι
ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα
να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το
i
21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές
΄Εστω X τmicro P(X = k) = ak k ge 0suminfin
i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα
κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως
εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1
i=0 ai sumk
i=0 ai ] διαλέγουmicroε τον
αριθmicroό k (ϑεωρούmicroε ότιsumminus1
i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας
Y =infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U)
΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1
i=0 ai sumk
i=0 ai ] το οποίο
συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X
29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
22 Κατασκευή microιας αλυσίδας Markov
Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το
S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum
k=0 6infinak = 1 microιά αρχική
κατανοmicroή ΄Εστω
P =
p00 p01 middot middot middotp10 p11 middot middot middot
ο πίνακας microετάβασης όπου pij ge 0suminfin
j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)
Ορίζουmicroε
X0 =
infinsum
k=0
k1( kminus1
i=0ai
ki=0
ai ](U0)
Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή
ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε
πεδίο ορισmicroού το S times [0 1] microε
f (i u) =
infinsum
k=0
k1( kminus1
i=0pi
ki=0
pi ](u)
δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1
i=0 pi sumk
i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που
εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται
από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την
U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1
Ιδιότητες
bull P(X0 = k) = ak k ge 0
P(Xn+1 = j |Xn = i) = pij (21)
αφού
P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i
)
= P(f (i Un+1) = j |Xn = i
)
= P(f (i Un+1) = j
)
εφόσον οι Un+1 και Xn είναι ανεξάρτητες
bull
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)
αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε
P(f (i Un+1) = j |X0 = i0 Xn = j
)= P
(f (i Un+1) = j
)
= pij
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31
αφού η Un+1 είναι ανεξάρτητη των Xn
Η ιδιότητα
P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)
λέγεται ιδιότητα του Markov
bull
P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(Xn+1 = k1 Xn+m = km |Xn = i)
= P(X1 = k1 Xm = km |X0 = i)
Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω
σχέσης ισούται microε
P(
f (i Un+1) = k1 f(f (i Un+1) Un+2
)= k2
|X0 = i0 Xnminus1 = inminus1 Xn = i)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |U0 = i0 f (i0 U1) = i1
)
= P(
f (i U1) = k1 f(f (i U1) U2
)= k2 |X0 = i0
)
= P(X1 = k1 Xm = km |X0 = i)
Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)
ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-
τάβασης P
Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας
Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-
microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov
X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια
ότι
X ]n n ge 0 d= Xn n ge 0
Πρόταση 222 Αν Xn αλυσίδα Markov τότε
P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)
για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και
πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί
την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo
Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-
νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει
P(
capki=1 A minus i)
= P(
Ak∣∣ capkminus1
i=0 Ai
)
P(
Akminus1
∣∣ capkminus2
i=0 Ai
)
middot middot middot P(A1|A0)P(A0)
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
εφόσον P(capji=0 Ai
)gt 0 j = 0 1 k minus 1
Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν
P(X0 = i0 Xj = ij) gt 0 (24)
για j = 0 1 k minus 1 τότε
P(X0 = i0 Xk = ik) =kprod
j=1
P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)
(22)=
kprod
j=1
P(Xj = ij |Xjminus1 = ijminus1)ai0
= ai0
kprod
j=1
pijminus1ij
Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν
ισχύει δηλαδή
jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0
Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε
P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)
Οπότε
pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0
οπότε πάλι η (23) ισχύει
Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε
P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)
= ai0pi0i1pi1i2 middot middot middot pikminus1ik
ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1
= pikminus1ik
δηλαδή η ιδιότητα Markov ισχύει 2
23 Παραδείγmicroατα
Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε
microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε
P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)
= ain+1
= P(Xn+1 = in+1 |Xn = in)
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33
και
P =
a0 a1 middot middot middot am
a0 a1 middot middot middot am
Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες
microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και
Zn = Zn1 + middot middot middot + ZnZnminus1
΄Αρα
P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum
j=1
Znj = in | Z0 = i0 Znminus1 = inminus1
)
= P( inminus1sum
j=1
Znj = in
)
δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα
P(Zn = j | Znminus1 = i) = P( isum
k=1
Znk = j)
= plowastij
Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή
κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =nsum
i=1
Xi n ge 1
Η Sn είναι αλυσίδα Markov αφού
P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)
= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)
= P(Xn+1 = in+1 minus in)
= ain+1minusin
= P(Sn+1 = in+1 |Sn = in)
αφού η Xn+1 είναι ανεξάρτητη των S0 Sn
Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα
microετάβασης
P =
1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0
qm rm pm0 0 0 0 middot middot middot 0 1
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Παρατηρήστε ότι
P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1
γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης
ισχύουν
P(Xn+1 = i + 1 |Xn = i) = pi
P(Xn+1 = i minus 1 |Xn = i) = qi
P(Xn+1 = i |Xn = i) = ri
για 1 le i le m minus 1
Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo
ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το
παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα
χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία
ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία
microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo
ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo
Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το
0 1 2 και ο πίνακας microεταφοράς είναι ο
P =
q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot
Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p
και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη
γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την
επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει
σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει
(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων
ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη
τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης
της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι
microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες
όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία
΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για
n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω
επίσης ότι X0 le S Τότε
Xn+1 =
(Xn minus Dn+1)+ αν s lt Xn le S
(S minus Dn+1)+ αν Xn le s
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 35
όπου ως συνήθως
x+ =
x αν x gt 00 αν x le 0
Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι
αλυσίδα Markov
Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι
i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα
limNrarrinfin
Nminus1Nsum
j=0
Xj
Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι
είναι ίσο microε
limnrarrinfin
Nsum
j=1
jP(Xn = j)
ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-
νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε
Un =
minDn minus Xnminus1 0 αν s lt Xnminus1 le S
minDn minus S 0 αν Xnminus1 le s
και Ϲητάmicroε τοsumN
j=1 Uj για microεγάλα N
iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς
επαρκή προσφορά
limNrarrinfin
Nsum
j=1
1Ujgt0
Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη
αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της
λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή
n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η
οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)
Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε
ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα
Xn+1 = min(Xn + An+1 minusm)+ c
δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο
καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο
P =
alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1
0 0 0 middot middot middot a0 middot middot middot amminus1 agem
Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα
οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)
Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά
που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που
εξυπηρετείται)
Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-
λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω
Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε
αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των
πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη
που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε
Xn+1 = (Xn minus 1) + An+1
Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι
αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι
P =
a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot
Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1
και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το
σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά
πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε
Xn+1 = (Xn minus Sn+1 + 1)+
Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε
P =
suminfini=1 ai a0 0 0 0 middot middot middot
suminfini=2 ai a1 a0 0 0 middot middot middot
suminfini=3 ai a2 a1 a0 0 middot middot middot
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37
24 Υψηλότερες τάξης πιθανότητες microετάβασης
΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας
ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων
Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P
ορίζονται ως
P2 = P middot P =(p
(2)ij
)=
(sum
k
pikpkj
)
και γενικά
Pn+1 = Pn middot P = P middot Pn =(p
(2)ij
)=
(sum
k
p(n)ik pkj
)
=
(sum
k
pikp(n)kj
)
Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα
Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι
P(Xn = k |X0 = i) = P(Xn+m |Xm = i)
δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν
εξαρτάται από το πότε ξεκίνησε
Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει
p(n)ij = P(Xn = j |X0 = i)
Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε
P(X2 = j |X0 = i) =sum
k
P(X2 = j Xk |X0 = i)
=sum
k
P(X2 = j X1 = k X0 = i)ai
=sum
k
aipikpkjai
=sum
k
pikpkjai
= p(2)ij
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε
P(XN+1 = j |X0 = i) =sum
k
P(XN+1 = j X1 = k X0 = i)ai
=sum
k
P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai
=sum
k
P(XN = j |X0 = k)P(X1 = k |X0 = i)
=sum
k
pikp(N)kj
= p(N+1)ij
2
Η ταυτότητα
Pn+m = PnPm lArrrArr p(n+m)ij =
sum
k
p(n)ik p
(m)kj
microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-
γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να
υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε
ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-
τάσταση k στην j σε m ϐήmicroατα
Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο
a(n)j = P(Xn = j) =
sum
i
aip(n)ij
Απόδειξη
P(Xn = j) =sum
i
P(Xn = j |X0 = i)P(X0 = i)
=sum
i
aip(n)ij
2
Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-
ποίηση
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39
25 ∆ιάσπαση του χώρου καταστάσεων
251 Στοχαστική ∆ιαδικασία
Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία
∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο
T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε
η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου
ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η
διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία
συνεχούς χρόνου
Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί
P(Xn+1 = j | Xn = i) = pij
P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij
microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P
Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-
ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά
προβλήmicroατα
Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε
χώρο S
Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-
ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και
να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω
τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε
να ϑέσουmicroε τj = τj
Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια
αρχική κατάσταση i το παρακάτω είναι ϐασικό
Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν
Pi [tj le infin] gt 0
Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει
στην κατάσταση j
Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-
γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B
παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-
τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την
προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή
η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-
σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε
[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία
να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το
γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση
Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από
την i κατάσταση
΄Εχουmicroε από το [] ότι
P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃
n=0
Xn = j | X0 = i
leinfinsum
n=0
PXn = j | X0 = i =infinsum
n=0
p(n)ij = 0
Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της
προσέγγισης
i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι
1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε
η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς
προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i
παίρνουmicroε i rarr j
ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-
τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε
S0 = 0 Sn =sumn
i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η
τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου
microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι
το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και
επίσης ισχύουν
P(Xn+1 = i + 1 | Xn = i) = pi
P(Xn+1 = i minus 1 | Xn = i) = qi
P(Xn+1 = i | Xn = i) = ri
για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται
Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και
ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση
του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από
n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του
αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν
η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν
microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos
Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και
καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία
για κάθε κατάσταση εκτός από τη m
iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1
Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού
ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις
microηδενιστεί microια διαδικασία παραmicroένει 0
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41
Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-
σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί
την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-
σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη
κατάσταση στην πρώτη
Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και
j rarr i
Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει
i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i
ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)
iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)
Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε
i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p
(m)jk gt 0 για microερικά m
αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov
pn+mik =
infinsum
r=0
p(n)ir p
(m)rk ge p
(n)ij p
(m)jk gt 0
έτσι ώστε i rarr k
Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και
ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0
ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη
C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι
καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1
Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί
΄Εχουmicroε Ci cap Cj = i 6= j και⋃
i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες
κλάσεις
΄Εχουmicroε microερικά παραδείγmicroατα
i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης
1 0 0 012 0 12 00 12 0 120 0 0 1
Υπάρχουν 3 κλάσεις 0 3 1 2
ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε
πίνακα
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ υπάρχουν 2 κλάσεις C1 = 1 2
C2 = 3 4
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
42 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-
νακα
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
Υπάρχουν 3 κλάσεις C1 = 0 1
C2 = 2 3 και C3 = 4 (ϐλέπε []
Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται
από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα
τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού
έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική
αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που
συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού
P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0
΄Εχουmicroε τον πίνακα microετάβασης
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2 0
q3 0 0 0 p3 0
όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε
πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])
΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο
C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και
x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε
x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας
από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά
στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j
κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα
i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0
ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1
Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-
ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε
Pi [TCc = 1] =sum
jisinCc
pij = 0
Οmicroοίως
Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43
0 + Pi [X1 isin CX2 isin Cc] =sum
jisinCc
sum
kisinC
pikpkj = 0
Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι
είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε
Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά
n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και
P =
12 12 0 012 12 0 00 0 12 120 0 12 12
Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να
εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε
C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1
microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου
καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε
(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum
jisinC pij = 1 αφούsum
jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις
i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-
ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-
microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε
n
ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-
τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-
ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση
αλλά δεν είναι κλειστή
26 Μετάβαση και επανάληψη
Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν
σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική
κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε
αυτή την κατάσταση
Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο
i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-
ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε
f(0)ij = 0 και f
(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας
fij =suminfin
n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j
δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται
επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
44 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε
πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα
από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει
εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε
i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η
Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε
την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε
ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος
αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-
κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j
τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα
στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j
συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και
συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η
αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-
σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να
καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο
στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον
fij =suminfin
n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0
∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι
microεταβατική κατάσταση
Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-
σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι
το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε
ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά
επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-
περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος
είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή
να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι
ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin
n=0 nf(n)ii lt infin
Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα
και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-
λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις
παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin
n=0 f(n)ij sn
Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =
suminfinj=0 ajs
j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται
γεννήτρια συνάρτηση της ακολουθίας aj
∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-
λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin
n=0 p(n)ij s
n δεν
είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 45
Πρόταση 262 i Για i isin S έχουmicroε
p(n)ii =
nsum
k=0
f (k)ii p(nminusk)
ii n ge 1
και για 0 lt s lt 1
Pii(s) =1
1 minus Fii(s)
ii Για i 6= j έχουmicroε
p(n)ij =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)
Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως
η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό
σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης
Απόδειξη (ϐλέπε [])
i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική
στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov
ϕτάνει στην κατάσταση i σε n ϐήmicroατα
΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι
Xn = i = cupnk=0τi = k Xn = i (26)
Από (26) έχουmicroε
p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =
nsum
k=0
Piτi = k Xn = i =
nsum
k=0
Piτi = kPXn = i | X0 = i τi = k =
nsum
k=0
Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i
Επειδή
p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i
Τότε από την παραπάνω
p(n)ii =
nsum
k=0
Pi(τi = k)p(nminusk)ii =
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
46 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
nsum
k=0
f (k)ii p(nminusk)ii n ge 0
Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-
σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin
Pii(s) =infinsum
n=0
p(n)ii s
n = P(0)ii +
infinsum
n=1
p(n)ii s
n
ή ισοδύναmicroα
Pii(s) = 1 +
infinsum
n=1
p(n)ii s
n = 1 +
infinsum
n=1
infinsum
k=0
f (k)ii p(nminusk)ii sn =
1 +
nsum
k=0
(
infinsum
n=k
p(nminusk)ii snminusk)f (k)ii sk =
1 + Fii(s)Pii(s)
Ισοδύναmicroα
Pii(s) = 1 + Fii(s)Pii(s)
άρα
Pii(s) minus Fii(s)Pii(s) = 1
δηλαδή
Pii(s) =1
1 minus Fii(s)
αφού f(0)ii = 0 και f
(0)ii = Pi(τi = 0) = 0
ii
p(n)ij =
nsum
k=0
f(k)ij pnminuskjj n ge 0
microε f(k)ij = Pi(τj = k) και p
(n)ij =
sumnk=0 Pi(τj = k)pnminuskjj
Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n
έχουmicroε
Xn = j = cupnk=0τj = k Xn = j (27)
Από την εξίσωση 27 έχουmicroε
p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =
nsum
k=0
Piτj = k Xn = j =
nsum
k=0
Piτj = kPXn = j | X0 = i τj = k =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 47
nsum
k=0
Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
Επειδή
p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j
τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε
p(n)ij =
nsum
k=0
Piτj = kp(nminusk)jj =
nsum
k=0
f(k)ij p
(nminusk)jj n ge 0
για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση
Pij(s) =
infinsum
n=0
p(n)ij s
n =
infinsum
n=0
nsum
k=0
f(k)ij p
(nminusk)jj sn n ge 0
infinsum
k=0
(
infinsum
n=k
p(nminusk)jj snminusk)f
(k)ij sk =
Fij(s)Pjj(s)
2
Στη συνέχεια έχουmicroε την παρακάτω πρόταση
Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και
microόνο ανsuminfin
n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και
microόνο ανsuminfin
n=0 p(n)ii ltinfin
Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-
δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov
η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως
εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το
επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i
ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη
Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα
που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό
δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί
την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii
∆ηλαδή το i είναι
επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν
limsrarr1
Pii(s) = limsrarr1
1
1 minus Fii(s)= infin
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
48 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
και αφού Pii(1) =suminfin
n=0 p(n)ii το απόδείξαmicroε
Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι
p(n)ii =
sumnk=0 f
(k)ii p
(nminusk)ii n ge k άρα
infinsum
n=1
p(n)ii =
infinsum
n=1
nsum
k=1
f (k)ii p(nminusk)ii =
infinsum
k=1
f (k)ii
infinsum
n=k
p(nminusk)ii =
fii
infinsum
n=0
p(n)ii = fii(p
0ii +
infinsum
n=1
pnii ) =
fii(1 +infinsum
n=1
pnii )
Ανsuminfin
n=1 p(n)ii = c ltinfin τότε
fii =c
1 + c
και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική
Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα
Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των
διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin
n=1 1[Xn=i]
Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα
Ei(Nj) =
infinsum
n=1
Ei1[Xn=i] =
infinsum
n=1
Pi [Xn = i] =
infinsum
n=1
p(n)ij
΄Αρα για j = i Ei(Ni) =suminfin
n=1 p(n)ii = fii
1minusfiiltinfin που σηmicroαίνει ότι
suminfinn=1 p
(n)ii ltinfin
(Βλεπε [])
Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα
πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-
σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το
δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι
όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από
το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1
η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-
σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο
χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική
επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα
από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από
τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη
Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2
3 4 και πίνακα microετάβασης
12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0
14 14 0 0 12
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 49
Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-
λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες
και η τρίτη microεταβατική
Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε
P[Nj = k | X0 = i] =
1 minus fij k = 0
fijf(kminus1)jj (1 minus fjj) k ge 1
΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i
Pi [Nj ltinfin] = 1
και
Ei(Nj) = fij(1 minus fjj) =
infinsum
n=1
p(n)ij ltinfin
και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής
Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0
Αν j είναι επαναλαmicroβανόmicroενο τότε
Pj[Nj = infin] = 1
και για κάθε i
Pi [Nj = infin] = fij
Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής
΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται
αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη
κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι
Piτj = kPjτj = n
Από την παραπάνω σχέση έχουmicroε
PiN(j) ge 2 =infinsum
k=1
infinsum
n=1
Piτj = kPjτj = n =
=
infinsum
k=1
Piτj = kinfinsum
n=1
Pjτj = n =
infinsum
k=1
f(k)ij
infinsum
n=1
f(n)jj = fijfjj
και για k ge 2
PiNj ge k = fijf(kminus1)jj
PiNj = k = PiNj ge k minus PiNj ge k + 1 =
fijfkminus1jj minus fijf
(k)jj = fijf
(kminus1)jj (1 minus fjj) k gt 1
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
50 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι
Pi(Nj ge k) = fijf(kminus1)jj
έχουmicroε
Pi(Nj = infin) = limkrarrinfin
Pi(Nj ge k) = limkrarrinfin
fijf(kminus1)jj = 0
Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)
από το οποίο έχουmicroε
Pi(Nj ltinfin) = 1
Από προηγούmicroενη σχέση για k ge 1 έχουmicroε
Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)
΄Αρα
Ei(Nj) =infinsum
k=1
kPi(N(j)) = k) =infinsum
k=1
kfijf(kminus1)jj (1 minus fjj) =
fij(1 minus fjj)
infinsum
k=1
kf(kminus1)jj =
fij(1 minus fjj)infinsum
k=1
(f(k)jj )prime =
fij(1 minus fjj)
(1 minus fjj)2=
fij
(1 minus fjj)ltinfin
Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη
PiNj ge k = fijf(kminus1)jj
Η
PiNj = infin = limkrarrinfin
PiNj ge k =
limkrarrinfin
fijf(kminus1)jj = fij lim
krarrinfinf(kminus1)jj = fij
επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα
Ej(Nj) = fij(1 minus fjj) = infin
΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-
τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-
ϱασmicroένα
Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-
ταξύ p(n)ij και f (n)
ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S
έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης
f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 51
sum
k 6=jkisinS
Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =
sum
k 6=j
Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]
το οποίο από την σχέση
P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =
P[Xn+1 = k1 Xn+m = km | Xn = i] =
P[X1 = k1 Xm = km | X0 = i]
γίνεταιsum
k 6=j
Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =
sum
k 6=j
pikf(nminus1)kj
Συνοψίζοντας
f(n)ij =
pij n = 1sum
k 6=j pikf(nminus1)kj n gt 1
Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε
(j)P = ((j)pik)
όπου
(j)pik =
pik k 6= j
0 k = j
έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό
j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f
(n)ij i isin S)prime Τότε η παραπάνω σχεση
γίνεται
f(n)ij =
pij i isin S)prime n = 1(j)
Pf (nminus1) n gt 1
το οποίο επίσης microπορεί να εφρασθεί ως
f(n) =(j)
Pnminus1
f(1)
Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική
κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία
επαγγελmicroατικά επίπεδα γνωρίστηκαν
i υψηλό επίπεδο (διευθυντές καθηγητές)
ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)
iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
52 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι
P =123
45 48 07
05 70 25
01 5 49
΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και
ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα
(1)P =
0 48 070 70 250 5 49
για n = 1 και f(1) = (f
(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-
χουmicroε f(2) =(1)
Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f
(3) =(1)Pf
(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε
f(9) = ((1)P)8f = (01519 02644 0279)prime
Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς
ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-
λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην
κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-
microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό
σχήmicroα ϐρίσκουmicroε
(Pi [τ1(1) le 5] i = 1 2 3)prime = (
5sum
m=1
f(m)i1 i = 1 2 3)prime
=
45
05
01
+
0247
0375
0299
+
02009
033720334
+
0185261
0319577033229
+
0176657
0306777
0322611
=
530985
183860
138791
Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να
πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή
27 Περιοδικότητα
Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης
microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι
συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-
microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό
d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53
είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών
των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα
εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη
περιοδικές
Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1
p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p
(n)ii gt 0 = empty τότε
παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την
i περιοδική microε περίοδο d(i)
Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο
του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην
i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι
πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =
sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0
είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος
28 Ιδιότητες Αλληλεγγύης
Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα
αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την
ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη
κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση
j isin C έχει την ιδιότητα αυτή
Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι
ελληλέγγυες καταστάσεις
Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν
microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της
κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-
χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p
(m)ij gt 0 όπως έ-
χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την
ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =
sum
k p(n)ik p
(m)kj )
καθώς και από την οmicroοιότητα πινάκων έχουmicroε
Pm+n+k = PmPnPk
p(n+m+k)jj =
sum
abisinS
p(m)ja p
(k)ab p
(n)bj ge
p(m)ji p(k)
ii p(n)ij = (p
(m)ji p
(n)ij )p(k)
ii = cp(k)ii
Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα
Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
54 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο
i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε
infinsum
l=1
p(l)jj ge
infinsum
k=1
p(m+n+k)jj ge c
infinsum
k=1
p(k)ii = infin
αφού p(m)ji p
(n)ij gt 0 και
suminfink=1 p
(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα
και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j
΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-
ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε
επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-
τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την
προηγούmicroενη σχέση έχουmicroε για c gt 0
p(n+m+k)jj ge cp(k)
ii
Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p
(n+m)jj gt 0 αφού c gt 0
το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε
k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p
(n+m+k)jj ge cp
(k)ii gt 0 άρα n + m + k =
k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε
k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι
διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο
microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε
ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την
συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)
Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-
ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από
την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-
ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει
την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-
στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή
του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-
οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι
περίπατοι παρασύρονται στο άπειρο κτλ
Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον
πίνακα microετάβασης για την αλυσίδα που έχει την microορφή
P =
q0 p0 0 0
q1 0 p1 0
q2 0 0 p2
microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-
δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 55
καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες
επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία
να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν
αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών
Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική
και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-
ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του
0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε
f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]
= p0p1 pnminus2qnminus1
όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0
Γράφουmicroε
un =nprod
i=0
pi n ge 0
και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι
f(n)00 = unminus2 minus unminus1 n ge 2
από το οποίο
N+1sum
n=1
f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN
= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN
΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN
i=0 pi rarr 0 καθώς το
N rarr infin
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
56 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57
Ευρετήριο ελληνικών όρων
αλυσίδες
Markov 29
ανεξάρτητες τυχαίες microεταβλητές 10
γεννήτρια συνάρτηση 12
διαδικασία
απλή κλαδωτή 16
διωνυmicroική κατανοmicroή
αρνητική 15
εκλέπτυνση Poisson 16
ιδιότητα Markov 31
κατανοmicroή 8
microετρησιmicroότητα 7
πιθανότητα microετάβασης 29
πίνακας microετάβασης 30
πίνακας Markov 31
προσοmicroοιωmicroένη αλυσίδα Markov 31
προσοmicroοίωση τυχαίας microεταβλητής 29
στοχαστικός πίνακας 31
συνέλιξη ακολουθιών 11
σύνθετη κατανοmicroή 15
τυχαία microεταβλητή
διανυσmicroατική 9
τυχαία microεταβλητή 7
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29
ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59
Ευρετήριο ξενόγλωσσων όρων
Markov
αλυσίδες 29