Shmei‚seic Stoqastik‚n Anel—xewnbaio (afoÔ to periŁqei ìpwc e—pame ìla ta pijan‹...

Σηmicroειώσεις Στοχαστικών Ανελίξεων

Αντώνης Τσολοmicroύτης

amp Γραmicromicroατική Χατζηκωνσταντή

Σηmicroειωσεις

Στοχαστικων Ανελιξεων

Βασισmicroένες στο ϐιβλίο

Sidney I Resnik

Adventures in Stochastic Processes

Γοργύρα middot Σάmicroος

4

Περιεχόmicroενα

1 Προκαταρκτικά 7

11 Εισαγωγή 7

12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες τιmicroές 7

13 ∆ιανυσmicroατικές τυχαίες microεταβλητές 9

14 Συνέλιξη 11

141 Ιδιότητες συνέλιξης 12

15 Γεννήτριες Συναρτήσεις 12

151 Παράγωγος γεννήτριας συνάρτησης 13

152 Γεννήτριες και συνέλιξη 14

153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροίσmicroατα 15

16 Η απλή κλαδωτή διαδικασία 16

161 Ροπές 18

162 Πιθανότητα εξαφάνισης πληθυσmicroού 18

17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας 21

18 Απλός τυχαίος περίπατος 24

2 Αλυσίδες Markov 29

21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές 29

22 Κατασκευή microιας αλυσίδας Markov 30

23 Παραδείγmicroατα 32

24 Υψηλότερες τάξης πιθανότητες microετάβασης 37

25 ∆ιάσπαση του χώρου καταστάσεων 39

251 Στοχαστική ∆ιαδικασία 39

26 Μετάβαση και επανάληψη 43

27 Περιοδικότητα 52

28 Ιδιότητες Αλληλεγγύης 53

Ευρετήριο ελληνικών όρων 57

Ευρετήριο ξενόγλωσσων όρων 59

5

6 ΠΕΡΙΕΧΟΜΕΝΑ

Το κοmicromicroάτι των σηmicroειώσεων από την παρά-

γραφο 25 και microετά γράφτηκε ως εργασία

για το microάθηmicroα από την ϕοιτήτρια του microε-

ταπτυχιακού προγράmicromicroατος του Τmicroήmicroατος

Μαθηmicroατικών του Πανεπιστηmicroίου Αιγαίου

κα Γραmicromicroατική Χατζηκωνσταντή

Κεφάλαιο 1

Προκαταρκτικά

11 Εισαγωγή

Τυχαία microεταβλητή είναι microία συνάρτηση X από ένα χώρο πιθανότητας στο R

Οποιαδήποτε συνάρτηση X δεν είναι απαραίτητα τυχαία microεταβλητή Για να συmicro-

ϐαίνει αυτό πρέπει να ικανοποιεί κάποια προϋπόθεση που ονοmicroάζεται microετρησιmicroό-

τητα Επειδή η ιδιότητα αυτή απαιτεί αρκετά ϑεωρητικά microαθηmicroατικά και επειδή

όλες οι συναρτήσεις που ϑα microας απασχολήσουν την ικανοποιούν ϑα παραλεί-

ψουmicroε τη συζήτηση αυτής της έννοιας

Ο χώρος πιθανότητας mdashτο πεδίου ορισmicroού microιας τυχαίας microεταβλητής Xmdash δεν

είναι παρά ένα σύνολο Ω που περιέχει όλα τα πιθανά ενδεχόmicroενα ενός πειράmicroατος

΄Ετσι αν microε P(A) συmicroβολίζουmicroε την πιθανότητα να συmicroβεί το ενδεχόmicroενο A τότε

P(Ω) = 1 δηλαδή η πιθανότητα να συmicroβεί κάτι από το Ω είναι πιθανοθεωρητικά

ϐέβαιο (αφού το Ω περιέχει όπως είπαmicroε όλα τα πιθανά ενδεχόmicroενα)

Μια στοχαστική διαδικασία είναι microια συλλογή τυχαίων microεταβλητών Xt t isinT όπου το T είναι κάποιο σύνολο δεικτών Συχνά η microεταβλητή t συmicroβολίζει

χρόνο οπότε T = [0infin) Κάθε Xt είναι συνάρτηση από το Ω στο R Αν microετράmicroε

σε διακριτό χρόνο (πχ δευτερόλεπτα) τότε T = 0 1 2 Για παράδειγmicroα Xtmicroπορεί να είναι το πλήθος των ανθρώπων σε microία ουρά τη χρονική στιγmicroή t ή τα

χρήmicroατα που πλήρωσε microια ασφαλιστική εταιρεία στο διάστηmicroα [0 t] Πολλές ϕορές

επιτρέπουmicroε το πεδίο τιmicroών να περιέχει και το infin ∆ηλαδή Xt 7rarr R cup infin Για

παράδειγmicroα microπορεί microια τυχαία microεταβλητή X να microετράει τον απαιτούmicroενο χρόνο

για να συmicroβεί κάποιο ϕαινόmicroενο Αν αυτό δεν συmicroβαίνει ποτέ τότε είναι ϕυσικό να

ϑεωρήσουmicroε το infin ως τιmicroή της X

12 Τυχαίες microεταβλητές microε microη αρνητικές ακέραιες

τιmicroές

΄Εστω X τυχαία microεταβλητή microε τιmicroές στο σύνολο 0 1 2 3 (πχ αριθmicroός ασφα-

λισmicroένων κάποια χρονική στιγmicroή) ΄Εστω pk = P(X = k) η πιθανότητα να εί-

7

8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ

ναι k η τιmicroή της X για k = 0 1 2 3 Τότε P(X lt infin) = suminfink=0pk και

P(X = infin) = 1 minussuminfink=1 pk = pinfin Αν P(X = infin) gt 0 ϑέτουmicroε E(X) = infin

Αλλιώς ϑέτουmicroε

E(X) =

infinsum

k=0

kpk =

infinsum

k=0

kP(X = k) (11)

Πολλές ϕορές παραλείπουmicroε τις παρενθέσεις και γράφουmicroε EX αντί για E(X)Αν f 0 1 2 infin 7rarr [0infin] τότε E

(f (X)

)=sum

0lekleinfin f (k)pk

Αν f 0 1 2 infin 7rarr [minusinfininfin] τότε E(f (X)

)= E

(f +(X)

)minus E

(f minus(X)

)

(όπου f + = maxf 0 f minus = minusminf 0) εφόσον microιά από τις δύο microέσες τιmicroές

υπάρχουν και είναι πεπερασmicroένες Αν και οι δύο είναι infin τότε λέmicroε ότι η E(f (X)

)

δεν υπάρχει Η microέση τιmicroή υπάρχει πάντα ότανsuminfin

k=0 |f (k)|pk lt infin Αν pinfin = 0και

bull f (k) = kn τότε Ef (X) = E(Xn) και καλείται n-στη ϱοπή

bull f (k) = (k minus EX)n τότε Ef (X) = E(X minus EX)n και καλείται n-στη κεντρική

ϱοπή

Αν n = 2 τότε

Var(X) = E(X minus EX)2 = EX2 minus (EX)2 (12)

Ορισmicroός 121 Η ακολουθία pk λέγεται κατανοmicroή της X Λέmicroε ότι η X ακολουθεί

την κατανοmicroή pk

Παραδείγmicroατα

∆ιωνυmicroική κατανοmicroή pk = b(k n p) =(nk

)pk(1 minus p)nminusk είναι η πιθανότητα

για k επιτυχίες σε n πειράmicroατα Bernoulli ( δηλαδή πειράmicroατα όπου το

αποτέλεσmicroα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοmicroίσmicroατος)) όπου η

επιτυχία εmicroφανίζεται microε πιθανότητα p Για τη διωνυmicroική κατανοmicroή έχουmicroε

P(X = k) = b(k n p) =

(n

k

)

pk(1 minus p)nminusk

για 0 le k le n και 0 le p le 1 Επίσης

EX = np και VarX = np(1 minus p)

Κατανοmicroή Poisson

P(X = k) = pk = p(kλ) = eminusλλk

k

για k = 0 1 2 λ gt 0 Επίσης έχουmicroε EX = λ και VarX = λ

Γεωmicroετρική κατανοmicroή

P(X = k) = pk = g(k p) = (1 minus p)kp

13 ∆ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9

για 0 le p le 1 και k = 0 1 2 Η ποσότητα pk είναι το πλήθος των απο-

τυχιών πρίν την πρώτη επιτυχία σε πειράmicroατα Bernoulli Συνήθως ϑέτουmicroε

q = 1 minus p Τότε

EX =infinsum

k=0

kqkp = p

infinsum

k=1

kqk

= p

infinsum

k=1

(ksum

j=1

1

)

qk = p

ksum

j=1

infinsum

k=j

qk

= p

infinsum

j=1

qj

1 minus q=

infinsum

j=1

qj =q

1 minus q

=q

p

Λήmicromicroα 122 Αν η X έχει τιmicroές στο 0 1 2 τότε

EX =

infinsum

k=1

P(X gt k)

Απόδειξη

infinsum

k=0

P(X gt k) =

infinsum

k=0

infinsum

j=k+1

pj

=infinsum

j=0

(jminus1sum

k=0

1

)

pj

=infinsum

j=1

jpj

= EX

2

13 ∆ιανυσmicroατικές τυχαίες microεταβλητές

∆ιανυσmicroατική τυχαία microεταβλητή είναι ένα διάνυσmicroα X prime = (X1 X2 Xk) όπου

κάθε συντεταγmicroένη Xj είναι τυχαία microεταβλητή Για την κατανοmicroή της X prime γράφουmicroε

P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk

Αν f 0 1 2 infink 7rarr [0infin] τότε

Ef (X1 X2 Xk) =sum

(j1j2jk)

f (j1 j2 jk)pj1j2jk (13)


Αν f 0 1 2 infink 7rarr R τότε

Ef (X1 X2 Xk) = Ef +(X1 X2 Xk) minus Ef minus(X1 X2 Xk)

εφόσον microία από τις δύο microέσες τιmicroές είναι πεπερασmicroένη

Γενικώς για τα αθροίσmicroατα τυχαίων microεταβλητών ισχύει ότι αν a1 a2 ak isin R

E

(ksum

i=1

aiXi

)

=ksum

i=1

aiEXi

εφόσον η σειρά στα δεξιά έχει νόηmicroα (δεν είναι της microορφής infinminusinfin)

Ορισmicroός 131 ∆ύο τυχαίες microεταβλητές X Y λέγονται ανεξάρτητες όταν

P(X = k και Y = l) = P(X = k)P(Y = l) (14)

Οmicroοίως οι X1 X2 Xk λέγονται ανεξάρτητες όταν

P(X1 = pi1 και X2 = pi2 και και Xim = pim ) =

mprod

j=1

P(Xij = pij)

για κάθε επιλογή δεικτών i1 i2 im

Αν οι X1 X2 Xk είναι ανεξάρτητες τυχαίες microεταβλητές τότε για κάθε f1 f2 fk 0 1 2 infin 7rarr R έχουmicroε

E

kprod

i=1

fi(Xi) =kprod

i=1

Efi(Xi) (15)

το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος

τύπος

Var

(ksum

i=1

aiXi

)

=

ksum

i=1

a2i Var(Xi)

εφόσον Cov(Xi Xj) = 0 για κάθε δύο διαφορετικούς δείκτες i j όπου

Cov(X Y ) = E((X minus EX)(Y minus EY )

)

14 ΣΥΝΕΛΙΞΗ 11

14 Συνέλιξη

΄Εστω X Y ανεξάρτητες τυχαίες microεταβλητές microε ακέραιες τιmicroές και P(X = k) = ak

P(Y = k) = bk για k = 0 1 2 Για n ge 0 έχουmicroε

P(X + Y = n) = P

(n⋃

i=0

(X = i Y = n minus i)

)

=

nsum

i=0

P(X = i Y = n minus i)

=

nsum

i=0

P(X = i)P(Y = n minus i)

=

nsum

i=0

aibnminusi

= pn

∆ηλαδή η κατανοmicroή της X+Y mdashη ακολουθία pnmdash είναι η συνέλιξη των κατανοmicroών

an της X και bn της Y (και όχι το άθροισmicroα)

Ορισmicroός 141 Η συνέλιξη δύο ακολουθιών an n ge 0 και bn n ge 0 είναι

microία νέα ακολουθία cn n ge 0 όπου

cn =

nsum

i=0

aibnminusi = an lowast bn (16)

Συmicroβολισmicroός

bull Γράφουmicroε X sim pk αν P(X = k) = pk ΄Ετσι αν X Y ανεξάρτητες τυχαίες

microεταβλητές microε X sim pk και Y sim qk τότε X + Y sim pk lowast qk

bull Γράφουmicroε Xd= Y και λέmicroε ότι οι τυχαίες microεταβλητές ακολουθούν την ίδια

κατανοmicroή όταν P(X = k) = P(Y = k) για κάθε k = 0 1 2

Παράδειγmicroα Αν X sim p(kλ) Y sim p(k micro) και X Y ανεξάρτητες τότε X + Y simp(kλ+ micro) Πράγmicroατι έχουmicroε

P(X + Y = k) =ksum

i=0

P(X = i)P(Y = k minus i)

=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)

= eminus(λ+micro) 1

k

ksum

i=0

(k

i

)

λimicrokminusi

= eminus(λ+micro) (λ + micro)k

k


2

Παράδειγmicroα Αν X sim b(k n p) Y sim b(kmp) δύο ανεξάρτητες τυχαίες microετα-

ϐλητές τότε X + Y sim b(k n + m p) (αφού οι επιτυχίες σε n δοκιmicroές Bernoulli

ακολουθούmicroενες από τις επιτυχίες σε m δοκιmicroές Bernoulli είναι οι επιτυχίες σε

n +m δοκιmicroές Bernoulli)

141 Ιδιότητες συνέλιξης

Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες

αντιmicroεταθετική an lowast bn = bn lowast anπροσεταιριστική an lowast (bn lowast cn) = (an lowast bn) lowast cn δηλαδή

X + (Y + Z)d= (X + Y ) + Z

Για συντοmicroία αντί για pnlowastpn γράφουmicroε p2lowastn ΄Ετσι αν X1 και X2 δύο ανεξάρτητες

τυχαίες microεταβλητές microε την ίδια κατανοmicroή pn τότε X1 + X2 sim p2lowastn Οmicroοίως αν οι

τυχαίες microεταβλητές X1 X2 Xk έχουν την ίδια κατανοmicroή pn τότε

X1 + X2 + middot middot middot + Xk sim pklowastn = pn lowast pn lowast middot middot middot lowast pn︸︷︷︸

kminusϕορές

15 Γεννήτριες Συναρτήσεις

Ορισmicroός 151 Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0 ώ-

στε η σειρά A(s) =suminfin

j=0 ajsj συγκλίνει για |s| lt s0 τότε ονοmicroάζουmicroε την A(s)

γεννήτρια συνάρτηση της ακολουθίας aj

Ο λόγος για αυτό το όνοmicroα είναι ότι αν γνωρίζουmicroε την A(s) τότε microπορούmicroε

εύκολα να υπολογίσουmicroε την ακολουθία aj από την σχέση aj = A(j)(0)jΕνδιαφερόmicroαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας pk Αν

X sim pk τότε η P(s) =suminfin

k=0 pksk λέγεται και γεννήτρια της X Παρατηρήστε

ότι P(s) = EsX (γιατί ) και P(1) =suminfin

k=0 pk le 1 οπότε η ακτίνα σύγκλισης είναι

τουλάχιστον 1 (P(1) = 1 αν και microόνο αν P(X = infin) = 0)

Παράδειγmicroα Αν X sim p(kλ) τότε

P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k

= eminusλeλs = eλ(sminus1)

για όλα τα s gt 0

Παράδειγmicroα Αν X sim b(k n p) τότε

P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n

15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13

Παράδειγmicroα Αν X sim g(k p) τότε

P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs

για 0 lt s lt qminus1

151 Παράγωγος γεννήτριας συνάρτησης

Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο

dn

dsnP(s)

∣∣s=0

= npn (17)

για κάθε n = 0 1 2 ΄Αρα η γεννήτρια συνάρτηση καθορίζει την pk

Γεννήτριες και ϱοπές

Αν X sim pksuminfin

k=0 pk = 1 P(s) = EsX και ϑέσουmicroε qk να είναι η ουρά της

microεταβλητής δηλαδή qk = P(X gt k) και Q(s) =suminfin

k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s

Πράγmicroατι έχουmicroε

Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi

= (1 minus s)minus1(1 minus P(s)

)

΄Αρα αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουmicroε ότι

limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX

∆ηλαδή EX = P prime(1)Γενικά ισχύει

limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0

k(k minus 1)(k minus 2) middot middot middot (k minus n + 1)pk

= E(X(X minus 1) middot middot middot (X minus n + 1)

)

΄Ετσι αν ϑέσω n = 2 τότε P primeprime(1) = EX2 minus EX οπότε

Var(X) = P primeprime(1) + P prime(1) minus(P prime(1)

)2


152 Γεννήτριες και συνέλιξη

Η συνέλιξη ακολουθιών είναι microία laquoδύσκοληraquo διαδικασία Στην επόmicroενη πρόταση

ϐλέπουmicroε ότι αν υπολογίσουmicroε τις γεννήτριες συναρτήσεις τότε η συνέλιξη microετα-

τρέπεται σε απλό γινόmicroενο

Πρόταση 152 Η γεννήτρια συνάρτηση microιάς συνέλιξης είναι το γινόmicroενο των γεν-

νητριών συναρτήσεων Αν X1 X2 είναι ανεξάρτητες τυχαίες microεταβλητές microε microη αρ-

νητικές ακέραιες τιmicroές και PXi (s) = simXi (i = 1 2) οι γεννήτριες συναρτήσεις τους

τότε

PX1+X2(s) = PX1

(s)PX2(s)

΄Ετσι αν οι ακολουθίες (aj) (bj) έχουν γεννήτριες συναρτήσεις τις A(s) B(s) τότε η

γεννήτρια συνάρτηση της συνέλιξης (aj) lowast (bj) είναι το γινόmicroενο A(s)B(s)

Παρατηρήστε ότι αν X1d= X2 και είναι και ανεξάρτητες τότε

PX1+X2(s) =

(PX1

(s))2

Απόδειξη

PX1+X2(s) = EsX1+X2 = EsX1sX2

= EsX1EsX2 = PX1(s)PX2

(s)

αφού οι sX1 και sX2 είναι ανεξάρτητες (γιατί )

΄Εστω s0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουmicroε ότι είναι η ίδια)

Τότε η γεννήτρια της συνέλιξης για |s| lt s0 είναι η

infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k

binfinnminuskbnminusksnminusk

= A(s)B(s)

2

Παράδειγmicroα Αν X1 sim p(kλ) X2 sim p(k micro) και οι X1 και X2 είναι ανεξάρτητες

τότε

PX1+X2(s) = PX1

(s)PX2(s) = eλ(sminus1)emicro(sminus1) = e(λ+micro)(sminus1)

άρα X1 + X2 sim p(kλ+ micro)

Παράδειγmicroα Αν (Xi)ni=1 είναι ανεξάρτητες τυχαίες microεταβλητές Bernoulli microε την

ίδια κατανοmicroή τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xn δηλώνει το πλήθος

των επιτυχιών σε n πειράmicroατα Bernoulli και έχουmicroε

PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n


όπου q = 1 minus p

Παράδειγmicroα Αν (Xi)ri=1 είναι ανεξάρτητες τυχαίες microεταβλητές που ακολουθούν

την γεωmicroετρική κατανοmicroή g(k p) τότε η τυχαία microεταβλητή X = X1 +X2 + middot middot middot+Xrδηλώνει το πλήθος των αποτυχιών microέχρι να έχουmicroε r επιτυχίες σε ανεξάρτητα

πειράmicroατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυmicroική κατανοmicroή

Γνωρίζουmicroε ότι PX1(s) = p(1 minus qs) οπότε

PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk

Σκοπός microας είναι να υπολογίσουmicroε την κατανοmicroή της X δηλαδή να υπολογίσουmicroε

την ποσότητα P(X = k) για κάθε k = 1 2 Με τη ϐοήθεια του διωνυmicroικού

αναπτύγmicroατος αναλύουmicroε σε σειρά την ποσότητα (p1 minus qs)r ως προς s Το

διωνυmicroικό ανάπτυγmicroα δίνεται γενικώς από τον τύπο

(1 + t)α =

infinsum

k=0

(α

k

)

tk

για |t| lt 1 όπου

(α

k

)

=(α)kk

=α(α minus 1) middot middot middot (α minus k + 1)

k

Αν ϑέσουmicroε στον παραπάνω τύπο α = minusr έχουmicroε

(p

1 minus qs

)r

= pr(1 minus qs)minusr = prinfinsum

k=0

(minusrk

)

(minus1)kqksk

άρα

P(X = k) = (minus1)k(minusrk

)

prqk

153 Γεννήτριες συναρτήσεις σύνθεση και τυχαία αθροί-

σmicroατα

΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή και microε microη

αρνητικές ακέραιες τιmicroές ΄Εστω X1 sim (pk)k και EsX1 = PX1(s) για 0 le s le 1

΄Εστω N microία άλλη τυχαία microεταβλητή ανεξάρτητη των Xn για όλα τα n microε επίσης microη

αρνητικές ακέραιες τιmicroές και κατανοmicroή P(N = j) = αj j ge 0 και EsN = PN(s) για

0 le s le 1 Ορίζουmicroε S0 = 0 και Sn = X1 +X2 + middot middot middot+Xn για n ge 1 Τότε η τυχαία

microεταβλητή SN λέmicroε ότι ακολουθεί τη σύνθετη κατανοmicroή των Xi και N Για j ge 0

P(SN = j) =infinsum

k=0

P(SN = j N = k) =infinsum

k=0

P(Sk = j N = k)

=infinsum

k=0

P(Sk = j)P(N = k) =infinsum

k=0

pklowastj αk


όπου pklowastj = P(Sk = j) η j τιmicroή της k συνέλιξης της pn ΄Αρα η γεννήτρια συνάρτηση

της SN είναι η

PSN (s) =infinsum

j=0

P(SN = j)sj =infinsum

j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)

Αν N sim p(kλ) παίρνουmicroε τη σύνθετη κατανοmicroή Poison microε γεννήτρια συνάρ-

τηση την

pSN (s) = eλ(pX1 (s)minus1)

(αφού pN(s) = eλ(sminus1))

Παράδειγmicroα ΄Ενα εστιατόριο παραδίδει κατrsquo οίκον ϕαγητό Οι τηλεφωνικές πα-

ϱαγγελίες ακολουθούν κατανοmicroή Poisson microε παράmicroετρο λ και ο υπάλληλος στο

τηλέφωνο σηmicroειώνει σωστά τη διεύθυνση του παραλήπτη microε πιθανότητα p Ποιά

είναι η κατανοmicroή του αριθmicroού των παραγγελιών που ϑα παραδοθούν στη σωστή

διεύθυνση

Λύση ΄Εστω η τυχαία microεταβλητή Xi microε

Xi =

1 αν σηmicroειωθεί σωστά η διευθυνση

0 αλλιώς

΄Εστω N sim p(kλ) Τότε ο αριθmicroός των επιτυχηmicroένων παραδόσεων είναι SN microε

γεννήτρια την

PSN (s) = PN(PX1

(s))

= PN(q + ps) = eλ(q+psminus1)

= eλ(psminusp) = eλp(sminus1)

δηλαδή SN sim p(kλp) Το αποτέλεσmicroα της σύνθεσης είναι η microείωση της πα-

ϱαmicroέτρου λ σε λp Αυτό το ϕαινόmicroενο ονοmicroάζεται εκλέπτυνση της διαδικασίας

Poisson

16 Η απλή κλαδωτή διαδικασία

Μια σηmicroαντική εφαρmicroογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή

διαδικασία (ανέλιξη) ∆ιαισθητικά περιγράφουmicroε τη διαδικασία ως εξής έστω microία

πυκνότητα pk microη αρνητικών ακεραίων ΄Ενας πληθυσmicroός ξεκινάει από ένα προ-

γεννήτορα ο οποίος αποτελεί τη γενιά microηδέν Η πρώτη γενιά δηmicroιουργείται από

16 Η ΑΠΛΗ ΚΛΑ∆ΩΤΗ ∆ΙΑ∆ΙΚΑΣΙΑ 17

τον προγεννήτορα ο οποίος παράγει k απογόνους microε πιθανότητα pk Η διαδικασία

αυτή επαναλαmicroβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται

microέχρι να εξαφανιστεί το είδος (το οποίο συmicroβαίνει όταν κανείς δεν δίνει απογό-

νους) Αυτό είναι ένα απλοποιηmicroένο microοντέλο για την αύξηση του πληθυσmicroού

Ιστορικά η πρώτη εmicroφάνιση αυτής της διαδικασίας εmicroφανίστηκε στην microελέτη της

επιβίωσης του οικογενειακού ονόmicroατος πόσους απογόνους πρέπει να παράγει

microία οικογένεια για να διατηρηθεί το οικογενειακό όνοmicroα

Αυστηρά τώρα το microοντέλο ορίζεται ως εξής έστω Znj n ge 1 j ge 1 ανε-

ξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk) και τιmicroές microη αρνητικούς

ακεραίους Ορίζουmicroε τώρα την διαδικασία Zn n ge 1 ϑέτοντας

Z0 = 1

Z1 = Z11

Z2 = Z21 + Z22 + middot middot middot + Z2Z1

Zn = Zn1 + Zn2 + middot middot middot + ZnZnminus1

(ϑεωρούmicroε ότι microηδέν το πλήθος αριθmicroών δίνουν άθροισmicroα microηδέν ΄Ετσι για παρά-

δειγmicroα αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 είναι microηδέν αφού

ισούται microε το άθροισmicroα microηδέν στο πλήθος προσθεταίους (microε άλλα λόγια microόλις

microηδενιστεί microία διαδικασία παραmicroένει microηδέν))

Το Znj αντιστοιχεί στο πλήθος των microελών της n-στης γενιάς που είναι απόγονοι

του j microέλους της n minus 1-γενιάς Παρατηρούmicroε ότι η Znminus1 είναι ανεξάρτητη των

Znj j ge 1 η οποία παρατήρηση είναι κρίσιmicroη για τη συνέχεια

΄Εστω Pn(s) = EsZn η γεννήτρια της Zn και έστω P(s) = EsZ1 =suminfin

k=0 pksk για

0 le s le 1 Φανερά P0(s) = s και P1(s) = P(s) Από την (18) έχουmicroε ότι

Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)

Εν γένει ο ακριβής υπολογισmicroός είναι δύσκολος Μια περίπτωση που ο υπολο-

γισmicroός είναι εύκολος είναι στην περίπτωση pk sim b(k p) στην οποία P(s) = q+ps

P2(s) = q + p(q + ps) = q + pq + p2s

P3(s) = q + pq + p2(qps) = q + pq + p2q + p3s

Pn+1(s) = q + pq + p2q + middot middot middot + pnq + pn+1s


Παρατηρήστε ότι s le s le 1 και

limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές

΄Εστω m = EZ1 =suminfin

k=0 kpk σ2 = Var(Z1) ΄Εστω m lt infin και σ2 lt infin Για να

υπολογίσουmicroε το EZn = mn παρατηρούmicroε ότι mn = P primen(1) και

P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)

΄Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει mn = mnminus1m Επαναλαmicroβά-

νοντας τη διαδικασία αυτή έχουmicroε

mn = mnminus2m2 = mnminus3m

3 = middot middot middot = m1mnminus1 = mn

δηλαδή EZn = mn Για παράδειγmicroα αν η κατανοmicroή είναι διωνυmicroική και P(s) =q + ps τότε m = p συνεπώς EZn = pn

Οmicroοίως microπορούmicroε να υπολογίσουmicroε τη διακύmicroανση Var Zn ξεκινώντας από την

Pn(s) = P(Pnminus1(s)

)= middot middot middot οπότε προκύπτει microετά από πράξεις ότι

Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1

162 Πιθανότητα εξαφάνισης πληθυσmicroού

΄Εστω το γεγονός laquoεξαφάνιση του πληθυσmicroούraquo E = cupinfinn=1P(Zn = 0) Αναζητούmicroε

την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει

Zn = 0 sube Zn+1 = 0

άρα

π = P (cupinfink=1Zk = 0) = lim

nrarrinfinP (cupnk=1Zk = 0)

= limnrarrinfin

P(Zn = 0) = limnrarrinfin

Pn(0) = limnrarrinfin

πn

= limnrarrinfin

P(εξαφάνιση πριν από τη n-στη γενιά)

΄Αρα για να υπολογίσουmicroε το π χρειαζετε να γνωρίζουmicroε την Pn (ώστε να υπο-

λογίσουmicroε microετά το Pn(0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο

ακόλουθο ϑεώρηmicroα Επειδή αν p0 = 0 τότε π = 0 και αν p0 = 1 τότε π = 1 ϑα

υποθέσουmicroε ότι ισχύει η microή τετριmicromicroένη περίπτωση 0 lt p0 lt 1

Θεώρηmicroα 161 Αν m = Z1 le 1 τότε π = 1 Αν m gt 1 τότε π lt 1 και το π είναι η

ελάχιστη (και άρα microοναδική) microη αρνητική λύση της εξίσωσης s = P(s) στο διάστηmicroα

(0 1)


Απόδειξη

Βήmicroα πρώτο Το π είναι λύση της s = P(s)Για να το δούmicroε αυτό παρατηρήστε ότι Zn = 0 sube Zn+1 = 0 άρα πn =P(Zn = 0) συγκλίνει το π από αριστερά ΄Οmicroως Pn+1(s) = P

(Pn(s)

) Θέτοντας

s = 0 παίρνουmicroε πn+1 = P(πn) Τέλος αφήνοντας το n να πάει στο άπειρο και

χρησιmicroοποιώντας τη συνέχεια της P προκύπτει π = P(π)Βήmicroα δεύτερο Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηmicroα [0 1]

΄Εστω q microία άλλη λύση της s = P(s) microε 0 le q le 1 Τότε π1 = P(0) le P(q) = q

αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ) ΄Αρα π1 le q Τώρα όmicroως

επαναλαmicroβάνουmicroε τη διαδικασία

π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q

άρα π2 le q Οmicroοίως δείχνουmicroε πn le q συνεπώς

π = limnrarrinfin

πn le q

Βήmicroα τρίτο Η s = P(s) έχει λύση στο διάστηmicroα [0 1]Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού

P primeprime(s) =

infinsum

k=2

k(k minus 1)pkskminus2 ge 0

Αφού τώρα P(0) = p0 gt 0 τα γραφήmicroατα της y = s και της y = P(s) (δες

σχήmicroα 11) έχουν το πολύ δύο κοινά σηmicroεία για 0 le s le 1 και microία λύση είναι

πάντα η s = 1 (αφού P(1) =suminfin

k=1 pk1k = 1) Αν P prime(1) = m le 1 το γράφηmicroα

είναι το πρώτο του σχήmicroατος 11 αλλιώς είναι το δεύτερο 2

1

1

1

1

1

Σχήmicroα 11 Θέση κυρτής συνάρτησης σε σχέση microε την κύρια διαγώνιο

Πρόταση 162 Για 0 le s lt 1 ισχύει limnrarrinfin Pn(s) = π


Απόδειξη ΄Εστω s le π Τότε P(s) le P(π) = π άρα P(s) le π ΄Ετσι έχουmicroε

P2(s) = P(P(s)

)le P(π) = π

Επαναλαmicroβάνοντας αυτή τη διαδικασία προκύπτει ότι Pn(s) rarr π Αλλά

πn = Pn(0) le Pn(s) le π

και πn rarr π συνεπώς Pn(s) rarr π

Αν π le s lt 1 τότε π = P(π) le P(s) le s Αυτό διότι αφού π lt 1 το γράφηmicroα

της y = P(s) είναι το δεύτερο γράφηmicroα στο Σχήmicroα 11 ΄Αρα P(s) le s για κάθε

π le s lt 1 Η P είναι αύξουσα άρα

P(π) = π le P2(s) le P(s) le s

οπότε

π le Pn(s) le Pnminus1(s) le middot middot middot le P(s) le s

΄Ετσι έχουmicroε ότι η Pn(s) είναι microία ϕθίνουσα ακολουθία (ως προς n) Θέτουmicroε

Pinfin(s) = limnrarrinfin Pn(s) ΄Εστω πως υπάρχει ένα s0 ώστε limnrarrinfin Pn(s0) = α gt π

Τότε

P(α) = limnrarrinfin

P(Pn(s0)

)= lim

nrarrinfinPn+1(s0) = α

΄Αρα είτε α = π είτε η P(s) = s έχει λύση στο (π 1) οπότε είναι γραmicromicroική στο

[π α] άρα και στο [π 1] (λόγῳ κυρτότητας) Τότε όmicroως pk = 0 για k ge 2 (αφού η

P(s) = p0 + p1s+ p2s2 + middot middot middot ) και m le 1 Συνεπώς π = 1 το οποίο είναι άτοπο

2

Παρατήρηση Η Pn(s) rarr π λέει ότι ηsuminfin

k=1 P(Zn = k)sk συγκλίνει στο π =limnrarrinfin P(Zn = 0) για n rarr infin ΄Αρα αναmicroένουmicroε ότι limnrarrinfin P(Zn = k) = 0 για

κάθε k ge 1

Παράδειγmicroα Μιά εταιρεία λογισmicroικού έχει ένα περίπτερο σε microία έκθεση microε έναν

υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη

συmicroπληρώνει microία ϕόρmicroα παραγγελίας που του παίρνει περίπου λεπτά Καθώς

συmicroπληρώνεται κάποια ϕόρmicroα παραγγελίας υπάρχει πιθανότητα pj να εmicroφανι-

στούν j ακόmicroα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα

να καταφέρει να κάνει διάλλειmicroα ∆ίνονται p0 = 0 2 p1 = 0 2 p2 = 0 6 και

pk = 0 για κάθε k ge 3

Θεωρούmicroε την τυχαία microεταβλητή microε κατανοmicroή p0 p1 p2 και την απλή κλα-

δωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειmicroα αν microηδενιστεί

το πλήθος των πελατών στην ουρά δηλαδή αν microηδενιστεί η διαδικασία

P(s) = 0 2 + 0 2s+ 0 6s2

Ισχύει m = 0 2 middot 1 + 0 6 middot 2 = 1 4 gt 1 ΄Αρα η s = P(s) έχει λύση στο [0 1]microικρότερη του 1

s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn

radic0 82 minus 4 middot 0 6 middot 0 2

2 middot 0 6

17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ amp ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21

δηλαδή s = 1 ή s = 13 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει

διάλλειmicroα ο υπάλληλος είναι 13

17 Οριακές κατανοmicroές amp ϑεώρηmicroα συνέχειας

΄Εστω Xn n ge 0 microη αρνητικές τmicro microε ακέραιες τιmicroές και κατανοmicroές P(Xn = k) =

p(n)k και Pn(s) = EsXn

Ορισmicroός 171 Λέmicroε ότι η Xn συγκλίνει ως προς την κατανοmicroή στη τmicro X0 και

γράφουmicroε Xndminusrarr X0 αν κάθε

(p

(n)k

)

nσυγκλίνει στο p

(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0

για κάθε k ge 0

Το επόmicroενο ϑεώρηmicroα δείχνει ότι η σύγκλιση ως προς την κατανοmicroή είναι ισοδύ-

ναmicroη microε την σύγκλιση των γεννητριών Pn(s) rarr P(s) καθώς n rarr infin και για κάθε

s isin [0 1]

Θεώρηmicroα 172 (Συνέχειας) ΄Εστω n = 1 2 3 ώστε p(n)k k ge 0 είναι κατα-

νοmicroή πιθανότητας για κάθε n p(n)k ge 0 και

suminfink=0 p

(n)k = 1 Τότε υπάρχει ακολουθία

p(0)k k ge 0 ώστε

limnrarrinfin

p(n)k = p

(0)k

για k ge 0 αν και microόνο αν υπάρχει P0(s) για 0 lt s lt 1 ώστε

limnrarrinfin

Pn(s) = limnrarrinfin

infinsum

k=0

p(n)k sk = P0(s)

για κάθε 0 lt s lt 1

Σε αυτή την περίπτωση ισχύει P0(s) =suminfin

k=0 p(0)k sk και

suminfink=0 p

(0)k = 1 αν και

microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1

Παρατήρηση Η χρησιmicroότητα του παραπάνω ϑεωρήmicroατος είναι ότι είναι συνή-

ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη

σύγκλιση των πιθανοτήτων κατανοmicroής

Απόδειξη ΄Εστω s isin (0 1) Για κάθε gt 0 υπάρχει m isin N ώστεsuminfin

i=m+1 si lt

΄Ετσι έχουmicroε

|Pn(s) minus P(s)| leinfinsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+


αφήνοντας το n να πάει στο άπειρο έχουmicroε p(n)k minus p

(0)k rarr 0 για κάθε k άρα

lim sup |Pn(s) minus P(s)| le Συνεπώς Pn(s) rarr P(s)

Αντιστρόφως κάθε ακολουθία κατανοmicroής πιθανότητας f (n)j j ge 0nge1 έχει

συγκλίνουσα υπακολουθία αφού f(n)j isin [0 1] το οποίο είναι συmicroπαγές ΄Αρα η f

(n)1

έχει συγκλίνουσα υπακολουθία έστω την f(k1

n )1

(δες Billingsley p 566)

Αν η p(n)k δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοmicroένως διαφο-

ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών nprime και το άλλο στην ακολουθία

δεικτών nprimeprime ΄Εχουmicroε

limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim

nprimerarrinfinPnprime(s) = P0(s)

limnprimeprimerarrinfin

infinsum

k=0

p(nprimeprime)k sk = lim

nprimeprimerarrinfinPnprimeprime(s) = P0(s)

οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννή-

τρια συνάρτηση όmicroως καθορίζει microοναδικά την ακολουθία κατανοmicroής πιθανότητας

(αφού για παράδειγmicroα p(0)k = P

(k)0 (s)k όπου P

(k)0 (s) η k παράγωγος της P0(s))

Συνεπώς τα δύο όρια είναι ίδια και άρα η p(n)k συγλίνει 2

Παράδειγmicroα Προσσέγιση της Poisson από δυωνυmicroικές

Αν Xn sim b(k n p(n)

)και

limnrarrinfin

np(n) = limnrarrinfin

EXn = λ isin (0infin)

τότε Xndminusrarr X0 και X0 sim p(kλ)

Επιβεβαιώνουmicroε microε τις γεννήτριες συναρτήσεις

limnrarrinfin


EsXn

= limnrarrinfin

(1 minus p(n) + p(n)s

)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)

Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare

events

Πρόταση 173 ΄Εστω microία διπλή ακολουθία ανεξάρτητων Bernoulli τmicro Xnk k ge 1 (όχι απαραίτητα microε την ίδια κατανοmicroή) που ικανοποιούν τις εξής συνθήκες

i P(Xnk = 1) = pk(n) = 1 minus P(Xnk = 0)

ii sup1leklen pk(n) = δ(n) rarr 0 καθώς n rarr infin

iiisumn

k=1 pk(n) = Esumn

k=1 Xnk rarr λ isin (0infin)


Αν PO(λ) είναι microία τmicro που ακολουθεί την κατανοmicroή Poisson microε παράmicroετρο λ τότε

nsum

k=1

Xnkdminusrarr PO(λ)

Απόδειξη Η γεννήτρια τηςsumn

k=1 Xnk είναι η

nprod

k=1

PXnk (s) =

nprod

k=1

(1 minus pk(n) + pk(n)s

)

΄Αρα αρκεί να δείξουmicroε ότι

limnrarrinfin

nsum

k=1

log(1 minus pk(n)(1 minus s)

)= λ(sminus 1)

αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι

P nk=1

Xnk (s) rarr eλ(sminus1)

Ισχυρισmicroός Για κάθε 0 le x le 12 η ποσότητα R(x) = minusx minus log(1 minus x)ικανοποιεί την R(x) le 2x2 και είναι αύξουσα

Με ϐάση τον ισχυρισmicroό ϑα έχουmicroε

nsum

k=1

minus log(1 minus pk(n)(1 minus s)

)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)

΄Ετσι αρκεί να δείξουmicroε ότι limnrarrinfin

sumnk=1 R

(pk(n)(1 minus s)

)= 0 Επιλέγουmicroε n

microεγάλο ώστε sup1leklen pk(n) le δ(n) le 12 ΄Εχουmicroε

nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1

pk(n) rarr 2 middot 0 middot λ

Μένει να αποδείξουmicroε τον ισχυρισmicroό Παρατηρούmicroε ότι

Rprime(x) = minus1 +1

1 minus x=

x

1 minus xge 0

για x isin (0 1) ΄Αρα η R είναι αύξουσα συνάρτηση Θεωρούmicroε την

f (x) = 2x2 minus R(x) = 2x2 + x + log(1 minus x)


και

f prime(x) = 4x + 1 minus 1

1 minus x=

x

1 minus x(3 minus 4x) ge 0

αν 0 le x le 34 Συνεπώς f prime(x) = 0 αν και microόνο αν x = 0 ή x = 34

δηλαδή στο διάστηmicroα [0 12] ϑα έχει ελάχιστο είτε στο 0 είτε στο 12 ΄Οmicroως

f (12) = 1minus log 2 gt 0 = f (0) άρα έχει ελάχιστο στο 0 ΄Αρα για κάθε x isin [0 12]ισχύει f (x) ge f (0) = 0 και ισοδύναmicroα R(x) le 2x2 2

18 Απλός τυχαίος περίπατος

΄Εστω (Xn)nge1 ανεξάρτητες τmicro microε κοινή κατανοmicroή και τιmicroές στο minus1 1 και

P(X1 = 1) = p = 1 minus P(X1 = minus1) = 1 minus q

για 0 le p q le 1 και p + q = 1 Ορίζουmicroε τον απλό τυχαίο περίπατο ως τη

διαδικασία (Sn)nge0 microε

S0 = 0 Sn = X1 + X2 + middot middot middot + Xn n ge 1

Η διαδικασία αυτή microοντελοποιεί το εξής ϱίξτε ένα νόmicroισmicroα Αν έρθει η Α πλευρά

κερδίζετε 1euro Αν έρθει η Β πλευρά χάνετε 1euro Sn είναι τα χρήmicroατα που έχει ο

παίκτης αυτού του παιχνιδιού microετά από n παιχνίδια ΄Εστω N = infn ge 1 Sn = 1 δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 mdashή αλλιώς

που ο παίκτης έχει κέρδος Θα χρησιmicroοποιήσουmicroε γεννήτριες συναρτήσεις για να

υπολογίσουmicroε την κατανοmicroή της N

΄Εστω φn = P(N = n) n ge 0 ώστε φ0 = 0 φ1 = p Αν n ge 2 για να

πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήmicroατα το πρώτο ϐήmicroα πρέπει

αναγκαστικά να είναι στο minus1 (microε πιθανότητα q) Από το minus1 πρέπει να πάει στο 0(έστω σε j ϐήmicroατα) ΄Αρα αυτό ϑα συmicroβεί microε πιθανότητα φj και από το 0 ϑα πρέπει

να πάει στο 1 έστω σε k ϐήmicroατα microε πιθανότητα φk ΄Αρα 1 + j + k = n και

φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2

Ας δούmicroε το παραπάνω microε microεγαλύτερη αυστηρότητα Για n ge 2

[N = n] =

nminus2⋃

j=1

[X1 = minus1] cap Aj cap Bnminusjminus1

όπου για n = 2 το δεξί microέρος το ϑεωρούmicroε ίσο microε το empty και το Aj είναι το ενδεχόmicroενο

ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το minus1 στο 0 σε j ϐήmicroατα και

το Bnminusjminus1 είναι το ενδεχόmicroενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από

18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25

το 0 στο 1 σε n minus j minus 1 ϐήmicroατα δηλαδή

Aj = [infn nsum

i=1

Xi+1 = 1 = j]

Bnminusjminus1 = [infn nsum

i=1

Xj+i+1 = 1 = n minus j minus 1]

Το Aj εξαρτάται από τις X2 X3 Xj+1 και το Bnminusjminus1 από τα Xj+2 Xn ΄Αρα

τα ενδεχόmicroενα [X1 = minus1] Aj και Bnminusjminus1 είναι ανεξάρτητα και για διαφορετικά j

τα [X1 = minus1] cap Aj cap Bnminusjminus1 είναι ξένα ΄Ετσι έχουmicroε

P(N = n) = φn =nminus2sum

j=1

qP(Aj)P(Bnminusjminus1)

Τώρα

X1 X2 d= X2 X3 (19)

δηλαδή για κάθε k1 km isin minus1 1 έχουmicroε

P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)

αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοmicroή ΄Αρα

P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj

και οmicroοίως P(Bnminusjminus1 = φnminusjminus1 Συνεπώς

φ0 = 0 φ1 = p φn =nminus2sum

j=1

qφjφnminusjminus1 (110)

για n ge 2 Για να λύσουmicroε την (110) ως προς φn πολλαπλασιάζουmicroε microε sn και

αθροίζουmicroε ως προς n ΄Εστω Φ(s) =suminfin

n=0 φnsn η γεννήτρια συνάρτηση της


(φn)n ΄Εχουmicroε

infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2

φnminusjminus1snminusjminus1

)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)

φjsjqs (m = n minus j minus 1)

=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2

Αυτό microαζί microε τον ορισmicroό της Φ δίνει Φ(s) minus ps = qsΦ2(s) Συνεπώς

Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs

Η λύση microε το + απορρίπτεται αφού πρέπει Φ(0) = φ0 = 0 ΄Αρα

Φ(s) =1 minus

radic

1 minus 4pqs2

2qs

για 0 le s le 1 Από το δυωνυmicroικό ανάπτυγmicroα τώρα

infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή

φ2jminus1 = (minus1)j+1

(12

j

)(4pq)j

2q

φ2j = 0

για όλα τα j ge 1


Για να αποκτήσουmicroε microία διαίσθηση για το τι συmicroβαίνει παρατηρούmicroε ότι

P(N ltinfin) = Φ(1)

=1 minus

radic

1 minus 4p(1 minus p)

2q

=1 minus |p minus q|

2q

=

1 αν p ge q

pq αν p lt q

΄Ετσι αν p lt q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκο-

λότερα τότε P(N = infin) = 1minus pq gt 0 Σε αυτή την περίπτωση P(Sn le 0 forall n) gt 0και στο σύνολο ϑετικής πιθανότητας capinfin

n=0[Sn le 0] ο παίκτης δεν κερδίζει ποτέ

΄Οταν P(N = infin) gt 0 έχουmicroε από τον ορισmicroό EN = infin ΄Οταν p ge q τότε

EN = Φprime(1)

=

(

2q4pqradic

1 minus 4pqminus 2q(1 minus

radic

1 minus 4pq)

)

2q2

=2p

|p minus q| minus1 minus |p minus q|

2q

άρα

EN =

infin αν p = 1 = 12

(p minus q)minus1 αν p gt q

Μελετάmicroε τώρα την επιστροφή στο microηδέν ΄Εστω N0 = infn ge 1 Sn = 0

΄Εστω f0 = 0 f2n = P(N0 = 2n) n ge 1 και F(s) =suminfin

n=0 f2ns2n για 0 le s le 1

΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1

στο [X1 = minus1]

1 + infn

sumni=1 Xi+1 = minus1

στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1

Αφού Xi i ge 1 d= Xi i ge 2 συνεπάγεται ότι N

d= N+ Επίσης η N+

καθορίζεται από τις Xi+1 i ge 1 και άρα είναι ανεξάρτητη από την X1 Οmicroοίως

η Nminus είναι ανεξάρτητη από την X1 ΄Ετσι έχουmicroε

F(s) = EsN0

= EsN01[X1=minus1] + EsN01[X1=1]

= sim1+N+

1[X1=minus1] + sim1+Nminus

1[X1=1]

= ssimN+

P[X1 = minus1] + ssimNminus

P[X1 = 1] (ανεξαρτησία)

= sΦ(s)q + spEsNminus

(αφού Nd= N+)


Παρατηρούmicroε τώρα ότι

Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X

]i n ge 1 είναι απλός τυχαίος περίπατος microε κατανοmicroή

P(X ]1 = 1) = P(minusX1 = 1) = P(X1 = minus1) = q

και P(X ]1 = minus1) = p ΄Αρα η Φminus(s) = EsNminus

προκύπτει από τον τύπο της Φ(s) microε

εναλλαγή των p και q ΄Ετσι

F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και

F(1) = P(N0 ltinfin) = 1 minusradic

1 minus 4pq = 1 minus |p minus q|Συνεπώς

P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q

΄Αρα microόνο αν p = q = 12 ο τυχαίος περίπατος επιστρέφει σίγουρα στο microηδέν

Ακόmicroα όmicroως και σε αυτή την περίπτωση που P(N0 ltinfin) = 1 p = q = 12 έχουmicroε

F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1

2(1 minus s2)minus122srarr infin

καθώς s rarr 1 Οπότε EN0 = F prime(s)|s=1 = infin δηλαδή η επιστροφή στο microηδέν είναι

ϐέβαιη αλλά microετά από τυχαίο αριθmicroό ϐηmicroάτων (χρόνου) microε άπειρη microέση τιmicroή

Κεφάλαιο 2

Αλυσίδες Markov

Οι αλυσίδες Markov υλοποιούν microοντέλα πολύ κοντά σε πραγmicroατικά προβλήmicroατα

Το κύριο νέο στοιχείο που εισάγεται microε τις αλυσίδες Markov είναι το ότι επιτρέπουν

την ύπαρξη laquoεξαρτήσεωνraquo Οι τυχαίες microεταβλητές έχουν τώρα εξαρτήσεις (δεν εί-

ναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγmicroατικά

προβλήmicroατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνε-

πώς οι υπολογισmicroοί είναι εφικτοί Ξεκινάmicroε microε την κατασκευή αλυσίδων Markov

Xn n ge 0 όπου ο χώρος καταστάσεων (τιmicroών) είναι το N cup 0 ή υποσύνολό

του (πχ το 0 1 2 m) Τυπικό παράδειγmicroα αλυσίδας Markov ϐρίσκουmicroε

στο ακόλουθο παράδειγmicroα Μιά παρέα ϐγαίνει καθηmicroερινά για ϐραδινό ϕαγη-

τό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη

κάθε microέρα αλλά εξαρτάτε από την επιλογή της προηγούmicroενης microέρας Θέλουmicroε να

ϐρούmicroε ένα microοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόmicroαστε

microία αρχική κατανοmicroή ak (δηλαδή η πιθανότητα επιλογής του k εστιατορίου είναι

ak ) Χρειαζόmicroαστε επίσης τις πιθανότητες microετάβασης pij δηλαδή την πιθανότητα

να επιλεγεί το j εστιατόριο δεδοmicroένου ότι την προηγούmicroενη ηmicroέρα είχε επιλεγεί το

i

21 Προσοmicroοίωση τmicro microε microη αρνητικές τιmicroές

΄Εστω X τmicro P(X = k) = ak k ge 0suminfin

i=0 ai = 1 ΄Εστω η U οmicroοιόmicroορφα

κατανεmicroηmicroένη στο [0 1] τmicro Μπορούmicroε να προσοmicroοιάσουmicroε την X microε την U ως

εξής ΄Οταν η U παίρνει τιmicroή στο διάστηmicroα (sumkminus1

i=0 ai sumk

i=0 ai ] διαλέγουmicroε τον

αριθmicroό k (ϑεωρούmicroε ότιsumminus1

i=0 ai = 0) Ορίζουmicroε τώρα την Y ϑέτοντας

Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)

΄Ετσι η Y παίρνει την τιmicroή k αν και microόνο αν U isin (sumkminus1

i=0 ai sumk

i=0 ai ] το οποίο

συmicroβαίνει microε πιθανότητα ak ΄Αρα η Y έχει την ίδια κατανοmicroή microε την X

29

30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ∆ΕΣ MARKOV

22 Κατασκευή microιας αλυσίδας Markov

Ας υποθέσουmicroε ότι οι χώροι καταστάσεων (το πεδίο τιmicroών της των τmicro) είναι το

S = 0 1 2 ΄Εστω ak k ge 0 ak ge 0 καιsum

k=0 6infinak = 1 microιά αρχική

κατανοmicroή ΄Εστω

P =

p00 p01 middot middot middotp10 p11 middot middot middot

ο πίνακας microετάβασης όπου pij ge 0suminfin

j=0 pij = 1 για i = 0 1 2 ΄Εστω Un n ge 0 ανεξάρτητες τmicro οmicroοιόmicroορφα κατανεmicroηmicroένες στο (0 1)

Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)

Κατασκευάσαmicroε έτσι τον πρώτο όρο της αλυσίδας Markov microια τmicro microε κατανοmicroή

ak Οι υπόλοιπες τmicro Xn ορίζονται επαγωγικά Ορίζουmicroε τη συνάρτηση f (i u) microε

πεδίο ορισmicroού το S times [0 1] microε

f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)

δηλαδή f (i u) = k αν και microόνο αν u isin (sumkminus1

i=0 pi sumk

i=0 pi ] Ορίζουmicroε Xn+1 =f (Xn Un+1) Παρατηρήστε ότι αν Xn = i τότε η Xn+1 = k microε πιθανότητα pik (που

εξαρτάται δηλαδή από την τιmicroή της προηγούmicroενης τmicro) Επίσης η X0 εξαρτάται

από τη U0 Η X1 από τη X0 και U1 άρα από τις U0 U1 Η X2 από την X1 και την

U2 δηλαδή από τις U0 U1 U2 κοκ η Xn+1 από τις U0 U1 Un+1

Ιδιότητες

bull P(X0 = k) = ak k ge 0

P(Xn+1 = j |Xn = i) = pij (21)

αφού

P(Xn+1 = j |Xn = i) = P(f (Xn Un+1 = j |Xn = i

)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)

εφόσον οι Un+1 και Xn είναι ανεξάρτητες

bull

P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = pij (22)

αφού το πρώτο microέλος της παραπάνω σχέσης ισούται microε

P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij

22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ∆ΑΣ MARKOV 31

αφού η Un+1 είναι ανεξάρτητη των Xn

Η ιδιότητα

P(Xn+1 = j |X0 = i0 Xnminus1 = inminus1 Xn = i) = P(Xn+1 = j |Xn = i)

λέγεται ιδιότητα του Markov

bull

P(Xn+1 = k1 Xn+m = km |X0 = i0 Xnminus1 = inminus1 Xn = i)

= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)

Για να το δείξουmicroε αυτό παρατηρούmicroε ότι το αριστερό microέλος της παραπάνω

σχέσης ισούται microε

P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2

|X0 = i0 Xnminus1 = inminus1 Xn = i)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)

Ορισmicroός 221 Κάθε διαδικασία Xn n ge 0 που ικανοποιεί τις (21) και (22)

ονοmicroάζεται αλυσίδα Markov microε αρχική κατανοmicroή (ak) και πίνακα πιθανότητας microε-

τάβασης P

Συχνά ο πίνακας P ονοmicroάζεται και πίνακας Markov ή στοχαστικός πίνακας

Η διαδικασία που κατασκευάσαmicroε παραπάνω συχνά ονοmicroάζεται προσοmicroοιω-

microένη αλυσίδα Markov Θα δείξουmicroε παρακάτω ότι οποιαδήποτε αλυσίδα Markov

X ]n n ge 0 παράγεται από microία προσοmicroοίωση όπως παραπάνω microε την έννοια

ότι

X ]n n ge 0 d= Xn n ge 0

Πρόταση 222 Αν Xn αλυσίδα Markov τότε

P(X0 = i0 X1 = i1 Xk = ik) = ai0pi0i1pi1i2 middot middot middot pikminus1ik (23)

για i0 i1 ik isin S k ge 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (ak) και

πίνακας microετάβασης P και microία ακολουθία τυχαίων microεταβλητών Xn που ικανοποιεί

την (23) είναι αλυσίδα Markov (δηλαδή ικανοποιεί τις (21) και (22raquo

Απόδειξη Για την απόδειξη χρησιmicroοποιούmicroε τον κανόνα αλυσίδας δεσmicroευmicroέ-

νης πιθανότητας αν A0 A1 Ak k ενδεχόmicroενα τότε ισχύει

P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)

middot middot middot P(A1|A0)P(A0)


εφόσον P(capji=0 Ai

)gt 0 j = 0 1 k minus 1

Αν η Xn είναι αλυσίδα Markov έστω Aj = (Xj = ij) Αν

P(X0 = i0 Xj = ij) gt 0 (24)

για j = 0 1 k minus 1 τότε

P(X0 = i0 Xk = ik) =kprod

j=1

P(Xj = ij |X0 = i0 Xjminus1 = ijminus1)P(X0 = i0)

(22)=

kprod

j=1

P(Xj = ij |Xjminus1 = ijminus1)ai0

= ai0

kprod

j=1

pijminus1ij

Αν η (24) δεν ισχύει για κάποιο τότε έστω jlowast ο πρώτος δείκτης για τον οποίον δεν

ισχύει δηλαδή

jlowast = infj ge 0 P(X0 = i0 Xj = ij) = 0

Αν jlowast = 0 τότε ai0 = 0 οπότε η (23) είναι προφανώς σωστή Αν jlowast gt 0 τότε

P(X0 = i0 X1 = i1 Xjlowastminus1 = ijlowastminus1) = ai0pi0i1pi1i2 middot middot middot pijlowastminus2ijlowastminus1gt 0 (25)

Οπότε

pijlowastminus1ijlowast = P(X0 = i0 Xjlowast = ijlowast)P(X0 = i0 Xjlowastminus1 = ijlowastminus1) = 0

οπότε πάλι η (23) ισχύει

Αντίστροφα αν ισχύει η (23) τότε για ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1gt 0 έχουmicroε

P(Xk |X0 = i0 Xkminus1 = ikminus1) = P(X0 = i0 Xk = ik)P(X0 = i0 Xkminus1 = ikminus1)

= ai0pi0i1pi1i2 middot middot middot pikminus1ik

ai0pi0i1pi1i2 middot middot middot pikminus2ikminus1

= pikminus1ik

δηλαδή η ιδιότητα Markov ισχύει 2

23 Παραδείγmicroατα

Παράδειγmicroα 1 (ανεξάρτητες δοκιmicroές) Αν οι Xn είναι ανεξάρτητες τmicro έχουmicroε

microία τετριmicromicroένη αλυσίδα Markov Αν PX0 = k) = ak k = 0 1 2 m τότε

P(Xn+1 = in+1 |X0 = i0 Xn = in) = P(Xn+1 = in+1)

= ain+1

= P(Xn+1 = in+1 |Xn = in)

23 ΠΑΡΑ∆ΕΙΓΜΑΤΑ 33

και

P =

a0 a1 middot middot middot am


Παράδειγmicroα 2 (απλή κλαδωτή διαδικασία) Οι Znj είναι ανεξάρτητες τυχαίες

microεταβλητές microε κοινή κατανοmicroή pk Z0 = 1 και

Zn = Zn1 + middot middot middot + ZnZnminus1

΄Αρα

P(Zn = in | Z0 = i0 Znminus1 = inminus1) = P( inminus1sum

j=1

Znj = in | Z0 = i0 Znminus1 = inminus1

)

= P( inminus1sum

j=1

Znj = in

)

δηλαδή έχουmicroε την ιδιότητα Markov αφού το τελευταίο εξαρτάται microόνο από το inκαι το inminus1 ΄Αρα

P(Zn = j | Znminus1 = i) = P( isum

k=1

Znk = j)

= plowastij

Παράδειγmicroα 3 (τυχαίος περίπατος) ΄Εστω Xn n ge 1 ανεξάρτητες τmicro microε κοινή

κατανοmicroή P(Xn = k) = ak για minusinfin lt k ltinfin Ορίζουmicroε τον τυχαίο περίπατο microε

S0 = 0 Sn =nsum

i=1

Xi n ge 1

Η Sn είναι αλυσίδα Markov αφού

P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)

= P(Xn+1 = in+1 minus in)

= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)

αφού η Xn+1 είναι ανεξάρτητη των S0 Sn

Μια ειδική περίπτωση είναι εκείνη όπου οι microεταβολές είναι plusmn1 microε πίνακα

microετάβασης

P =

1 0 0 0 middot middot middot 0 0q1 r1 p1 0 middot middot middot 0 00 q2 r2 p2 middot middot middot 0 0

qm rm pm0 0 0 0 middot middot middot 0 1


Η laquoτρι-διαγώνιαraquo δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου

microε ϐήmicroα plusmn1 Παρατηρήστε ότι

P(Sn = 0 |Snminus1 = 0) = P(Sn = m |Snminus1 = m) = 1

γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης

ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi

P(Xn+1 = i minus 1 |Xn = i) = qi

P(Xn+1 = i |Xn = i) = ri

για 1 le i le m minus 1

Η περίπτωση όπου ri = 0 pi = p και qi = q ονοmicroάζεται laquoGamblers Ruinraquo

ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και ο αντίπαλος microε m minus i Παίζεται το

παιχνίδι microε ένα κέρmicroα και η κατάσταση του συστήmicroατος (η τιmicroή της Xn) είναι τα

χρήmicroατα του παίκτη microας microετά από n παιχνίδια ΄Οταν ο παίκτης κερδίζει σε microία

ϱίψη τα χρήmicroατά του αυξάνονται κατά microία microονάδα αλλιώς ελαττώνονται κατα microία

microονάδα Αν η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος laquoκαταστρέφεταιraquo

ενώ αν microεταβεί στην κατάσταση 0 ο παίκτης microας laquoκαταστρέφεταιraquo

Παράδειγmicroα 4 (Αριθmicroός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το

0 1 2 και ο πίνακας microεταφοράς είναι ο

P =

q0 p0 0 0 0 middot middot middotq1 0 p1 0 0 middot middot middotq2 0 0 p2 0 middot middot middot

Τα παραπάνω microοντελοποιούν πολλά προβλήmicroατα Για παράδειγmicroα έστω pi = p

και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basket-ball πετυχαίνει καλάθι από τη

γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες επιτυχίες την

επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να microεγαλώσει

σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν αποτύχει

(πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών

Παράδειγmicroα 5 (΄Ενα microοντέλο αποθήκης) ΄Εστω I(t) το πλήθος των microονάδων

ενός προϊόντος τη χρονική στιγmicroή t Το πλήθος αυτό ελέγχεται στην αποθήκη

τις χρονικές στιγmicroές T0 T1 T2 Μιά συνιθισmicroένη πολιτική επανατροφοδότησης

της αποθήκης ϐασίζεται σε δύο τιmicroές 0 le s lt S Αν η τιmicroή Xn = I(Tn) είναι

microικρότερη ή ίση microε το s τότε αmicroέσως προστίθενται στην αποθήκη τόσες microονάδες

όσες απαιτούνται για να ϕτάσει το απόθεmicroα την ποσότητα S Αλλιώς αν Xn isin (s S]τότε δεν γίνεται επανατροφοδοσία

΄Εστω Dn η συνολική Ϲήτηση τη χρονική περίοδο [Tnminus1 Tn) και έστω Dn για

n ge 1 ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Εστω

επίσης ότι X0 le S Τότε

Xn+1 =

(Xn minus Dn+1)+ αν s lt Xn le S

(S minus Dn+1)+ αν Xn le s


όπου ως συνήθως

x+ =

x αν x gt 00 αν x le 0

Αυτή η ανέλιξη ακολουθεί το microοντέλο Xn+1 = g(Xn Dn+1) n ge 0 άρα είναι

αλυσίδα Markov

Οι παράmicroετροι που microας ενδιαφέρουν σε αυτό το microοντέλο είναι οι ακόλουθοι

i το microέσο ύψος του προϊόντος στην αποθήκη microακροπρόθεσmicroα

limNrarrinfin

Nminus1Nsum

j=0

Xj

Από τον νόmicroο των microεγάλων αριθmicroών για τις αλυσίδες Markov προκύπτει ότι

είναι ίσο microε

limnrarrinfin

Nsum

j=1

jP(Xn = j)

ii Μακροπρόθεσmicroα microη ικανοποιηmicroένη Ϲήτηση για n ge 1 έστω Un η microη ικα-

νοποιηmicroένη Ϲήτηση για την περίοδο [Tnminus1 Tn) για n ge 1 οπότε

Un =

minDn minus Xnminus1 0 αν s lt Xnminus1 le S

minDn minus S 0 αν Xnminus1 le s

και Ϲητάmicroε τοsumN

j=1 Uj για microεγάλα N

iii Μακροπρόθεσmicroα το microέσο microήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς

επαρκή προσφορά

limNrarrinfin

Nsum

j=1

1Ujgt0

Παράδειγmicroα 6 (Το microοντέλο αποθήκευσης του Moran) Σε microία τεχνητή λίmicroνη

αποθηκεύεται νερό microε τη ϐοήθεια ενός ϕράγmicroατος ΄Εστω c η χωρητικότητα της

λίmicroνης και Xn το επίπεδο στη λίmicroνη το οποίο παρατηρήται τη χρονική στιγmicroή

n Στο διάστηmicroα [n n + 1) υπάρχει είσοδος An+1 ποσότητας νερού στη λίmicroνη η

οποία microπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήmicroατος [n n + 1)m microονάδες νερού αποσύρονται από τη λίmicroνη (αν υπάρχουν m microονάδες στη λίmicroνη)

Αν υπάρχουν λιγότερες απόm microονάδες στη λίmicroνη η λίmicroνη αδειάζεται Υποθέτουmicroε

ότι οι An είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και ανεξάρτητες της X0 ΄Αρα

Xn+1 = min(Xn + An+1 minusm)+ c

δηλαδή της microορφής Xn+1 = g(Xn Vn+1) άρα είναι αλυσίδα Markov microε χώρο

καταστάσεων το 0 1 2 c Αν P(A1 = n) = an P(A1 ge n) = agen και


P(A1 le n) = alen τότε ο πίνακας microετάβασης είναι ο

P =

alem am+1 am+2 middot middot middot ac middot middot middot ac+mminus1 agec+malemminus1 am am+1 middot middot middot acminus1 middot middot middot ac+mminus2 agec+mminus1

0 0 0 middot middot middot a0 middot middot middot amminus1 agem

Παράδειγmicroα 7 (∆ιακριτό microοντέλο ουρών) Υπάρχουν δύο microοντέλα ουρών τα

οποία ονοmicroάζονται MG1 και GM1 (για λόγους που ϑα δούmicroε παρακάτω)

Οι πελάτες ϕτάνουν στον (microοναδικό) εξυπερετητή και εξυπηρετούνται microε τη σειρά

που ϕθάνουν ΄Εστω X(t) οι πελάτες στην ουρά τη στιγmicroή t (microαζί microε αυτόν που

εξυπηρετείται)

Για το microοντέλο MG1 υποθέτουmicroε ότι η ολοκλήρωση εξυπηρέτησης ενός πε-

λάτη συmicroβαίνει τις στιγmicroές T0 T1 (τότε ϕεύγει κάποιος από το σύστηmicroα) ΄Εστω

Xn = X(Tn+) το πλήθος των πελατών τη στιγmicroή Tn (το + δηλώνει ότι microετράmicroε

αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) ΄Εστω An+1 το πλήθος των

πελατών που ϕτάνουν στο σύστηmicroα κατά τη διάρκεια εξυπηρέτησης του πελάτη

που ϑα ϕύγει τη στιγmicroή Tn+1 Τότε

Xn+1 = (Xn minus 1) + An+1

Αν An ανεξάρτητες τmicro microε ίδια κατανοmicroή και ανεξάρτητη της X0 τότε η Xn είναι

αλυσίδα Markov Αν P(A1 = k) = ak για k ge 0 τότε εύκολα ελέγχει κανείς ότι

P =

a0 a1 a2 a3 middot middot middota0 a1 a2 a3 middot middot middot0 a0 a1 a2 middot middot middot0 0 a0 a1 middot middot middot

Για το microοντέλο GM1 έστω ότι οι πελάτες ϕτάνουν τις στιγmicroές tau0 τ1

και Sn+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το

σύστηmicroα στο διάστηmicroα [τn τn+1) Θέτουmicroε Xn = X(τminusn ) για το πλήθος στην ουρά

πριν ϕτάσουν οι πελάτες της τn στιγmicroής Τότε

Xn+1 = (Xn minus Sn+1 + 1)+

Αν Sn είναι ανεξάρτητες τmicro microε την ίδια κατανοmicroή και P(S1 = j) = aj τότε

P =

suminfini=1 ai a0 0 0 0 middot middot middot

suminfini=2 ai a1 a0 0 0 middot middot middot

suminfini=3 ai a2 a1 a0 0 middot middot middot

24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ 37

24 Υψηλότερες τάξης πιθανότητες microετάβασης

΄Ενα από τα πλεονεκτήmicroατα των αλυσίδων Markov είναι ότι πιθανότητες που microας

ενδιαφέρουν υπολογίζονται microε πράξεις πινάκων

Αν P = (pij) ο πίνακας microετάβασης microιάς αλυσίδας Markov Xn n ge 0υποθέτουmicroε ότι οι αρχικές πιθανότητες είναι P(X0 minus j) = aj Οι δυνάmicroεις του P

ορίζονται ως

P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά

Pn+1 = Pn middot P = P middot Pn =(p

(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)

Το P0 το ϑεωρούmicroε ως τον ταυτοτικό πίνακα

Οι πιθανότητες microετάβασης Markov σε n ϐήmicroατα είναι

P(Xn = k |X0 = i) = P(Xn+m |Xm = i)

δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήmicroατα δεν

εξαρτάται από το πότε ξεκίνησε

Πρόταση 241 Για κάθε n ge 0 και για κάθε i j στο χώρο καταστάσεων S ισχύει

p(n)ij = P(Xn = j |X0 = i)

Απόδειξη Για n = 0 ή 1 είναι προφανές Για n = 2 έχουmicroε

P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij


Επαγωγικά τώρα ας υποθέσουmicroε ότι ισχύει για N Τότε για N + 1 έχουmicroε

P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k

P(XN+1 = j |X1 = k X0 = i)P(X1 = k X0 = i)ai

=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2

Η ταυτότητα

Pn+m = PnPm lArrrArr p(n+m)ij =

sum

k

p(n)ik p

(m)kj

microερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γε-

γονός ότι η πιθανότητα microετάβασης από το i στο j σε n + m ϐήmicroατα microπορεί να

υπολογιστεί από τις πιθανότητες microετάβασης από την i κατάσταση σε οποιαδήποτε

ενδιάmicroεση κατάσταση k σε n ϐήmicroατα και την πιθανότητα microετάβασης από την κα-

τάσταση k στην j σε m ϐήmicroατα

Πόρισmicroα 242 Οι πιθανότητες P(Xn = j) υπολογίζονται από τον τύπο

a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2

Ο υπολογισmicroός των Pn γίνεται είτε microε τη ϐοήθεια υπολογιστή είτε microε διαγωνο-

ποίηση

25 ∆ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 39

25 ∆ιάσπαση του χώρου καταστάσεων

251 Στοχαστική ∆ιαδικασία

Μια οικογένεια τυχαίων microεταβλητών X(t) t isin T λέγεται στοχαστική διαδικασία

∆ηλαδή για κάθε t του συνόλου T η X(t) είναι microια τυχαία microεταβλητή Το σύνολο

T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθmicroήσιmicroο τότε

η στοχαστική διαδικασία X(t) t isin T λέγεται διαδικασία διακριτής παραmicroέτρου

ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι microη αριθmicroήσιmicroο τότε η

διαδικασία X(t) t isin T λέγεται διαδικασία συνεχούς παραmicroέτρου ή διαδικασία

συνεχούς χρόνου

Αλυσίδα Markov είναι κάθε διαδικασία Xn n gt 0 που ικανοποιεί

P(Xn+1 = j | Xn = i) = pij

P(Xn+1 = j) | X0 = i0 Xn1 = inminus1 Xn = i) = pij

microε αρχική κατανοmicroή ak και πίνακα πιθανότητας microετάβασης P

Με τις αλυσίδες Markov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Με-

ταβλητές έχουν τώρα εξαρτήσεις έτσι microπορούmicroε να προσεγγίσουmicroε πραγmicroατικά

προβλήmicroατα

Ας υποθέσουmicroε Xn n gt 0 είναι microια Αλυσίδα Markov microε διακριτό χρόνο σε

χώρο S

Για να καταλάβουmicroε τη λύση του συστήmicroατος έινα σηmicroαντικό να καταλά-

ϐουmicroε ποια microονοπάτια διαmicroέσου του χώρου των καταστάσεων είναι δυνατά και

να καταλάβουmicroε τις επιτρεπόmicroενες κινήσεις της διαδικασίας Για B sub S έστω

τB = infn gt 0 Xn isin B Είναι ο χρόνος εκκίνησης του B Χονδρικά microπορούmicroε

να ϑέσουmicroε τj = τj

Για να καταλάβουmicroε ποιες καταστάσεις microπορούν να προσεγγιστούν από microια

αρχική κατάσταση i το παρακάτω είναι ϐασικό

Ορισmicroός 251 Για i j isin S λέmicroε ότι j προσεγγίζεται από το i γράφοντας i rarr j αν

Pi [tj le infin] gt 0

Με άλλα λόγιαξεκινώντας από το i microε ϑετική πιθανότητα η αλυσίδα ϕτάνει

στην κατάσταση j

Οmicroοίως αν j είναι microια ακολουθία του i το i οδηγεί στο j j microπορεί να προσεγ-

γιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τB = infn gt 0 Xn isin B

παίρνουmicroε i rarr i για όλα τα i isin S αφού Pi [τi lt infin] = 1 στην πραγmicroατικό-

τητα Pi [τi = 0] = Pi [x0 = i] = 1 Εδώ είναι το πιο σηmicroαντικό κριτήριο για την

προσέγγιση ΄Εχουmicroε i rarr j αν και microόνο αν υπάρχει n ge 0 p(n)ij gt 0 ∆ηλαδή

η πιθανότητα να ξεκινήσουmicroε από την κατάσταση i και να ϕτάσουmicroε στην κατά-

σταση j σε n ϐήmicroατα Η επάρκεια της παραπάνω σχέσης είναι απλή ΄Εχουmicroε

[Xn = j] sub [τj le n] sub [τj ltinfin] όπου [Xn = j] περιγράφει το γεγονός η διαδικασία

να ϐρίσκεται στη j κατάσταση την χρονική στιγmicroή n Το [τj le n] περιγράφει το

γεγονός ο χρόνος microέχρι να ϕτάσουmicroε στη j κατάσταση

Επειδή pij gt 0 έχουmicroε ότι 0 lt p(n)ij le Pi [τj ltinfin]


Αντίστροφα αν για όλα τα n ge 0 p(n)ij = 0 δηλαδή η j δεν προσεγγίζεται από

την i κατάσταση

΄Εχουmicroε από το [] ότι

P(Ποτέ να microην πάει στην j | Ξεκινάει από την i) = P(infin⋃

n=0

Xn = j | X0 = i

leinfinsum

n=0

PXn = j | X0 = i =infinsum

n=0

p(n)ij = 0

Εδώ έχουmicroε microερικά απλά παραδείγmicroατα τα οποία επεξηγούν την έννοια της

προσέγγισης

i Η ντετερmicroινιστική microονότονη αλυσίδα Markov Ο χώρος καταστάεων είναι

1 2 3 a1 = P(X0 = 1) = 1 και για i ge 0 έχουmicroε pii+1 = 1 έτσι ώστε

η διαδικασία να πηγαίνει αιτιοκρατικά ανάmicroεσα στους ακεραίους αριθmicroούς

προς το +infin ∆ηλαδή i rarr i + 1 και στην πραγmicroατικότητα για κάθε j gt i

παίρνουmicroε i rarr j

ii (Βλέπε []) ΄Εστω Xn n ge 1 ανεξάρτητες τυχαίες microεταβλητές microε κοινή κα-

τανοmicroή P(Xn = k) = a minusinfin lt k lt +infin Ορίζουmicroε τον τυχαίο περίπατο microε

S0 = 0 Sn =sumn

i=1 Xi n ge 1 (ϐλέπε []) Η Sn είναι αλυσίδα Markov Η

τριδιαγώνια δοmicroή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου

microε ϐήmicroα plusmn1 Το P(Sn = 0 | Snminus1 = 0) = P(Sn = m | Snminus1 = m) = 1 είναι

το γεγονός το οποίο microοντελοποιεί την απορροφητική ϕύση των 0 και m και

επίσης ισχύουν

P(Xn+1 = i + 1 | Xn = i) = pi

P(Xn+1 = i minus 1 | Xn = i) = qi

P(Xn+1 = i | Xn = i) = ri

για 1 le i le m minus 1 Η περίπτωση όπου ri = 0 pi = p qi = q ονοmicroάζεται

Gamblerrsquos Ruin (ϐλέπε []) Ο παίκτης ξεκινάει microε αρχικό κεφάλαιο i και

ο αντίπαλος microε m minus i Παίζεται το παιχνίδι microε ένα κέρmicroα και η κατάσταση

του συστήmicroατος (η τιmicroή της Xn) είναι τα χρήmicroατα του παίκτη microας microετά από

n παιχνίδια ΄Οταν ο παίκτης κερδίζει microετά σε microια ϱίψη τα χρηmicroατά του

αυξάνονται κατά microία microονάδα αλλίως ελαττώνονται κατά microια microοναδα Αν

η διαδικασία microεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν

microεταβεί στην κατάσταση 0 ο παίκτης microας καταστρέφεται ΄Εστω η Gamblerrsquos

Ruin microε χώρο καταστάσεων 0 1 m ΄Εχουmicroε ότι m rarr m 0 rarr 0 και

καmicroιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι microια ακολουθία

για κάθε κατάσταση εκτός από τη m

iii Απλή Κλαδωτή 0 rarr 0 και το 0 να microην έχει άλλες ακολουθίες ΄Εστω Znj n ge 1 j ge 1 ανεξάρτητες τυχαίες microεταβλητές microε την ίδια κατανοmicroή (pk)και τιmicroές microη αρνητικούς ακεραίους Ορίζουmicroε την διαδικασία Zn n ge 1

Αν τύχει να συmicroβεί Zn = 0 τότε δεχόmicroαστε ότι και το Zn+1 = 0 είναι 0 αφού

ισούται microε το άθροισmicroα 0 στο πλήθος προσθεταίους microε άλλα λόγια microόλις

microηδενιστεί microια διαδικασία παραmicroένει 0


Η έννοια της διέλευσης microας λέει ποιές καταστάσεις microπορούν τελικά να προ-

σεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισmicroός microας δηmicroιουργεί

την ερώτηση Αν ένα microονοπάτι της ϑετικής πιθανότητας υπάρχει από microια κατά-

σταση σε microια δεύτερη τότε υπάρχει ένα επιστρεφόmicroενο microονοπάτι από τη δεύτερη

κατάσταση στην πρώτη

Ορισmicroός 252 Οι καταστάσεις i και j επικοινωνούν γράφοντας i harr j αν i rarr j και

j rarr i

Η επικοινωνία είναι microια ισοδύναmicroη σχέση που σηmicroαίνει

i i harr i (η σχέση είναι αυτοπαθείς) αφού i rarr i

ii i harr j αν και microόνο αν j harr i (η σχέση είνα συmicromicroετρική)

iii Αν i harr j και j harr k τότε i harr k (η σχέση είναι microεταβατική)

Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο Αν i harr j και j rarr k δείχνουmicroε

i rarr k Αν i rarr j υπάρχει n έτσι ώστε p(n)ij gt 0 Παροmicroοίως p

(m)jk gt 0 για microερικά m

αφού k rarr j ΄Ετσι από Champan ndash Kolmogorov

pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0

έτσι ώστε i rarr k

Ο χώρος καταστάσεων S microπορεί να χωριστεί σε ασυσχέτιστες λεπτοmicroερής και

ισοδύναmicroες κλάσεις της σχέσης harr Παίρνουmicroε microια κατάσταση και τη λέmicroε 0

ϐάζουmicroε 0 και όλες οι καταστάσεις επικοινωνούν microε το 0 σε microία κλάση λεγόmicroενη

C0Τότε παίρνουmicroε microία κατάσταση S | C0 λεγόmicroενη i και το ϐάζουmicroε και όλες οι

καταστάσεις επικοινωνούν microε το i microε microια άλλη κλαση την οποία ονοmicroάζουmicroε C1

Συνεχίζουmicroε microε αυτό τον τρόπο microέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί

΄Εχουmicroε Ci cap Cj = i 6= j και⋃

i Ci = S Τα C0 C1 ονοmicroάζονται ισοδύναmicroες

κλάσεις

΄Εχουmicroε microερικά παραδείγmicroατα

i Gamblerrsquos Ruin microε χώρο καταστάσεων 0 1 2 3 και πίνακα microετάβασης

1 0 0 012 0 12 00 12 0 120 0 0 1

Υπάρχουν 3 κλάσεις 0 3 1 2

ii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε

πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12

Εδώ υπάρχουν 2 κλάσεις C1 = 1 2

C2 = 3 4


iii Θεωρούmicroε την Αλυσίδα Markov microε χώρο καταστάσεων 1 2 3 4 και microε πί-

νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12

Υπάρχουν 3 κλάσεις C1 = 0 1

C2 = 2 3 και C3 = 4 (ϐλέπε []

Μια η αλυσίδα Markov είναι αναγωγική αν ο χώρος καταστάσεων αποτελείται

από microια microόνο κλάση πχ για οποιαδήποτε i j isin S έχουmicroε i harr j Κανένα από τα

τρία προηγούmicroενα παραδείγmicroατα των αλυσίδων Markov δεν είναι αναγωγική αφού

έχει περισσότερες από microία κλάσεις Η αλυσίδα συνεχών επιτυχιών είναι αναγωγική

αν 0 lt pi lt 1 Υπάρχει ένας πεπερασmicroένος αριθmicroός ϑετικής πιθανότητας που

συνδέει οποιεσδήποτε 2 καταστάσεις Για παράδειγmicroα 3 rarr 2 αφού

P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0

΄Εχουmicroε τον πίνακα microετάβασης

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0

όπου pij = P(Xn+1 = j | Xn = i) και p(3)32 = P(X4 = 2 | X3 = 3) ∆ηλαδή έχουmicroε

πρώτα αποτυχία και microετά οι άλλες 2 επιτυχίες (ϐλέπε [])

΄Ενα microη κενό σύνολο C sub S ονοmicroάζεται κλειστό αν καmicroιά κατάσταση microεσα στο

C δεν οδηγεί σε καmicroιά κατάσταση έξω από το C Για παράδειγmicroα αν pxy = 0 και

x isin C και y 6= C Ισοδύναmicroα C είναι κλειστό αν και microόνο αν P(n)(x y) = 0 microε

x isin C y 6= C και n ge 1 Αν C είναι κλειστό τότε microια αλυσίδα Markov ξεκινώντας

από το C microε πιθανότητα 1 ϑα microείνει για πάντα στο C ΄Ετσι αν η αλυσίδα ξεκινά

στο C δεν ξεφεύγει έξω από το C ποτέ Αν j είναι κλειστή την ονοmicroάζουmicroε την j

κατάσταση απορροφητική Εδώ έχουmicroε 2 κριτήρια χρήσιmicroα

i Το C είναι κλειστό αν και microόνο αν για όλα τα i isin C j isin Cc pij = 0

ii Το j είναι απορροφητικό αν και microόνο αν pjj = 1

Σηmicroειώνουmicroε ότι η 2 είναι microια ιδιαίτερη περίπτωση της 1 microε C = j Παρατη-

ϱούmicroε ότι αν ισχύει η 1 τότε για i isin C έχουmicroε

Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως

Pi [TCc le 2] = Pi [TCc = 1] + Pi [TCc = 2] =

26 ΜΕΤΑΒΑΣΗ ΚΑΙ ΕΠΑΝΑΛΗΨΗ 43

0 + Pi [X1 isin CX2 isin Cc] =sum

jisinCc

sum

kisinC

pikpkj = 0

Συνεχίζοντας επαγωγικά παίρνουmicroε Pi [TCc le n] = 0 και αφήνοντας το n rarr infinπαίρνουmicroε Pi [TCc lt infin] = 0 δείχνοντας οτί το C είναι κλειστό Σηmicroειώνουmicroε ότι

είναι δυνατόν να microπούmicroε σε ένα κλειστό σύνολο αλλά είναι αδύνατον να ϕύγουmicroε

Η ντετερmicroινιστική microονότονη Αλύσίδα Markov microε n n+ 1 είναι κλειστή αλλά

n minus 1 rarr n Παροmicroοίως στη Gambler αλυσίδα microε χώρο καταστάσεων 0 1 2 3έχουmicroε 0 απορροφήσεις αλλά 1 rarr 0 ϑεωρούmicroε το παράδειγmicroα microε 0 1 2 3 και

P =

12 12 0 012 12 0 00 0 12 120 0 12 12

Εδώ C1 = 0 1 είναι κλειστό καθώς και το C2 = 2 3 Είναι αδύνατον να

εξάγουmicroε C1 ή C2 και σε αυτή την περίπτωση είναι επίσης αδυνατον να εισάγουmicroε

C1 από το C2 ή να εισάγουmicroε C2 από το C1 ΄Ετσι αν Xn ξεκινά από το C1

microένει στο C1 για πάντα Το ίδιο ισχύει και για το C2 Τα 2 κοmicromicroάτια του χώρου

καταστάσεων αγνοούν το ένα το αλλό Σηmicroειώνουmicroε ότι αν C είναι κλειστό τότε

(pij) i j isin C είναι ένας στοχαστικός πίνακας ΄Εχουmicroε pij gt 0 και για i isin Csum

jisinC pij = 1 αφούsum

jisinCc pij = 0 Κλείνουmicroε την ενότητα microε παρατηρήσεις

i Μπορεί να υπάρχουν άπειροι αριθmicroοί σε κλειστά σύνολα σε ένα χώρο κα-

ταστάσεων και τα κλειστά σύνολα δεν χρειάζεται να χωριστούν Στην ντετερ-

microινιστική Αλυσίδα Markov το σύνολο n n + 1 είναι κλειστό για κάθε

n

ii Μία κλάση των καταστάσεων δεν χρειάζεται να είναι κλειστή Καθως παρα-

τηρούmicroε την Gambler αλυσίδα στο 0 1 2 3 microε 0 3 να είναι απορρο-

ϕητικά έχουmicroε 1 rarr 0 Αλλά p00 = 1 Ως εκ τούτου 1 2 είναι microία κλάση

αλλά δεν είναι κλειστή

26 Μετάβαση και επανάληψη

Τώρα ϑα συζητήσουmicroε πολλές κατατάξεις των χώρων καταστάσεων που οδηγούν

σε χρήσιmicroες διασπάσεις του χώρου καταστάσεων ΄Οπως ϑα δούmicroε η πιο ϐασική

κατάταξη της κατάστασης εξαρτάται από το πόσο συχνά η αλυσίδα επιστρέφει σε

αυτή την κατάσταση

Μια κατάσταση i ονοmicroάζεται επαναλαmicroβανόmicroενη εαν η αλυσίδα επιστρέφει στο

i microε πιθανότητα 1 σε ένα πεπερασmicroένο αριθmicroό ϐηmicroάτων ∆ιαφορετικά ονοmicroάζε-

ται microεταβατική (Βλέπε []) ∆ηλαδή για οποιδήποτε κατάσταση i και j ορίζουmicroε

f(0)ij = 0 και f

(n)ij = PXn = j Xk 6= j k = 1 n minus 1 | X0 = i Θέτοντας

fij =suminfin

n=1 f(n)ij το fij δηλώνει την πιθανότητα της microετάβασης στην κατάσταση j

δοθέντος ότι η διαδικασία ξεκινάει από την κατάσταση i Η κατάσταση j λέγεται

επαναλαmicroβανόmicroενη αν fij = 1 και microεταβατική διαφορετικά (Βλέπε [])


Μια microεταβατική κατάσταση microπορεί να συmicroβει microόνο σε πεπερασmicroένο χρόνο microε

πιθανότητα 1 Αν η αλυσίδα ξεκινάει από microια microεταβατική κατάσταση τότε microετα

από ένα πεπερασmicroένο αριθmicroό επιστρεφόmicroενων επισκέψεων η κατάσταση ϑα microείνει

εκεί για πάντα Είναι ξεκάθαρο ότι i rarr j συνεπάγεται ότι και j rarr i και γράφουmicroε

i harr j και λέmicroε ότι η καταστάσεις i και j επικοινωνούν microεταξύ τους Λέmicroε ότι η

Αλυσίδες Markov είναι αναγωγικές αν όλες οι καταστάσεις επικοινωνούν η microια microε

την άλλη αλλιώς είναι microη αναγωγικές Αν ο αναmicroενόmicroενος αριθmicroός ϐηmicroάτων σε

ένα i-κύκλο είναι πεπερασmicroένος τότε λέmicroε ότι ο i είναι ϑετικά επαναλαmicroβανόmicroενος

αλλιώς η κατάσταση i λέγεται umlmicroηδέν επαναλαmicroβανόmicroενηuml Μία ακολουθία ϑετι-

κών επαναλήψεων δηλαδή αν το i είναι ϑετικά επαναλανβενόmicroενο και αν i harr j

τότε και το j είναι ϑετικά επαναλmicroβανόmicroενο Θεωρούmicroε f(n)ij είναι η πιθνότητα

στην οποία ξεκινάmicroε από την κατάσταση i η πρώτη microετάβαση στην κατάσταση j

συmicroβαίνει στο n ϐήmicroα για n = 1 2 Από τον ορισmicroό παίρνουmicroε f(0)ij = 0 και

συmicroβολικά ορίζουmicroε f(n)ij = P[X0 = i Xi 6= j Xn1 6= j Xn = j] Η πιθανότητα η

αλυσίδα Markov να ξεκινάει στην κατάσταση i και τελικά να πηγαίνει στην κατά-

σταση j συmicroβολίζεται microε microια ποσότητα που ορίζεται από το fij η οποία microπορεί να

καθοριστεί από τον νόmicroο της ολικής πιθανότητας Υποθέτουmicroε την πρώτη είσοδο

στην j κατάσταση Αυτό αποτελεί διαmicroέριση απο όλες τις πιθανότητες και επιπλέον

fij =suminfin

n=1 f(n)ij Είναι ξεκάθαρο ότι fij = 0 αν i 6rarr j ενώ αν i rarr j τότε fij gt 0

∆ηλαδή έχουmicroε fii = 1 επαναλαmicroβανόmicroενη κατάσταση διαφορετικά αν fii lt 0 είναι

microεταβατική κατάσταση

Στην microεταβατική κατάσταση υπάρχει ϑετική πιθανότητα ποτέ να microην γυρί-

σουmicroε στο i ΄Εστω οι microεταβλητές ti(n) n ge 1 ΄Εχουmicroε πεί για i j isin S λέmicroε ότι

το j προσεγγίζεται από το i και γράφουmicroε i rarr j αν Pi(τj lt infin) gt 0 ∆ηλαδή λέmicroε

ότι το i είναι ϑετικά επαναλαmicroβανόmicroενο αν Ei(τi(1)) lt infin ΄Ετσι για microια ϑετικά

επαναλαmicroβανόmicroενη κατάσταση δεν είναι microόνο ο επαναλαmicroβανόmicroενος χρόνος πε-

περασmicroένος σχεδόν ϐέβαια αλλά και ο αναmicroενόmicroενος επαναλαmicroβανόmicroενος χρόνος

είναι πεπερασmicroένος Για n ge 1 ορίζουmicroε f(n)jk = Pj(τk(1) = n) είναι η κατανοmicroή

να ϕτάσουmicroε στο k ξεκινώντας από το j Πιο συγκεκριmicroένα η κατάσταση i είναι

ϑετικά επαναλαmicroβανόmicroενη αν και microόνο αν mi = E(τi(1)) =suminfin

n=0 nf(n)ii lt infin

Είναι σηmicroαντικό να έχουmicroε το καλύτερο δυνατό κριτήριο για την microεταβατικότητα

και την επανάληψη και να ερmicroηνεύσουmicroε αυτές τις έννοιες όσο το δυνατόν κα-

λύτερα Ξεκινώντας για microια καλύτερη κατανόηση αυτών των εννοιών ορίζουmicroε τις

παρακάτω γεννήτριες συναρτήσεις για 0 lt s lt 1 Fij(s) =suminfin

n=0 f(n)ij sn

Ορισmicroός 261 [] Αν a0 a1 an ακολουθία αριθmicroών και υπάρχει s0 gt 0ώστε η σειρά A(s) =

suminfinj=0 ajs

j να συγκλίνει για |s| lt s0 τότε η A(s) ονοmicroάζεται


∆ηλαδή αν γνωρίζουmicroε την A(s) microπορούmicroε εύκολα να υπολογίσουmicroε την ακο-

λουθία aj από την σχέση aj = A(j)(0)j Η συνάρτηση Pij(s) =suminfin

n=0 p(n)ij s

n δεν

είναι γεννήτρια συνάρτηση της πυκνότητας πιθανότητας


Πρόταση 262 i Για i isin S έχουmicroε

p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1

και για 0 lt s lt 1

Pii(s) =1

1 minus Fii(s)

ii Για i 6= j έχουmicroε

p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0

και για 0 lt s lt 1Pij(s) = Fij(s)Pjj(s)

Αρχικά αυτό καθορίζει την πρώτη πιθανότητα διέλευσης Fij(s) από το P ΄Οmicroως

η σχέση microεταξύ της γεννήτριας συνάρτησης δεν microας παρέχει πάντοτε ένα πρακτικό

σχήmicroα για να πετύχουmicroε τις πιθανότητες πρώτης διέλευσης

Απόδειξη (ϐλέπε [])

i Το ενδεχόmicroενο [Xn = i] είναι η διαδικασία στην κατάσταση i την χρονική

στιγmicroή n ενώ το ενδεχόmicroενο [ti(n)] είναι ο χρόνος που η αλυσίδα Markov

ϕτάνει στην κατάσταση i σε n ϐήmicroατα

΄Αρα τα ενδεχόmicroενα τi = k Xn = i είναι ασυmicroβίβαστα για 0 le k le n έτσι

Xn = i = cupnk=0τi = k Xn = i (26)

Από (26) έχουmicroε

p(n)ii = PiXn = i = Pi(cupnk=0τi = k Xn = i) =

nsum

k=0

Piτi = k Xn = i =

nsum

k=0

Piτi = kPXn = i | X0 = i τi = k =

nsum

k=0

Piτi = kPXn = i | X0 = i Xi 6= i Xkminus1 6= i Xk = i

Επειδή

p(nminusk)ii = PXn = i | X0 = i X1 6= i Xkminus1 6= i Xk = i

Τότε από την παραπάνω

p(n)ii =

nsum

k=0

Pi(τi = k)p(nminusk)ii =


nsum

k=0

f (k)ii p(nminusk)ii n ge 0

Για να υπολογίσουmicroε την γεννήτρια συνάρτηση της κατάστασης πολλαπλα-

σιάζουmicroε microε Sn και προσθέτουmicroε από 1 εως infin

Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n

ή ισοδύναmicroα

Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0

f (k)ii p(nminusk)ii sn =

1 +

nsum

k=0

(

infinsum

n=k

p(nminusk)ii snminusk)f (k)ii sk =

1 + Fii(s)Pii(s)

Ισοδύναmicroα

Pii(s) = 1 + Fii(s)Pii(s)

άρα

Pii(s) minus Fii(s)Pii(s) = 1

δηλαδή

Pii(s) =1

1 minus Fii(s)

αφού f(0)ii = 0 και f

(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0

f(k)ij pnminuskjj n ge 0

microε f(k)ij = Pi(τj = k) και p

(n)ij =

sumnk=0 Pi(τj = k)pnminuskjj

Τα ενδεχόmicroενα τj = k Xn = j είναι ασυmicroβίβαστα έτσι για 0 le k le n

έχουmicroε

Xn = j = cupnk=0τj = k Xn = j (27)

Από την εξίσωση 27 έχουmicroε

p(n)ij = PiXn = j = Pi(cupnk=0τj = k Xn = j) =

nsum

k=0

Piτj = k Xn = j =

nsum

k=0

Piτj = kPXn = j | X0 = i τj = k =


nsum

k=0

Piτj = kPXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j

Επειδή

p(nminusk)jj = PXn = j | X0 = i X1 6= j Xkminus1 6= j Xk = j

τότε από την προηγούmicroενη σχέση ϐρίσκουmicroε

p(n)ij =

nsum

k=0

Piτj = kp(nminusk)jj =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0

για 0 lt s lt 1 ΄Ετσι ϐρίσκουmicroε την γεννήτρια συνάρτηση

Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p

(nminusk)jj sn n ge 0

infinsum

k=0

(

infinsum

n=k

p(nminusk)jj snminusk)f

(k)ij sk =

Fij(s)Pjj(s)

2

Στη συνέχεια έχουmicroε την παρακάτω πρόταση

Πρόταση 263 ΄Εχουmicroε ότι το i είναι επαναληπτικό αν και microόνο αν fii = 1 αν και

microόνο ανsuminfin

n=0 p(n)ii = infin έτσι ώστε i είναι microεταβατικό αν και microόνο αν fii lt 1 αν και


n=0 p(n)ii ltinfin

Απόδειξη (ϐλέπε []) Το i είναι επαναλαmicroβανόmicroενο αν microε πιθανότητα 1 η δια-

δικασία ξεκινά microε i και επιστρέφει στο i ΄Οmicroως από την ιδιότητα του Markov

η διαδικασία πιθανότατα να ξεκινήσει από microόνη της microόλις επιστρέψει στο i Ως

εκ τούτου microε πιθανότητα 1 ϑα επιστρέψει ξανά στο i Επαναλαmicroβάνουmicroε αυτό το

επιχείρηmicroα για να δούmicroε ότι microε πιθανότητα 1 ο αριθmicroός των επισκέψεων στο i

ϑα είναι άπειρο και έτσι ϑα έχουmicroε άπειρη αναmicroενόmicroενη τίmicroη

Από την άλλη πλευρά υποθέτουmicroε ότι το i είναι microεταβατικό Τότε κάθε ϕόρα

που η διαδικασια επιστρέφει στο i υπάρχει microια ϑετική πιθανότητα 1minus fii που αυτό

δεν ϑα ξαναεπιστρέψει ποτέΩς εκ τούτου ο αριθmicroός των επισκέψεων ακολουθεί

την γεωmicroετρική κατανοmicroή microε πεπερασmicroένο microέσο όρο 11minusfii

∆ηλαδή το i είναι

επαναλαmicroβανόmicroενο αν και microόνο αν Fii(1) = 1 αν και microόνο αν

limsrarr1

Pii(s) = limsrarr1

1

1 minus Fii(s)= infin


και αφού Pii(1) =suminfin

n=0 p(n)ii το απόδείξαmicroε

Για να είναι η i κατάσταση microεταβατική γνωρίζουmicroε άπο προηγουmicroένως ότι

p(n)ii =

sumnk=0 f

(k)ii p

(nminusk)ii n ge k άρα

infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1

f (k)ii p(nminusk)ii =

infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin

n=1 p(n)ii = c ltinfin τότε

fii =c

1 + c

και άρα fii lt 1 ∆ηλαδή η i κατάσταση είναι microεταβατική

Αντίστροφα υποθέτουmicroε ότι η κατάσταση i είναι microεταβατική ΄Εστω Xn Αλυσίδα

Markov microε χώρο καταστάσεων S Η τυχαία microεταβλητή Nj δίνει τον αριθmicroό των

διελεύσεων της αλυσίδας από την κατάσταση j και ορίζεται ως Nj =suminfin

n=1 1[Xn=i]

Το Ei(Nj) ϑα είναι η microέση τιmicroή της microεταβλητής Nj ΄Αρα

Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij

΄Αρα για j = i Ei(Ni) =suminfin

n=1 p(n)ii = fii

1minusfiiltinfin που σηmicroαίνει ότι

suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])

Από όλα αυτά συmicroπεραίνουmicroε ότι microια microεταβατική κατάσταση ϑα έχει έχει ένα

πεπερασmicroένο αριθmicroό επισκέψεων ∆ηλαδή σε microια πεπερασmicroένη κατάσταση αλυ-

σύδας Markov δεν microπορεί όλες οι καταστάσεις να είναι microεταβατικές Για να το

δείξουmicroε αυτό υποθέτουmicroε ότι οι καταστάσεις είναι 0 1 M και υποθέτουmicroε ότι

όλες είναι microεταβατικές Τότε microετά από microια πεπερασmicroένη ποσότητα ϕορών από

το χρόνο T0 η κατάσταση 0 δεν ϑα ξανά επισκεφθεί και microετά από ένα χρόνο T1

η κατάσταση 1 ποτέ δεν ϑα ξαναεπισκεφθεί και microετά από ένα χρόνο T2 η κατά-

σταση 2 ποτέ δεν ϑα ξαναεπισκεφθεί και συνεχιζεται Μετά από ένα πεπερασmicroένο

χρόνο T = maxT0 TM καmicroια κατάσταση δεν ϑα έχει καmicroία επαναληπτική

επίσκεψη ΄Αλλα καθώς η διαδικασία πρέπει να είναι σε κάποια κατάσταση microέτα

από χρόνο T ϕτάνουmicroε σε microια αντίφαση που microας δείχνει ότι τουλάχιστον microια από

τις καταστάσεις πρέπει να είναι επανλαmicroβανόmicroενη

Παράδειγmicroα ϑεωρούmicroε την αλυσίδα Markov έχοντας τις καταστάσεις 0 1 2

3 4 και πίνακα microετάβασης

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


Θέλουmicroε να καθορίσουmicroε την επαναληπτική κατάσταση Αυτή η αλυσίδα αποτε-

λείται από 3 κλάσεις 0 1 2 3 4 Οι δύο πρώτες είναι επαναλαmicroβανόmicroεmicroνες

και η τρίτη microεταβατική

Πρόταση 264 ΄Εχουmicroε για οποιαδηποτε i j isin S ένα microη αρνητικό ακέραιο k ώστε

P[Nj = k | X0 = i] =

1 minus fij k = 0

fijf(kminus1)jj (1 minus fjj) k ge 1

΄Ετσι αν j microεταβατική τότε όλες οι καταστάσεις i

Pi [Nj ltinfin] = 1

και

Ei(Nj) = fij(1 minus fjj) =

infinsum

n=1

p(n)ij ltinfin

και Nj είναι γεωmicroετρικά κατανεmicroηmicroένη ως προς την Pj ως εξής

Pj[Nj = k] = (1 minus fjj)(fjj)k k ge 0

Αν j είναι επαναλαmicroβανόmicroενο τότε

Pj[Nj = infin] = 1

και για κάθε i

Pi [Nj = infin] = fij

Απόδειξη (Βλέπε []) Αποδεικνύουmicroε για k ge 1 γιατί για k = 1 είναι προφανής

΄Εστω m και n ϑετικοί ακέραιοι Η πιθανότητα η αλυσίδα Markov που ϐρίσκεται

αρχικά στην κατάσταση i να είναι κατά τη χρονική στιγmicroή k για πρώτη ϕορά στη

κατάσταση j και microετά από n ϐήmicroατα να είναι πάλι στην κατάσταση j είναι

Piτj = kPjτj = n

Από την παραπάνω σχέση έχουmicroε

PiN(j) ge 2 =infinsum

k=1

infinsum

n=1

Piτj = kPjτj = n =

=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj

και για k ge 2

PiNj ge k = fijf(kminus1)jj

PiNj = k = PiNj ge k minus PiNj ge k + 1 =

fijfkminus1jj minus fijf

(k)jj = fijf

(kminus1)jj (1 minus fjj) k gt 1


Ας ϑεωρήσουmicroε j microια microεταβατική κατάσταση Αφού 0 le fjj lt 1 συνεπάγεται ότι

Pi(Nj ge k) = fijf(kminus1)jj

έχουmicroε

Pi(Nj = infin) = limkrarrinfin

Pi(Nj ge k) = limkrarrinfin

fijf(kminus1)jj = 0

Pi(Nj ltinfin) = 1 minus Pi(Nj = infin)

από το οποίο έχουmicroε

Pi(Nj ltinfin) = 1

Από προηγούmicroενη σχέση για k ge 1 έχουmicroε

Pi(Nj = k) = fijf(kminus1)jj (1 minus fjj)

΄Αρα

Ei(Nj) =infinsum

k=1

kPi(N(j)) = k) =infinsum

k=1

kfijf(kminus1)jj (1 minus fjj) =

fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =

fij(1 minus fjj)infinsum

k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij

(1 minus fjj)ltinfin

Αν η κατάσταση j είναι επαναλαmicroβανόmicroενη


Η

PiNj = infin = limkrarrinfin

PiNj ge k =

limkrarrinfin

fijf(kminus1)jj = fij lim

krarrinfinf(kminus1)jj = fij

επειδή fjj = 1 ΄Αρα η Pj(Nj = infin) = 1 και εποmicroένως το Ej(Nj) = infin ή ισοδύναmicroα

Ej(Nj) = fij(1 minus fjj) = infin

΄Ετσι αν η αλυσίδα ξεκινάει από την επαναλαmicroβανόmicroενη κατάσταση i τότε αυ-

τό επισκέπτεται το i άπειρες ϕορές το οποίο microπορεί επίσης να γραφτεί Pi[Xn =i]io = 1 και αν i microεταβατικό τότε η αλυσίδα επισκέπτεται το i συχνά και πεπε-

ϱασmicroένα

Μολονότι οι σχέσεις των γεννητριών συναρτήσεων παρέχουν microια σύνδεση microε-

ταξύ p(n)ij και f (n)

ij αυτό είναι κυρίως από τη ϑεωρητική χρήση Για i j isin S

έχουmicroε f(1)ij = pij ενώ για n gt 1 έχουmicroε από το πρώτο ϐήmicroα διάσπασης

f(n)ij = Pi [X1 6= j Xnminus1 6= j Xn = j] =


sum

k 6=jkisinS

Pi [X1 = k X2 6= j Xnminus1 6= j Xn = j] =

sum

k 6=j

Pi [X2 6= j Xnminus1 6= j Xn = j | X1 = k]Pi [X1 = k]

το οποίο από την σχέση

P[Xn+1 = k1 Xn+m = km | X0 = i0 Xnminus1 = inminus1 Xn = i] =

P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j

Pk[X1 6= j Xnminus2 6= j Xnminus1 = j]Pi [X1 = k] =

sum

k 6=j

pikf(nminus1)kj

Συνοψίζοντας

f(n)ij =

pij n = 1sum

k 6=j pikf(nminus1)kj n gt 1

Αυτό εκφράζεται καλύτερα microε ένα αναδροmicroικό πίνακα Θέτουmicroε

(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j

έτσι ώστε παίρνουmicroε (j)P ϐάζοντας στην j-οστή στήλη του P ίσο microε 0 Για σταθερό

j isin S ορίζουmicroε το διάνυσmicroα στήλη f(n) = (f

(n)ij i isin S)prime Τότε η παραπάνω σχεση

γίνεται

f(n)ij =

pij i isin S)prime n = 1(j)

Pf (nminus1) n gt 1

το οποίο επίσης microπορεί να εφρασθεί ως

f(n) =(j)

Pnminus1

f(1)

Παράδειγmicroα Μία ϕηmicroισmicroένη microελέτη της UK σχετικά microε την επαγγελmicroατική

κινητικότητα διαmicroέσου των γενεών διεξήχθη microετά το 2o Παγκόσmicroιο πόλεmicroο Τρία

επαγγελmicroατικά επίπεδα γνωρίστηκαν

i υψηλό επίπεδο (διευθυντές καθηγητές)

ii microεσαίο επίπεδο (υψηλόβαθmicroοι επόπτεςεξειδικευmicroένοι εργάτες)

iii χαmicroηλό επίπεδο (ανειδήκευτοι εργάτες)


Μεταβατικές πιθανότητες από γενιά σε γενιά εκτιmicroήθηκαν να είναι

P =123

45 48 07

05 70 25

01 5 49

΄Ενδιαφερόmicroαστε για την (f(n)i1 i = 1 2 3)prime ΄Αφαιρώντας την πρώτη στήλη και

ϐάζοντας στη ϑέση της 0 έχουmicroε τον παρακάτω πίνακα

(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f

(1)ij i isin S)prime = (45 05 01)prime ΄Ετσι για n = 2 έ-

χουmicroε f(2) =(1)

Pf(1) = (0247 0375 0299)prime ενώ για n = 3 f

(3) =(1)Pf

(2) =(02009 03372 03374) και συνεχίζοντας ϐρίσκουmicroε

f(9) = ((1)P)8f = (01519 02644 0279)prime

Επειδή όλα τα στοιχεία του P είναι ϑετικά η αλυσίδα είναι αναγωγική Καθώς

ϑα δούmicroε ο χώρος καταστάσεων υποδηλώνει ότι όλες οι καταστάσεις είναι επανα-

λαmicroβανόmicroενες Αν fi1 = Pi [τ1(1) lt infin] = 1 i = 1 2 3 η αλυσίδα ϕτάνει στην

κατάσταση 1 στο υψηλότερο οικονοmicroικό επίπεδο σε ένα πεπερασmicroένο χρόνο Θυ-

microηθείτε ότι η κλίmicroακα χρόνου είναι οι γενεές Συνεχίζοντας το επαναληπτικό

σχήmicroα ϐρίσκουmicroε

(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1

f(m)i1 i = 1 2 3)prime

=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791

Σηmicroειώνουmicroε ότι P3[τ1(1) le 5] δηλαδή η πιθανότητα από την τρίτη κλίmicroακα να

πάmicroε στην πρώτη σε 5 ϐήmicroατα είναι πολύ microικρή

27 Περιοδικότητα

Η έννοια της περιοδικότητας είναι απαραίτητη για την κατανόηση της κίνησης

microιας στοχαστικής διαδικασίας Μπορεί να είναι microια καλή περίπτωση ότι αυτές οι

συγκεκριmicroένες κινήσεις της διαδικασίας microπορεί microόνο να τελειώσουν στις διαδρο-

microές των οποίων τα microήκη είναι πολλαπλασιασmicroένα microε ένα συγκεκριmicroένο αριθmicroό

d Για παράδειγmicroα σκεφτείτε τον απλό τυχαίο περίπατο του οποίου τα ϐήmicroατα

28 Ι∆ΙΟΤΗΤΕΣ ΑΛΛΗΛΕΓΓΥΗΣ 53

είναι plusmn1 ΄Επιστοφές στο 0 microπορούν microόνο να συmicroβούν κατά microήκος των διαδροmicroών

των οποίων τα microήκη αντισταθmicroίζουν τα ϑετικά microε τα αρνητικά ϐήmicroατα Τώρα ϑα

εξηγήσουmicroε πως να καταχωρίσουmicroε τις κλάσεις είτε σαν περιοδικές είτε σαν microη

περιοδικές

Ορισmicroός 271 Ορίζουmicroε περιοδική κατάσταση i να είναι d(i) = gcdn ge 1

p(n)ii 0 όπου gcd είναι ο microέγιστος κοινος διαιρέτης Αν n ge 1 p

(n)ii gt 0 = empty τότε

παίρνουmicroε d(i) = 1) Αν d(i) = 1 λέmicroε την i απεριοδική και αν d(i) gt 1 λέmicroε την

i περιοδική microε περίοδο d(i)

Ο ορισmicroός σηmicroαίνει ότι αν p(n)ii gt 0 τότε το n είναι ένα ακέραιο πολλαπλάσιο

του d(i) και d(i) είναι ο microέγιστος ακέραιος microε αυτή την ιδιότητα Επιστροφές στην

i κατάσταση είναι δυνατές microόνο δια microέσου διαδροmicroών των οποίων τα microήκη είναι

πολλαπλάσια του d(i)Παράδειγmicroα ΄Ενας απεριόριστος απλός τυχαίος περίπατος είναι ο Sn =

sumnk=1 Xk n ge 0 microε χώρο καταστάσεων minus1 0 1 Η περίοδος του 0

είναι 2 αφού p(n)00 = 0 εκτός εαν n είναι άρτιος

28 Ιδιότητες Αλληλεγγύης

Μια ιδιότητα των καταστάσεων ονοmicroάζεται αλληλέγγυα ή κατά κατηγορία ιδιότητα

αν το i οποτεδήποτε έχει την ιδιότητα αυτή και i harr j τότε και το j έχει την

ιδιότητα αυτή Τώρα παίρνουmicroε microια άλλη περίπτωση Αν το C είναι microια ισοδύναmicroη

κατηγορία καταστάσεων και το i isin C και έχει την ιδιότητα τότε κάθε κατάσταση

j isin C έχει την ιδιότητα αυτή

Πρόταση 281 Η Επανάληψη η microετάβαση και microια περίοδο microιας κατάστασης είναι

ελληλέγγυες καταστάσεις

Η πρακτική επίδραση είναι ότι αυτές οι καταστάσεις χρειάζεται να ελεγχθούν

microόνο για ένα αντιπροσωπευτικό της κατηγορίας και όχι για κάθε στοιχείο της

κατηγορίας ΄Ετσι για παράδειγmicroα αν i harr j τότε d(i) = d(j)Απόδειξη Υποθέστε ότι i harr j και i είναι επαναλαmicroβανόmicroενο Εφόσον i rarr j υπάρ-

χει n τέτοιο ώστε p(n)ij gt 0 και εφόσον j rarr i υπάρχειm τέτοιο ώστε p

(m)ij gt 0 όπως έ-

χουmicroε αναφέρει παραπάνω στην ενότητα του χώρου καταστάσεων Επίσης άπο την

ταυτότητα Chapman-Kolmogorov (P(n+m) = Pn + Pm hArr p(n+m)ij =

sum

k p(n)ik p

(m)kj )

καθώς και από την οmicroοιότητα πινάκων έχουmicroε

Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii

Το αριστερό microέρος είναι η πιθανότητα να πάmicroε από το j στο j σε n+m+k ϐήmicroατα

Αυτό είναι microεγαλύτερο ή ίσο από την πιθανότητα να πάmicroε απο το j στο j σε n+m+k


ϐήmicroατα δια microέσου της διαδροmicroής να πάει από το j στο i σε m ϐήmicroατα από το i στο

i σε k ϐήmicroατα και από το i στο j σε n ϐήmicroατα ΄Ετσι αθροίζοντας έχουmicroε

infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p

(k)ii = infin αφού το i είναι επαναλαmicroβανόmicroενο άρα

και το j είναι επαναλαmicroβανόmicroενο Αυτό το επιχείρηmicroα είναι συmicromicroετρικό στο i j

΄Ετσι αν i harr j τότε το i είναι επαναλαmicroβανόmicroενο αν και microόνο αν το j είναι επα-

ναλαmicroβανόmicroενο Αφού microεταβατικό σηmicroαίνει microη επαναλαmicroβανόmicroενο εmicroείς έχουmicroε

επίσης ότι αν i harr j τότε το i ειναι microεταβατικό αν και microόνο αν το j είναι microεταβα-

τικό Υποθέστε ότι i harr j και i έχει περίοδο d(i) και j έχει περίοδο d(j) Από την

προηγούmicroενη σχέση έχουmicroε για c gt 0

p(n+m+k)jj ge cp(k)

ii

Αλλά p(0)ii = 1 και από την προηγούmicroενη σχέση παίρνουmicroε p

(n+m)jj gt 0 αφού c gt 0

το οποίο σηmicroαίνει n +m = k1d(j) για κάποιο ϑετικό ακέραιο k1 Για οποιδήποτε

k gt 0 έτσι ώστε p(k)ii gt 0 έχουmicroε p

(n+m+k)jj ge cp

(k)ii gt 0 άρα n + m + k =

k2d(j) για ϑετικό ακέραιο k2 Εποmicroένως για k τέτοιο ώστε p(k)ii gt 0 έχουmicroε

k = n + m + k minus (n + m) = k2d(j) minus k1d(j) = (k2 minus k1)d(j) ΄Ετσι d(j) είναι

διαιρέτης του k = m + n + k minus (n + m) και άρα n ge 1 p(n)ii gt 0 Αφού ο

microέγιστος κοινός διαιρέτης από αυτό το σύνολο είναι από τον ορισmicroό d(i) ξέρουmicroε

ότι d(j) είναι ένας διαιρέτης του d(i) και για αυτό τον λόγο d(i) ge d(j) ΄Απο την

συmicromicroετρία αυτού του επιχειρήmicroατος ανάmicroεσα στο i j παίρνουmicroε επίσης ότι το d(i)είναι διαιρέτης του d(j) έτσι ώστε d(i) le d(j) ΄Αρα d(i) = d(j)

Θα εξετάσουmicroε ένα παράδειγmicroα και κάποια κριτήρια για επανάληψη ή microετα-

ϐατικότητα χρησιmicroοποιώντας το ϐασικό ορισmicroό Πρώτα microια υπενθύmicroιση γύρω από

την σηmicroαντικότητα της έννοιας της επανάληψης Η επανάληψη microπορεί να ϑεωρη-

ϑεί σαν microια σταθεροποιητική ιδιότητα για ένα στοχαστικό σύστηmicroα Περιγράφει

την αυστηρή τάση του microοντέλου να επιστρέφει στο κέντρο της κατάστασης του δια-

στήmicroατος Η microεταβατικότητα microπορεί να συνδεθεί microε microια τάση προς την υπερβολή

του χώρου καταστάσεων Μήκη ουρών δηmicroιουργούνται χωρίς όριο busy περί-

οδοι microπορεί να γίνουν άπειρες κλαδωτές διαδικασίες που εκρήγνυται τυχαίοι

περίπατοι παρασύρονται στο άπειρο κτλ

Παράδειγmicroα Αλυσίδα Συνεχών Επιτυχιών (Βλέπε []) Ξανά αναφέρουmicroε τον

πίνακα microετάβασης για την αλυσίδα που έχει την microορφή

P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2

microε χώρο καταστάσεων 0 1 2 και 0 lt p1 lt 1 και i ge 0 ΄Εστω για παρά-

δειγmicroα pi = p και qi = q για κάθε i ge 0 ΄Ενας παίκτης του basketball πετυχαίνει


καλάθι από τη γραmicromicroή ελευθέρων ϐολών microε πιθανότητα p Αν έχει n συνεχόmicroενες

επιτυχίες την επόmicroενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρεία

να microεγαλώσει σε n + 1 το πλήθος των συνεχόmicroενων επιτυχιών (πιθανότητα p) Αν

αποτύχει (πιθανότητα q) τότε microηδενίζεται η ακολουθία των συνεχόmicroενων επιτυχιών

Πότε είναι microια κατάσταση επανεmicroφανιζόmicroενη Αυτή η αλυσίδα είναι αναγωγική

και επιπλέον i gt 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν το 0 είναι επαναλαmicro-

ϐανόmicroενο και έτσι αυτό ϕτάνει να καθορίσει ένα κριτήριο για την επανάληψη του

0 ΄Εχουmicroε f(1)00 = q0 και για n ge 2 παίρνουmicroε

f(n)00 = P0[X1 = 1 X2 = 2 Xnminus1 = n minus 1 Xn = 0]

= p0p1 pnminus2qnminus1

όπου p(nminus2) είναι η τελευταία επιτυχία και q(nminus1) είναι αποτυχία αφού Xn = 0

Γράφουmicroε

un =nprod

i=0

pi n ge 0

και παίρνουmicroε από την qnminus1 = 1 minus pnminus1 ότι

f(n)00 = unminus2 minus unminus1 n ge 2

από το οποίο

N+1sum

n=1

f(n)00 = q0 + (u0 minus u1) + (u1 minus u2) + + uNminus1 minus uN

= q0 + u0 minus uN = q0 + p0 minus uN = 1 minus uN

΄Ετσι το 0 είναι επαναλαmicroβανόmicroενο αν και microόνο αν uN =prodN

i=0 pi rarr 0 καθώς το

N rarr infin


ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ 57

Ευρετήριο ελληνικών όρων

αλυσίδες

Markov 29

ανεξάρτητες τυχαίες microεταβλητές 10

γεννήτρια συνάρτηση 12

διαδικασία

απλή κλαδωτή 16

διωνυmicroική κατανοmicroή

αρνητική 15

εκλέπτυνση Poisson 16

ιδιότητα Markov 31

κατανοmicroή 8

microετρησιmicroότητα 7

πιθανότητα microετάβασης 29

πίνακας microετάβασης 30

πίνακας Markov 31

προσοmicroοιωmicroένη αλυσίδα Markov 31

προσοmicroοίωση τυχαίας microεταβλητής 29

στοχαστικός πίνακας 31

συνέλιξη ακολουθιών 11

σύνθετη κατανοmicroή 15

τυχαία microεταβλητή

διανυσmicroατική 9

τυχαία microεταβλητή 7

58 ΕΥΡΕΤΗΡΙΟ ΕΛΛΗΝΙΚΩΝ ΟΡΩΝ

ΕΥΡΕΤΗΡΙΟ ΞΕΝΟΓΛΩΣΣΩΝ ΟΡΩΝ 59

Ευρετήριο ξενόγλωσσων όρων

Markov

αλυσίδες 29

Αντώνης Τσολοmicroύτης

amp Γραmicromicroατική Χατζηκωνσταντή

Σηmicroειωσεις

Στοχαστικων Ανελιξεων

Βασισmicroένες στο ϐιβλίο

Sidney I Resnik

Adventures in Stochastic Processes

Γοργύρα middot Σάmicroος

4













161 Ροπές 18
















5








Κεφάλαιο 1


11 Εισαγωγή





















τιmicroές



7





E(X) =

infinsum

k=0

kpk =

infinsum

k=0

kP(X = k) (11)


(f (X)

)=sum

0lekleinfin f (k)pk


)= E

(f +(X)

)minus E

(f minus(X)

)



)





ϱοπή

Αν n = 2 τότε










P(X = k) = b(k n p) =

(n

k

)






k








EX =infinsum

k=0

kqkp = p

infinsum

k=1

kqk

= p

infinsum

k=1

(ksum

j=1

1

)

qk = p

ksum

j=1

infinsum

k=j

qk

= p

infinsum

j=1

qj

1 minus q=

infinsum

j=1

qj =q

1 minus q

=q

p


EX =

infinsum

k=1

P(X gt k)

Απόδειξη

infinsum

k=0

P(X gt k) =

infinsum

k=0

infinsum

j=k+1

pj

=infinsum

j=0

(jminus1sum

k=0

1

)

pj

=infinsum

j=1

jpj

= EX

2




P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk


Ef (X1 X2 Xk) =sum

(j1j2jk)







E

(ksum

i=1

aiXi

)

=ksum

i=1

aiEXi



P(X = k και Y = l) = P(X = k)P(Y = l) (14)



mprod

j=1

P(Xij = pij)



E

kprod

i=1

fi(Xi) =kprod

i=1

Efi(Xi) (15)


τύπος

Var

(ksum

i=1

aiXi

)

=

ksum

i=1

a2i Var(Xi)



)


14 Συνέλιξη



P(X + Y = n) = P

(n⋃

i=0


)

=

nsum

i=0


=

nsum

i=0


=

nsum

i=0

aibnminusi

= pn





cn =

nsum

i=0








P(X + Y = k) =ksum

i=0


=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)


k

ksum

i=0

(k

i

)

λimicrokminusi


k


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29

4













161 Ροπές 18
















5








Κεφάλαιο 1


11 Εισαγωγή





















τιmicroές



7





E(X) =

infinsum

k=0

kpk =

infinsum

k=0

kP(X = k) (11)


(f (X)

)=sum

0lekleinfin f (k)pk


)= E

(f +(X)

)minus E

(f minus(X)

)



)





ϱοπή

Αν n = 2 τότε










P(X = k) = b(k n p) =

(n

k

)






k








EX =infinsum

k=0

kqkp = p

infinsum

k=1

kqk

= p

infinsum

k=1

(ksum

j=1

1

)

qk = p

ksum

j=1

infinsum

k=j

qk

= p

infinsum

j=1

qj

1 minus q=

infinsum

j=1

qj =q

1 minus q

=q

p


EX =

infinsum

k=1

P(X gt k)

Απόδειξη

infinsum

k=0

P(X gt k) =

infinsum

k=0

infinsum

j=k+1

pj

=infinsum

j=0

(jminus1sum

k=0

1

)

pj

=infinsum

j=1

jpj

= EX

2




P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk


Ef (X1 X2 Xk) =sum

(j1j2jk)







E

(ksum

i=1

aiXi

)

=ksum

i=1

aiEXi



P(X = k και Y = l) = P(X = k)P(Y = l) (14)



mprod

j=1

P(Xij = pij)



E

kprod

i=1

fi(Xi) =kprod

i=1

Efi(Xi) (15)


τύπος

Var

(ksum

i=1

aiXi

)

=

ksum

i=1

a2i Var(Xi)



)


14 Συνέλιξη



P(X + Y = n) = P

(n⋃

i=0


)

=

nsum

i=0


=

nsum

i=0


=

nsum

i=0

aibnminusi

= pn





cn =

nsum

i=0








P(X + Y = k) =ksum

i=0


=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)


k

ksum

i=0

(k

i

)

λimicrokminusi


k


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29













161 Ροπές 18
















5








Κεφάλαιο 1


11 Εισαγωγή





















τιmicroές



7





E(X) =

infinsum

k=0

kpk =

infinsum

k=0

kP(X = k) (11)


(f (X)

)=sum

0lekleinfin f (k)pk


)= E

(f +(X)

)minus E

(f minus(X)

)



)





ϱοπή

Αν n = 2 τότε










P(X = k) = b(k n p) =

(n

k

)






k








EX =infinsum

k=0

kqkp = p

infinsum

k=1

kqk

= p

infinsum

k=1

(ksum

j=1

1

)

qk = p

ksum

j=1

infinsum

k=j

qk

= p

infinsum

j=1

qj

1 minus q=

infinsum

j=1

qj =q

1 minus q

=q

p


EX =

infinsum

k=1

P(X gt k)

Απόδειξη

infinsum

k=0

P(X gt k) =

infinsum

k=0

infinsum

j=k+1

pj

=infinsum

j=0

(jminus1sum

k=0

1

)

pj

=infinsum

j=1

jpj

= EX

2




P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk


Ef (X1 X2 Xk) =sum

(j1j2jk)







E

(ksum

i=1

aiXi

)

=ksum

i=1

aiEXi



P(X = k και Y = l) = P(X = k)P(Y = l) (14)



mprod

j=1

P(Xij = pij)



E

kprod

i=1

fi(Xi) =kprod

i=1

Efi(Xi) (15)


τύπος

Var

(ksum

i=1

aiXi

)

=

ksum

i=1

a2i Var(Xi)



)


14 Συνέλιξη



P(X + Y = n) = P

(n⋃

i=0


)

=

nsum

i=0


=

nsum

i=0


=

nsum

i=0

aibnminusi

= pn





cn =

nsum

i=0








P(X + Y = k) =ksum

i=0


=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)


k

ksum

i=0

(k

i

)

λimicrokminusi


k


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29








Κεφάλαιο 1


11 Εισαγωγή





















τιmicroές



7





E(X) =

infinsum

k=0

kpk =

infinsum

k=0

kP(X = k) (11)


(f (X)

)=sum

0lekleinfin f (k)pk


)= E

(f +(X)

)minus E

(f minus(X)

)



)





ϱοπή

Αν n = 2 τότε










P(X = k) = b(k n p) =

(n

k

)






k








EX =infinsum

k=0

kqkp = p

infinsum

k=1

kqk

= p

infinsum

k=1

(ksum

j=1

1

)

qk = p

ksum

j=1

infinsum

k=j

qk

= p

infinsum

j=1

qj

1 minus q=

infinsum

j=1

qj =q

1 minus q

=q

p


EX =

infinsum

k=1

P(X gt k)

Απόδειξη

infinsum

k=0

P(X gt k) =

infinsum

k=0

infinsum

j=k+1

pj

=infinsum

j=0

(jminus1sum

k=0

1

)

pj

=infinsum

j=1

jpj

= EX

2




P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk


Ef (X1 X2 Xk) =sum

(j1j2jk)







E

(ksum

i=1

aiXi

)

=ksum

i=1

aiEXi



P(X = k και Y = l) = P(X = k)P(Y = l) (14)



mprod

j=1

P(Xij = pij)



E

kprod

i=1

fi(Xi) =kprod

i=1

Efi(Xi) (15)


τύπος

Var

(ksum

i=1

aiXi

)

=

ksum

i=1

a2i Var(Xi)



)


14 Συνέλιξη



P(X + Y = n) = P

(n⋃

i=0


)

=

nsum

i=0


=

nsum

i=0


=

nsum

i=0

aibnminusi

= pn





cn =

nsum

i=0








P(X + Y = k) =ksum

i=0


=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)


k

ksum

i=0

(k

i

)

λimicrokminusi


k


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29





E(X) =

infinsum

k=0

kpk =

infinsum

k=0

kP(X = k) (11)


(f (X)

)=sum

0lekleinfin f (k)pk


)= E

(f +(X)

)minus E

(f minus(X)

)



)





ϱοπή

Αν n = 2 τότε










P(X = k) = b(k n p) =

(n

k

)






k








EX =infinsum

k=0

kqkp = p

infinsum

k=1

kqk

= p

infinsum

k=1

(ksum

j=1

1

)

qk = p

ksum

j=1

infinsum

k=j

qk

= p

infinsum

j=1

qj

1 minus q=

infinsum

j=1

qj =q

1 minus q

=q

p


EX =

infinsum

k=1

P(X gt k)

Απόδειξη

infinsum

k=0

P(X gt k) =

infinsum

k=0

infinsum

j=k+1

pj

=infinsum

j=0

(jminus1sum

k=0

1

)

pj

=infinsum

j=1

jpj

= EX

2




P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk


Ef (X1 X2 Xk) =sum

(j1j2jk)







E

(ksum

i=1

aiXi

)

=ksum

i=1

aiEXi



P(X = k και Y = l) = P(X = k)P(Y = l) (14)



mprod

j=1

P(Xij = pij)



E

kprod

i=1

fi(Xi) =kprod

i=1

Efi(Xi) (15)


τύπος

Var

(ksum

i=1

aiXi

)

=

ksum

i=1

a2i Var(Xi)



)


14 Συνέλιξη



P(X + Y = n) = P

(n⋃

i=0


)

=

nsum

i=0


=

nsum

i=0


=

nsum

i=0

aibnminusi

= pn





cn =

nsum

i=0








P(X + Y = k) =ksum

i=0


=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)


k

ksum

i=0

(k

i

)

λimicrokminusi


k


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29





EX =infinsum

k=0

kqkp = p

infinsum

k=1

kqk

= p

infinsum

k=1

(ksum

j=1

1

)

qk = p

ksum

j=1

infinsum

k=j

qk

= p

infinsum

j=1

qj

1 minus q=

infinsum

j=1

qj =q

1 minus q

=q

p


EX =

infinsum

k=1

P(X gt k)

Απόδειξη

infinsum

k=0

P(X gt k) =

infinsum

k=0

infinsum

j=k+1

pj

=infinsum

j=0

(jminus1sum

k=0

1

)

pj

=infinsum

j=1

jpj

= EX

2




P(X1 = j1 X2 = j2 Xk = jk) = pj1j2jk


Ef (X1 X2 Xk) =sum

(j1j2jk)







E

(ksum

i=1

aiXi

)

=ksum

i=1

aiEXi



P(X = k και Y = l) = P(X = k)P(Y = l) (14)



mprod

j=1

P(Xij = pij)



E

kprod

i=1

fi(Xi) =kprod

i=1

Efi(Xi) (15)


τύπος

Var

(ksum

i=1

aiXi

)

=

ksum

i=1

a2i Var(Xi)



)


14 Συνέλιξη



P(X + Y = n) = P

(n⋃

i=0


)

=

nsum

i=0


=

nsum

i=0


=

nsum

i=0

aibnminusi

= pn





cn =

nsum

i=0








P(X + Y = k) =ksum

i=0


=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)


k

ksum

i=0

(k

i

)

λimicrokminusi


k


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29






E

(ksum

i=1

aiXi

)

=ksum

i=1

aiEXi



P(X = k και Y = l) = P(X = k)P(Y = l) (14)



mprod

j=1

P(Xij = pij)



E

kprod

i=1

fi(Xi) =kprod

i=1

Efi(Xi) (15)


τύπος

Var

(ksum

i=1

aiXi

)

=

ksum

i=1

a2i Var(Xi)



)


14 Συνέλιξη



P(X + Y = n) = P

(n⋃

i=0


)

=

nsum

i=0


=

nsum

i=0


=

nsum

i=0

aibnminusi

= pn





cn =

nsum

i=0








P(X + Y = k) =ksum

i=0


=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)


k

ksum

i=0

(k

i

)

λimicrokminusi


k


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29


14 Συνέλιξη



P(X + Y = n) = P

(n⋃

i=0


)

=

nsum

i=0


=

nsum

i=0


=

nsum

i=0

aibnminusi

= pn





cn =

nsum

i=0








P(X + Y = k) =ksum

i=0


=

ksum

i=0

eminusλλi

ieminusmicro

microkminusi

(k minus i)


k

ksum

i=0

(k

i

)

λimicrokminusi


k


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29


2








X + (Y + Z)d= (X + Y ) + Z





kminusϕορές














P(s) =

infinsum

k=0

eminusλλk

ksk = eminusλ

infinsum

k=0

(λs)k

k




P(s) =

nsum

0

((n

k

)

pkqnminusk)

sk =

nsum

k=0

(n

k

)

(ps)kqnminusk

= (q + ps)n



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



P(s) =

infinsum

k=0

(qkp)sk =p

1 minus qs




dn

dsnP(s)

∣∣s=0

= npn (17)






k=0 qksk τότε

Q(s) =1 minus P(s)

1 minus s


Q(s) =

infinsum

k=0

(infinsum

i=k+1

pi

)

sk =

infinsum

i=1

(iminus1sum

k=0

sk

)

pi

=

infinsum

i=1

1 minus si

1 minus spi =

infinsum

i=0

1 minus si

1 minus spi


)


limsrarr1minus

1 minus P(s)

1 minus s=

infinsum

k=0

qk = EX


limsrarr1minus

dn

dsnP(s) = P(n)(1)

=

infinsum

k=0



)



)2









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29









τότε

PX1+X2(s) = PX1

(s)PX2(s)




PX1+X2(s) =

(PX1

(s))2

Απόδειξη



(s)




infinsum

n=0

(nsum

k=0

akbnminusk

)

sn =

infinsum

k=0

infinsum

n=k

akbnminusksn

=

infinsum

k=0

aksk

infinsum

n=k


= A(s)B(s)

2


τότε

PX1+X2(s) = PX1






PX (s) =nprod

i=1

PXi (s) =(PX1

(s))n

= (q + ps)n







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29







PX (s) =rprod

i=1

PXi (s) =(PXi (s)

)r=

(p

1 minus qs

)r

=infinsum

k=0

P(X = k)sk





(1 + t)α =

infinsum

k=0

(α

k

)

tk


(α

k

)

=(α)kk


k


(p

1 minus qs

)r


k=0

(minusrk

)

(minus1)kqksk

άρα


)

prqk


σmicroατα







P(SN = j) =infinsum

k=0


k=0

P(Sk = j N = k)

=infinsum

k=0


k=0

pklowastj αk




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29




PSN (s) =infinsum

j=0


j=0

(infinsum

k=0

pklowastj αk

)

sj

=

infinsum

k=0

αk

(infinsum

j=0

pklowastj sj

)

=

infinsum

k=0

αk

(infinsum

j=0

P(Sk = j)sj

)

=

infinsum

k=0

αk (PX1(s))

k= PN (PX1

(s))

δηλαδή

PSN (s) = PN (PX1(s)) (18)


τηση την







διεύθυνση


Xi =


0 αλλιώς



PSN (s) = PN(PX1

(s))





Poisson

















Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29












Z0 = 1

Z1 = Z11











k=0 pksk για


Pn(s) = Pnminus1

(P(s)

)

άρα

P2(s) = P(P(s)

)

P3(s) = P2

(P(s)

)= P

(

P(P(s)

))

= P(P2(s)

)

Pn(s) = Pnminus1

(P(s)

)= P

(Pn1(s)

)



P2(s) = q + p(q + ps) = q + pq + p2s





limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



limnrarrinfin

Pn+1(s) =infinsum

j=0

qpj =q

1 minus p= 1

161 Ροπές




P primen(s) =

(

Pnminus1

(P(s)P

))prime

= P primenminus1

(P(s)

)P prime(s)









Var Zn+1 =

σ2mn(

1minusmn+1

1minusm

)

αν m 6= 1

σ2(n + 1) αν m = 1





άρα



= limnrarrinfin



πn

= limnrarrinfin








(0 1)


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29


Απόδειξη


(Pn(s)

) Θέτοντας






π2 = P2(0) = P(P(0)

)= P(π1) le P(q) = q


π = limnrarrinfin

πn le q


P primeprime(s) =

infinsum

k=2







1

1

1

1

1





P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



P2(s) = P(P(s)

)le P(π) = π








οπότε




Τότε


P(Pn(s0)

)= lim





2



κάθε k ge 1











P(s) = 0 2 + 0 2s+ 0 6s2


s = 0 2 + 0 2s+ 0 6s2

hArr 0 6s2 minus 0 8s+ 0 2 = 0

hArr s =0 8 plusmn


2 middot 0 6









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29









(p

(n)k

)


(0)k δηλαδή

limnrarrinfin

p(n)k = p

(0)0




s isin [0 1]



suminfink=0 p



limnrarrinfin

p(n)k = p

(0)k


limnrarrinfin


infinsum

k=0

p(n)k sk = P0(s)



k=0 p(0)k sk και

suminfink=0 p


microόνο αν

limsrarr1minus

P0(s) = P0(1) = 1





i=m+1 si lt



k=1

∣∣p

(n)k minus p

(0)k

∣∣sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+

infinsum

k=m+1

sk

lemsum

k=1

∣∣p

(n)k minus p

(0)k

∣∣+







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29







(n)1


n )1





limnprimerarrinfin

infinsum

k=0

p(nprime)k sk = lim



infinsum

k=0











)και

limnrarrinfin





limnrarrinfin


EsXn

= limnrarrinfin


)n

= limnrarrinfin

(

1 +(sminus 1)np(n)

n

)n

= eλ(sminus1)


events




iiisumn

k=1 pk(n) = Esumn




nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



nsum

k=1




nprod

k=1

PXnk (s) =

nprod

k=1


)


limnrarrinfin

nsum

k=1


)= λ(sminus 1)


P nk=1




nsum

k=1


)=

nsum

k=1

pk(n)(1 minus s) +

nsum

k=1

R(pk(n)(1 minus s)

)


sumnk=1 R

(pk(n)(1 minus s)



nsum

k=1

R(pk(n)(1 minus s)

)le

nsum

k=1

R(pk(n)

)

le 2

nsum

k=1

(pk(n)

)2

le 2 sup1leklen

pk(n)

nsum

k=1

pk(n)

le 2δ(n)

nsum

k=1




1 minus x=

x

1 minus xge 0




και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29


και


1 minus x=

x




















φn =

nminus2sum

j=1

qφjφnminusjminus1

για n ge 2


[N = n] =

nminus2⋃

j=1







Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



Aj = [infn nsum

i=1

Xi+1 = 1 = j]


i=1






j=1


Τώρα

X1 X2 d= X2 X3 (19)


P(X1 = k1 Xm = km) = P(X2 = k1 Xm+1 = km)


P(Aj) = P

(

infn

nsum

n=1

Xi = 1 = j

)

= φj



j=1







infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



infinsum

n=2

φnsn =

infinsum

n=2

(nminus2sum

j=1

qφjφnminusjminus1

)

sn

=

infinsum

n=2

(nminus2sum

j=0

qφjφnminusjminus1

)

sn

=

infinsum

j=0

(infinsum

n=j+2


)

φjsjqs

=infinsum

j=0

(infinsum

m=1

φmsm

)


=infinsum

j=0

Φ(s)φjsjqs

= qs(Φ(s)

)2


Φ(s) =1 plusmn

radic

1 minus 4pqs2

2qs


Φ(s) =1 minus

radic

1 minus 4pqs2

2qs


infinsum

n=0

φnsn =

1

2qs

(

1 minusinfinsum

j=0

(12

j

)

(minus1)j(4pqs2)j

)

=

infinsum

j=1

(12

j

)

(minus1)j+1 (4pq)j

2qs2jminus1

δηλαδή


(12

j

)(4pq)j

2q

φ2j = 0





=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29




=1 minus

radic


2q


2q

=

1 αν p ge q

pq αν p lt q





EN = Φprime(1)

=

(

2q4pqradic


radic

1 minus 4pq)

)

2q2

=2p


2q

άρα

EN =






΄Εχουmicroε

N0 =

1 + infn

sumni=1 Xi+1 = 1


1 + infn


στο [X1 = 1]

΄Εστω

N+ = inf

n

nsum

i=1

Xi+1 = 1

και Nminus = inf

n

nsum

i=1

Xi+1 = minus1





F(s) = EsN0


= sim1+N+


1[X1=1]

= ssimN+




(αφού Nd= N+)



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



Nminus = inf

n

nsum

i=1

Xi+1 = minus1

d= inf

n nsum

i=1

Xi = minus1

= inf

n

nsum

i=1

(minusXi) = 1

= inf

n

nsum

i=1

X ]i = 1

Η sumni=1 X






F(s) = sq1 minus

radic

1 minus 4pqs2

2qs+ sp

1 minusradic

1 minus 4pqs2

2ps

= 1 minusradic

1 minus 4pqs2

και



P(N0 ltinfin) =

1 αν p = q

2q αν p gt q

2p αν p lt q



F(s) = 1 minusradic

1 minus s2

F prime(s) = minus1




Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29

Κεφάλαιο 2

















i






i=0 ai sumk




Y =infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U)


i=0 ai sumk



29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29







P =




Ορίζουmicroε

X0 =

infinsum

k=0

k1( kminus1

i=0ai

ki=0

ai ](U0)




f (i u) =

infinsum

k=0

k1( kminus1

i=0pi

ki=0

pi ](u)


i=0 pi sumk





Ιδιότητες


P(Xn+1 = j |Xn = i) = pij (21)

αφού


)

= P(f (i Un+1) = j |Xn = i

)

= P(f (i Un+1) = j

)


bull



P(f (i Un+1) = j |X0 = i0 Xn = j

)= P

(f (i Un+1) = j

)

= pij



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



Η ιδιότητα



bull


= P(Xn+1 = k1 Xn+m = km |Xn = i)

= P(X1 = k1 Xm = km |X0 = i)



P(

f (i Un+1) = k1 f(f (i Un+1) Un+2

)= k2


= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |U0 = i0 f (i0 U1) = i1

)

= P(

f (i U1) = k1 f(f (i U1) U2

)= k2 |X0 = i0

)

= P(X1 = k1 Xm = km |X0 = i)



τάβασης P





ότι









P(

capki=1 A minus i)

= P(

Ak∣∣ capkminus1

i=0 Ai

)

P(

Akminus1

∣∣ capkminus2

i=0 Ai

)




)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



)gt 0 j = 0 1 k minus 1


P(X0 = i0 Xj = ij) gt 0 (24)



j=1


(22)=

kprod

j=1


= ai0

kprod

j=1

pijminus1ij






Οπότε







= pikminus1ik






= ain+1

= P(Xn+1 = in+1 |Xn = in)


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29


και

P =






΄Αρα


j=1


)

= P( inminus1sum

j=1

Znj = in

)



k=1

Znk = j)

= plowastij



S0 = 0 Sn =nsum

i=1

Xi n ge 1


P(Sn+1 = in+1 | S0 = 0 S1 = i1 Sn = in)

= P(Xn+1 + in = in+1 |S0 = 0 Sn = in)


= ain+1minusin

= P(Sn+1 = in+1 |Sn = in)




P =








ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29






ισχύουν

P(Xn+1 = i + 1 |Xn = i) = pi


P(Xn+1 = i |Xn = i) = ri











P =

















Xn+1 =





x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



x+ =






limNrarrinfin

Nminus1Nsum

j=0

Xj



limnrarrinfin

Nsum

j=1

jP(Xn = j)



Un =







limNrarrinfin

Nsum

j=1

1Ujgt0













P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



P =

















P =








P =










P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29







P2 = P middot P =(p

(2)ij

)=

(sum

k

pikpkj

)

και γενικά


(2)ij

)=

(sum

k

p(n)ik pkj

)

=

(sum

k

pikp(n)kj

)



P(Xn = k |X0 = i) = P(Xn+m |Xm = i)




p(n)ij = P(Xn = j |X0 = i)


P(X2 = j |X0 = i) =sum

k

P(X2 = j Xk |X0 = i)

=sum

k

P(X2 = j X1 = k X0 = i)ai

=sum

k

aipikpkjai

=sum

k

pikpkjai

= p(2)ij



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



P(XN+1 = j |X0 = i) =sum

k

P(XN+1 = j X1 = k X0 = i)ai

=sum

k


=sum

k

P(XN = j |X0 = k)P(X1 = k |X0 = i)

=sum

k

pikp(N)kj

= p(N+1)ij

2



sum

k

p(n)ik p

(m)kj







a(n)j = P(Xn = j) =

sum

i

aip(n)ij

Απόδειξη

P(Xn = j) =sum

i

P(Xn = j |X0 = i)P(X0 = i)

=sum

i

aip(n)ij

2


ποίηση












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29












P(Xn+1 = j | Xn = i) = pij







χώρο S




























n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29






n=0

Xn = j | X0 = i

leinfinsum

n=0


n=0

p(n)ij = 0










S0 = 0 Sn =sumn






P(Xn+1 = i + 1 | Xn = i) = pi


P(Xn+1 = i | Xn = i) = ri























j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29








j rarr i









pn+mik =

infinsum

r=0

p(n)ir p

(m)rk ge p

(n)ij p

(m)jk gt 0










κλάσεις



1 0 0 012 0 12 00 12 0 120 0 0 1



πίνακα

12 12 0 012 12 0 00 0 12 120 0 12 12


C2 = 3 4



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



νακα

12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12


C2 = 2 3 και C3 = 4 (ϐλέπε []







P(3)32 = P3[X1 = 0 X2 = 1 X3 = 2] = q3p0p1 gt 0


q0 p0 0 0

q1 0 p1 0

q2 0 0 p2 0

q3 0 0 0 p3 0














Pi [TCc = 1] =sum

jisinCc

pij = 0

Οmicroοίως




jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



jisinCc

sum

kisinC

pikpkj = 0





P =

12 12 0 012 12 0 00 0 12 120 0 12 12












n













f(0)ij = 0 και f


fij =suminfin























fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29




















fij =suminfin


















n=0 f(n)ij sn


suminfinj=0 ajs





n=0 p(n)ij s

n δεν




p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



p(n)ii =

nsum

k=0

f (k)ii p(nminusk)

ii n ge 1


Pii(s) =1

1 minus Fii(s)


p(n)ij =

nsum

k=0

f(k)ij p

(nminusk)jj n ge 0













nsum

k=0

Piτi = k Xn = i =

nsum

k=0


nsum

k=0


Επειδή



p(n)ii =

nsum

k=0



nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29


nsum

k=0




Pii(s) =infinsum

n=0

p(n)ii s

n = P(0)ii +

infinsum

n=1

p(n)ii s

n


Pii(s) = 1 +

infinsum

n=1

p(n)ii s

n = 1 +

infinsum

n=1

infinsum

k=0


1 +

nsum

k=0

(

infinsum

n=k


1 + Fii(s)Pii(s)



άρα


δηλαδή

Pii(s) =1

1 minus Fii(s)


(0)ii = Pi(τi = 0) = 0

ii

p(n)ij =

nsum

k=0



(n)ij =



έχουmicroε




nsum

k=0

Piτj = k Xn = j =

nsum

k=0



nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29


nsum

k=0


Επειδή



p(n)ij =

nsum

k=0


nsum

k=0

f(k)ij p

(nminusk)jj n ge 0


Pij(s) =

infinsum

n=0

p(n)ij s

n =

infinsum

n=0

nsum

k=0

f(k)ij p


infinsum

k=0

(

infinsum

n=k


(k)ij sk =

Fij(s)Pjj(s)

2






n=0 p(n)ii ltinfin













limsrarr1

Pii(s) = limsrarr1

1






p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29





p(n)ii =

sumnk=0 f

(k)ii p


infinsum

n=1

p(n)ii =

infinsum

n=1

nsum

k=1


infinsum

k=1

f (k)ii

infinsum

n=k

p(nminusk)ii =

fii

infinsum

n=0

p(n)ii = fii(p

0ii +

infinsum

n=1

pnii ) =

fii(1 +infinsum

n=1

pnii )

Ανsuminfin


fii =c

1 + c





n=1 1[Xn=i]


Ei(Nj) =

infinsum

n=1

Ei1[Xn=i] =

infinsum

n=1

Pi [Xn = i] =

infinsum

n=1

p(n)ij


n=1 p(n)ii = fii


suminfinn=1 p

(n)ii ltinfin

(Βλεπε [])















12 12 0 0 012 12 0 0 00 0 12 12 00 0 12 12 0

14 14 0 0 12






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29






P[Nj = k | X0 = i] =

1 minus fij k = 0



Pi [Nj ltinfin] = 1

και


infinsum

n=1

p(n)ij ltinfin




Pj[Nj = infin] = 1







Piτj = kPjτj = n



k=1

infinsum

n=1


=

infinsum

k=1

Piτj = kinfinsum

n=1

Pjτj = n =

infinsum

k=1

f(k)ij

infinsum

n=1

f(n)jj = fijfjj





(k)jj = fijf





έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29




έχουmicroε



fijf(kminus1)jj = 0



Pi(Nj ltinfin) = 1



΄Αρα

Ei(Nj) =infinsum

k=1


k=1


fij(1 minus fjj)

infinsum

k=1

kf(kminus1)jj =


k=1

(f(k)jj )prime =

fij(1 minus fjj)

(1 minus fjj)2=

fij




Η


PiNj ge k =

limkrarrinfin







ϱασmicroένα







sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29


sum

k 6=jkisinS


sum

k 6=j




P[Xn+1 = k1 Xn+m = km | Xn = i] =

P[X1 = k1 Xm = km | X0 = i]

γίνεταιsum

k 6=j


sum

k 6=j

pikf(nminus1)kj


f(n)ij =

pij n = 1sum



(j)P = ((j)pik)

όπου

(j)pik =

pik k 6= j

0 k = j




γίνεται

f(n)ij =


Pf (nminus1) n gt 1


f(n) =(j)

Pnminus1

f(1)









P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29



P =123

45 48 07

05 70 25

01 5 49



(1)P =

0 48 070 70 250 5 49

για n = 1 και f(1) = (f




(3) =(1)Pf


f(9) = ((1)P)8f = (01519 02644 0279)prime







(Pi [τ1(1) le 5] i = 1 2 3)prime = (

5sum

m=1


=

45

05

01

+

0247

0375

0299

+

02009

033720334

+

0185261

0319577033229

+

0176657

0306777

0322611

=

530985

183860

138791








































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29
































sum

k p(n)ik p

(m)kj )


Pm+n+k = PmPnPk

p(n+m+k)jj =

sum

abisinS

p(m)ja p

(k)ab p

(n)bj ge

p(m)ji p(k)

ii p(n)ij = (p

(m)ji p

(n)ij )p(k)

ii = cp(k)ii






infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29




infinsum

l=1

p(l)jj ge

infinsum

k=1

p(m+n+k)jj ge c

infinsum

k=1

p(k)ii = infin

αφού p(m)ji p

(n)ij gt 0 και

suminfink=1 p








p(n+m+k)jj ge cp(k)

ii





(n+m+k)jj ge cp



















P =

q0 p0 0 0

q1 0 p1 0

q2 0 0 p2















Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29













Γράφουmicroε

un =nprod

i=0

pi n ge 0




N+1sum

n=1





N rarr infin




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29




αλυσίδες

Markov 29






αρνητική 15



















Markov

αλυσίδες 29




Markov

αλυσίδες 29

Shmei‚seic Stoqastik‚n Anel—xewnbaio (afoÔ to periŁqei ìpwc e—pame ìla ta pijan‹...

Documents

Transcript of Shmei‚seic Stoqastik‚n Anel—xewnbaio (afoÔ to periŁqei ìpwc e—pame ìla ta pijan‹...