Queueing 2

ΚΚεεφφάάλλααιιοο 33.. ΣΣυυσσττήήµµαατταα MMaarrkkoovv Μια διαδικασία Markov µε διακριτό χώρο καταστάσεων ονοµάζεται αλυσίδα Markov. Ένα σύνολο από τυχαίες µεταβλητές {Xn} αποτελούν µια αλυσίδα Markov όταν η πιθανότητα η επόµενη τιµή (κατάσταση) να είναι ίση µε xn+1 εξαρτάται µονάχα από την παρούσα τιµή (κατάσταση) xn και όχι από οποιαδήποτε άλλη τιµή του παρελθόντος. Η ιδιότητα αυτή είναι γνωστή σαν έλλειψη µνήµης (memory-less property) και περιορίζει τη γενικότητα των διαδικασιών Markov. Η µελέτη των διαδικασιών αυτών, όµως, είναι βασική για τη θεωρία αναµονής και γι’ αυτό στο κεφάλαιο αυτό θα ασχοληθούµε µε τις αλυσίδες Markov διακριτής και συνεχής παραµέτρου (χρόνου).

3.1 Αλυσίδες Markov διακριτού χρόνου

3.1.1 Ορισµοί Θεωρείστε µια στοχαστική διαδικασία {Χn, n=0,1,2,...} η οποία παίρνει τιµές σε ένα πεπερασµένο ή αριθµήσιµο σύνολο πιθανών τιµών. Το σύνολο αυτό πιθανών τιµών συµβολίζεται από το σύνολο των µη-αρνητικών ακεραίων {0, 1, 2, ...}. Εάν Χn=i τότε λέµε ότι η διαδικασία είναι στην κατάσταση i τη χρονική στιγµή n. Υποθέτουµε ότι οποτεδήποτε η διαδικασία βρίσκεται στην κατάσταση i, υπάρχει µια συγκεκριµένη πιθανότητα Pij να βρεθεί στην συνέχεια στην κατάσταση j. Υποθέτουµε ότι:

(3.1) ijnnnn PiXiXiXiXjXP ====== −−+ },,...,,|{ 0011111

για όλες τις καταστάσεις i0, i1, ..., in-1, i, j και όλα τα n≥0.

Ορισµός: Μια στοχαστική διαδικασία {Χn, n=0,1,2,...} η οποία παίρνει τιµές σε ένα πεπερασµένο ή αριθµήσιµο σύνολο πιθανών τιµών ονοµάζεται αλυσίδα Markov (Markov chain) όταν ισχύει ijnnnn PiXiXiXiXjXP ====== −−+ },,...,,|{ 0011111 .

Την εξίσωση (3.1) µπορεί να την αντιληφθεί κανείς ως εξής: Για µια αλυσίδα Markov η πιθανότητα υπό συνθήκη οποιασδήποτε µελλοντικής κατάστασης Xn+1, δεδοµένων των παρελθόντων καταστάσεων X0, X1, ..., Xn-1 και της παρούσας κατάστασης Xn είναι ανεξάρτητη των παρελθόντων καταστάσεων και εξαρτάται µονάχα από την παρούσα κατάσταση. Ονοµάζουµε την ιδιότητα αυτή Markovian (Markovian property).

3.1.2 Πιθανότητες µεταβάσεων καταστάσεων - Πίνακας µεταβάσεων καταστάσεων Η τιµή Pij παριστάνει την πιθανότητα η διαδικασία, ενώ είναι στην κατάσταση i, να κάνει στην συνέχεια µια µετάβαση στην κατάσταση j και ονοµάζεται πιθανότητα µετάβασης. Για να είναι πλήρως ορισµένη η εξέλιξη της διαδικασίας θα πρέπει να δίνεται κάποια αρχική κατανοµή πιθανότητας P[X0=i]. Εάν οι πιθανότητες µετάβασης είναι ανεξάρτητες του βήµατος n, τότε έχουµε µια οµογενή αλυσίδα Markov και ορίζουµε:

Συστήµατα Αναµονής Σελίδα 1 από 13

]|[ 1 iXjXPP nnij ==≡ + για κάθε n

την πιθανότητα µετάβασης σε ένα βήµα από την κατάσταση i στην κατάσταση j. Όµοια µπορούµε να ορίσουµε τις πιθανότητες µετάβασης σε m βήµατα:

]|[)( iXjXPP nmnm

ij ==≡ +

για τις οποίες εύκολα µπορούµε να γράψουµε την πιο κάτω αναδροµική σχέση:

∑ −=k

kjm

ikm

ij PPP ,)1()( m=2, 3, …

∆εδοµένου ότι οι πιθανότητες είναι µη-αρνητικές και η διαδικασία πρέπει να µεταβεί σε κάποια κατάσταση, καταλήγουµε ότι:

0,1,...i ,1

0, ,0

0==

≥≥

∑∞

=jij

ij

P

jiP

Έστω P̂ ο πίνακας των πιθανοτήτων µετάβασης ενός-βήµατος Pij, αυτός θα είναι:

.................

ˆ

210

121110

020100

iii PPP

PPPPPP

P =

3.1.3 Εξισώσεις Chapman-Kolmogorov Οι εξισώσεις Chapman-Kolmogorov παρέχουν µια µέθοδο για τον υπολογισµό των πιθανοτήτων n-βηµάτων. Οι εξισώσεις είναι:

jimnόPPPk

mkj

nik

mnij , ,0,

0≥=∑

∞

=

+ ταλαγια

και µπορούν να προκύψουν αν παρατηρήσει κανείς ότι:

.

}|{},|{

}|,{

}|{

0

000

00

0

∑

∑

∑

∞

=

∞

=+

∞

=+

++

=

=======

=====

====

k

nik

mkj

knnmn

knmn

mnmn

ij

PP

iXkXPiXkXjXP

iXkXjXP

iXjXPP

Σελίδα 2 από 13 Συστήµατα Αναµονής

3.1.4 Κατηγοριοποίηση καταστάσεων Λέµε ότι η κατάσταση i έχει πρόσβαση στην κατάσταση j όταν για κάποιο n≥0,

. ∆ύο καταστάσεις i, j οι οποίες έχουν πρόσβαση η µία στην άλλη, λέµε ότι επικοινωνούν και γράφουµε i↔j.

0>nijP

Πρόταση: Η επικοινωνία των καταστάσεων είναι µια σχέση ισοδυναµίας, δηλαδή:

i↔i

εάν i↔j τότε j↔i

εάν i↔j και j↔k τότε i↔k.

Μια αλυσίδα Markov είναι αµείωτη (irreducible) αν από κάθε κατάσταση µπορούµε να φθάσουµε σε οποιαδήποτε άλλη κατάσταση. Έστω Α το σύνολο όλων των καταστάσεων µιας αλυσίδας Markov. Ένα υποσύνολο Α1 του Α λέγεται κλειστό αν δεν υπάρχει δυνατή µετάβαση ενός βήµατος από οποιαδήποτε κατάσταση στο Α1 προς οποιαδήποτε κατάσταση στο (συµπλήρωµα του ΑCA1 1). Αν το Α1 περιλαµβάνει µόνο µια κατάσταση, τότε η κατάσταση αυτή λέγεται απορροφητική (absorbing)1,2.

Σύµφωνα µε την ιδιότητα έλλειψης µνήµης η διαδικασία Markov µπορεί να επανέλθει σε µια κατάσταση την οποία έχει ήδη επισκεφθεί. Ορίζουµε λοιπόν τις πιο κάτω ποσότητες:

)(njf ≡ P[η πρώτη επάνοδος στην κατάσταση j γίνεται n-βήµατα µετά την αναχώρηση

από την κατάσταση j]

∑∞

=

==1

)(

n

njj ff P[κάποτε γίνεται επάνοδος στην κατάσταση j].

Ανάλογα µε την τιµή της πιθανότητας fj µπορούµε να χαρακτηρίσουµε τις καταστάσεις µας αλυσίδας Markov.

(α) Αν fj = 1, η κατάσταση j λέγεται επαναληπτική (recurrent).

(β) Αν fj < 1, η κατάσταση j λέγεται µεταβατική (transient).

(γ) Επιπλέον, αν οι µόνοι δυνατοί αριθµοί βηµάτων στους οποίους µπορεί να γίνει επάνοδος στην κατάσταση j είναι γ, 2γ, 3γ, … (όπου γ > 1 και είναι ο µεγαλύτερος ακέραιος για τον οποίο ισχύει αυτό), τότε η κατάσταση j λέγεται περιοδική µε περίοδο γ. Αν γ = 1, τότε η κατάσταση j λέγεται απεριοδική.

Στην συνέχεια θεωρούµε τις επαναληπτικές καταστάσεις και ορίζουµε το µέσο χρόνο επανάληψης (mean recurrence time) της κατάστασης j.

1 Για µια απορροφητική κατάσταση i θα ισχύει Pii=1.

2 Σε µια αµείωτη αλυσίδα Markov δεν υπάρχουν απορροφητικές καταστάσεις.


∑∞

=

≡1

)(

n

njj nfM

Αν η κατάσταση j ονοµάζεται µηδενική επαναληπτική (null recurrent), ενώ εάν η κατάσταση j ονοµάζεται θετική επαναληπτική (positive recurrent).

∞=jM∞<jM

3.1.5 Οριακό θεώρηµα - Κατανοµή µόνιµης κατάστασης Ορίζουµε την πιθανότητα να βρεθεί η διαδικασία στην κατάσταση j στο n-οστό βήµα:

)(njπ

]Pr[)( jX nn

j =≡π

Θεώρηµα: Οι καταστάσεις µιας αµείωτης αλυσίδας Markov είναι είτε όλες µεταβατικές είτε όλες θετικές επαναληπτικές είτε όλες µηδενικές επαναληπτικές. Επιπλέον, αν είναι περιοδική τότε όλες έχουν την ίδια περίοδο γ.

Το επόµενο θεώρηµα αναφέρεται στην ύπαρξη µιας στατικής κατανοµής πιθανοτήτων {π } η οποία περιγράφει την πιθανότητα να βρεθεί η διαδικασία στην κατάσταση j σε κάποια µακρινή χρονική στιγµή.

j

Θεώρηµα: Σε µια αµείωτη και απεριοδική οµογενή αλυσίδα Markov οι οριακές πιθανότητες:

)(lim njnj ππ

∞→=

υπάρχουν πάντα και είναι ανεξάρτητες από την αρχική κατανοµή πιθανότητας.

Επιπλέον,

(α) είτε όλες οι καταστάσεις είναι µεταβατικές ή όλες είναι µηδενικές επαναληπτικές, οπότε 0 για όλα τα j και δεν υπάρχει στατική κατανοµή, =jπ

(β) είτε όλες οι καταστάσεις είναι θετικές επαναληπτικές, οπότε 0για όλα τα j και οι πιθανότητες {π } αποτελούν στατική κατανοµή.

>jπ

j

Στην περίπτωση αυτή ισχύει:

jj M

1=π

και οι πιθανότητες π καθορίζονται µονοσήµαντα από τη λύση του συστήµατος: j

(3.2) για όλα τα j ∑=i

ijj P ,ιππ


(3.3) ∑ =j

j 1π

3.1.5.1 Εργοδικότητα Σχετικά µε την περίπτωση (β) του παραπάνω θεωρήµατος θα πρέπει να εισάγουµε την έννοια της εργοδικότητας (ergodicity). Μια κατάσταση j λέγεται εργοδική αν είναι απεριοδική και θετική επαναληπτική. Μια αλυσίδα Markov λέγεται εργοδική αν όλες οι καταστάσεις της είναι εργοδικές. Για µια αµείωτη εργοδική αλυσίδα Markov οι πιθανότητες {π } συγκλίνουν πάντα σε µια οριακή στατική κατανοµή. )(n

j

Πόρισµα: Μια αµείωτη απεριοδική αλυσίδα Markov µε πεπερασµένο πλήθος καταστάσεων είναι εργοδική.

3.1.5.2 Γράφος µεταβάσεων – Κατανοµή µόνιµης κατάστασης Μια αλυσίδα Markov µπορεί να παρασταθεί από έναν προσανατολισµένο γράφο όπως αυτόν στο Σχήµα 1. Οι κορυφές του προσανατολισµένου γράφου παριστάνουν τις καταστάσεις, ενώ οι ακµές του γράφου παριστάνουν επιτρεπτές µεταβάσεις και οι αριθµοί πάνω στις ακµές τις πιθανότητες µετάβασης Pij. Ένας τέτοιος γράφος ονοµάζεται γράφος µεταβάσεων (state-transition graph).

0

1

21/4

1/41/4

1/4

1/4

3/4

3/4

1/2

Σχήµα 1 - Γράφος µεταβάσεων

Στο συγκεκριµένο γράφο µεταβάσεων στο Σχήµα 1, εύκολα διαπιστώνουµε ότι πρόκειται για µια εργοδική αλυσίδα Markov (ως αµείωτη και µε πεπερασµένο πλήθος καταστάσεων), άρα µπορούµε να αναζητήσουµε τη στατική κατανοµή πιθανότητας.

Η µήτρα πιθανοτήτων µετάβασης έχει ως εξής:

2/14/14/14/304/14/14/30

Παρατηρούµε ότι ισχύει για τα στοιχεία της µήτρας αυτής:


(3.4) Pij≥0, για όλα τα i,j

(3.5) για όλα τα i ∑ =j

ijP 1

Μια µήτρα που ικανοποιεί τις συνθήκες (3.4) και (3.5) ονοµάζεται στοχαστική µήτρα.

Ορίζουµε το διάνυσµα πιθανοτήτων:

][ˆ jππ ≡

τότε οι εξισώσεις (3.2) µπορούν να γραφούν µε τη µορφή:

(3.6) P̂ˆˆ ⋅= ππ

Για το συγκεκριµένο παράδειγµα θα έχουµε:

(3.7)

⋅+⋅+⋅=

⋅+⋅+⋅=

⋅+⋅+⋅=

2102

2101

2100

21

43

41

410

43

41

410

ππππ

ππππ

ππππ

Παρατηρούµε ότι οι εξισώσεις (3.7) δεν είναι γραµµικά ανεξάρτητες. Γενικά σε κάθε σύστηµα µε στοχαστική µήτρα µια εξίσωση θα είναι γραµµικά εξαρτηµένη από τις υπόλοιπες. Για τη λύση του συστήµατος θα πρέπει εποµένως να χρησιµοποιηθεί και η συνθήκη (3.3).

Στην συγκεκριµένη περίπτωση η λύση π0=1/5, π1=7/25, π2=13/25 αποτελεί την στατική κατανοµή πιθανότητας για την αλυσίδα Markov. Η στατική κατανοµή αναφέρεται συχνά και σαν κατανοµή µόνιµης κατάστασης (steady state distribution) ή κατανοµή κατάστασης ισορροπίας (equilibrium state distribution).

Πολλές φορές ενδιαφερόµαστε για την µεταβατική συµπεριφορά ενός συστήµατος, δηλαδή για τις πιθανότητες να βρεθεί η διαδικασία στην κατάσταση j στο χρόνο (βήµα) n. Αν ορίσουµε το διάνυσµα πιθανοτήτων στο χρόνο n:

)(njπ

][ˆ )()( nj

n ππ ≡

µπορούµε να γράψουµε γενικά:

(3.8) , n = 1, 2, … Pnn ˆˆˆ )1()( ⋅= −ππ

ή λύνοντας αναδροµικά:

(3.9) , n = 1, 2, … nn P̂ˆˆ )0()( ⋅= ππ

Η (3.9) δίνει τη γενική µέθοδο επίλυσης αν γνωρίζουµε την µήτρα P̂ και την αρχική


κατανοµή . Σύµφωνα µε τα προηγούµενα, η στατική κατανοµή θα είναι το όριο: )0(π̂

)n

)jjP−

))s

j=

=

(ˆlimˆn

ππ∞→

=

εφ’ όσον υπάρχει3. Παίρνοντας τα όρια στα δύο µέλη της (3.8) καταλήγουµε στην (3.6) ανεξάρτητα από την αρχική κατανοµή.

Αν θέλουµε να έχουµε την µεταβατική απόκριση από τις (3.8) ή (3.9) στην γενική της µορφή (δηλαδή τις πιθανότητες σαν συναρτήσεις του n) καταφεύγουµε συνήθως στη χρήση µετασχηµατισµών.

)(ˆ nπ)(n

jπ

Έστω ότι µια διαδικασία Markov µόλις µπήκε στην κατάσταση j. Θα µείνει στην κατάσταση αυτή και στο επόµενο βήµα µε πιθανότητα Pjj και θα φύγει στο επόµενο βήµα µε πιθανότητα 1-Pjj. Εφ΄ όσον παραµείνει στην κατάσταση j, θα ισχύουν τα ίδια και στα επόµενα βήµατα, ανεξάρτητα κάθε φορά σύµφωνα µε τον ορισµό της διαδικασίας Markov. Άρα η πιθανότητα να παραµείνει η διαδικασία στην κατάσταση j για m βήµατα ακριβώς, δεδοµένου ότι µόλις µπήκε στην κατάσταση j θα είναι:

)()( 1( mjj

m PP =

Άρα ο αριθµός των χρονικών βηµάτων που περνάει η διαδικασία σε µια κατάσταση ακολουθεί τη γεωµετρική κατανοµή. Αποδεικνύεται εύκολα ότι, σε αντιστοιχία µε την εκθετική κατανοµή, η γεωµετρική κατανοµή είναι η µόνη διακριτή κατανοµή η οποία εµφανίζει την ιδιότητα της έλλειψης µνήµης.

3.2 Αλυσίδες Markov συνεχούς χρόνου Στην ενότητα αυτή θα εξετάσουµε αλυσίδες Markov στο συνεχές χρόνο, οι οποίες όπως και οι αντίστοιχες του διακριτού χρόνου χαρακτηρίζονται από την Markovian ιδιότητα, δηλαδή δεδοµένης της παρούσας κατάστασης, το µέλλον είναι ανεξάρτητο του παρελθόντος. Στις αλυσίδες Markov συνεχούς χρόνου ο χώρος καταστάσεων παραµένει διακριτός, αλλά οι αλλαγές κατάστασης µπορούν να γίνουν σε οποιαδήποτε χρονική στιγµή και όχι σε διακριτά χρονικά βήµατα.

3.2.1 Ορισµός Θεωρείστε µια στοχαστική διαδικασία στον συνεχή χρόνο {X(t), t ≥ 0} η οποία παίρνει τιµές σε ένα σύνολο µη-αρνητικών ακεραίων. Ανάλογα µε τον ορισµό που δώσαµε για τις αλυσίδες Markov διακριτού χρόνου έχουµε τον ακόλουθο ορισµό.

Ορισµός: Ονοµάζουµε τη διαδικασία {X(t), t ≥ 0} διαδικασία Markov συνεχούς χρόνου εάν για όλα τα s, t ≥ 0 και µη αρνητικούς ακεραίους i, j, x(u), 0 ≤ u ≤ s,

}.)(|({}0 ),()(,)(|({

isXjtXPsuuxuXisXstXP

=+==<≤==+

3 Εφ’ όσον η αλυσίδα Markov είναι εργοδική.


Μια αλυσίδα Markov είναι µια στοχαστική διαδικασία η οποία κατέχει την Markovian ιδιότητα και της οποίας η υπό-συνθήκη κατανοµή της µελλοντικής κατάστασης τη χρονική στιγµή t + s, δεδοµένης της παρούσας κατάστασης τη χρονική στιγµή t και όλων των παρελθόντων καταστάσεων εξαρτάται µονάχα από την παρούσα κατάσταση και ανεξάρτητη του παρελθόντος. Εάν, πρόσθετα, η πιθανότητα

είναι ανεξάρτητη του s, τότε η αλυσίδα Markov συνεχούς χρόνου λέµε ότι είναι στάσιµη (stationary) ή οµογενών πιθανοτήτων µετάβασης.

})(|)({ isXjstXP ==+

Για κάθε διαδικασία Markov, ο χρόνος τον οποίο περνά η διαδικασία σε µια δοσµένη κατάσταση θα πρέπει να είναι “χωρίς µνήµη”. Η µόνη συνεχής κατανοµή µε την ιδιότητα αυτή είναι η εκθετική κατανοµή. Πράγµατι, έστω ότι τη χρονική στιγµή t η διαδικασία βρίσκεται στην κατάσταση i και έστω η τυχαία µεταβλητή Xi παριστάνει το διάστηµα µέχρι να φύγει η διαδικασία από την κατάσταση i. Ορίζουµε την συνάρτηση:

]Pr[)( xXxH ii >=

Σύµφωνα µε την ιδιότητα της έλλειψης µνήµης, αν η διαδικασία έχει ήδη παραµείνει στην κατάσταση i για χρονικό διάστηµα x, η πιθανότητα να παραµείνει ακόµη για τουλάχιστον ένα διάστηµα y είναι ανεξάρτητη από το x. Συνεπώς:

]Pr[]|Pr[ yXxXyxX iii >=>+>

ή

]Pr[]Pr[

]Pr[ yXxX

yxXi

i

i >=>+>

ή

(3.10) , x,y ≥ 0. )()()( yHxHyxH iii ⋅=+

Εφ’ όσον η συνάρτηση Hi είναι πιθανότητα θα έχουµε: 0 ≤ Hi ≤ 1 για x ≥ 0. Σύµφωνα µε την (3.10) θα ισχύει µια από τις επόµενες τρεις περιπτώσεις:

(α) Hi = 1 για όλα τα x ≥ 0, το οποίο σηµαίνει ότι όταν η διαδικασία µπει στην κατάσταση i παραµένει εκεί για πάντα,

(β) Hi = 0 για όλα τα x ≥ 0, οπότε η διαδικασία περνάει στιγµιαία από την κατάσταση i,

(γ) Η συνάρτηση Hi(x) είναι µονότονα φθίνουσα και παραγωγίσιµη στο διάστηµα 0 ≤ x < ∝.

∆εδοµένου ότι οι δύο πρώτες περιπτώσεις είναι τετριµµένες, ενδιαφερόµαστε για την περίπτωση (γ). Παραγωγίζοντας ως προς y και θέτοντας y → 0 έχουµε:

(3.11) )()0()( '' xHHxH iii ⋅=


Αν θέσουµε (λiiH λ−=)0(' i > 0 εφ’ όσον η συνάρτηση είναι φθίνουσα) βρίσκουµε από την (3.11):

(3.12) x ≥ 0 xi

iexH λ−=)( ,

δηλαδή, η τυχαία µεταβλητή Χi ακολουθεί εκθετική κατανοµή. Αν αντί για µια τυχαία χρονική στιγµή t, θεωρήσουµε την στιγµή εισόδου της διαδικασίας στην κατάσταση i, συµπεραίνουµε ότι ο χρόνος παραµονής της διαδικασίας στην κατάσταση i ακολουθεί εκθετική κατανοµή σύµφωνα µε την (3.12).

Σε αντιστοιχία µε τις αλυσίδες Markov διακριτού χρόνου, ορίζουµε στην περίπτωση του συνεχούς χρόνου τις πιο κάτω πιθανότητες µετάβασης για οµογενή αλυσίδα Markov:

])(|)([)( itXjhtXPhPij ==+≡ για κάθε t

και την µήτρα πιθανοτήτων µετάβασης

)]([)(ˆ hPhP ij≡

Επίσης σε αντιστοιχία µε τις πιθανότητες του διακριτού χρόνου ορίζουµε τις πιθανότητες:

)(njπ

])([)( jtXPtj =≡π

και το διάνυσµα πιθανοτήτων

)]([)(ˆ tt jππ ≡

Σε αντιστοιχία µε την (3.8), έχουµε για την µεταβατική συµπεριφορά της διαδικασίας:

(3.13) )(ˆ)(ˆ)(ˆ hPtht ⋅=+ ππ

Η (3.13) µπορεί να γραφεί:

hIhPt

htht ˆ)(ˆ

)(ˆ)(ˆ)(ˆ −⋅=

−+ πππ

και παίρνοντας το όριο h → 0 έχουµε:

(3.14) Qtdt

td ˆ)(ˆ)(ˆ⋅= ππ

όπου:

hIhPQ

h

ˆ)(ˆlimˆ −

=∞→


Η µήτρα ονοµάζεται µήτρα ρυθµών µετάβασης (transition rate matrix) και τα στοιχεία της q

Q̂ij ορίζονται ως εξής:

(3.15) hhPq ii

hii1)(lim

0

−=

→

(3.16) hhP

q ij

hij

)(lim

0→= , i ≠ j

Παρατηρούµε ότι εφ’ εφόσον για όλα τα i θα ισχύει: ∑ =j

ij hP 1)(

(3.17) για όλα τα i ∑∑ ==−≠ j

ijij

ijii qήqq 0

Μπορούµε να δώσουµε την ακόλουθη ερµηνεία στα όρια (3.15) και (3.16):

∆εδοµένου ότι η διαδικασία βρίσκεται στην κατάσταση i, η υπό συνθήκη πιθανότητα να συµβεί µετάβαση σε άλλη κατάσταση εκτός της i σε διάστηµα h θα είναι –qiih+o(h). Έτσι µπορούµε να θεωρήσουµε ότι η ποσότητα qii είναι αριθµός µε τον οποίο η διαδικασία “φεύγει” από την κατάσταση i, όταν βρίσκεται στην κατάσταση αυτή.

Όµοια, δεδοµένου ότι η διαδικασία βρίσκεται στην κατάσταση i, η υπό συνθήκη πιθανότητα να συµβεί µετάβαση από την κατάσταση αυτή στην κατάσταση j σε διάστηµα h θα είναι qijh+o(h). Έτσι qij θα είναι ο ρυθµός µε τον οποίο η διαδικασία περνάει από την κατάσταση i στην κατάσταση j, όταν βρίσκεται στην κατάσταση i.

Σύµφωνα µε τα προηγούµενα (βλέπε εξίσωση 3.12) ο χρόνος παραµονής της διαδικασίας στην κατάσταση i ακολουθεί εκθετική κατανοµή µε παράµετρο λi. Για την εκθετική κατανοµή, η πιθανότητα να φύγει η διαδικασία από την κατάσταση i σε ένα µικρό χρονικό διάστηµα h θα είναι:

)(1][ hohehXP ih

ii +=−=≤ − λλ

ανεξάρτητα από τον χρόνο που έχει ήδη περάσει η διαδικασία στην κατάσταση i. Συµπεραίνουµε λοιπόν ότι ισχύει:

(3.18) iii q−=λ

Επίσης η πιθανότητα να παραµείνει η διαδικασία στην κατάσταση i για διάστηµα x και µετά να µεταβεί στην κατάσταση j στο διάστηµα (x, x+dx) θα είναι . Ολοκληρώνοντας την έκφραση αυτή για x ≥ 0 βρίσκουµε την πιθανότητα µετάβασης από την κατάσταση i στην κατάσταση j ανεξάρτητα από τον χρόνο:

dxqe ijxiλ−

(3.19) jiqqq

dxqePii

ij

i

ijij

xij

i ≠−=== ∫∞

− 0 λ

λ

Μπορούµε να θεωρήσουµε ότι οι διαδοχικές καταστάσεις τις οποίες επισκέπτεται η


διαδικασία σχηµατίζουν µια αλυσίδα Markov διακριτής παραµέτρου µε πιθανότητες µετάβασης Pij. Η αλυσίδα αυτή λέγεται ενσωµατωµένη (Embedded) στην αλυσίδα Markov.

Όταν η διαδικασία µπαίνει στην κατάσταση i, µπορούµε να φανταστούµε ότι οι µεταβάσεις από την κατάσταση i στις καταστάσεις j, i ≠ j, παριστάνονται από ανεξάρτητες διεργασίες που αρχίζουν την ίδια στιγµή και εξελίσσονται ταυτόχρονα. Οι διάρκειες των διεργασιών αυτών ακολουθούν εκθετικές κατανοµές µε αντίστοιχες παραµέτρους qij. Ο χρόνος παραµονής της διαδικασίας στην κατάσταση i θα είναι το διάστηµα µέχρι να τελειώσει κάποια από τις διεργασίες, ή ισοδύναµα το ελάχιστο εκθετικά κατανεµηµένων τυχαίων µεταβλητών. Το διάστηµα αυτό είναι εκθετικά κατανεµηµένο µε παράµετρο ∑

≠

=ij

iji qλ σε συµφωνία µε τις (3.17) και (3.18).

Επιπλέον, η πιθανότητα να τελειώσει πρώτη η διεργασία µε παράµετρο qij ή ισοδύναµα να γίνει µετάβαση στην κατάσταση j, θα είναι ίση µε qij/λi, όπως δίνεται από την (3.19).

Η µεταβατική απόκριση ) της διαδικασίας δίνεται από τη (3.14). Για µια εργοδική αλυσίδα Markov συνεχούς χρόνου θα υπάρχει στατική κατανοµή, η οποία θα δίνεται από το όριο:

(ˆ tπ

)(ˆlimˆ ή)(lim tπttjtj πππ

∞→∞→==

ανεξάρτητα από την αρχική κατανοµή. Εφαρµογή του ορίου στην (3.14) µας δίνει την εξίσωση:

0ˆˆ =⋅Qπ

η οποία σε συνδυασµό µε την σχέση:

(3.20) ∑ =j

j 1π

καθορίζει µονοσήµαντα την στατική κατανοµή πιθανότητας. Η εξίσωση (3.20) είναι αντίστοιχη της (3.6) για το διακριτό χρόνο, µε τη διαφορά ότι η µήτρα P̂ ήταν η µήτρα πιθανοτήτων µετάβασης, ενώ η µήτρα Q είναι η µήτρα ρυθµών µετάβασης. ˆ

3.2.2 Αντιστροφή στο χρόνο (time reversibility) Θεωρείστε µια εργοδική αλυσίδα Markov συνεχούς χρόνου και υποθέστε ότι λειτουργεί για ένα πολύ µακρύ χρονικό διάστηµα. Για παράδειγµα υποθέστε ότι ξεκίνησε τη λειτουργία τη χρονική στιγµή t=−∝. Μια διαδικασία όπως αυτή θα είναι στάσιµη και λέµε ότι βρίσκεται στη µόνιµη κατάσταση4. Ξεκινώντας τη χρονική στιγµή t ας παρακολουθήσουµε την αλυσίδα προς τα πίσω στο χρόνο. Προκειµένου να καθορίσουµε τη στατιστική δοµή της αντίστροφης αλυσίδας αυτής, κατ’ αρχήν 4 Μια δεύτερη προσέγγιση για τη δηµιουργία µιας αλυσίδας όπως αυτής είναι να υποθέσει κανείς ότι η αρχική κατάσταση τη χρονική στιγµή t=0 επιλέγεται σύµφωνα µε τις στάσιµες πιθανότητες.


παρατηρούµε ότι δεδοµένου ότι βρισκόµαστε στην κατάσταση i τη χρονική στιγµή t, η πιθανότητα να βρισκόµαστε στην κατάσταση αυτή µεγαλύτερο χρονικό διάστηµα από s είναι e . Αυτό ισχύει δεδοµένου ότι: svi−

sv

sv

i

i

eitXPeistXP

itXPtstάάiάίPitXtstάάiάίP

−

−

=

===−

=

=−==−

])([])([

])([/]],[ [])(|],[ [

στηµαδιτοκατστασηκατστηναδιαδικασστηµαδιτοκατστασηκατστηναδιαδικασ

δεδοµένου ότι: iPitXPistXP ====− ])([])([ .

Με άλλα λόγια, πηγαίνοντας προς τα πίσω στο χρόνο, το χρονικό διάστηµα που µια διαδικασία παραµένει στην κατάσταση i είναι επίσης εκθετικά κατανεµηµένο µε ρυθµό vi. Επιπρόσθετα, η σειρά των καταστάσεων που επισκέπτεται η αντίστροφη αλυσίδα αποτελεί µια αλυσίδα Markov διακριτού χρόνου µε πιθανότητες µετάβασης Qij οι οποίες δίνονται από τη σχέση:

i

jijij

PQ

ππ

=

Η παραπάνω σχέση συνεπάγεται ότι η αντίστροφη αλυσίδα είναι µια αλυσίδα Markov συνεχούς χρόνου µε τους ίδιους ρυθµούς εξόδου από κάθε κατάσταση, όπως και η διαδικασία του ευθύ χρόνου και µε πιθανότητες µετάβασης ενός βήµατος Qij.

Κατά συνέπεια, η αλυσίδα Markov συνεχούς χρόνου θα είναι αντιστρέψιµη στο χρόνο (time reversible) µε την έννοια ότι η διαδικασία όταν αντιστραφεί στο χρόνο θα έχει την ίδια στοχαστική δοµή όπως η αρχική διαδικασία, εάν η ενσωµατωµένη αλυσίδα είναι αντιστρέψιµη στο χρόνο, δηλαδή εάν:

jiόPP jijiji , , ταλαγιαππ =

Χρησιµοποιώντας το γεγονός ότι:

∑=

j j

j

iii

v

vP ππ

παρατηρούµε ότι η παραπάνω συνθήκη είναι ισοδύναµη µε την:

jiόPvPPvP jijjijii ≠= , ταλαγια

ή ισοδύναµα:

jiόqPqP jijiji ≠= , ταλαγια

∆εδοµένου ότι το Pi αποτελεί το ποσοστό του χρόνου στην κατάσταση i, και δεδοµένου ότι όταν η διαδικασία βρίσκεται στην κατάσταση i, πηγαίνει στην


κατάσταση j µε ρυθµό qij, η συνθήκη της αντιστροφής στο χρόνο είναι: ο ρυθµός µε τον οποίο µια διαδικασία πηγαίνει απευθείας από την κατάσταση i στην κατάσταση j να είναι ίσος µε τον ρυθµό µε τον οποίο πηγαίνει απευθείας από την κατάσταση j στην κατάσταση i.

Πρέπει να τονιστεί ότι η ίδια ακριβώς συνθήκη ισχύει και για µια εργοδική αλυσίδα Markov διακριτού χρόνου προκειµένου να είναι αντιστρέψιµη στο χρόνο.


Queueing 2

Documents

Transcript of Queueing 2