ΜΙΧΑΛΗΣ ΛΟΥΛΑΚΗΣ -...

ΜΙΧΑΛΗΣ ΛΟΥΛΑΚΗΣΑναπληρωτής Καθηγητής

Σχολή Εφαροσένων Μαθηατικών & Φυσικών ΕπιστηώνΕθνικό Μετσόβιο Πολυτεχνείο

Στοχαστικές ιαδικασίες

ii

Στοχαστικές ιαδικασίεςΣυγγραφήΜιχάλης ΛουλάκηςΚριτικός αναγνώστηςΜιχάλης ΚολουντζάκηςΣυντελεστές έκδοσης

Γλωσσική Επιέλεια: Θεόφιλος Τραπούλης

Τεχνική Επεξεργασία: Μανώλης Γκαραγκούνης-Βλατάκης

Εξώφυλλο: ΄Ελενα Ζακυνθινού

ISBN: 978-960-603-169-4

Copyright c ΣΕΑΒ, 2015

Το παρόν έργο αδειοδοτείται υπό τους όρους της άδειας Creative Commons Αναφορά ηιουργού - Μη ΕπορικήΧρήση - ΄Οχι Παράγωγα ΄Εργα 3.0. Για να δείτε ένα αντίγραφο της άδειας αυτής επισκεφτείτε τον ιστότοπο

https://creativecommons.org/licenses/by-nc-nd/3.0/gr/

ΣΥΝΕΣΜΟΣ ΕΛΛΗΝΙΚΝ ΑΚΑΗΜΑΪΚΝ ΒΙΒΛΙΟΘΗΚΝ

Εθνικό Μετσόβιο Πολυτεχνείο

Ηρώων Πολυτεχνείου 9, 15780 Ζωγράφου

www.kallipos.gr

iii

Στον Γιάννη και στον ηήτρη

iv

Περιεχόενα

1 Εισαγωγή στις Στοχαστικές ιαδικασίες 11.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Κατανοές πεπερασένης διάστασης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.3 ιαδικασίες σε διακριτό χρόνο και χώρο . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.4 Μαρκοβιανές αλυσίδες . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.5 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111.6 Αριθητικά πειράατα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

2 Μαρκοβιανές αλυσίδες 142.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.2 Πιθανότητες ετάβασης ανώτερης τάξης . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142.3 οή του χώρου των καταστάσεων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.4 Ισχυρή αρκοβιανή ιδιότητα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.5 Επαναληπτικότητα - Παροδικότητα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232.6 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.7 Αριθητικά πειράατα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3 Θεωρία υναικού 333.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333.2 Πιθανότητες απορρόφησης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333.3 Στατιστικά του χρόνου άφιξης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423.4 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 463.5 Αριθητικά πειράατα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

4 Martingales 504.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504.2 εσευένη έση τιή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504.3 Martingales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544.4 Martingales και αρκοβιανές αλυσίδες . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604.5 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 644.6 Αριθητικά πειράατα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

5 Αναλλοίωτες κατανοές 685.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685.2 Αναλλοίωτες κατανοές . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685.3 Η δοή του I(P ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705.4 Παραδείγατα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 785.5 Χρονική αντιστρεψιότητα και ακριβής ισορροπία . . . . . . . . . . . . . . . . . . . . . . . 80

v

5.6 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835.7 Αριθητικά πειράατα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85

6 Ασυπτωτικά Θεωρήατα 876.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 876.2 Περιοδικότητα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 876.3 Σύζευξη . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 906.4 Ασυπτωτική κατανοή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 946.5 Το εργοδικό θεώρηα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 976.6 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1026.7 Αριθητικά πειράατα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

7 Εφαρογές των αρκοβιανών αλυσίδων 1057.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1057.2 Μια κατανοή αξίας δισεκατουρίων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1057.3 Μαρκοβιανές αλυσίδες και ηλεκτρικά κυκλώατα . . . . . . . . . . . . . . . . . . . . . . . 1077.4 Ο αλγόριθος Metropolis-Hastings και το οντέλο Ising . . . . . . . . . . . . . . . . . . . 1117.5 Προσοοιωένη ανόπτηση (simulated annealing) . . . . . . . . . . . . . . . . . . . . . . . 1147.6 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1177.7 Αριθητικά πειράατα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

8 ιαδικασίες Poisson 1208.1 Εισαγωγή . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1208.2 Ορισός και ιδιότητες . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1208.3 Εκλέπτυνση και πρόσθεση . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1258.4 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

Βιβλιογραφία 132Ευρετήριο όρων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

Γλωσσάρι τεχνικών όρων 134

vi

Πίνακας ακρωνυίων

ΠΣΤ πρόβληα συνοριακών τιώνσ..π. συνάρτηση άζας πιθανότηταςσ.π.π. συνάρτηση πυκνότητας πιθανότηταςτ.. τυχαία εταβλητή

MCMC Markov Chain Monte Carlo

vii

Εισαγωγή

Το βιβλίο αυτό απευθύνεται σε φοιτητές που έχουν παρακολουθήσει κάποιο εισαγωγικό άθηα Θεω-ρίας Πιθανοτήτων και ενδιαφέρονται να άθουν περισσότερα Στοχαστικά Μαθηατικά. εν προϋποθέτειγνώσεις Θεωρίας Μέτρου, αλλά ελπίζω να προετοιάσει τον αναγνώστη για να παρακολουθήσει ένα ε-τροθεωρητικό άθηα στις Πιθανότητες και να τον προτρέψει να το κάνει.

Προκειένου να είναι το κείενο προσιτό σε προπτυχιακούς φοιτητές χωρίς να θυσιαστεί η αθηατικήαυστηρότητα, το βιβλίο αυτό περιλαβάνει κυρίως στοχαστικές διαδικασίες που εξελίσσονται σε διακριτόχρόνο, έσα σ΄ ένα διακριτό σύνολο καταστάσεων. Υπάρχουν δύο τρόποι να παρουσιάσει κανείς αυτό τουλικό. Ο ένας είναι να βασιστεί στη Γραική ΄Αλγεβρα, ε την οποία οι φοιτητές είναι συνήθως περισ-σότερο εξοικειωένοι. Στην ελληνική βιβλιογραφία που γνωρίζω συνήθως προτιάται αυτή η προσέγγιση.Στο βιβλίο αυτό θέλησα να παρουσιάσω ια όσο είναι δυνατόν πιθανοθεωρητική προσέγγιση. Αυτό ίσωςνα δυσκολέψει τον αναγνώστη στην πρώτη επαφή ε κάποιες καινούργιες έννοιες, αλλά είαι βέβαιος πωςθα τον ανταείψει όταν σπάσει ο πάγος.

΄Ενα ιδιαίτερο έρος αυτού του βιβλίου είναι ένα εικονικό εργαστήριο, που εκτυλίσσεται παράλληλα καιγύρω από το υλικό της θεωρίας. Το οτίβο του εργαστηρίου είναι ότι δίνονται κάποιοι κώδικες στη γλώσσαπρογραατισού Python, ο αναγνώστης τρέχει αυτούς τους κώδικες, βλέπει τι κάνουν, τους διαβάζει καιτους τροποποιεί, ώστε να κάνουν κάτι διαφορετικό. Εποένως για να ασχοληθεί κάποιος ε τα αριθητικάπειράατα δεν χρειάζεται να γνωρίζει ήδη τη συγκεκριένη γλώσσα προγραατισού. Ελπίζω αντίθεταότι τα πειράατα θα προσφέρουν στον αναγνώστη ια εισαγωγή σ΄ αυτή τη γλώσσα. Αυτός ήταν ο τρόποςπου έαθα τουλάχιστον εγώ να προγραατίζω σε Python. ΄Ολοι οι κώδικες που αναφέρονται στον βιβλίοπορούν να βρεθούν στη διεύθυνση

http://www.math.ntua.gr/~loulakis/info/python_codes.html

Τους κώδικες που συνοδεύουν το κείενο έχει γράψει ο φοιτητής της Σχολής Ηλεκτρολόγων Μηχανικώνκαι Μηχανικών Υπολογιστών του ΕΜΠ Μανώλης Γκαραγκούνης-Βλατάκης, η βοήθεια του οποίου στηνπροετοιασία αυτού του βιβλίου ήταν ειλικρινά συγκινητική. Τον ευχαριστώ ιδιαίτερα.

Ευχαριστώ τον γλωσσικό επιελητή Θεόφιλο Τραπούλη και τον κριτικό αναγνώστη Μιχάλη Κολουντζάκηγια τα σχόλιά τους. Ευχαριστώ τους φοιτητές και συναδέλφους που βοήθησαν, συνήθως χωρίς να τοξέρουν, ώστε να πάρει ορφή αυτό το βιβλίο.

Τέλος, ευχαριστώ την Χαρίκλεια για την αγάπη και την ενθάρρυνση, που ου τόσο γενναιόδωρα ουπροσφέρει.

viii

http://www.math.ntua.gr/~loulakis/info/python_codes.html

Συνιστώενες διαδροές περιήγησης

1 2 34

5

67

8

ix

Κεφάλαιο 1

Εισαγωγή στις Στοχαστικέςιαδικασίες

1.1 Εισαγωγή

Στο εισαγωγικό άθηα Πιθανοτήτων αθαίνει κανείς τα βασικά αντικείενα της θεωρίας των Πιθανο-τήτων, τους χώρους πιθανότητας (probability spaces) και τις τυχαίες εταβλητές (random variables).Με τα αντικείενα αυτά πορεί να ελετηθεί η κατάσταση ενός συστήατος ανάλογα ε το αποτέλε-σα ενός πειράατος τύχης και γι΄ αυτόν το λόγο η έννοια του χρόνου συνήθως δεν υπεισέρχεται σταπροβλήατα που αναλύονται. Σκοπός αυτών των σηειώσεων είναι να εισαγάγουν τον αναγνώστη στηοντελοποίηση και στην ανάλυση φαινοένων τα οποία εξελίσσονται στον χρόνο ε τρόπο που εφανίζεικάποια τυχαιότητα. Τα αθηατικά αντικείενα που οντελοποιούν τέτοια φαινόενα είναι οι στοχαστικέςδιαδικασίες (stochastic processes), ε την περιγραφή και την κατασκευή των οποίων θα ασχοληθούε στοπρώτο κεφάλαιο.

1.2 Κατανοές πεπερασένης διάστασης

Υπάρχουν διάφοροι ισοδύναοι τρόποι να ορίσει κανείς ια στοχαστική διαδικασία. Σε κάθε περίπτωσηχρειαζόαστε ένα σύνολο X, που ονοάζεται χώρος καταστάσεων (state space) και στο οποίο ανήκουνοι τιές που παίρνει η στοχαστική διαδικασία και ένα σύνολο T που είναι συνήθως -χωρίς αυτό να είναικανόνας- ένα σύνολο χρόνων, π.χ.

T = [0,+∞) ή T = N0 = 0, 1, 2, . . ..

Ο απλούστερος τρόπος να ορίσει κανείς ια στοχαστική διαδικασία, ορισένη στο T και ε τιές στο Xείναι ως ια συλλογή από τυχαίες εταβλητές Xtt∈T , ορισένες σε έναν χώρο πιθανότητας (Ω,F ,P),ε τιές στο X. Σε αυτή την περίπτωση, για κάθε t ∈ T , η τυχαία εταβλητή Xt : Ω ω → Xt(ω) ∈ Xπεριγράφει την κατάσταση του συστήατος που ας ενδιαφέρει την χρονική στιγή t και η συλλογή τουςπεριγράφει την κατάσταση του συστήατος κάθε χρονική στιγή στο σύνολο T .

΄Ενας άλλος τρόπος να δει κανείς ια στοχαστική διαδικασία είναι να θεωρήσει για κάθε ω ∈ Ω την τροχιάτης στοχαστικής διαδικασίας, καθώς ο δείκτης t εταβάλλεται στο T , να δει δηλαδή την t → Xt(ω) ως ιασυνάρτηση από το T στο X. Σε αυτή την περίπτωση η στοχαστική διαδικασία είναι ια τυχαία συνάρτηση,δηλαδή ια τυχαία εταβλητή ορισένη στο Ω ε τιές στο σύνολο XT των συναρτήσεων από το T στο X.

1

Παράδειγα 1 Στρίβουε ένα κέρα τρεις φορές. Ξεκινώντας από το ηδέν κάνουε ένα βήα προς ταδεξιά κάθε φορά που φέρνουε κεφαλή και ένα βήα προς τα αριστερά κάθε φορά που φέρνουε γράατα.Μπορούε να περιγράψουε τη θέση ας ως ια στοχαστική διαδικασία ορισένη στο σύνολο χρόνωνT = 0, 1, 2, 3 ε τιές στον χώρο καταστάσεων Z. Πράγατι, αν για k = 0, 1, 2, 3 συβολίζουε εXk τη θέση ας ετά από k στριψίατα, τότε οι Xkk∈T είναι τυχαίες εταβλητές ε τιές στον Z, πουπορούε να τις ορίσουε στον δειγατικό χώρο

Ω = KKK,KKΓ,KΓK,KΓΓ,ΓKK,ΓKΓ,ΓΓK,ΓΓΓ.

΄Εχουε λοιπόν X0(ω) = 0 για κάθε ω ∈ Ω και

X1(ω) =

+1, αν ω ∈ KKK,KKΓ,KΓK,KΓΓ−1, αν ω ∈ ΓKK,ΓKΓ,ΓΓK,ΓΓΓ,

X2(ω) =

+2, αν ω ∈ KKK,KKΓ0, αν ω ∈ KΓK,KΓΓ,ΓKK,ΓKΓ−2, αν ω ∈ ΓΓK,ΓΓΓ,

X3(ω) =

+3, αν ω = KKK

+1, αν ω ∈ KKΓ,KΓK,ΓKK−1, αν ω ∈ ΓΓK,ΓKΓ,KΓΓ−3, αν ω = ΓΓΓ.

Αν δούε την ίδια στοχαστική διαδικασία ως ια τυχαία εταβλητή ε τιές στον ZT έχουε ότι

X·(KKK) = (0, 1, 2, 3), X·(KKΓ) = (0, 1, 2, 1), X·(KΓK) = (0, 1, 0, 1) κ.λπ.

Παρατηρήστε ότι κάθε ω ∈ Ω απεικονίζεται σε ια τροχιά ήκους |T | = 4 στο Z.

Στο προηγούενο παράδειγα κατασκευάσαε ια στοχαστική διαδικασία περιγράφοντας τον δειγατικόχώρο στον οποίο την έχουε ορίσει και δίνοντας τον τύπο της, ω → X·(ω) ∈ XT . Στην θεωρία τωνΠιθανοτήτων όως τα ερωτήατα που ας ενδιαφέρουν δεν αφορούν το πού και πώς έχουε ορίσει ιατυχαία εταβλητή, αλλά τις στατιστικές της ιδιότητες, δηλαδή το πόσο πιθανό είναι να βρεθεί η τυχαίαεταβλητή σε διάφορα υποσύνολα του χώρου εντός του οποίου παίρνει τιές. Αυτή η πληροφορία δίνεταιαπό την κατανοή της τυχαίας εταβλητής. Γι΄ αυτό και συνήθως, όταν περιγράφουε ια τυχαία ετα-βλητή, δεν κάνουε αναφορά στον δειγατικό χώρο Ω στον οποίο είναι ορισένη και στον τύπο της, αλλάστην κατανοή της. Αυτό θα προσπαθήσουε να κάνουε τώρα και για ια στοχαστική διαδικασία. Θαπροσπαθήσουε δηλαδή να την περιγράψουε έσω των στατιστικών ιδιοτήτων της.

Θα ήταν άραγε αρκετό να περιγράψουε την κατανοή της τυχαίας εταβλητής Xt, για κάθε t ∈ T ; Τοεπόενο παράδειγα ας διδάσκει πως η απάντηση είναι αρνητική.

Παράδειγα 2 ΄Εστω ότι έχουε ορίσει σε κάποιον χώρο πιθανότητας ια ακολουθία Zkk∈N0 απόανεξάρτητες, ισόνοες τυχαίες εταβλητές ε τυπική κανονική κατανοή. Ορίζουε τις παρακάτω δύοδιαδικασίες διακριτού χρόνου Xnn∈N0 και Ynn∈N0 .

Xn =√nZ0, για n ∈ N0 και Y0 = 0, Yn =

n

k=1

Zk, για n ∈ N.

Εφόσον Z0 ∼ N (0, 1), έχουε Xn =√nZ0 ∼ N (0, n), για κάθε n ∈ N. Επιπλέον, εφόσον οι Zkk∈N

είναι ανεξάρτητες τυπικές κανονικές, τότε και η Yn θα ακολουθεί κανονική κατανοή για κάθε n ∈ N, ε

2

0 10 20 30 40 50

n

0 10 20 30 40 50

n

XY

Σχήα 1.1: Τυπικές τροχιές των διαδικασιών Xnn και Yn του Παραδείγατος 2.

έση τιή EYn

= nE

Z1

= 0 και διασπορά V (Yn) = nV (Z1) = n. ΄Εχουε εποένως ότι Yn ∼ N (0, n)

για κάθε n ∈ N. Παρατηρήστε ότι κάθε χρονική στιγή n ∈ N0 οι τυχαίες εταβλητές Xn και Yn έχουντην ίδια κατανοή. Από την άλλη πλευρά, το Σχήα 1.1 είναι ενδεικτικό του πόσο διαφέρουν οι τροχιές τωνδύο στοχαστικών διαδικασιών για ια τυπική πραγατοποίησή τους ω ∈ Ω. Παρατηρήστε ακόα ότι, ανξέρει κανείς την τιή X1(ω), πορεί να ανακατασκευάσει όλη την τροχιά X·(ω). Αντίθετα, οι προσαυξήσειςτης Ynn ετά τη χρονική στιγή n = 1 είναι ανεξάρτητες της Y1.

Είδαε λοιπόν ότι δύο στοχαστικές διαδικασίες, που κάθε χρονική στιγή t ∈ T έχουν την ίδια κα-τανοή, πορεί να έχουν τροχιές ε πολύ διαφορετικά ποιοτικά χαρακτηριστικά. Αυτό συβαίνει γιατί,περιγράφοντας όνο την κατανοή των Xt, για κάθε t ∈ T , δεν δίνουε καία πληροφορία για τη εταξύτους εξάρτηση. Η πληροφορία για την αλληλεξάρτηση τυχαίων εταβλητών βρίσκεται στην από κοινούκατανοή τους (joint distribution). Εποένως, οποιαδήποτε πλήρης περιγραφή των στατιστικών ιδιοτήτωνιας στοχαστικής διαδικασίας θα πρέπει να επεριέχει την από κοινού κατανοή των τυχαίων εταβλητώνXt1 , Xt2 , . . . , Xtk , για κάθε k ∈ N και για κάθε k-άδα χρόνων F = t1, t2, . . . , tk ⊂ T . Κάθε τέτοιακατανοή είναι ένα έτρο πιθανότητας µF στον Xk, που ορίζεται έσω της

µF

A= P

(Xt1 , . . . , Xtn) ∈ A

(1.1)

για κατάλληλα σύνολα A ∈ Xk.

Ορισός: Ονοάζουε τη συλλογή µF F∈S(T ) όλων των κατανοών της (1.1), όπου S(T ) είναι τοσύνολο των πεπερασένων υποσυνόλων του T , οικογένεια των κατανοών πεπερασένης διάστασης τηςστοχαστικής διαδικασίας Xtt∈T .

Μπορεί να αποδειχθεί ότι η οικογένεια των κατανοών πεπερασένης διάστασης ιας στοχαστικής διαδικα-σίας Xtt∈T προσδιορίζει πλήρως τις στατιστικές της ιδιότητες. Αυτό είναι δύσκολο να γίνει αντιληπτό εαθηατική αυστηρότητα, χωρίς την ορολογία της Θεωρίας Μέτρου. Για τις ανάγκες αυτού του αθήα-

3

τος είναι αρκετό να θυόαστε ότι πορούε να περιγράψουε την κατανοή ιας στοχαστικής διαδικασίαςπροσδιορίζοντας όλες τις κατανοές πεπερασένης διάστασης. Αν αυτές είναι γνωστές, πορούε νααπαντήσουε οποιοδήποτε πιθανοθεωρητικό ερώτηα που αφορά τη διαδικασία, χωρίς να χρειάζεται ναγνωρίζουε σε ποιον δειγατικό χώρο είναι ορισένη ή ποιος είναι ο τύπος της.

Παράδειγα 3 Θα χαρακτηρίζουε ια στοχαστική διαδικασία ως διαδικασία Gauss, αν κάθε κατανοήπεπερασένης διάστασης µF είναι κανονική σε |F | διαστάσεις. Εφόσον κάθε πολυδιάστατη κανονικήκατανοή προσδιορίζεται από το διάνυσα των έσων τιών και τον πίνακα συνδιακυάνσεων, για ναπεριγράψουε ια διαδικασία Gauss Xtt∈T , αρκεί να περιγράψουε τις συναρτήσεις έσης τιής καιαυτοσυσχέτισης

m : T → R, ε m(t) = EXt

και ρ : T × T → R, ε ρ(s, t) = Cov(Xs, Xt).

Η τυπική κίνηση Brown είναι ια διαδικασία Gauss, ορισένη στο T = [0,+∞) ε τιές στο R για τηνοποία

m(t) = 0 και ρ(s, t) = s ∧ t = mins, t, για κάθε s, t ≥ 0.

Το ότι υπάρχει τέτοια διαδικασία δεν είναι καθόλου αυτονόητο. Μεσολάβησαν είκοσι τρία χρόνια ανάεσαστην πρώτη ευρετική χρήση αυτής της διαδικασίας από τον Bachelier και στη αθηατικά αυστηρή κατα-σκευή της από τον Wiener το 1923.

Για κάθε t ≥ 0, η κατανοή της τυχαίας εταβλητής Xt είναι κανονική, αφού η Xt είναι διαδικασία Gauss.Επιπλέον, E

Xt

= m(t) = 0 και V (Xt) = Cov(Xt, Xt) = ρ(t, t) = t, άρα Xt ∼ N (0, t). Ειδικότερα

X0 = 0.

Ας δούε τώρα ποια κατανοή ακολουθεί η προσαύξηση Xt − Xs της κίνησης Brown σ΄ ενα διάστηα(s, t]. Το ζεύγος (Xs, Xt) ακολουθεί κανονική κατανοή σε δύο διαστάσεις, αφού η Xtt≥0 είναι ανέλιξηGauss. Η Xt − Xs προκύπτει από τις Xs, Xt έσω ενός γραικού ετασχηατισού, άρα ακολουθείκανονική κατανοή. Εύκολα βλέπει κανείς ότι E

Xt −Xs

= m(t)−m(s) = 0, ενώ

V (Xt−Xs) = Cov(Xt−Xs, Xt−Xs) = Cov(Xt, Xt)−2Cov(Xt, Xs)+Cov(Xs, Xs) = t−2s+s = t−s.

Εποένως Xt −Xs ∼ N (0, t− s).

Θεωρήστε τώρα 0 ≤ r < s < t. Θα δείξουε ότι οι προσαυξησεις Xt −Xs και Xs −Xr είναι ανεξάρτητεςτυχαίες εταβλητές. Η από κοινού κατανοή των (Xr, Xs, Xt) είναι τριδιάστατη κανονική ε διάνυσαέσων τιών

EXr

,E

Xs

,E

Xt

= (0, 0, 0) και πίνακα συνδιακυάνσεων

Σ(r, s, t) =

r r rr s sr s t

.

Εφόσον οι (Xt − Xs, Xs − Xr) προκύπτουν από τις (Xr, Xs, Xt) έσω ενός γραικού ετασχηατι-σού, ακολουθούν κι αυτές κανονική κατανοή (σε δύο διαστάσεις). Αρκεί λοιπόν να δείξουε ότι είναιασυσχέτιστες.

Cov(Xt−Xs, Xs−Xr) = Cov(Xt, Xs)−Cov(Xt, Xr)−Cov(Xs, Xs)+Cov(Xs, Xr) = s−r−s+r = 0.

Στο Σχήα 1.2 φαίνεται ια τυπική τροχιά της κίνησης Brown.

4

Σχήα 1.2: Τυπική τροχιά της κίνησης Brown.

1.3 ιαδικασίες σε διακριτό χρόνο και χώρο

Στο εγαλύτερο έρος αυτών των σηειώσεων θα ελετήσουε στοχαστικές διαδικασίες σε διακριτό χρόνοε τιές σε έναν αριθήσιο χώρο καταστάσεων X. Σε αυτή την παράγραφο θα δούε πώς πορούε ναπεριγράψουε εύκολα τις κατανοές πεπερασένης διάστασης τέτοιων στοχαστικών διαδικασιών.

΄Εχοντας επιλέξει T = N0, προκειένου να περιγράψουε όλες τις κατανοές πεπερασένης διάστασης,αρκεί να περιγράψουε την από κοινού κατανοή των τυχαίων εταβλητών (X0, X1, . . . , Xn) για κάθεn ∈ N0. Πράγατι, για κάθε F = n1, . . . , nk ⊂ N0, αν θέσουε n = maxn1, . . . , nk, τότε πορούενα πάρουε την µF , δηλαδή την από κοινού κατανοή των (Xn1 , . . . , Xnk), ως ια κατάλληλη περιθώριακατανοή της από κοινού κατανοής των (X0, X1, . . . , Xn).

Επιπλέον, εφόσον ο X είναι αριθήσιος, ο Xk είναι και αυτός αριθήσιος για κάθε k ∈ N και εποένωςόλες οι κατανοές πεπερασένης διάστασης είναι διακριτές κατανοές. Μπορούε λοιπόν να τις περι-γράψουε έσω της συνάρτησης άζας πιθανότητάς (σ..π.) τους. Συγκεκριένα, αν Fn = 0, 1, . . . , n,η σ..π. της κατανοής µFn δίνεται, για κάθε η = (x0, . . . , xn) ∈ Xn+1, από την

Qn(η) = µFn

η

= P

(X0, . . . , Xn) = x

= P

X0 = x0, . . . , Xn = xn

. (1.2)

Εποένως, στην περίπτωση που έχουε ια στοχαστική διαδικασία σε διακριτό χρόνο T = N0 ε τιές σ΄έναν αριθήσιο χώρο καταστάσεων X, προκειένου να περιγράψουε όλες τις κατανοές πεπερασένηςδιάστασης της διαδικασίας αρκεί να περιγράψουε την Qn(η) της σχέσης (1.2), για κάθε n ∈ N0 και κάθεη ∈ Xn+1. Σ΄ αυτό το σηείο ας θυηθούε τον πολλαπλασιαστικό τύπο για τα έτρα πιθανότητας. ΑνA0, A1, . . . , Ak είναι ενδεχόενα ενός δειγατικού χώρου, τότε

PA0 ∩ · · · ∩An

= P

A0

PA1

A0PA2

A0 ∩A1· · ·P

An

A0 ∩ · · · ∩An−1. (1.3)

5

Αν στην παραπάνω σχέση επιλέξουε Aj = Xj = xj, j = 0, 1, . . . , n, έχουε ότι

Qn(η) = PX0 = x0

PX1 = x1

X0 = x0· · ·P

Xn = xn

X0 = x0, . . . , Xn−1 = xn−1. (1.4)

Ο πρώτος όρος του δεξιού έλους πορεί να υπολογιστεί από την κατανοή της τυχαίας εταβλητής X0.Ο γενικός όρος του δεξιού έλος είναι της ορφής

PXk = xk

X0 = x0, . . . , Xk−1 = xk−1

και πορεί να υπολογιστεί από τη δεσευένη κατανοή της τυχαίας εταβλητής Xk, δοθέντων τωνX0, . . . , Xk−1. Εποένως για να περιγράψουε την Qn(η) της σχέσης (1.2), για κάθε n ∈ N0 και κάθεη ∈ Xn+1 και άρα για να ορίσουε ολόκληρη την οικογένεια κατανοών πεπερασένης διάστασης τηςστοχαστικής διαδικασίας Xnn∈N0 , αρκεί να περιγράψουε

• την κατανοή της X0 και

• τη δεσευένη κατανοή της Xk, δοθέντων των X0, . . . , Xk−1, για κάθε k ∈ N.

Η πρώτη πληροφορία αφορά την αρχική κατάσταση του συστήατος, ενώ η δεύτερη αφορά τη δυναική του,δηλαδή τον νόο που περιγράφει την εξέλιξη του συστήατος στον χρόνο. Παρατηρήστε την αναλογία ετα αιτιοκρατικά δυναικά συστήατα διακριτού χρόνου, τα οποία πορούε να περιγράψουε δίνοντας τηναρχική τους κατάσταση και έναν κανόνα για το πώς προκύπτει η επόενη κατάσταση από τις προηγούενες.

Είδαε πώς πορούε να περιγράψουε πλήρως τις στατιστικές ιδιότητες ιας στοχαστικής διαδικασίαςδιακριτού χρόνου που έχει ήδη οριστεί σε κάποιον χώρο πιθανότητας. Αρκεί να ξέρουε την αρχικήτης κατανοή και τη δεσευένη κατανοή της επόενης κατάστασης, δοθέντων των προηγούενων. Σ΄αυτό το σηείο αξίζει να αναρωτηθούε για το αντίστροφο ερώτηα. Είναι πάντα δυνατό να βρούεέναν κατάλληλο χώρο πιθανότητας και σ΄ αυτόν να ορίσουε ια στοχαστική διαδικασία Xnn∈N0 , ώστεαυτή να έχει ια συγκεκριένη αρχική κατανοή και έναν συγκεκριένο νόο εξέλιξης ε την έννοιαπου περιγράψαε παραπάνω; Η απάντηση είναι καταφατική και βασίζεται στο Θεώρηα Συνέπειας τουKolmogorov (Θεώρηα 3.5 στο [8]). Η απόδειξη όως αυτού του ισχυρισού ξεφεύγει από τους σκοπούςτου αθήατος. Για την ώρα είναι αρκετό να θυόαστε ότι το Θεώρηα Συνέπειας ας εξασφαλίζει πωςοι στοχαστικές διαδικασίες που θα ελετήσουε είναι υπαρκτά αθηατικά αντικείενα.

1.4 Μαρκοβιανές αλυσίδες

΄Οταν θέλουε να οντελοποιήσουε πραγατικά συστήατα είναι πολύ συνηθισένο ο κανόνας που περι-γράφει τη δυναική του συστήατος να εξαρτάται όνο από την τρέχουσα κατάσταση του συστήατος καιόχι από το πώς το σύστηα βρέθηκε εκεί. Τα στοχαστικά συστήατα που έχουν αυτή την ιδιότητα χαρα-κτηρίζονται ως αρκοβιανά. Ο αναγνώστης είναι πιθανότατα εξοικειωένος ε τέτοια παραδείγατα ιαςκαι τα περισσότερα επιτραπέζια παιχνίδια αποτελούν αρκοβιανά συστήατα. Για παράδειγα, αν πείτεσ΄ ένα δωάτιο όπου δύο φίλοι σας παίζουν τάβλι, για να εκτιήσετε την πιθανότητα νίκης κάθε παίκτη,αρκεί να δείτε την τρέχουσα διαόρφωση των πουλιών. Αν ξέρετε αυτή τη διαόρφωση, η γνώση του τιπροηγήθηκε δεν θα προσφέρει τίποτα στην πρόβλεψή σας για την εξέλιξη της παρτίδας.

Ορισός: Μια στοχαστική διαδικασία Xnn∈N0 λέγεται αρκοβιανή αλυσίδα (Markov chain), αν, γιακάθε n ∈ N, η δεσευένη κατανοή της Xn+1 δοθέντων των (X0, . . . , Xn), ταυτίζεται ε τη δεσευένηκατανοή της Xn+1 ε όνη δοθείσα την Xn. Εποένως, η Xnn∈N0 ε τιές σε έναν αριθήσιο χώροκαταστάσεων X είναι αρκοβιανή αλυσίδα, αν, για κάθε n ∈ N και κάθε v0, . . . , vn−1, x, y ∈ X, έχουε

PXn+1 = y

X0 = v0, . . . , Xn−1 = vn−1, Xn = x= P

Xn+1 = y

Xn = x. (1.5)

6

Στις περισσότερες αρκοβιανές αλυσίδες που παρουσιάζουν ενδιαφέρον, ο κανόνας PXn+1 = ·

Xn = ·

που περιγράφει την εξέλιξη της αλυσίδας, δεν εξαρτάται από τη χρονική παράετρο n. Λέε τότε ότι ηαλυσίδα είναι χρονικά οοιογενής (time homogeneous) και ορίζουε τις πιθανότητες ετάβασης (transitionprobabilities) της αλυσίδας

p : X× X → [0, 1], ε τύπο p(x, y) = PXn+1 = y

Xn = x. (1.6)

Επειδή στις σηειώσεις αυτές θα ασχοληθούε όνο ε χρονικά οοιογενείς αλυσίδες, στο εξής θα παρα-λείπεται η διευκρίνηση για λόγους οικονοίας.

Η συλλογή P = p(x, y)x,y∈X ονοάζεται πίνακας πιθανοτήτων ετάβασης (transition matrix) της α-λυσίδας. Η ορολογία προέρχεται από την περίπτωση που ο χώρος καταστάσεων X είναι πεπερασένος,οπότε πορούε να περιγράψουε ία συνάρτηση ε πεδίο ορισού το X× X ως ένα τετραγωνικό πίνακα.Συγκεκριένα, αν X = v1, . . . , vN, έχουε

P =

p(v1, v1) p(v1, v2) · · · p(v1, vN )p(v2, v1) p(v2, v2) · · · p(v2, vN )...

.... . .

...p(vN , v1) p(vN , v2) · · · p(vN , vN )

. (1.7)

Ας συβολίζουε ε π0 την αρχική κατανοή της αλυσίδας, δηλαδή

π0 : X → [0, 1], ε τύπο π0(x) = PX0 = x

. (1.8)

ς σ..π. της τυχαίας εταβλητής X0, η π0 ικανοποιεί τις παρακάτω συνθήκες

π0(x) ≥ 0, για κάθε x ∈ X και

x∈Xπ0(x) = 1. (1.9)

Αντίστοιχα, εφόσον η p(x, ·) είναι η δεσευένη σ..π. της Xn+1 δεδοένου ότι Xn = x, οι πιθανότητεςετάβασης της αρκοβιανής αλυσίδας Xnn∈N0 ικανοποιούν τις συνθήκες

p(x, y) ≥ 0, για κάθε x, y ∈ X και

y∈Xp(x, y) = 1, για κάθε x ∈ X. (1.10)

ΟρισόςΘα λέε ότι ο P = p(x, y)x,y∈X είναι στοχαστικός πίνακας (stochastic matrix), αν τα στοιχείατου ικανοποιούν τις συνθήκες της (1.10).

Σύφωνα ε όσα είδαε στην παράγραφο 1.3, η σ..π. π0 της (1.8) και ο στοχαστικός πίνακας P =p(x, y)x,y∈X της (1.6) καθορίζουν πλήρως τις στατιστικές ιδιότητες της αρκοβιανής αλυσίδας Xnn∈N0 .Πράγατι, οι κατανοές πεπερασένης διάστασης της Xnn∈N0 πορούν να υπολογιστούν ε την βοήθειατης (1.4). Για κάθε n ∈ N0 και κάθε (x0, . . . , xn) ∈ Xn+1 έχουε

PX0 = x0, . . . , Xn = xn

= π0(x0) p(x0, x1) p(x1, x2) · · · p(xn−1, xn). (1.11)

Στα επόενα κεφάλαια θα δούε ότι για να αναλύσουε τη συπεριφορά ιας αλυσίδας αρκεί να γνωρίζουεαυτές τις ποσότητες. ΄Οπως και στην περίπτωση των πραγατικών τυχαίων εταβλητών που η κατανοήτους ας είναι γνωστή, ο δειγατικός χώρος Ω στον οποίο έχει οριστεί η αλυσίδα και ο τύπος της απει-κόνισης ω → X·(ω) δεν θα παίξουν κανένα ρόλο.

Θα δούε στα παραδείγατα που ακολουθούν ότι, στη οντελοποίηση πραγατικών συστηάτων από αρ-κοβιανές αλυσίδες, συνήθως το πρόβληα υποδεικνύει την αρχική κατανοή π0 και τον πίνακα πιθανοτήτωνετάβασης P που θέλουε να έχει η αλυσίδα η οποία περιγράφει το σύστηα. Το Θεώρηα Συνέπειας

7

του Kolmogorov ας εξασφαλίζει ότι, για κάθε σ..π. π0 και για κάθε στοχαστικό πίνακα P , πορούενα κατασκευάσουε ια αρκοβιανή αλυσίδα Xnn∈N0 , η οποία έχει την π0 ως αρχική κατανοή και τονP ως πίνακα πιθανοτήτων ετάβασης. Οι λεπτοέρειες αυτής της κατασκευής είναι αδιάφορες για την α-νάλυση του οντέλου, αφού η π0 και ο P , όπως είπαε, καθορίζουν τις στατιστικές ιδιότητες της αλυσίδας.

!!

!!!!!!!!!

!!!

!

A B C

DE

Παράδειγα 4 ΄Ενα έντοο κινείται στις κορυφές του διπλα-νού γράφου. Ξεκινά από την κορυφή A. Σε κάθε βήα, ανβρίσκεται στην κορυφή x, επιλέγει τυχαία ία από τις κορυφέςπου συνδέονται ε την x έσω ιας ακής του γράφου και ε-ταβαίνει εκεί.

Μπορούε να περιγράψουε την κίνηση του εντόου ως ια αρκοβιανή αλυσίδα στον χώρο καταστάσεωνX = A,B,C,D,E. Εφόσον η αλυσίδα ξεκινά από την κορυφή A, η αρχική κατανοή της έχει σ..π.

π0(x) = PX0 = x

= δA(x) =

1, αν x = A

0, αν x = A.

Μπορούε να περιγράψουε την αρχική κατανοή και ως ένα διάνυσα γραή

π0 =π0(A),π0(B),π0(C),π0(D),π0(E)

= (1, 0, 0, 0, 0).

Ο πίνακας πιθανοτήτων ετάβασης P της αλυσίδας είναι ο

P =

0 1/2 0 0 1/21/4 0 1/4 1/4 1/40 1/2 0 1/2 00 1/3 1/3 0 1/31/3 1/3 0 1/3 0

.

Κάθε του γραή περιγράφει τις εταβάσεις από ια κορυφή. Ας δούε για παράδειγα πώς προκύπτει ηπρώτη γραή του P , που περιγράφει τις εταβάσεις από την κορυφή A. Από την A πορούε να πάεστις κορυφές B ή E ε πιθανότητα 1/2 σε κάθε ία. ΄Αρα η πρώτη γραή του P είναι

p(A,A), p(A,B), p(A,C), p(A,D), p(A,E)

= (0, 1/2, 0, 0, 1/2).

Παράδειγα 5 Κάνουε έναν τυχαίο περίπατο στους ακεραίους ξεκινώντας από το 0. Σε κάθε αςβήα στρίβουε ένα κέρα που έχει πιθανότητα p ∈ (0, 1) να φέρει κεφαλή κάθε φορά που το στρίβουε,ανεξάρτητα από τις άλλες φορές. Αν το αποτέλεσα είναι κεφαλή, ετατοπιζόαστε ία θέση δεξιά. Αν τοαποτέλεσα είναι γράατα, ετατοπιζόαστε ία θέση αριστερά. Μπορούε να περιγράψουε αυτόν τονπερίπατο ως ια αρκοβιανή αλυσίδα στον χώρο καταστάσεων Z. Εφόσον ξεκινάε από το 0, η αρχικήκατανοή έχει σ..π.

π0(x) = PX0 = x

= δ0(x) =

1, αν x = 0

0, αν x = 0.

Οι πιθανότητες ετάβασης της αλυσίδας, δίνονται από την

p(x, y) = PXn+1 = y

Xn = x=

p, αν y = x+ 1

1− p, αν y = x− 1

0, αν |y − x| = 1

, x, y ∈ Z.

8

Παράδειγα 6 Στρίβουε ένα τίιο κέρα έχρι να εφανιστεί για πρώτη φορά η ακολουθία αποτελε-σάτων ΚΓΚ. Μια πρώτη σκέψη θα ήταν να περιγράψουε αυτό το πείραα ως ια αρκοβιανή αλυσίδα,που η κατάστασή της είναι το αποτέλεσα των τριών τελευταίων στριψιάτων. Με αυτή την επιλογή οχώρος καταστάσεων θα ήταν ο X1 = K,Γ3. Η αρχική κατανοή της αλυσίδας θα προκύψει από τοαποτέλεσα των τριών πρώτων στριψιάτων. Εφόσον το κέρα είναι τίιο, θα πρέπει να πάρουε σανσ..π. της X0 την π0(x) = 1/8, για κάθε x ∈ X1. Είναι εύκολο να περιγράψουε και τις πιθανότητεςετάβασης της αλυσίδας. Για παράδειγα, από την κατάσταση ΚΓΓ η αλυσίδα πορεί να εταβεί είτε στηνΓΓΚ ε πιθανότητα 1/2 (αν φέρουε κορώνα) είτε στην ΓΓΓ ε πιθανότητα 1/2 (αν φέρουε γράατα).Επειδή το πείραα τελειώνει όταν η αλυσίδα φτάσει στην ΚΓΚ, πορούε να θεωρήσουε ότι από την ΚΓΚπαραένουε στην ίδια κατάσταση ε πιθανότητα 1. Μπορείτε να συπληρώσετε τον πίνακα πιθανοτήτωνετάβασης για εξάσκηση.

Μπορούε όως να περιγράψουε το πείραα και πιο οικονοικά, θεωρώντας σαν καταστάση της αλυσίδαςπου το περιγράφει το αποτέλεσα των δύο τελευταίων στριψιάτων και προσθέτοντας ια κατάσταση στηνοποία η αλυσίδα θα εταβαίνει, όταν το πείραα τελειώσει. Με αυτή την επιλογή ο χώρος καταστάσεων τηςαλυσίδας είναι ο X = KK,KΓ,ΓK,ΓΓ, T, όπου η κατάσταση T κωδικοποιεί το τέλος του πειράατος.Η αρχική κατανοή της αλυσίδας θα προκύψει τώρα από το αποτέλεσα των δύο πρώτων στριψιάτων.Εφόσον το κέρα είναι τίιο, η αλυσίδα αρχικά θα βρεθεί σε ία από τις ΚΚ, ΚΓ, ΓΚ ή ΓΓ ε πιθανότητα1/4 στην κάθε ία. Μπορούε λοιπόν να περιγράψουε την αρχική κατανοή της αλυσίδας ως ένα διάνυσαγραή

π0 =π0(KK), π0(KΓ), π0(ΓK), π0(ΓΓ), π0(T )

= (1/4, 1/4, 1/4, 1/4, 0).

Ο πίνακας πιθανοτήτων ετάβασης της αλυσίδας είναι ο

P =

1/2 1/2 0 0 00 0 0 1/2 1/21/2 1/2 0 0 00 0 1/2 1/2 00 0 0 0 1

.

Παράδειγα 7 Το επιτραπέζιο παιχνίδι φιδάκι ανάεσα σε δύο παίκτες πορεί να περιγραφεί ως ιααρκοβιανή αλυσίδα στον χώρο καταστάσεων

X = 1, 2, . . . , 100× 1, 2, . . . , 100× A,B.

Το παιχνίδι βρίσκεται στην κατάσταση (m,n, b), αν το πιόνι του παίκτη A βρίσκεται στο τετράγωνο m,το πιόνι του παίκτη B βρίσκεται στο τετράγωνο n και είναι η σειρά του παίκτη b να ρίξει το ζάρι. Ηαρχική κατανοή της αλυσίδας, αν ο παίκτης A παίζει πρώτος, είναι η π0(x) = δ(1,1,A)(x). Θα ήτανκοπιώδες να περιγράψουε τον πίνακα πιθανοτήτων ετάβασης αυτής της αλυσίδας σαν ένα τετραγωνικό20.000× 20.000 πίνακα, αλλά οι πιθανότητες ετάβασης πορούν να περιγραφούν σαφώς. Για παράδειγαp(1, 1, A), (3, 1, B)

= 1/6, αφού το παιχνίδι θα εταβεί από την κατάσταση (1, 1, A) στην κατάσταση

(3, 1, B), αν η ζαριά του παίκτη A είναι 2.

Παράδειγα 8 ΄Ενας πασκετπολίστας προπονείται στις ελεύθερες βολές. Κάθε φορά που εκτελεί ιαβολή, η πιθανότητα να ευστοχήσει είναι 8/10, αν έχει ευστοχήσει και στις δύο προηγούενες προσπάθειέςτου, 5/10, αν έχει αστοχήσει και στις δύο προηγούενες προσπάθειες και 7/10 σε κάθε άλλη περίπτωση.Ορίζουε τη στοχαστική διαδικασία Xnn∈N, όπου Xn = 1, αν η n-οστή του προσπάθεια είναι εύστοχηκαι Xn = 0, αν η n-οστή του προσπάθεια είναι άστοχη. Είναι η Xnn∈N αρκοβιανή αλυσίδα;

ιαισθητικά περιένει κανείς ότι η απάντηση είναι αρνητική. Η τιή της Xn έχει την πληροφορία όνο γιατο αποτέλεσα της τελευταίας βολής, ενώ η πιθανότητα ευστοχίας στην επόενη προσπάθεια εξαρτάται

9

από το αποτέλεσα των δύο τελευταίων βολών. Για να αποδείξουε αυστηρά ότι η Xnn∈N δεν είναιαρκοβιανή, αρκεί να παρατηρήσουε ότι

PXn+1 = 1

Xn−1 = Xn = 1= 8/10 = 7/10 = P

Xn+1 = 1

Xn−1 = 0, Xn = 1.

Αν όως η Xnn∈N ήταν αρκοβιανή, οι δύο πιθανότητες στην παραπάνω σχέση θα ήταν ίσες, αφού καιοι δύο θα συνέπιπταν ε την P

Xn+1 = 1

Xn = 1.

Το πρόβληα εδώ είναι ότι ο χώρος καταστάσεων της αλυσίδας X = 0, 1 είναι πολύ ικρός για νακωδικοποιήσει την πληροφορία που χρειαζόαστε για να περιγράψουε την κατανοή της επόενης κα-τάστασης. Μπορούε όως, εγαλώνοντας τον χώρο καταστάσεων, να περιγράψουε την προπόνηση τουαθλητή ως ια αρκοβιανή αλυσίδα.

Αν για παράδειγα ορίσουε τη στοχαστική διαδικασία Ynn∈N, ε Yn = (Xn, Xn+1), αυτή είναι ιααρκοβιανή αλυσίδα στον χώρο καταστάσεων X = (0, 0), (0, 1), (1, 0), (1, 1) ε πίνακα πιθανοτήτωνετάβασης

P =

1/2 1/2 0 00 0 3/10 7/10

3/10 7/10 0 00 0 2/10 8/10

.

Συνηθίζουε να λέε ότι για ια αρκοβιανή αλυσίδα παρελθόν και έλλον είναι ανεξάρτητα, ε δεδοένοτο παρόν. Η αρκοβιανή ιδιότητα (Markov property) είναι η αθηατική διατύπωση αυτής της έκφρασης.

Θεώρηα 1 (αρκοβιανή ιδιότητα) ΄Εστω Xnn∈N0 αρκοβιανή αλυσίδα σε ένα αριθήσιο χώρο κα-ταστάσεων X ε πίνακα πιθανοτήτων ετάβασης P . Για k ∈ N0, ορίζουε τη στοχαστική διαδικασίαYnn∈N0 ε τύπο Yn = Xn+k. εδοένου ότι Xk = x ∈ X, η διαδικασία Ynn∈N0 είναι αρκοβιανήαλυσίδα στον X, ε αρχική κατανοή δx, πίνακα πιθανοτήτων ετάβασης P και είναι ανεξάρτητη από τιςX0, X1, . . . , Xk.

Απόδειξη: Αρκεί να δείξουε ότι, δεδοένου ότι Xk = x, για κάθε n ∈ N οι (Y0, Y1, . . . , Yn) είναι ανεξάρ-τητες από τις X0, X1, . . . , Xk και η από κοινού τους κατανοή δίνεται από την (1.11) ε αρχική κατανοήδx. Αρκεί εποένως να δείξουε ότι, για κάθε y = (y0, . . . , yn) ∈ Xn+1 και κάθε z = (z0, . . . , zk) ∈ Xk+1

P(Y0, . . . , Yn) = y ∩A(z)

Xk = x= δx(y0)p(y0, y1) · · · p(yn−1, yn)P

A(z)

Xk = x,

όπου A(z) = (X0, . . . , Xk) = z. Πράγατι όως,

P(Y0, . . . , Yn) = y ∩A(z)

Xk = x= δx(y0)δx(zk)

PX0 = z0, . . . , Xk = x,Xk+1 = y1, . . . , Xn+k = yn

PXk = x

=δx(zk)π0(z0)p(z0, z1) · · · p(zk−1, x)

PXk = x

δx(y0)p(x, y1) · · · p(yn−1, yn)

= PA(z)

Xk = xδx(y0)p(y0, y1) · · · p(yn−1, yn).

Βλέπουε λοιπόν ότι, αν γνωρίζουε την παρούσα θέση της αλυσίδας, δεδοένου δηλαδή ότι Xk = x, τότετο έλλον της αλυσίδας, το οποίο εκφράζεται από την αλυσίδα Ynn∈N0 , είναι ανεξάρτητο του παρελθόντοςτης, δηλαδή των τυχαίων εταβλητών X0, . . . , Xk και έχει άλιστα τις ίδιες στατιστικές ιδιότητες όπως ιααλυσίδα που ξεκινά από το x ε τις ίδιες πιθανότητες ετάβασης, P .

΄Οταν η αλυσίδα Xnn∈N0 ξεκινά από την κατάσταση x ∈ X, θα χρησιοποιούε τον συβολισό Px

A

10

για την πιθανότητα ενός ενδεχοένου A που εξαρτάται από την τροχιά της αλυσίδας. Για παράδειγα, ανv = (v0, . . . , vn) ∈ Xn+1, έχουε

Px

(X0, . . . , Xn) = v

= δx(v0)p(v0, v1) · · · p(vn−1, vn).

Χρησιοποιώντας τη αρκοβιανή ιδιότητα για k = 0, έχουε ότι P·X0 = x

= Px

·.

1.5 Ασκήσεις

΄Ασκηση 1 Θεωρήστε δύο ανεξάρτητες τυχαίες εταβλητές A,Θ και ορίστε τη στοχαστική διαδικασίαXtt≥0 ε τύπο

Xt = A sin(ωt+Θ),

όπου ω ∈ R. Αν η A ακολουθεί εκθετική κατανοή ε ρυθό λ = 1 και η Θ ακολουθεί οοιόορφηκατανοή στο [0, 2π], υπολογίστε τις E

Xt

και E

XtXs

, για κάθε s, t ≥ 0.

΄Ασκηση 2 Αν Xtt≥0 είναι η στοχαστική διαδικασία του Παραδείγατος 3, ορίζουε

Yt = e−tXe2t .

είξτε ότι η Ytt≥0 είναι διαδικασία Gauss, ε m(t) = EYt= 0 και ρ(s, t) = Cov(Yt, Ys) = e−|t−s|.

΄Ασκηση 3 Θεωρήστε ια διαδικασία Gauss Xtt≥0, ε m(t) = EXt

= 0, για κάθε t ≥ 0 και

ρ(s, t) = CovXt, Xs) =

1

2

t2H + s2H − |t− s|2H

, s, t ≥ 0,

για κάποιο H ∈ (0, 1).α) είξτε ότι για κάθε t ≥ 0 έχουε Xt ∼ N

0, t2H

.

β) Υπολογίστε για t ≥ 0 και h > 0 τη έση τιή και τη διασπορά της προσαύξησης Xt+h −Xt και δείξτεότι η Xt+h −Xt ακολουθεί την ίδια κατανοή ε την Xh.γ) είξτε ότι για κάθε t, h > 0, η Xt+h −Xt είναι ανεξάρτητη από την Xt, αν και όνο αν H = 1/2.δ) Ποια γνωστή ας στοχαστική διαδικασία είναι η Xtt≥0 όταν H = 1/2;ε) Ορίζουε για κάθε t ≥ 0 : Yt = α−HXαt, όπου α θετικός πραγατικός αριθός. είξτε ότι E

Yt=

EXt

, για κάθε t ≥ 0 και Cov

Yt, Ys) = Cov

Xt, Xs), για κάθε s, t ≥ 0. Πώς ερηνεύετε αυτό το

αποτέλεσα;

΄Ασκηση 4 α) Αντικαταστήστε τα σύβολα * ε αριθούς, ώστε ο πίνακας

P =

0 3/4 ∗ 0 03/4 0 0 1/8 ∗1/2 1/4 1/4 ∗ ∗∗ 3/5 1/5 1/5 ∗0 0 1/10 1/5 ∗

να είναι πίνακας πιθανοτήτων ετάβασης ιας αρκοβιανής αλυσίδας Xnn∈N0 στον χώρο καταστάσεωνX = 1, 2, . . . , 7 ε πιθανότητες ετάβασης p(i, j) για κάθε i, j ∈ X.

11

΄Ασκηση 5 Στο διπλανό σχήα φαίνεται η κάτοψη ενός σπιτιού ε πέντεδωάτια: κουζίνα (Κ), βιβλιοθήκη (Β), σαλόνι (Σ), υπνοδωάτιο (Υ) και πάνιο(Μ), καθώς και οι πόρτες που τα συνδέουν. ΄Ενα έντοο που ζει στο σπίτι κάθεβράδυ διασχίζει τυχαία ία από τις πόρτες του δωατίου στο οποίο βρίσκεταικαι παραένει στο δωάτιο που οδηγεί η πόρτα έχρι το επόενο βράδυ. Αρχικάτο έντοο βρίσκεται στο πάνιο. Αν Xnn∈N0 είναι η αρκοβιανή αλυσίδαστον χώρο καταστάσεων X =Κ, Β, Σ, Υ, Μ που περιγράφει τη θέση τουεντόου ετά από n βράδυα, βρείτε τον πίνακα πιθανοτήτων ετάβασής της.

΄Ασκηση 6 ΄Εχουε πέντε χαρτιά της τράπουλας, τα τέσσερα είναι επτά κούπα και το ένα ρήγας σπαθί.Τα απλώνουε στη σειρά σε ένα τραπέζι και σε κάθε βήα επιλέγουε ένα από τα δύο ακραία χαρτιά (τοαριστερότερο ε πιθανότητα 2/3, το δεξιότερο ε πιθανότητα 1/3) και το τοποθετούε στη έση. Κατα-σκευάστε έναν κατάλληλο χώρο καταστάσεων και τις αντίστοιχες πιθανότητες ετάβασης ιας αρκοβιανήςαλυσίδας που θα περιέγραφε την θέση του ρήγα.

΄Ασκηση 7 Ρίχνουε ένα ζάρι έχρι να φέρουε πέντε συνεχόενες φορές έξι. Περιγράψτε ια αρκο-βιανή αλυσίδα στον χώρο καταστάσεων X = 0, 1, 2, 3, 4, 5 που θα οντελοποιούσε αυτό το παιχνίδι.Κάντε το ίδιο για την περίπτωση στην οποία ρίχνουε το ζάρι έχρι να εφανιστεί η ακολουθία 65656.

΄Ασκηση 8 Επαναλαβάνουε ρίψεις ενός ζαριού και για n ∈ N συβολίζουε ε Sn το άθροισα των nπρώτων ζαριών ας. Αν Xn = Sn(mod5), δείξτε ότι η Xnn∈N είναι ια αρκοβιανή αλυσίδα και βρείτετον πίνακα πιθανοτήτων ετάβασής της.

΄Ασκηση 9 Αυτή η άσκηση ας διδάσκει πώς να προσοοιώσουε ια κατανοή στον X ε τη βοήθειαιας γεννήτριας τυχαίων αριθών. ΄Εστω X = v1, v2, . . . ένας αριθήσιος χώρος καταστάσεων. Για ιασ..π. pii∈N στον X ορίζουε τη συνάρτηση:

Φp : (0, 1] → X, Φp(x) = vk, ανk−1

j=1

pi < x ≤k

j=1

pi.

είξτε ότι, αν η τυχαία εταβλητή U έχει οοιόορφη κατανοή στο [0,1], τότε η Φp(U) έχει σ..π.pii∈N.

΄Ασκηση 10 Θεωρήστε έναν αριθήσιο χώρο X και ια συνάρτηση Φ : X × [0, 1] → X. Αν Unn∈Nείναι ια ακολουθία από ανεξάρτητες, ισόνοες τυχαίες εταβλητές, ε οοιόορφη κατανοή στο [0,1] καιορίσουε αναδροικά τη στοχαστική διαδικασία Xnn∈N0 ως

X0 = x ∈ X, Xn = Φ(Xn−1, Un) για n ∈ N,

τότε η Xnn∈N0 είναι αρκοβιανή αλυσίδα. Ποιες είναι οι πιθανότητες ετάβασης αυτής της αλυσίδας; Μετη βοήθεια και της προηγούενης άσκησης, εξηγήστε πώς πορούε να προσοοιώσουε ια αρκοβιανήαλυσίδα ε δεδοένες πιθανότητες ετάβασης.

΄Ασκηση 11 Σ΄ ένα ράφι της βιβλιοθήκης σας υπάρχουν τρία βιβλία: Algebra, Basic Topology, Calculus,που θα συβολίζουε ε A,B,C για συντοία. Κάθε πρωί παίρνετε τυχαία ένα βιβλίο από τη θέση τουε πιθανότητες p, q, r, αντίστοιχα. ΄Οταν τελειώνετε το διάβασά σας για την ηέρα, το ξαναβάζετε στοράφι στην αριστερότερη θέση. Η διάταξη των βιβλίων είναι ια αρκοβιανή αλυσίδα στον χώρο X τωνεταθέσεων των συβόλων A,B,C. Ποιος είναι ο πίνακας πιθανοτήτων ετάβασης αυτής της αλυσίδας;

12

΄Ασκηση 12 Στο οντέλο διάχυσης του Ehrenfest, N σωατίδια τοποθετούνται σε ένα δοχείο ε δύοδιαερίσατα, Α και Β. Σε κάθε βήα επιλέγουε τυχαία ένα από τα N σωατίδια και του αλλάζουεδιαέρισα. ΄Εστω Xnn∈N0 η αρκοβιανή αλυσίδα στον χώρο καταστάσεων X = 0, 1, . . . , N πουπεριγράφει το πλήθος των σωατιδίων στο διαέρισα Α ετά από n βήατα. Ποιες είναι οι πιθανότητεςετάβασης της Xnn;

΄Ασκηση 13 ΄Ενας παντοπώλης εφοδιάζεται κάθε πρωί ε ένα πακέτο πισκότα Alfajor. Η ηερήσιαζήτηση για τα πισκότα αυτά είναι ια τυχαία εταβλητή που ακολουθεί γεωετρική κατανοή ε παράε-τρο p = 1. Αν χθες βράδυ δεν είχαν είνει καθόλου πισκότα Alfajor και Xnn∈N είναι το πλήθοςτων πακέτων που υπάρχει στο παντοπωλείο το βράδυ της n-οστής ηέρας, δείξτε ότι η Xnn∈N είναιαρκοβιανή αλυσίδα και βρείτε τις πιθανότητες ετάβασής της.

΄Ασκηση 14 Θεωρήστε δύο ακολουθίες Xn, Yn0≤n≤N−1 από ανεξάρτητα, τυχαία, δεκαδικά ψηφία.Σχηατίστε τους ακεραίους

X = X0 +X1 × 10 + · · ·+XN−1 × 10N−1, Y = Y0 + Y1 × 10 + · · ·+ YN−1 × 10N−1

και προσθέστε τους, όπως άθαε στο δηοτικό, ξεκινώντας από τα ψηφία των ονάδωνX0, Y0, συνεχίζον-τας ε τα ψηφία των δεκάδων X1, Y1 κ.λπ., εταφέροντας το κρατούενο, όπου χρειάζεται. Αν Cn ∈ 0, 1είναι το κρατούενο της πρόσθεσης που εταφέρουε στο n-οστό βήα, δείξτε ότι η Cn0≤n≤N−1 είναιια αρκοβιανή αλυσίδα στον χώρο καταστάσεων X = 0, 1 και βρείτε τον πίνακα πιθανοτήτων ετάβασηςτης αλυσίδας.

1.6 Αριθητικά πειράατα

΄Ασκηση 15 Κατεβάστε και εγκαταστήστε τη γλώσσα Python 2.7.7. Μπορείτε να βρείτε τα σχετικάαρχεία εδώ. Ανάλογα ε το λειτουργικό σύστηα του Η/Υ σας, πορείτε να βρείτε και ολοκληρωέναπακέτα. Αν ο υπολογιστής σας δεν τρέχει το λειτουργικό σύστηα Linux, πιθανά να βρείτε χρήσιο ναεγκαταστήσετε έναν εξοοιωτή, σύφωνα ε τις οδηγίες που θα βρείτε εδώ.

΄Ασκηση 16 Κατεβάστε το πρόγραα simple markov chain lib.py και αποθηκεύστε το στον κα-τάλογο που θα δουλέψετε. Σ΄ αυτή την φάση δεν χρειάζεται καν να το ανοίξετε. Το πρόγραα αυτόυλοποιεί τον αλγόριθο της ΄Ασκησης 10. Θα το χρησιοποιούε σαν βιβλιοθήκη στα επόενα προγρά-ατα που θα φτιάξουε.

΄Ασκηση 17 Κατεβάστε και τρέξτε το πρόγραα test.py. Το πρόγραα αυτό προσοοιώνει τα πρώταδέκα βήατα ιας αλυσίδας που κινείται στον χώρο καταστάσεων X = 1, 2, 3, 4, 5 ε πίνακα πιθανοτήτωνετάβασης

P =

0 1/2 1/2 0 01/3 0 0 2/3 00 0 1 0 01/2 0 0 1/2 00 0 0 0 1

ξεκινώντας από την κατάσταση 1. Τρέξτε το πρόγραα ερικές φορές και στη συνέχεια φτιάξτε έναπρόγραα που προσοοιώνει τα είκοσι πρώτα βήατα της ΄Ασκησης 11.

13

https://www.python.org/

http://www.math.ntua.gr/~loulakis/info/python_codes_files/guide.pdf

http://www.math.ntua.gr/~loulakis/info/python_codes_files/simple_markov_chain_lib.py

http://www.math.ntua.gr/~loulakis/info/python_codes_files/test.py

Κεφάλαιο 2

Μαρκοβιανές αλυσίδες


Σ΄ αυτό το κεφάλαιο θα αναλύσουε τις βασικές ιδιότητες ιας αρκοβιανής αλυσίδας. Θα δούε πώςπορούε να βρούε την κατανοή της κατάστασής της οποιαδήποτε χρονική στιγή και πώς πορούενα απλοποιήσουε την ανάλυση ιας αρκοβιανής αλυσίδας, διαερίζοντας τον χώρο καταστάσεων σεκλάσεις επικοινωνίας. Στη συνέχεια θα εισαγάγουε την έννοια του χρόνου διακοπής και θα δείξουε τηνιδιότητα που έχουν οι αρκοβιανές αλυσίδες να ανανεώνονται έπειτα από τέτοιους χρόνους, ξεχνώντας τοπαρελθόν τους. Τέλος, θα δούε κάποιες βασικές ιδιότητες που έχουν οι τροχιές της αλυσίδας, όπως ηεπαναληπτικότητα και η παροδικότητα. Μια πολύ καλή αναφορά που περιέχει παρόοιο υλικό είναι το [7].Για την προσοοίωση αρκοβιανών αλυσίδων πορείτε να δείτε και το [4].

2.2 Πιθανότητες ετάβασης ανώτερης τάξης

Ας θεωρήσουε ια αρκοβιανή αλυσίδα Xnn∈N0 ε τιές σ΄ έναν αριθήσιο χώρο καταστάσεων X,που έχει αρχική κατανοή π0 και πίνακα πιθανοτήτων ετάβασης P = p(x, y)x,y∈X. Ο στόχος ας σ΄αυτή την παράγραφο είναι να άθουε να υπολογίζουε την κατανοή της κατάστασης της αλυσίδας Xn,για κάθε n ∈ N.

Μπορούε να αναγάγουε τον υπολογισό της κατανοής της Xn+1 στον υπολογισό της κατανοής τηςXn, χρησιοποιώντας τον τύπο της ολικής πιθανότητας. Αν για n ∈ N0 συβολίζουε ε πn τη σ..π. τηςXn, τότε για κάθε y ∈ X έχουε

πn+1(y) = PXn+1 = y

=

x∈XPXn = x

PXn+1 = y

Xn = x=

x∈Xπn(x)p(x, y). (2.1)

Παρατηρήστε ότι, αν ο X είναι πεπερασένος, ε X = v1, v2, . . . , vN, πορούε να αναπαριστούε ιασ.κ.π. π ως ένα διάνυσα γραή

π =π(v1),π(v2), . . . ,π(vN )

και τον πίνακα πιθανοτήτων ετάβασης P ως ένα N ×N τετραγωνικό πίνακα, όπως στην (1.7). Η (2.1)ας δίνει τότε ότι

πn+1 = πnP, για κάθε n ∈ N0, (2.2)

όπου η πράξη στο δεξί έλος είναι ο συνήθης πολλαπλασός πινάκων. Ορώενοι από αυτή την παρατήρηση,πορούε να ορίσουε, για έναν αριθήσιο χώρο καταστάσεων X, τον πολλαπλασιαό ιας σ..π. π ε

14

ένα στοχαστικό πίνακα P = p(x, y)x,y∈X, ως

πP (y) =

x∈Xπ(x)p(x, y), για κάθε y ∈ X.

Το αποτέλεσα αυτού του πολλαπλασιασού είναι ια σ.κ.π., αφού πP (y) ≥ 0, για κάθε y ∈ X, ενώχρησιοποιώντας το θεώρηα Fubini-Tonelli για να εναλλάξουε τα δύο αθροίσατα η αρνητικών όρων

y∈XπP (y) =

y∈X

x∈Xπ(x)p(x, y) =

x∈Xπ(x)

y∈Xp(x, y) =

x∈Xπ(x) = 1.

Ανάλογα πορούε να ορίσουε τον πολλαπλασιασό δύο στοχαστικών πινάκων, P = p(x, y)x,y∈X καιQ = q(x, y)x,y∈X, ως PQ = r(x, y)x,y∈X, ε

r(x, y) =

z∈Xp(x, z)q(z, y), για κάθε y ∈ X.

Το αποτέλεσα είναι ένας στοχαστικός πίνακας, αφού r(x, y) ≥ 0, για κάθε x, y ∈ X, ενώ από το ΘεώρηαFubini-Tonelli, για κάθε x ∈ X, έχουε

y∈Xr(x, y) =

y∈X

z∈Xp(x, z)q(z, y) =

z∈Xp(x, z)

y∈Xq(z, y) =

z∈Xp(x, z) = 1.

Οι πράξεις αυτές γενικεύουν τον συνήθη πολλαπλασιασό πινάκων και πορεί εύκολα να ελεγχθεί ότιέχουν την προσεταιριστική ιδιότητα, δηλαδή

(πP )Q = π(PQ) και (PQ)R = P (QR)

για κάθε σ..π. π και οποιουσδήποτε στοχαστικούς πίνακες P,Q,R. Ο στοχαστικός πίνακας I =i(x, y)x,y∈X, ε στοιχεία i(x, y) = δx(y) είναι ταυτοτικό στοιχείο αυτού του πολλαπλασιασού. Γιακάθε στοχαστικό πίνακα P , έχουε PI = IP = P .

Ορίζουε τη δύναη Pn = p(n)(x, y)x,y∈X ενός στοχαστικού πίνακα P για n ∈ N0 αναδροικά ως εξής.P 0 = I και Pn = Pn−1P , για n ∈ N.

Με αυτούς τους ορισούς η (2.2) παραένει σε ισχύ ακόα κι αν ο X είναι άπειρος και εύκολα ελέγχεταιεπαγωγικά ότι

πn = π0Pn. (2.3)

Από τον ορισό του πολλαπλασιασού πινάκων,

p(n)(x, y) =

· · ·

x1,...,xn−1∈Xp(x, x1) · · · p(xn−1, y), για κάθε x, y ∈ X. (2.4)

Με τη βοήθεια της προηγούενης σχέσης η (2.3) γράφεται και ως

πn(y) =

x0∈Xπ0(x0)p

(n)(x0, y) =

· · ·

x0,...,xn−1∈Xπ0(x0)p(x0, x1) · · · p(xn−1, y), για κάθε y ∈ X.

Στην ίδια σχέση θα πορούσαε να είχαε καταλήξει και από την (1.11). Η πn είναι η σ..π. της Xn,εποένως πορεί να βρεθεί αθροίζοντας την από κοινού σ..π. των (X0, X1, . . . , Xn) ως προς όλες τιςτιές που πορούν να πάρουν οι X0, X1, . . . , Xn−1.

Ας θεωρήσουε τώρα ένα k ∈ N0. Από τη αρκοβιανή ιδιότητα (Θεώρηα 1), δεδοένου ότι Xk = x, η

15

διαδικασία Xn+kn∈N0 έχει αρχική κατανοή δx και πίνακα πιθανοτήτων ετάβασης P . ΄Ετσι, η (2.3) δίνειότι

PXn+k = y

Xk = x= p(n)(x, y), για κάθε k ∈ N0, x, y ∈ X. (2.5)

Ορισός: Αν ο P είναι ο πίνακας πιθανοτήτων ετάβασης ιας αρκοβιανής αλυσίδας Xnn, ονοάζουετα στοιχεία p(n)(x, y) του Pn πιθανότητες ετάβασης n-οστής τάξης της αλυσίδας.

Από την προσεταιριστική ιδιότητα του πολλαπλασιασού έχουε ότι Pm+n = PmPn, για κάθε m,n ∈ N0.Αν γράψουε αυτή την ταυτότητα για τα στοιχεία των παραπάνω στοχαστικών πινάκων, παίρνουε ότι οιπιθανότητες ετάβασης ανώτερης τάξης ιας αρκοβιανής αλυσίδας ικανοποιούν τις εξισώσεις Chapman-Kolmogorov (Chapman-Kolmogorov equations):

p(m+n)(x, y) =

z∈Xp(m)(x, z)p(n)(z, y), για κάθε m,n ∈ N0, x, y ∈ X. (2.6)

Λαβάνοντας υπόψιν την (2.5), οι εξισώσεις Chapman-Kolmogorov είναι ο τύπος της ολικής πιθανότηταςγια το ενδεχόενο Xm+n = y, ανάλογα ε την κατάσταση της αλυσίδας την ενδιάεση χρονική στιγήm.Πράγατι, αν θυηθούε ότι η δεσευένη πιθανότητα P

·X0 = x

είναι κι αυτή ένα έτρο πιθανότητας,

τότε ο τύπος ολικής πιθανότητας δίνει

PXm+n = y

X0 = x=

z∈XPXm = z

X0 = xPXm+n = y

Xm = z,X0 = x

=

z∈XPXm = z

X0 = xPXm+n = y

Xm = z

από τη αρκοβιανή ιδιότητα. Σύφωνα ε την (2.5), αυτές είναι ακριβώς οι εξισώσεις Chapman-Kolmogorov.

Παράδειγα 9 Ας θεωρήσουε ια αρκοβιανή αλυσίδα σ΄ έναν χώρο ε δύο καταστάσεις X = a, bκαι πίνακα πιθανοτήτων ετάβασης

P =

1− p pq 1− q

,

όπου p, q ∈ (0, 1). Εποένως, όταν η αλυσίδα βρίσκεται στην κατάσταση a, εταβαίνει στην κατάσταση bε πιθανότητα p και παραένει στην κατάσταση a ε πιθανότητα 1−p, ενώ, όταν η αλυσίδα βρίσκεται στηνκατάσταση b, εταβαίνει στην κατάσταση a ε πιθανότητα q και παραένει στην κατάσταση b ε πιθανότητα1− q. εν κάνουε κάποια υπόθεση για την αρχική κατανοή της αλυσίδας. Από την (2.3) έχουε ότι

πn(a),πn(b)

=

π0(a),π0(b)

Pn. (2.7)

Προκειένου να υπολογίσουε τον Pn για οποιαδήποτε τιή του n, πορούε να διαγωνιοποιήσουε τονπίνακα P . Η χαρακτηριστική εξίσωση |λI − P | = 0 δίνει ότι οι ιδιοτιές του P είναι οι λ1 = 1 καιλ2 = 1− (p+ q). Τα αντίστοιχα ιδιοδιανύσατα είναι

u1 =

11

και u2 =

−pq

.

Εποένως,

P =

1 −p1 q

1 00 λ2

1 −p1 q

−1

16

και άρα,

Pn =

1 −p1 q

1n 00 λn

2

1 −p1 q

−1

=1

p+ q

q + pλn

2 p− pλn

2

q − qλn

2 p+ qλn

2

.

Αντικαθιστώντας στην (2.7), παίρνουε ότι

πn(a),πn(b)

=

q

p+ q,

p

p+ q

+ λn

2pπ0(a)− qπ0(b)

p+ q(1,−1).

Αξίζει σ΄ αυτό το σηείο να διερευνήσουε την απάντηση που βρήκαε. Προσέξτε ότι, εφόσον p, q ∈ (0, 1)έχουε

0 < p+ q < 2 ⇔ |λ2| < 1.

Εποένως, η εξάρτηση της πn από την αρχική κατανοή της αλυσίδας φθίνει εκθετικά και σε βάθος χρόνου,καθώς δηλαδή n → ∞, έχουε

PXn = a

,P

Xn = b

→

q

p+ q,

p

p+ q

,

ανεξάρτητα από την αρχική κατανοή της αλυσίδας. Θα δούε παρακάτω ότι αυτό το συπέρασα είναιτυπικό για αρκοβιανές αλυσίδες σε πεπερασένους χώρους καταστάσεων, στις οποίες δεν απαντώνταικάποιες συγκεκριένες παθολογίες που θα γνωρίσουε.

Παράδειγα 10 ΄Ενα ηλεκτρονικό ζάρι είναι πειραγένο έτσι ώστε, κάθε φορά που το ρίχνουε ναφέρνει την ένδειξη που έφερε στην προηγούενη ζαριά ε πιθανότητα 1/2 και οποιαδήποτε από τις άλλεςενδείξεις ε πιθανότητα 1/10. Αν στην πρώτη ζαριά ας φέρουε 6, ποια είναι η πιθανότητα να φέρουε 6και στην n-οστή ας ζαριά;

Για n ∈ N ορίζουε την τυχαία εταβλητή Xn ώστε να είναι ίση ε 1, αν η n-οστή ας ζαριά είναι 6 και ίσηε 0, αν η n-οστή ας ζαριά δεν είναι 6. Η Xnn∈N είναι ια αρκοβιανή αλυσίδα στον χώρο καταστάσεωνX = 0, 1 ε αρχική κατανοή π1 =

π1(0),π1(1)

= (0, 1) και πίνακα πιθανοτήτων ετάβασης

P =

9/10 1/101/2 1/2

.

Οι ιδιοτιές του P είναι λ1 = 1 και λ2 = 2/5. Μπορούε να χρησιοποιήσουε το αποτέλεσα τηςπροηγούενης άσκησης για να βρούε την ζητούενη πιθανότητα P

Xn = 1

= πn(1). Εναλλακτικά, από

την (2.3), έχουε ότι

πn = π1Pn−1 = π1U

1 0

025

n−1

U−1.

Παρατηρήστε τώρα ότι στο δεξί έλος της παραπάνω σχέσης το n εφανίζεται όνο στον εκθέτη του 2/5.Οι πράξεις που θα κάναε για να υπολογίσουε το δεξί έλος είναι γραικοί συνδυασοί των στοιχείωντων πινάκων που εφανίζονται εκεί. Εποένως, το αποτέλεσα για την πn(1) θα ήταν

πn(1) = a+ b

2

5

n

, για κάθε n ∈ N,

για κάποιες σταθερές a, b ∈ R. Οι σταθερές αυτές πορούν να υπολογιστούν εύκολα, αφού π1(1) = 1 καιπ2(1) = P

X2 = 1

X1 = 1= p(1, 1) = 1/2. ΄Εχουε λοιπόν τελικά,

πn(1) = PXn = 1

=

1

6+

1

3

2

5

n−2

.

17

2.3 οή του χώρου των καταστάσεων

Σε αυτή την παράγραφο θα δούε πώς πορούε να οργανώσουε τις καταστάσεις του χώρου ιας αρ-κοβιανής αλυσίδας έτσι ώστε να διευκολύνουε την κατανόηση της συπεριφοράς της. Θα δούε ότι οχώρος διαερίζεται σε κλάσεις επικοινωνίας (communication classes) εντός των οποίων η αλυσίδα είναι πιοεύκολο να αναλυθεί. Ας θεωρήσουε λοιπόν ια αρκοβιανή αλυσίδα Xnn∈N0 στον χώρο καταστάσεωνX ε πίνακα πιθανοτήτων ετάβασης P = p(x, y)x,y∈X.

Ορισός: Θα λέε ότι η κατάσταση y ∈ X είναι προσβάσιη από την κατάσταση x ∈ X και θα συβο-λίζουε x → y, αν υπάρχει n ≥ 0 τέτοιο ώστε p(n)(x, y) > 0.

Ορισός: Θα λέε ότι δύο καταστάσεις x, y ∈ X επικοινωνούν και θα συβολίζουε x ↔ y, αν x → yκαι y → x.

Πρόταση: Η σχέση ↔ είναι ια σχέση ισοδυναίας, έχει δηλαδή τις παρακάτω ιδιότητες:

1. Αυτοπαθής: x ↔ x, για κάθε x ∈ X.

2. Συετρική: x ↔ y ⇒ y ↔ x, για κάθε x, y ∈ X.

3. Μεταβατική:x ↔ u και u ↔ y

⇒ x ↔ y, για κάθε x, y, u ∈ X.

Απόδειξη: Η (1) ικανοποιείται γιατί p(0)(x, x) = δx(x) = 1, για κάθε x ∈ X, ενώ η (2) είναι φανερή απότον ορισό της σχέσης. Για να δείξουε την (3), παρατηρήστε ότι

x → u ⇒ ∃ m ≥ 0 : p(m)(x, u) > 0 και u → y ⇒ ∃ n ≥ 0 : p(n)(u, y) > 0.

Από τις εξισώσεις Chapman-Kolmogorov (2.6) έχουε τώρα

p(m+n)(x, y) =

z∈Xp(m)(x, z)p(n)(z, y) ≥ p(m)(x, u)p(n)(u, y) > 0.

Εποένως (x → u και u → y)⇒ x → y. Εναλλάσσοντας τον ρόλο των x, y έχουε το ζητούενο.

΄Οπως κάθε σχέση ισοδυναίας, η↔ διαερίζει τον X σε κλάσεις, που τις ονοάζουε κλάσεις επικοινωνίαςτης αλυσίδας.

Ορισός: Μια κλάση επικοινωνίας C θα λέγεται ανοιχτή, αν υπάρχουν καταστάσεις x ∈ C και y /∈ Cτέτοιες ώστε x → y. Αν ια κλάση δεν είναι ανοιχτή, θα λέγεται κλειστή.

Σύφωνα ε τον παραπάνω ορισό, ανοιχτές είναι οι κλάσεις από τις οποίες η αρκοβιανή αλυσίδα πορείνα φύγει προς άλλες κλάσεις. Μάλιστα, αν η αλυσίδα φύγει από ια ανοιχτή κλάση, δεν πορεί να ξανα-γυρίσει σε αυτήν (΄Ασκηση 21). Αντίθετα, η αλυσίδα δεν πορεί να φύγει από ια κλειστή κλάση. Αν ηαλυσίδα ξεκινήσει ή βρεθεί, προϊόντος του χρόνου, σε ια κλειστή κλάση, θα παραείνει σε αυτή την κλάσηγια πάντα. Αυτό πορεί να απλοποιήσει την ανάλυση της αλυσίδας, αφού προκειένου να καταλάβουε τιθα συβεί από τότε και ετά, αρκεί να ελετήσουε την αλυσίδα περιορισένη στην κλειστή κλάση.

Ορισός: Μια αρκοβιανή αλυσίδα λέγεται η υποβιβάσιη (irreducible), αν ολόκληρος ο χώρος κατα-στάσεων είναι ια (κλειστή αναγκαστικά) κλάση.

Παρατηρήστε ότι, αν περιορίσουε ια αρκοβιανή αλυσίδα σε ια κλειστή κλάση της C, αν δηλαδή θεω-ρήσουε τη αρκοβιανή αλυσίδα ε χώρο καταστάσεων την C και τις ίδιες πιθανότητες ετάβασης, αυτή ηαλυσίδα είναι η υποβιβάσιη.

Για να βρούε τις κλάσεις επικοινωνίας ιας αρκοβιανής αλυσίδας, είναι πολλές φορές χρήσιη η ακόλουθηπαρατήρηση.

18

Παρατήρηση: Αν x, y ∈ X και x = y, τότε x → y, αν και όνο αν υπάρχει ονοπάτι

x = x0, x1, x2, . . . , xn−1, xn = y ∈ X, τέτοιο ώστε p(xi, xi+1) > 0, για i = 0, 1, . . . , n− 1.

Πράγατι, από την (2.4) έχουε για κάθε n ∈ N

p(n)(x, y) =

· · ·

x1,...,xn−1∈Xp(x, x1) · · · p(xn−1, y).

Επειδή όλοι οι προσθετέοι στο δεξί έλος είναι η αρνητικοί, έχουε p(n)(x, y) > 0, αν και όνο ανκάποιος από αυτούς είναι αυστηρά θετικός. Αυτό όως είναι προφανώς ισοδύναο ε τον ισχυρισό τηςπαρατήρησης.

Μπορούε τώρα να κατασκευάσουε έναν γράφο ε κορυφές τα σηεία του X, προσθέτοντας την προ-σανατολισένη ακή από την u στην v = u, όταν p(u, v) > 0. Με βάση την παραπάνω παρατήρηση, ιακατάσταση y είναι προσβάσιη από την x, αν και όνο αν υπάρχει προσανατολισένο ονοπάτι του γράφουπου οδηγεί από την x στην y.

Παράδειγα 11 Μια αρκοβιανή αλυσίδα εξελίσσεται στον χώρο καταστάσεων X = 1, 2, 3, 4, 5, 6, 7, 8και έχει πίνακα πιθανοτήτων ετάβασης

P =

1/2 0 1/2 0 0 0 0 01/4 1/4 0 1/2 0 0 0 00 0 0 0 2/3 1/3 0 00 0 0 1/2 0 0 1/2 00 0 0 0 1/3 0 1/3 1/30 1/6 1/6 0 1/2 0 1/6 00 0 0 0 0 0 1/4 3/40 0 0 0 1/2 0 0 1/2

.

Για να βρούε τις κλάσεις επικοινωνίας της αλυσίδας, κατασκευάζουε τον γράφο των δυνατών εταβάσεωνπου περιγράψαε παραπάνω, όπως στο Σχήα 11. ΄Εχουε π.χ. 1 → 2, έσω του ονοπατιού 1,3,6,2.Επίσης 2 → 1, άεσα. Εποένως 1 ↔ 2. ΄Οοια, βρίσκουε ότι η κατάσταση 1 επικοινωνεί ε τις 3 και 6,ενώ δεν επικοινωνεί ε καία άλλη κατάσταση. ΄Αρα η κλάση επικοινωνίας που περιέχει την κατάσταση 1είναι η C1 = 1, 2, 3, 6. Η κατάσταση 4 δεν επικοινωνεί ε καία άλλη, εποένως είναι το όνο στοιχείοτης κλάσης της C2 = 4. Τέλος, οι καταστάσεις 5,7 και 8 επικοινωνούν εταξύ τους και αποτελούν τηνκλάση C3 = 5, 7, 8. ΄Ετσι, στο παράδειγά ας, η διαέριση του X σε κλάσεις επικοινωνίας είναι

X = C1 ∪ C2 ∪ C3 = 1, 2, 3, 6 ∪ 4 ∪ 5, 7, 8.

Οι κλάσεις C1 και C2 είναι ανοιχτές, αφού 6 → 7 και 4 → 7, αντίστοιχα. Αντίθετα, η C3 είναι κλειστή.

2.4 Ισχυρή αρκοβιανή ιδιότητα

Είδαε στο Κεφάλαιο 1 ότι, αν γνωρίζουε τη θέση x ∈ X ιας αρκοβιανής αλυσίδας κάποια χρονικήστιγή n ∈ N0, από τότε και ετά η αλυσίδα θα εξελιχθεί ως ια αρκοβιανή αλυσίδα που ξεκινά από τοx, έχει τις ίδιες πιθανότητες ετάβασης και είναι ανεξάρτητη από ό,τι έχει προηγηθεί. Η ιδιότητα αυτήσυνεχίζει να ισχύει, αν αντικαταστήσουε την καθορισένη χρονική στιγή n ε οποιαδήποτε στρατηγικήδιακοπής T που δεν πορεί να χρησιοποιήσει πληροφορία από το έλλον. Ονοάζουε αυτές τις στρα-τηγικές χρόνους διακοπής και την ιδιότητα ιας αρκοβιανής αλυσίδας να ανανεώνεται σε αυτούς τους

19

!

"

#

$

%

&

'

(

Σχήα 2.1: Ο γράφος των δυνατών εταβάσεων του Παραδείγατος 11.

χρόνους, ισχυρή αρκοβιανή ιδιότητα (strong Markov property). Αυτές οι έννοιες είναι το αντικείενοτης παρούσας παραγράφου.

Θεωρήστε ια αρκοβιανή αλυσίδα Xnn∈N0 ε τιές σ΄ έναν αριθήσιο χώρο καταστάσεων X.

Ορισός: Θα λέε ότι ένα ενδεχόενο A ανήκει στην οικογένεια ενδεχοένων Fn, αν η δείκτρια συνάρ-τησή του

A(ω) =

1, αν ω ∈ A

0, αν ω /∈ A

είναι ια συνάρτηση των X0, X1, . . . , Xn.

Με βάση τον παραπάνω ορισό, ένα ενδεχόενο A ανήκει στην κλάση Fn όταν, προκειένου να αποφα-σίσουε αν συβαίνει, αρκεί να ξέρουε τις τιές των X0, X1, . . . , Xn, δηλαδή την τροχιά της ανέλιξηςέχρι τη στιγή n.

Παράδειγα 12 Αν B ⊂ X, το ενδεχόενο A1 = Xn ∈ B ανήκει στην Fn. Πράγατι, A1 =

B(Xn). Επίσης, το ενδεχόενο η αλυσίδα να επισκεφτεί το B έχρι και την χρονική στιγή n ∈ N0, είναιστην Fn. Πράγατι, αν συβολίσουε ε A2 το παραπάνω ενδεχόενο,

A2 = 1− Bc(X0) · · · Bc(Xn).

Πρόταση: Οι οικογένειες ενδεχοένων Fnn∈N0 έχουν τις παρακάτω ιδιότητες:

1. Για κάθε n ∈ N0 έχουε Fn ⊂ Fn+1.

2. Ω ∈ Fn, για κάθε n ∈ N0.

3. Αν A ∈ Fn, τότε Ac ∈ Fn.

20

4. Αν A,B ∈ Fn, τότε A ∩B ∈ Fn.

5. Αν A,B ∈ Fn, τότε A ∪B ∈ Fn.

Απόδειξη: Η (1) είναι προφανής, αφού ια συνάρτηση τωνX0, . . . , Xn είναι και συνάρτηση τωνX0, . . . , Xn+1,που δεν εξαρτάται από την τελευταία εταβλητή. Για την (2) παρατηρήστε ότι η Ω είναι σταθερή και ίσηε 1, εποένως είναι (ε τετριένο τρόπο) συνάρτηση των X0, . . . , Xn, για κάθε n ∈ N0. Η ιδιότητα (3)ισχύει γιατί Ac = 1 − A, ενώ η (4) γιατί A∩B = A B. Τέλος, η (5) προκύπτει από την ταυτότηταA ∪B = (Ac ∩Bc)c και τις ιδιότητες (3) και (4), που ήδη αποδείξαε.

Ορισός: Θα λέε ια τυχαία εταβλητή T : Ω → N0 ∪ ∞ χρόνο διακοπής (stopping time) τηςXnn∈N0 , αν για κάθε n ∈ N0 το ενδεχόενο T = n ανήκει στην Fn.

Μπορούε να φανταζόαστε έναν χρόνο διακοπής ιας αρκοβιανής αλυσίδας ως ια στρατηγική σταα-τήατος της αλυσίδας που απαγορεύεται να δει το έλλον. Η στρατηγική αυτή πορεί να εξαρτάται από τηντροχιά της αλυσίδας (αφού ένας χρόνος διακοπής είναι ια τυχαία εταβλητή), αλλά ο ορισός επιβάλλειότι η απόφαση για το αν θα σταατήσουε τη στιγή n ή όχι, πορεί να εξαρτάται όνο από τις X0, . . . , Xn

και όχι από τις ετέπειτα καταστάσεις της αλυσίδας.

Παράδειγα 13 Οι σταθεροί χρόνοι είναι χρόνοι διακοπής, δηλαδή ο T : Ω → N0, ε T (ω) = N , γιακάθε ω ∈ Ω είναι χρόνος διακοπής. Πράγατι, για κάθε n ∈ N0 έχουε

T = n =

Ω, αν n = N

∅, αν n = N.

Σε κάθε περίπτωση, έχουε Ω ∈ Fn και ∅ = Ωc ∈ Fn.

Παράδειγα 14 Αν A ⊂ X, τότε ο χρόνος πρώτης άφιξης (hitting time) στο A,

TA = infk ≥ 0 : Xk ∈ A

είναι χρόνος διακοπής της Xnn∈N0 . Πράγατι, TA = 0 = X0 ∈ A ∈ F0, ενώ για κάθε n ∈ N,

TA = n = X0 ∈ Ac ∩ · · · ∩ Xn−1 ∈ Ac ∩ Xn ∈ A.

Είδαε όως ότι Xn ∈ A ∈ Fn, ενώ για k = 0, . . . , n − 1 έχουε Xk ∈ Ac ∈ Fk ⊂ Fn. Εφόσον ηFn είναι κλειστή ως προς τις τοές, έχουε ότι TA = n ∈ Fn.

Παράδειγα 15 Αν A ⊂ X, τότε η τελευταία φορά που η αλυσίδα επισκέπτεται το A δεν είναι χρόνοςδιακοπής της Xnn∈N0 . Πράγατι, αν S = supk ≥ 0 : Xk ∈ A, τότε

S = n = Xn ∈ A ∩ ∞

k=n+1

Xk ∈ Ac.

Για να αποφασίσουε αν το ενδεχόενο S = n συνέβη, αν δηλαδή η χρονική στιγή n είναι η τελευταίαφορά που η αλυσίδα επισκέπτεται το A, χρειάζεται να ξέρουε τις καταστάσεις της αλυσίδας ετά τηχρονική στιγή n.

Το ακόλουθο λήα προσφέρει έναν ισοδύναο χαρακτηρισό των χρόνων διακοπής που είναι συχνάχρήσιος.

Λήα 1 Η τυχαία εταβλητή T : Ω → N0 ∪ ∞ είναι χρόνος διακοπής, αν και όνο αν, για κάθεn ∈ N0, το ενδεχόενο T ≤ n ανήκει στην Fn.

21

Απόδειξη: ΄Εστω ότι ο T είναι χρόνος διακοπής. Για κάθε n ∈ N0 έχουε

T ≤ n =n

k=0

T = k.

΄Οως T = k ∈ Fk ⊂ Fn, για k = 0, 1, . . . , n. Εφόσον η Fn είναι κλειστή ως προς τις ενώσεις, έχουεότι T ≤ n ∈ Fn.

Για το αντίστροφο, ας υποθέσουε ότι T ≤ n ∈ Fn, για κάθε n ∈ N0. ΄Εχουε T = 0 = T ≤ 0 ∈F0, ενώ για n ∈ N

T = n = T ≤ n ∩ T ≤ n− 1c ∈ Fn,

αφού όλες οι Fn είναι κλειστές ως προς συπληρώατα και τοές. Εποένως ο T είναι χρόνος διακοπής.

Πόρισα 1 Αν οι T, S είναι χρόνοι διακοπής, τότε οι T ∧ S, ε (T ∧ S)(ω) = minT (ω), S(ω) καιT ∨ S, ε (T ∨ S)(ω) = maxT (ω), S(ω) είναι κι αυτοί χρόνοι διακοπής.

Απόδειξη: Ο ισχυρισός προκύπτει άεσα από το Λήα 1 και την κλειστότητα της Fn σε ενώσεις καιτοές, αφού

T ∧ S ≤ n = T ≤ n ∪ S ≤ n και T ∨ S ≤ n = T ≤ n ∩ S ≤ n.

Θα εξετάσουε τώρα την ισχυρή αρκοβιανή ιδιότητα (strong Markov property) των αρκοβιανών αλυ-σίδων, την ιδιότητά τους δηλαδή να ανανεώνονται έπειτα από κάθε χρόνο διακοπής και να εξελίσσονταιανεξάρτητα από το παρελθόν. Τι σηαίνει όως το παρελθόν του χρόνου διακοπής; Αυτό δεν είναι σαφές,αφού ένας χρόνος διακοπής είναι ια τυχαία εταβλητή, εποένως πορεί να έχει διαφορετικές τιές σεδιαφορετικά σηεία του Ω.

Ορισός: Αν T είναι ένας χρόνος διακοπής, θα λέε ότι το ενδεχόενο A ανήκει στο παρελθόν του Tκαι θα συβολίζουε A ∈ FT , αν για κάθε n ∈ N0 το ενδεχόενο A ∩ T = n ανήκει στην Fn.

Σύφωνα ε τον παραπάνω ορισό, ένα ενδεχόενο A ανήκει στο παρελθόν του χρόνου διακοπής T , αν στιςεκβάσεις ω ∈ Ω που ο T παίρνει την τιή n, πορούε να προσδιορίσουε αν το A συβαίνει, γνωρίζονταςόνο τις καταστάσεις X0, . . . , Xn.

Θεώρηα 2 (ισχυρή αρκοβιανή ιδιότητα) ΄Εστω Xnn∈N0 αρκοβιανή αλυσίδα στον αριθήσιο χώροκαταστάσεων X ε πίνακα πιθανοτήτων ετάβασης P . Αν ο T είναι ένας χρόνος διακοπής της Xnn∈N0 ,τότε, ε δεδοένο ότι T < ∞ και XT = x ∈ X, η στοχαστική διαδικασία Ynn∈N0 ε Yn = XT+n είναιια αρκοβιανή αλυσίδα που ξεκινά από την x, έχει πίνακα πιθανοτήτων ετάβασης P και είναι ανεξάρτητηαπό οποιοδήποτε ενδεχόενο A ∈ FT .

Απόδειξη: Χρειάζεται να δείξουε ότι για κάθε y = (y0, . . . , yn) ∈ Xn+1 και κάθε A ∈ FT ,

P(Y0, . . . , Yn) = y ∩A

T < ∞, XT = x= Px

(X0, . . . , Xn) = y

PAT < ∞, XT = x

.

΄Εχουε ότι

P(Y0, . . . , Yn) = y ∩A∩T < ∞, XT = x

=

∞

k=0

P(Y0, . . . , Yn) = y ∩A ∩ T = k,Xk = x

=∞

k=0

P(Xk, . . . , Xk+n) = y ∩A ∩ T = k

Xk = xPXk = x

.

22

Ορίζουε Ak = A ∩ T = k. Από τον ορισό του παρελθόντος του T έχουε ότι Ak ∈ Fk για κάθεk ∈ N0. Εποένως, το Ak προσδιορίζεται από τις τιές των X0, . . . , Xk και από τη αρκοβιανή ιδιότητα(Θεώρηα 1) παίρνουε ότι

P(Xk, . . . , Xk+n) = y ∩Ak

Xk = x= Px

(X0, . . . , Xn) = y

PAk

Xk = x.

Αντικαθιστώντας την παραπάνω ισότητα στην προηγούενή της, παίρνουε ότι

P(Y0, . . . , Yn) = y ∩A ∩ T < ∞, XT = x

=

∞

k=0

Px

(X0, . . . , Xn) = y

PAk ∩ Xk = x

= Px

(X0, . . . , Xn) = y

∞

k=0

PA ∩ T = k,XT = x

= Px

(X0, . . . , Xn) = y

PA ∩ T < ∞, XT = x

.

Το ζητούενο τώρα προκύπτει από τον ορισό της δεσευένης πιθανότητας. .

2.5 Επαναληπτικότητα - Παροδικότητα

Ας θεωρήσουε ια αρκοβιανή αλυσίδα Xnn∈N0 ε τιές σ΄ έναν αριθήσιο χώρο καταστάσεων X. Γιαx ∈ X ορίζουε το συνολικό πλήθος των επισκέψεων της αλυσίδας στην κατάσταση x

V (x) =∞

k=0

Xk = x.

Η V (x) είναι τυχαία εταβλητή ε τιές στο N0 ∪ ∞. Στις εκβάσεις ω ∈ Ω για τις οποίες V (x) < ∞ ηαλυσίδα τελικά εγκαταλείπει την κατάσταση x και δεν επιστρέφει ποτέ σ΄ αυτήν. Αντίθετα, στις εκβάσειςω ∈ Ω για τις οποίες V (x) = ∞ η αλυσίδα δεν σταατά ποτέ να επιστρέφει στην x.

Ορισός: Θα λέε ια κατάσταση x ∈ X επαναληπτική (recurrent), αν Px

V (x) < ∞

= 0. Θα λέε

ια κατάσταση x ∈ X παροδική (transient), αν Px

V (x) < ∞

= 1.

Από τον ορισό που δώσαε δεν προκύπτει ότι κάθε κατάσταση x ∈ X πορεί να χαρακτηριστεί ωςεπαναληπτική ή παροδική. Υπάρχει θεωρητικά η δυνατότητα η Px

V (x) < ∞

να είναι ικρότερη του

1 αλλά θετική. Θα δούε όως ότι κάτι τέτοιο δεν πορεί να συβεί. Η εξήγηση γι΄ αυτό είναι απλή.Κάθε φορά που η αλυσίδα βρίσκεται στην κατάσταση x έχει την ευκαιρία να δραπετεύσει και να ηνξαναγυρίσει. Από την ισχυρή αρκοβιανή ιδιότητα, έχει κάθε φορά την ίδια πιθανότητα (έστω p) να τακαταφέρει, ανεξάρτητα από τις προηγούενες προσπάθειες. Εποένως το V (x) < ∞ είναι στην ουσία τοενδεχόενο να έχουε επιτυχία σε πεπερασένο χρόνο, σε ια σειρά από ανεξάρτητες δοκιές Bernoulli,ε πιθανότητα επιτυχίας p. Κάτι τέτοιο όως πορεί να συβεί είτε ε πιθανότητα 1, αν p > 0, είτε επιθανότητα 0, αν p = 0. Η απόδειξη του Θεωρήατος 6.14 που ακολουθεί, επαναλαβάνει ε αυστηρότητατο παραπάνω επιχείρηα.

Ορίζουε τον χρόνο πρώτης επιστροφής στη x ως T+x = infk > 0 : Xk = x. Ορίζουε επίσης

αναδροικά τους χρόνους της n-οστής επιστροφής της αλυσίδας Xnn∈N0 στην κατάσταση x ως εξής.

T0 = 0, Tn+1 = infk > Tn : Xk = x, για n ∈ N0. (2.8)

Λήα 2 ΄Εστω n ∈ N. εδοένου ότι Tn < ∞, η τυχαία εταβλητή Tn+1 − Tn είναι ανεξάρτητηαπό οποιοδήποτε ενδεχόενο στο παρελθόν του Tn και έχει την ίδια κατανοή όπως ο χρόνος πρώτηςεπιστροφής T+

x , όταν η αλυσίδα ξεκινά από το x.

23

Απόδειξη: Από την ΄Ασκηση 24 ο Tn είναι χρόνος διακοπής, για κάθε n ∈ N. Από τον ορισό του Tn ανTn < ∞, έχουε XTn = x. Από την ισχυρή αρκοβιανή ιδιότητα, δεδοένου ότι Tn < ∞, η στοχαστικήδιαδικασία Ykk∈N0 ε Yk = XTn+k είναι ια αρκοβιανή αλυσίδα που ξεκινά από το x, έχει τις ίδιεςπιθανότητες ετάβασης όπως η Xnn∈N0 και είναι ανεξάρτητη από ενδεχόενα στο παρελθόν του Tn.Ειδικότερα, είναι ανεξάρτητη από τον Tn. Παρατηρήστε τώρα ότι, για κάθε n ∈ N, έχουε

Tn+1 = Tn + infk > 0 : XTn+k = x = Tn + infk > 0 : Yk = x.

Εποένως, δεδοένου ότι Tn < ∞, η Tn+1−Tn = infk > 0 : Yk = x είναι ανεξάρτητη από οποιοδήποτεενδεχόενο στο παρελθόν του Tn και έχει την ίδια κατανοή όπως ο χρόνος της πρώτης επιστροφής στοx όταν η αλυσίδα ξεκινά από το x, δηλαδή

PTn+1 − Tn = k

Tn < ∞= Px

T+x = k

, για κάθε k ∈ N.

Αν ια αλυσίδα Xn ξεκινά από την επαναληπτική κατάσταση x ∈ X, τότε ε πιθανότητα 1 όλοι οιχρόνοι Tnn∈N της (2.8) είναι πεπερασένοι, αφού, από τον ορισό της επαναληπτικότητας, η αλυσίδαεπισκέπτεται άπειρες φορές τη x. Παίρνουε λοιπόν το το ακόλουθο πόρισα του Λήατος 6.5.

Πόρισα 2 Αν η αλυσίδα Xnn∈N ξεκινά από ια επαναληπτική κατάσταση x ∈ X, τότε για τουςχρόνους επιστροφής στο x Tnn∈N, έχουε ότι

Tn =n

k=1

(Tk − Tk−1) =n

k=1

Zk,

όπου η Zkk∈N είναι ια ακολουθία από ανεξάρτητες, ισόνοες τυχαίες εταβλητές ε κατανοή αυτή τηςT+x .

Θεώρηα 3 ΄Εστω f(x) = Px

T+x < ∞

. Αν f(x) = 1, η κατάσταση x είναι επαναληπτική. Αν

f(x) < 1, η κατάσταση x είναι παροδική. Ειδικότερα, κάθε κατάσταση είναι είτε επαναληπτική είτεπαροδική.

Απόδειξη: Θα δείξουε πρώτα επαγωγικά ότι για κάθε n ∈ N0

Px

V (x) > n

= f(x)n. (2.9)

Για n = 0 και τα δύο έλη είναι ίσα ε 1, αφού, αν X0 = x, τότε V (x) ≥ 1. ΄Εστω τώρα ότι ο ισχυρισόςας ισχύει για κάποιο n ∈ N0. Τότε,

Px

V (x) > n+ 1

= Px

Tn+1 < ∞

= Px

Tn < ∞ ∩ Tn+1 − Tn < ∞

= Px

Tn+1 − Tn < ∞

Tn < ∞Px

Tn < ∞

= f(x)f(x)n,

όπου το τελευταίο βήα προκύπτει από το Λήα 6.5 και την επαγωγική υπόθεση. Εποένως, η (2.9)αληθεύει για κάθε n ∈ N0. Παρατηρήστε τώρα ότι η ακολουθία ενδεχοένων Cn = V (x) > n είναιφθίνουσα. Εποένως,

Px

V (x) = ∞

= Px

nV (x) > n

= limn→∞ Px

V (x) > n

= limn→∞ f(x)n

=

1, αν f(x) = 1

0, αν f(x) < 1.

24

Εφαρόζοντας τον τύπο της ολικής πιθανότητας ανάλογα ε το πρώτο βήα της αλυσίδας έχουε ότι

f(x) =

y∈XPT+x < ∞|X0 = x,X1 = y

p(x, y).

Από τη αρκοβιανή ιδιότητα, δεδοένου ότι X1 = y, η αρκοβιανή διαδικασία Ynn∈N0 , ε Yn = Xn+1,είναι ια αρκοβιανή αλυσίδα που ξεκινά από το y, ε πιθανότητες ετάβασης p(x, y)x,y∈X. Επιπλέον,

T+x = infk > 0 : Xk = x = 1 + infk ≥ 0 : Yk = x.

΄Εχουε εποένως ότι T+x < ∞, ακριβώς όταν ο χρόνος άφιξης της Ynn∈N0 στο x είναι πεπερασένος.

΄Ετσι,f(x) =

y∈Xp(x, y)Py

Tx < ∞

. (2.10)

Στο επόενο κεφάλαιο θα άθουε τεχνικές για να υπολογίζουε τις πιθανότητες Py

Tx < ∞

και να

βρίσκουε εποένως αν ια αλυσίδα είναι επαναληπτική ή παροδική. Το επόενο θεώρηα ας δίνει ένανεναλλακτικό τρόπο, χρησιοποιώντας τις πιθανότητες ετάβασης ανώτερης τάξης.

Θεώρηα 4 Αν η σειρά

np(n)(x, x) αποκλίνει, τότε η κατάσταση x είναι επαναληπτική. Αν η σειρά

αυτή συγκλίνει, τότε η κατάσταση x είναι παροδική.

Απόδειξη: Από την απόδειξη του Θεωρήατος 6.14, φαίνεται ότι, αν η κατάσταση x είναι παροδική, τοπλήθος των επισκέψεων της αλυσίδας στην κατάσταση x ακολουθεί εκθετική κατανοή, ε παράετρο1− f(x) > 0. Πράγατι,

Px

V (x) = n

= Px

V (x) > n− 1

− Px

V (x) > n

= f(x)n−1 − f(x)n = f(x)n−1

1− f(x)

.

Εποένως, ο αναενόενος αριθός επισκέψεων σε ια παροδική κατάσταση x, όταν η αλυσίδα ξεκινά απότην x, είναι

Ex

V (x)

=

1

1− f(x)< +∞.

Επιπλέον, αν η κατάσταση x είναι επαναληπτική, τότε Px

V (x) = ∞

= 1, άρα Ex

V (x)

= ∞. ΄Αρα,

ια κατάσταση είναι επαναληπτική ή παροδική, ανάλογα ε το αν η Ex

V (x)

είναι πεπερασένη ή άπειρη.

΄Οως, αν υπολογίσουε την Ex

V (x)

από τον ορισό της V , έχουε

Ex

V (x)

= Ex

∞

n=0

Xk = x=

∞

n=0

Ex

Xk = x

=

∞

n=0

Px

Xk = x

=

∞

n=0

p(n)(x, x),

απ΄ όπου έπεται ο ισχυρισός του θεωρήατος.

Λήα 3 Η επαναληπτικότητα και η παροδικότητα είναι ιδιότητες κλάσης. Αν δηλαδή η κατάσταση xείναι επαναληπτική/παροδική, τότε κάθε κατάσταση y που επικοινωνεί ε την x είναι οοίως επαναληπτι-κή/παροδική.

Απόδειξη: Ας θεωρήσουε ια επαναληπτική κατάσταση x και ια κατάσταση y ∈ X τέτοια ώστε x ↔ y.Εφόσον x → y, υπάρχει j ≥ 0, τέτοιο ώστε p(j)(x, y) > 0. Οοίως, εφόσον y → x, υπάρχει k ≥ 0, τέτοιοώστε p(k)(y, x) > 0. Παρατηρήστε τώρα ότι για κάθε n ≥ 0, οι εξισώσεις Chapman-Kolmogorov δίνουν

p(j+n+k)(x, x) =

u,v∈Xp(j)(x, u)p(n)(u, v)p(k)(v, x) ≥ p(j)(x, y)p(n)(y, y)p(k)(y, x).

25

Αθροίζοντας αυτές τις ανισότητες ως προς n έχουε ότι

∞

n=0

p(n)(y, y) ≤ 1

p(j)(x, y)p(k)(y, x)

∞

n=j+k

p(n)(x, x).

Από το Θεώρηα 4 η σειρά στο δεξί έλος συγκλίνει, εποένως συγκλίνει και η σειρά στο αριστερό έλος,άρα και η y είναι επαναληπτική.

Αν ια κατάσταση x είναι παροδική και x ↔ y, τότε η y θα είναι κι αυτή παροδική, αφού, αν ήτανεπαναληπτική, τότε η x θα ήταν επαναληπτική, όπως δείξαε παραπάνω.

Με βάση το προηγούενο λήα έχει νοήα να ιλάε για επαναληπτικές κλάσεις (όταν οι καταστάσεις τηςκλάσης είναι επαναληπτικές) και για παροδικές κλάσεις (όταν οι καταστάσεις της κλάσης είναι παροδικές).Μπορούε επίσης να χαρακτηρίσουε ια η υποβιβάσιη αρκοβιανή αλυσίδα ως επαναληπτική ή παροδική,ανάλογα ε το τι είναι η οναδική της κλάση.

Θεώρηα 5 Κάθε ανοιχτή κλάση είναι παροδική.

Απόδειξη: Αν ια κλάση C είναι ανοιχτή, υπάρχουν x ∈ C και y /∈ C, τέτοια ώστε p(x, y) > 0. Θα πρέπειτότε να έχουε p(n)(y, x) = 0, για κάθε n ∈ N, αφού διαφορετικά οι x, y θα ανήκαν στην ίδια κλάση.΄Ετσι,

Ey

V (x)

= Ey

∞

n=0

Xk = x=

∞

n=0

Py

Xk = x

=

∞

n=0

p(n)(y, x) = 0.

Εφόσον η V (x) είναι ια η αρνητική τυχαία εταβλητή, η παραπάνω σηαίνει ότι Py

V (x) = 0

= 1. Από

τον τύπο της ολικής πιθανότητας, ανάλογα ε το πρώτο βήα της αλυσίδας, έχουε τώρα ότι

Px

V (x) < ∞

=

z∈XPx

V (x) < ∞

X1 = zp(x, z) =

z∈XPz

V (x) < ∞

p(x, z), (2.11)

όπου η τελευταία ισότητα προκύπτει από τη αρκοβιανή ιδιότητα. Αν από το τελευταίο άθροισα κρα-τήσουε όνο τον όρο για z = y, παίρνουε ότι

Px

V (x) < ∞

≥ Py

V (x) < ∞

p(x, y) = p(x, y) > 0.

Εποένως η x δεν είναι επαναληπτική και από το Θεώρηα 6.14 είναι παροδική. Λόγω του Λήατος 3, ηC είναι κι αυτή παροδική.

Λήα 4 Αν ια κλάση C είναι παροδική, τότε για κάθε x, y ∈ C έχουε Px

V (y) < +∞

= 1. Αν ια

κλάση C είναι επαναληπτική, τότε για κάθε x, y ∈ C έχουε Px

V (y) < +∞

= 0.

Απόδειξη: Εφόσον y → x, υπάρχει n ≥ 0 τέτοιο ώστε p(n)(y, x) > 0. Επειδή η y είναι παροδική κατάστασηέχουε, κατ΄ αναλογία ε την (2.11),

0 = Py

V (y) = ∞

=

z∈XPy

V (y) = ∞

Xn = zp(n)(y, z) ≥ Px

V (y) = ∞

p(n)(y, x).

΄Εχουε όως p(n)(y, x) > 0, άρα θα πρέπει Px

V (y) = ∞

= 0 ⇔ Px

V (y) < +∞

= 1. Οοίως, αν η

C είναι επαναληπτική, έχουε

0 = Py

V (y) < ∞

=

z∈XPy

V (y) < ∞

Xn = zp(n)(y, z) ≥ Px

V (y) < ∞

p(n)(y, x).

26

Εποένως, αν επιλέξουε το n ώστε p(n)(y, x) > 0, παίρνουε ότι Px

V (y) < +∞

= 0.

Βλέπουε από το παραπάνω λήα ότι ια η υποβιβάσιη, επαναληπτική αλυσίδα εξερευνά ολόκληρο τονχώρο καταστάσεων και άλιστα ε πιθανότητα 1 επισκέπτεται κάθε κατάσταση άπειρες φορές.

Θεώρηα 6 Κάθε πεπερασένη κλειστή κλάση είναι επαναληπτική.

Απόδειξη: ΄Εστω C πεπερασένη και κλειστή κλάση. Κάθε αλυσίδα που ξεκινάει από κάποιο x ∈ Cπαραένει στο C για πάντα. Εποένως, θα υποθέσουε χωρίς βλάβη ότι η αλυσίδα είναι η υποβιβάσιη.Τώρα,

y∈CV (y) =

y∈C

∞

n=0

Xn = y =∞

n=0

y∈CXn = y =

∞

n=0

C(Xn) =∞

n=0

1 = ∞.

Εφόσον η C είναι πεπερασένη, θα υπάρχει κάποιο y ∈ C τέτοιο ώστε Px

V (y) = ∞

> 0. Από το

προηγούενο Λήα όως αυτό σηαίνει ότι η C δεν είναι παροδική.

Τα Θεωρήατα 5 και 6 απλοποιούν πολύ τον χαρακτηρισό των κλάσεων σε πεπερασένους χώρους κα-ταστάσεων X. Είναι εν γένει εύκολο να βρούε αν ια κλάση είναι ανοιχτή ή κλειστή και, αν ο X είναιπεπερασένος, οι ανοιχτές κλάσεις είναι παροδικές και οι κλειστές κλάσεις είναι επαναληπτικές. ΄Οταν ο Xείναι άπειρος, οι ανοιχτές κλάσεις είναι παροδικές, ια κλειστή κλάση όως πορεί να είναι επαναληπτικήή παροδική, όπως θα δούε στα παραδείγατα.

Παράδειγα 16 Στο Παράδειγα 11 οι κλάσεις C1 και C2 είναι παροδικές, αφού είναι ανοιχτές, ενώ ηκλάση C3 είναι επαναληπτική, αφού είναι κλειστή και πεπερασένη. Εποένως, όποια κι αν είναι η αρχικήτης κατάσταση, θα ξοδέψει πεπερασένο χρόνο στις ανοιχτές κλάσεις της και τελικά θα καταλήξει στηνC3, όπου θα παραείνει για πάντα.

Παράδειγα 17 Θεωρούε έναν απλό τυχαίο περίπατο στους ακεραίους που ξεκινά από το ηδέν,δηλαδή ια αρκοβιανή αλυσίδα στο Z ε X0 = 0 και πιθανότητες ετάβασης

p(x, x+ 1) = q ∈ (0, 1), p(x, x− 1) = 1− q, για κάθε x ∈ Z.

Είναι φανερό ότι η αλυσίδα αυτή είναι η υποβιβάσιη, εποένως όλος ο χώρος κατατάσεων Z είναι ιακλειστή κλάση. Μπορούε να υπολογίσουε τις p(n)(0, 0), για κάθε n ∈ N. Η αλυσίδα δεν πορεί ναεπιστρέψει στο 0 έπειτα από ένα περιττό αριθό βηάτων, αφού X2n = 0(mod2) και X2n+1 = 1(mod2).Για να επιστρέψει η αλυσίδα στο ηδέν έπειτα από 2n βήατα, πρέπει να κάνει ακριβώς n βήατα αριστεράκαι n βήατα δεξιά. Υπάρχουν

2nn

τέτοια ονοπάτια, όσοι και οι τρόποι που πορούε να επιλέξουε

τα n βήατα που η αλυσίδα πάει αριστερά ανάεσα στα 2n βήατα, καθένα από τα οποία έχει πιθανότηταqn(1− q)n. Εποένως,

∞

n=0

p(n)(0, 0) =∞

n=0

p(2n)(0, 0) =∞

n=0

2n

n

qn(1− q)n. (2.12)

Από το κριτήριο του λόγου πορούε να βρούε ότι η παραπάνω σειρά συγκλίνει για q = 12 , εποένως

η αλυσίδα του παραδείγατος είναι παροδική σε αυτή την περίπτωση. Αυτό το αποτέλεσα είναι άλλοναναενόενο. Μπορούε να γράψουε την αλυσίδα ως ένα άθροισα ανεξάρτητων, ισόνοων τυχαίωνεταβλητών Zii∈N

Xn =n

i=1

Zi,

27

όπου οι Zi παίρνουν την τιή +1 ε πιθανότητα q και την τιή -1 ε πιθανότητα 1−q. Εύκολα υπολογίζουετη έση τιή τους E

Zi

= 2q − 1 = 0. Ο νόος των εγάλων αριθών δίνει τώρα ότι

PXn

n→ 2q − 1

= 1.

Εποένως, αν q > 1/2 (αντίστοιχα q < 1/2), ε πιθανότητα 1 η αλυσίδα θα είναι τελικά εγαλύτερη του(q − 1/2)n (αντίστοιχα ικρότερη του (q − 1/2)n), άρα θα τείνει στο +∞ (αντίστοιχα −∞). ΄Εχουεδηλαδή

PXn → +∞

= 1, αν q > 1/2 και P

Xn → −∞

= 1, αν q < 1/2.

Αν η αλυσίδα έχει ια τάση να κινείται προς τ΄ αριστερά ή τα δεξιά, τότε, προϊόντος του χρόνου, θα ξεφύγειπρος αυτή την κατεύθυνση.

Για να εξετάσουε την περίπτωση q = 1/2, χρειαζόαστε ια καλή εκτίηση για την ασυπτωτική συπε-ριφορά του 2−2n

2nn

. Θα πορούσαε να πάρουε ια τέτοια εκτίηση από τον τύπο του Stirling

limn→∞

n!n

e

n√2πn

→ 1. (2.13)

Είναι όως διασκεδαστικό να αποδείξουε το ακόλουθο λήα, σύφωνα ε το οποίο η σειρά της (2.12)αποκλίνει όταν q = 1/2, εποένως ο απλός συετρικός (q = 1/2) τυχαίος περίπατος στο Z είναι επανα-ληπτικός. Σύφωνα ε το Λήα 4, αν σταθούε σε οποιονδήποτε ακέραιο, ε πιθανότητα 1, η αλυσίδαδεν θα σταατήσει ποτέ να ας επισκέπτεται.

Λήα 5 Για κάθε n ∈ N έχουε

1π(n+ 1

2)<

1

22n

2n

n

<

1√πn

.

Απόδειξη: Θα χρησιοποιήσουε κάποιες ιδιότητες της συνάρτησης Γάα

Γ(p) =

∞

0xp−1e−xdx, p > 0.

Εύκολα πορούε να δούε ότι Γ(1) = 1, ενώ ε ια ολοκλήρωση κατά έλη βλέπουε ότι Γ(p+1) = pΓ(p),για κάθε p > 0. Από τις δύο αυτές ιδιότητες προκύπτει ε επαγωγή ότι Γ(n) = (n− 1)! για κάθε n ∈ N.Με την αλλαγή εταβλητής z =

√2x βρίσκουε επίσης ότι Γ(12) =

√π. Τέλος, από την ανισότητα

Cauchy-Schwarz, έχουε

Γ(p+1

2) =

∞

0

√xxp−1e−xdx ≤

∞

0xpe−xdx

∞

0xp−1e−xdx

12

=Γ(p+ 1)Γ(p) =

√pΓ(p).

(2.14)΄Εχουε τώρα όλα τα υλικά που χρειαζόαστε από τη συνάρτηση Γάα και προχωράε στην εκτίηση πουθέλουε να κάνουε.

2n

n

1

22n=

1 · 3 · 5 · · · (2n− 1)

2n2 · 4 · 6 · · · (2n)

2n(n!)2=

1

2

3

2

5

2

· · ·

2n− 1

2

2nn!

2n(n!)2

= Γ(1

2)

1

2

3

2

5

2

· · · (n− 1

2)

1

Γ(12)n!=

Γ(n+ 12)√

πn!.

28

Από την (2.14) έχουε τώρα ότι2n

n

1

22n=

Γ(n+ 12)√

πn!≤

√nΓ(n)√πnΓ(n)

=1√πn

,

και 2n

n

1

22n=

Γ(n+ 12)√

πΓ(n+ 1)≥

Γ(n+ 12)

π(n+ 12)Γ(n+ 1

2)=

1π(n+ 1

2).


΄Ασκηση 18 Η Xnn∈N0 είναι ια αρκοβιανή αλυσίδα στον X = 1, 2, 3 ε πίνακα πιθανοτήτωνετάβασης

P =

0 1 00 2/3 1/3p 1− p 0

.

Υπολογίστε την PXn = 1 |X0 = 1

στις περιπτώσεις: α) p = 1/16, β) p = 1/6, γ) p = 1/12.

΄Ασκηση 19 Η Xnn∈N0 είναι ια αρκοβιανή αλυσίδα στον X = 1, 2, 3 ε πίνακα πιθανοτήτωνετάβασης

P =

0 1/2 1/2

1/3 1/3 1/3p 2/3− p 1/3

.

Υπολογίστε την PXn = 1 |X0 = 1

, για κάθε n ∈ N, στις περιπτώσεις: α) p = 0, β) p = 1/6, γ) p = 2/3.

Πώς θα πορούσατε να υπολογίσετε το limn→∞ Pn, χωρίς πολλές πράξεις;

΄Ασκηση 20 Η Xnn∈N0 είναι ια αρκοβιανή αλυσίδα στον χώρο καταστάσεων X = 1, 2, 3, 4 επίνακα πιθανοτήτων ετάβασης

P =

0 1/6 1/12 3/41/2 0 1/4 1/40 1/2 0 1/2

1/2 1/3 1/6 0

.

Αν πn είναι η κατανοή της αλυσίδας ετά από n βήατα, δείξτε ότι, ανεξάρτητα από την αρχική τηςκατανοή π0 έχουε πn → π∗ για κάποια κατανοή π∗ που θα προσδιορίσετε. είξτε επιπλέον ότι

πn − π∗ =

x∈X|πn(x)− π∗(x)| ≤ C(n+ 1)2−n

για κάποια σταθερά C > 0.

΄Ασκηση 21 είξτε ότι το ενδεχόενο ια αρκοβιανή αλυσίδα να ξαναγυρίσει σε ια ανοιχτή κλάσηαπό την οποία έχει φύγει έχει πιθανότητα 0. Υπόδειξη: Το εν λόγω ενδεχόενο είναι η αριθήσιη ένωση

E =

i∈N0

j∈N

k∈N

x∈C

z /∈C

y∈CXi = x,Xi+j = z,Xi+j+k = y.

Αρκεί λοιπόν να δείξουε ότι PXi = x,Xi+j = z,Xi+j+k = y

= 0, για κάθε i ∈ N0, j ∈ N, k ∈ N και

x, y ∈ C, z /∈ C.

29

΄Ασκηση 22 Βρείτε τις κλάσεις επικοινωνίας της αρκοβιανής αλυσίδας ε πίνακα πιθανοτήτων ετάβα-σης

P =

1/2 0 0 0 1/20 1/2 0 1/2 00 0 1 0 00 1/4 1/4 1/4 1/41/2 0 0 0 1/2

.

Ταξινοήστε τις κλάσεις σε ανοιχτές και κλειστές. Ποιες κλάσεις είναι παροδικές και ποιες επαναληπτικές;

΄Ασκηση 23 Θεωρήστε ια αρκοβιανή αλυσίδα Xnn στο σύνολο καταστάσεων X = 1, 2, . . . , 8 επίνακα πιθανοτήτων ετάβασης

P =

1/2 1/2 0 0 0 0 0 01/4 3/4 0 0 0 0 0 01/4 1/4 0 1/8 3/8 0 0 00 0 1/4 0 3/4 0 0 00 0 1/5 1/5 1/5 1/5 1/5 00 0 0 0 0 0 1/2 1/20 0 0 0 0 1/2 0 1/20 0 0 0 0 1/2 1/2 0

.

Ταξινοήστε τις καταστάσεις σε κλάσεις επικοινωνίας και χαρακτηρίστε τις ως προς την επαναληπτικότητα.Αν X0 = 1, υπολογίστε την P

Xn = k

για κάθε n ∈ N και κάθε k ∈ X. Υπόδειξη για το τελευταίο

ερώτηα: ην επιχειρήσετε να διαγωνιοποίησετε τον 8× 8 πίνακα P . Χρησιοποιήστε το αποτέλεσα τουπροηγούενου ερωτήατος.

΄Ασκηση 24 Αν ο T είναι χρόνος διακοπής και A ⊂ X, δείξτε ότι ο χρόνος

S = infk > T : Xk ∈ A

είναι κι αυτός χρόνος διακοπής.

΄Ασκηση 25 ώστε ένα παράδειγα ιας αλυσίδας που έχει όνο ανοιχτές κλάσεις.

΄Ασκηση 26 Θεωρήστε τη αρκοβιανή αλυσίδα του Παραδείγατος 17. Χρησιοποιώντας την ισχυρήαρκοβιανή ιδιότητα κατά τον χρόνο άφιξης στο x − 1, Tx−1 = infk ≥ 0 : Xk = x − 1, δείξτε ότι, γιακάθε x ∈ N έχουε

Px

T0 < ∞

=

P1

T0 < ∞

x

΄Ασκηση 27 Θεωρήστε έναν απλό συετρικό τυχαίο περίπατο στο Z και ορίστε τον χρόνο πρώτηςάφιξης στο 0, T0 = infk ≥ 0 : Xk = 0. Χρησιοποιώντας την ισχυρή αρκοβιανή ιδιότητα κατά τονχρόνο πρώτης άφιξης στο 1, T1 = infk ≥ 0 : Xk = 1, δείξτε ότι, για έναν περίπατο που ξεκινά από το2, έχουε T0 = S1 + S2, όπου οι S1, S2 είναι ανεξάρτητες, ισόνοες τυχαίες εταβλητές, που έχουν τηνίδια κατανοή όπως ο T0 για έναν περίπατο που ξεκινά από το 1. Χρησιοποιήστε στη συνέχεια αυτό τοαποτέλεσα, για να δείξετε ότι, αν ορίσουε ψ(s) = E

sT0

X0 = 1, s ∈ (0, 1), τότε η ψ(s) λύνει την

εξίσωσηψ(s) =

s

2+

s

2ψ(s)2.

Λύστε την εξίσωση αυτή για να βρείτε την ψ(s) και συπεράνετε ότι ET0

X0 = 1= ∞. Το συπέρασα

είναι ότι, παρότι ο απλός συετρικός τυχαίος περίπατος στο Z είναι επαναληπτικός, ο αναενόενοςχρόνος για να φτάσει από το 1 στο 0 είναι άπειρος.

30

΄Ασκηση 28 ΄Ενας απλός, συετρικός τυχαίος περίπατος στο Z2 είναι ια αρκοβιανή αλυσίδα, πουσε κάθε της βήα ετατοπίζεται είτε βόρεια, είτε νότια, είτε ανατολικά, είτε δεξιά, ε πιθανότητα 1/4,ανεξάρτητα για κάθε βήα. Εποένως, αν ορίσουε e1 = (1, 0) και e2 = (0, 1), έχουε

Sn = S0 +n

i=1

Wi,

όπου οι Wii∈N είναι ανεξάρτητες, ισόνοες τυχαίες εταβλητές, που παίρνουν τις τιές ±e1,±e2 επιθανότητα 1/4. Οι πιθανότητες ετάβασης αυτής της αλυσίδας είναι

p(x, x+ e1) = p(x, x− e1) = p(x, x+ e2) = p(x, x− e2) =1

4, p(x, y) = 0, διαφορετικά.

Αν Xn, Yn είναι οι συντεταγένες του περιπάτου τη χρονική στιγή n ∈ N0, αν δηλαδή Sn = (Xn, Yn) καιορίσουε

Un = Xn + Yn, Vn = Xn − Yn,

δείξτε ότι οι Unn∈N0 και Vnn∈N0 είναι ανεξάρτητοι, απλοί, συετρικοί τυχαίοι περίπατοι στο Z. είξτεότι, αν S0 = (0, 0), τότε

Sn = (0, 0) = Un = 0 ∩ Vn = 0

και χρησιοποιήστε το Θεώρηα 4 και το Λήα 2.5, για να δείξετε ότι ο Snn∈N0 είναι επαναληπτικός.


Η έθοδος Monte Carlo είναι ια υπολογιστική έθοδος, που βασίζεται στον νόο των εγάλων αριθών.Υπενθυίζουε ότι, αν Xnn∈N είναι ια ακολουθία από ανεξάρτητες, ισόνοες τυχαίες εταβλητές, επεπερασένη έση τιή E

X, τότε

P 1n

n

k=1

Xk → EX

= 1.

Προκειένου να υπολογίσουε τη έση τιή EXιας τυχαίας εταβλητής X, πορούε λοιπόν να πάρου-

ε τον έσο όρο ενός εγάλου αριθού ανεξάρτητων δειγάτων αυτής της εταβλητής. Με παρόοιο τρόπο,πορούε να προσεγγίσουε υπολογιστικά την πιθανότητα ενός ενδεχοένου από το κλάσα των πραγα-τοποιήσεών του σε ια σειρά από ανεξάρτητες προσοοιώσεις. Σ΄ αυτή την ιδέα θα βασιστούν τα επόενααριθητικά πειράατα.

΄Ασκηση 29 Κατεβάστε τον κώδικα ex1.py. Το πρόγραα αυτό εκτιά ε τη έθοδο Monte Carloτην πιθανότητα της ΄Ασκησης 18 για p = 1/6. Τρέξτε το. Προσεγγίζει το αριθητικό αποτέλεσα εκείνοπου βρήκατε θεωρητικά; Τρέξτε το πρόγραα ερικές ακόα φορές. Είναι η εκτίηση που δίνει η ίδιακάθε φορά; Αν όχι, είναι τουλάχιστον κοντά;

΄Ασκηση 30 ιαβάστε τώρα τον κώδικα και προσπαθήστε να καταλάβετε πώς λειτουργεί. Αλλάξτε τοπλήθος των επαναλήψεων Ν που κάνουε από 1.000 σε 100.000 και επαναλάβετε την ΄Ασκηση 29. Είναιτώρα τα αποτελέσατα πιο κοντά εταξύ τους κάθε φορά που τρέχετε το πρόγραα; Κάντε το ίδιο καιγια τις άλλες τιές του p της ΄Ασκησης 18.

΄Ασκηση 31 Βρείτε στον κώδικα το σηείο όπου ορίζεται η αρχική κατανοή της αλυσίδας και αλλάξτετον κώδικα ώστε η αλυσίδα να ξεκινάει από την κατάσταση 3. Είναι το αποτέλεσα που βρήκατε διαφορετικόαπό αυτό της προηγούενης άσκησης; Γιατί;

31

http://www.math.ntua.gr/~loulakis/info/python_codes_files/ex1.py

΄Ασκηση 32 Τροποιήστε τον κώδικα ώστε να υπολογίζει αριθητικά την πιθανότητα της ΄Ασκησης 20.Είναι το αποτέλεσα που βρήκατε αριθητικά σε συφωνία ε αυτό που βρήκατε θεωρητικά;

΄Ασκηση 33 Η ρουτίνα markov chain lib.py είναι ια εξελιγένη εκδοχή της βιβλιοθήκηςsimple markov chain lib.py που χρησιοποιήσαε στα προηγούενα πειράατα. Περιλαβάνει υλοποι-ηένη ια έθοδο για την εύρεση των κλάσεων επικοινωνίας και τον χαρακτηρισό τους ως ανοιχτών ήκλειστών. Χρησιοποιήστε αυτήν τη ρουτίνα ως βιβλιοθήκη, αντικαθιστώντας την εντολή

import simple_markov_chain_lib.py as lib

από την εντολή

import markov_chain_lib.py as lib

στον κώδικα test.py. Επινοήστε τώρα ια αρκοβιανή αλυσίδα ε ία ανοιχτή και δύο κλειστές κλάσειςκαι προσθέστε την εντολή

m.communication_classes()

Τρέξτε το πρόγραα και επιβεβαιώστε ότι η διαέριση του χώρου καταστάσεων σε κλάσεις γίνεται σωστά.

32

http://www.math.ntua.gr/~loulakis/info/python_codes_files/markov_chain_lib.py


http://www.math.ntua.gr/~loulakis/info/python_codes_files/test.py

Κεφάλαιο 3

Θεωρία υναικού


Είδαε στο προηγούενο κεφάλαιο πώς πορούε να διαερίσουε τον χώρο καταστάσεων ιας αρκοβια-νής αλυσίδας σε κλάσεις επικοινωνίας και πώς πορούε να ταξινοήσουε τις κλάσεις αυτές σε ανοιχτέςκαι κλειστές. Είδαε επίσης ότι, αν η αλυσίδα ξεκινήσει ή βρεθεί κάποια στιγή σε ία από τις κλειστέςκλάσεις, τότε θα παραείνει σε αυτήν για πάντα. Αν η αλυσίδα ξεκινά από ια ανοιχτή κλάση και υπάρχουνπερισσότερες από ία κλειστές κλάσεις, ποια είναι η πιθανότητα να απορροφηθεί από καθεία από τις κλει-στές κλάσεις; Και πόσο χρόνο θα πάρει έχρι να συβεί αυτό; Αυτά είναι ερωτήατα που θα πορέσουενα απαντήσουε ε τις τεχνικές που θα άθουε στο παρόν κεφάλαιο. Παρόοιο υλικό πορείτε να βρείτεκαι στις αναφορές [2], [7] και στην ελληνική βιβλιογραφία στην [10].

3.2 Πιθανότητες απορρόφησης

Θεωρούε ια αρκοβιανή αλυσίδα Xnn∈N0 ε τιές σ΄ έναν χώρο καταστάσεων X και πιθανότητεςετάβασης p(·, ·). Θεωρούε ακόα ένα σύνολο A ⊂ X και ορίζουε τον χρόνο πρώτης άφιξης στο A τηντυχαία εταβλητή TA : Ω → N0 ∪ +∞ ε

TA(ω) = infk ≥ 0 : Xk(ω) ∈ A.

΄Οταν το σύνολο A είναι ένα ονοσύνολο x, θα συβολίζουε εναλλακτικά τον χρόνο άφιξης στο A καιως Tx.

Παράδειγα 18 Σ΄ ένα γκέι τένις δύο παίκτες Α,Β είναι ισόπαλοι. Ο αγώνας θα τελειώσει, ότανκάποιος από τους δύο παίκτες κερδίσει δύο πόντους παραπάνω από τον αντίπαλό του. Μπορούε να οντε-λοποιήσουε το παραπάνω παιχνίδι ως ια αρκοβιανή αλυσίδα στον χώρο καταστάσεωνX = A,α, ι,β, B,όπου η κατάσταση ι αντιστοιχεί σε ισοπαλία, οι καταστάσεις α,β αντιστοιχούν σε πλεονέκτηα του Α ήτου Β αντίστοιχα και οι καταστάσεις A και B αντιστοιχούν στο τέλος του γκέι ε νίκη του Α ή του Βαντίστοιχα. Το γκέι τελειώνει την πρώτη φορά που η αλυσίδα θα βρεθεί σε ια από τις κατάστάσεις A ήB, εποένως η εναποείνασα διάρκεια της παρτίδας είναι ο χρόνος πρώτης άφιξης στο σύνολο E = A,B.Νικητής στο game είναι ο παίκτης Α, αν η αλυσίδα αυτή φτάσει στην κατάσταση A πριν φτάσει στην κα-τάσταση B, δηλαδή στο ενδεχόενο TA < TB = ω ∈ Ω : TA(ω) < TB(ω). Θυηθείτε επίσης ότι οι

33

χρόνοι άφιξης είναι χρόνοι διακοπής και πορούν να πάρουν και την τιή +∞. Αν για παράδειγα στηνέκβαση ω ο Α κερδίσει τον πρώτο πόντο και στη συνέχεια ο Β κερδίσει τους επόενους τρεις πόντους,έχουε TE(ω) = TB(ω) = 4, ενώ TA(ω) = +∞.

΄Οπως στο παραπάνω παράδειγα, ας ενδιαφέρει συχνά το εξής πρόβληα: αν A,B ⊂ X ε A ∩ B = ∅και X0 = x /∈ A ∪ B, ποια είναι η πιθανότητα P

TA < TB |X0 = x

= Px

TA < TB

; Παρότι το

πρόβληα που έχουε να λύσουε απαιτεί τον υπολογισό ενός αριθού, είναι πιο εύκολο να λύσουε έναφαινοενικά πολυπλοκότερο πρόβληα, του οποίου το αρχικό ας πρόβληα αποτελεί έρος. Συγκεκριένα,θα αναζητήσουε την τιή αυτής της πιθανότητας ταυτόχρονα για όλα τα x ∈ X. Θα θεωρήσουε λοιπόναυτή την πιθανότητα ως ία συνάρτηση της αρχικής κατάστασης

ΦA,B(x) = Px

TA < TB

. (3.1)

Για λόγους που θα εξηγήσουε στη συνέχεια η συνάρτηση αυτή καλείται συχνά συνάρτηση δυναικού(potential) από το A στο B. ΄Οπως και στην περίπτωση του χρόνου πρώτης άφιξης, αν το A είναιονοσύνολο ε A = u, θα συβολίζουε το δυναικό Φu,B και ως Φu,B. Αντίστοιχα θα κάνουε στηνπερίπτωση που το B είναι ονοσύνολο. Ορίζουε επίσης τον γεννήτορα L της αλυσίδας ως έναν τελεστήπου δρα σε συναρτήσεις h : X → R επιστρέφοντας ια καινούργια συνάρτηση Lh : X → R ε τύπο

Lh(x) =

y∈Xp(x, y)

h(y)− h(x)

, για κάθε x ∈ X.

Θεώρηα 7 Αν A∩B = ∅, τότε η συνάρτηση δυναικού ΦA,B που ορίσαε στην (3.1) λύνει το πρόβληασυνοριακών τιών (ΠΣΤ)

Lh(x) = 0, αν x /∈ A ∪B

h(x) = 1, αν x ∈ A

h(x) = 0, αν x ∈ B.

(3.2)

Απόδειξη: Αν x ∈ A, στο ενδεχόενο ω : X0(ω) = x έχουε TA(ω) = infk ≥ 0 : Xk(ω) ∈ A = 0,ενώ TB(ω) > 0, αφού A ∩B = ∅. Εποένως,

x ∈ A ⇒ ΦA,B(x) = Px

TA < TB

= 1.

Με εντελώς αντίστοιχο τρόπο έχουε ότι x ∈ B ⇒ ΦA,B(x) = Px

TA < TB

= 0.

΄Εστω τώρα x /∈ A∪B. Θα επιχειρήσουε να υπολογίσουε την Px

TA < TB

κάνοντας ανάλυση πρώτου

βήατος. Αυτό πολύ απλά σηαίνει ότι θα εφαρόσουε τον τύπο της ολικής πιθανότητας για τη διαέρισητου Ω που επάγει το πρώτο βήα της αλυσίδας,

Ω =

y∈XX1 = y.

Συγκεκριένα,

ΦA,B(x) = Px

TA < TB

=

y∈XPX1 = y |X0 = x

× P

TA < TB |X0 = x,X1 = y

=

y∈Xp(x, y) P

T+A

< T+B|X0 = x,X1 = y

,

34

όπου T+A(ω) = infk ≥ 1 : Xk(ω) ∈ A και αντίστοιχα ορίζεται ο T+

B. Προσέξτε ότι η διαφορά του TA

από τον T+Aέγκειται στο ότι για τον εν TA εξετάζουε αν η αλυσίδα είναι αρχικά στο A, ενώ για τον T+

A

όχι. Στην τελευταία ισότητα παραπάνω, αντικαταστήσαε το ενδεχόενο TA < TB από το T+A

< T+B,

γιατί για x /∈ A ∪B στο ενδεχόενο X0 = x έχουε TA(ω) = T+A(ω) και TB(ω) = T+

B(ω). ΄Οως από

τη αρκοβιανή ιδιότητα έχουε

PT+A

< T+B|X0 = x,X1 = y

= P

T+A

< T+B|X1 = y

= PTA < TB |X0 = y

= ΦA,B(y),

αφού η Ynn∈N0 ε Yn = Xn+1 είναι ια αρκοβιανή αλυσίδα ε τις ίδιες πιθανότητες ετάβασης όπως ηXnn∈N0 , ενώ T+

A= infk ≥ 0 : Yn ∈ A + 1 και αντίστοιχα T+

B= infk ≥ 0 : Yn ∈ B + 1. ΄Εχουε

λοιπόν ότι για x /∈ A ∪B

ΦA,B(x) =

y∈Xp(x, y) ΦA,B(y) ⇔ LΦA,B(x) = 0. (3.3)

Παρατήρηση: Στην περίπτωση των αρκοβιανών αλυσίδων ε διακριτό χώρο καταστάσεων X, το ΠΣΤ(3.2) δεν είναι παρά ένα σύστηα από τόσες γραικές εξισώσεις, όσες και οι καταστάσεις στο (A ∪B)c.Τόσες είναι και οι τιές της ΦA,B που ψάχνουε, αφού για x ∈ A, έχουε ΦA,B(x) = 1, ενώ για x ∈ Bέχουε ΦA,B(x) = 0. ΄Οπως θα δούε στο επόενο κεφάλαιο, αν ο X είναι πεπερασένος και το σύνολο(A ∪ B) είναι προσβάσιο από κάθε σηείο του (A ∪ B)c, τότε το ΠΣΤ (3.2) έχει πάντα οναδική λύση,κάτι που ας επιτρέπει να υπολογίσουε την ΦA,B, όπως θα δούε στα επόενα παραδείγατα.

Παράδειγα 19 Στο Παράδειγα 18 ας υποθέσουε ότι η πιθανότητα νίκης του παίκτη Α σε κάθεπόντο είναι p, ενώ η πιθανότητα νίκης του παίκτη Β είναι q, ανεξάρτητα από το αποτέλεσα των άλλωνπόντων. Ο πίνακας πιθανοτήτων ετάβασης της αλυσίδας είναι εποένως ο

P =

A α ι β B

A 1 0 0 0 0α p 0 q 0 0ι 0 p 0 q 0β 0 0 p 0 qB 0 0 0 0 1

.

Ας υποθέσουε ότι αυτή τη στιγή το γκέι είναι ισόπαλο, δηλαδή X0 = ι. Θα υπολογίσουε τηνπιθανότητα να είναι νικητής του γκέι ο παίκτης Α ως συνάρτηση του p, δηλαδή τη

ΦA,B(ι) = PTA < TB |X0 = ι

.

Από το Θεώρηα 7 έχουε ότι η ΦA,B λύνει το ΠΣΤ (3.2). Αν h : X → R είναι ια λύση αυτού τουπροβλήατος, θα πρέπει h(A) = 1, h(B) = 0, ενώ γράφοντας την εξίσωση Lh(x) = 0 διαδοχικά γιαx = α, ι,β έχουε:

x = α : h(α) = ph(A) + (1− p)h(ι) = p+ (1− p)h(ι)

x = ι : h(ι) = ph(α) + (1− p)h(β)

x = β : h(β) = ph(ι) + (1− p)h(B) = ph(ι).

Λύνοντας τις παραπάνω εξισώσεις βρίσκουε ότι το σύστηα έχει οναδική λύση την

h(α) =p(1− p+ p2)

p2 + (1− p)2, h(ι) =

p2

p2 + (1− p)2, h(β) =

p3

p2 + (1− p)2

35

και άρα ΦA,B(ι) =p2

p2 + (1− p)2.

Παράδειγα 20 ύο παίκτες Α,Β στρίβουν ένα τίιο κέρα έχρι να εφανιστεί η ακολουθία κεφαλή-γράατα-κεφαλή (ΚΓΚ) ή να έρθουν τρεις διαδοχικές φορές γράατα (ΓΓΓ). Στην πρώτη περίπτωσηνικητής αναδεικνύεται ο Α, ενώ στη δεύτερη περίπτωση ο Β. Ποια είναι η πιθανότητα νίκης κάθε παίκτη;

΄Οπως στο Παράδειγα 6, θα περιγράψουε την κατάσταση του παιχνιδιού χρησιοποιώντας το αποτέλεσατων δύο τελευταίων στριψιάτων και δύο ακόα καταστάσεις A,B, που θα αντιστοιχούν σε νίκη τουπαίκτη Α και σε νίκη του παίκτη Β. Πιο συγκεκριένα, πορούε να περιγράψουε το παιχνίδι ας ως ιααρκοβιανή αλυσίδα στον χώρο καταστάσεων

X = KK,KΓ,ΓK,ΓΓ, A,B.

Εάν για παράδειγα κάποια στιγή η αλυσίδα βρεθεί στην κατάσταση ΓK, αυτό σηαίνει ότι καία από τιςδύο ακολουθίες τερατισού δεν έχει εφανιστεί ακόη, ενώ τα δύο τελευταία στριψίατα ήταν γράατα(το προτελευταίο) και κεφαλή (το τελευταίο). Σε αυτή την περίπτωση η επόενη κατάσταση της αλυσίδαςπορεί να είναι είτε η KK (ε πιθανότητα 1/2), αν φέρουε κεφαλή στο επόενο στρίψιο, είτε η KΓ (επιθανότητα 1/2), αν φέρουε γράατα. Αν κάποια στιγή η αλυσίδα βρεθεί στην κατάσταση KΓ, τότεη επόενη κατάστασή της θα είναι είτε η ΓΓ, αν φέρουε γράατα, είτε η A, αν φέρουε κεφαλή, αφούσε αυτή την περίπτωση θα έχει σχηατιστεί η ακολουθία κεφαλή-γράατα-κεφαλή και το παιχνίδι θα έχειτελειώσει ε νικητή τον Α. Με παρόοιους συλλογισούς πορούε να γράψουε τον πίνακα πιθανοτήτωνετάβασης αυτής της αλυσίδας.

P =

A KK KΓ ΓK ΓΓ B

A 1 0 0 0 0 0KK 0 1

212 0 0 0

KΓ 12 0 0 0 1

2 0ΓK 0 1

212 0 0 0

ΓΓ 0 0 0 12 0 1

2B 0 0 0 0 0 1

.

Η αρχική κατάσταση αυτής της αλυσίδας εξαρτάται από τα αποτελέσατα των δύο πρώτων στριψιάτων.Επειδή στρίβουε ένα τίιο κέρα, καθεία από τις καταστάσεις KK,KΓ,ΓK,ΓΓ έχει πιθανότητα 1/4να είναι η αρχική κατάσταση της αλυσίδας. Μπορούε λοιπόν από τον τύπο της ολικής πιθανότητας ναγράψουε

PTA < TB

=

x∈XPTA < TB |X0 = x

PX0 = x

=1

4

ΦA,B(KK) + ΦA,B(KΓ) + ΦA,B(ΓK) + ΦA,B(ΓΓ)

. (3.4)

Αρκεί λοιπόν να βρούε τη συνάρτηση δυναικού ΦA,B, κάτι που πορούε να κάνουε ε τη βοήθεια τουΘεωρήατος 7. ΄Εστω h : X → R ία λύση του ΠΣΤ (2). Τότε θα έχουε h(A) = 1, h(B) = 0, ενώ ηεξίσωση Lh(x) = 0 για x = KK,KΓ,ΓK,ΓΓ δίνει αντίστοιχα:

x = KK : h(KK) =1

2h(KK) +

1

2h(KΓ) ⇔ h(KK) = h(KΓ)

x = KΓ : h(KΓ) =1

2h(A) +

1

2h(ΓΓ) ⇔ 2h(KΓ) = 1 + h(ΓΓ)

x = ΓK : h(ΓK) =1

2h(KK) +

1

2h(KΓ)

x = ΓΓ : h(ΓΓ) =1

2h(ΓK) +

1

2h(B) ⇔ h(ΓK) = 2h(ΓΓ).

36

Το σύστηα των τεσσάρων αυτών εξισώσεων έχει οναδική λύση την

h(KK) = h(KΓ) = h(ΓK) =2

3και h(ΓΓ) =

1

3,

οπότε από τη σχέση (3.4) λαβάνουε ότι PTA < TB

=

7

12. Μπορείτε να βρείτε ια διαισθητική εξήγηση,

γιατί η πιθανότητα αυτή είναι εγαλύτερη από 1/2, γιατί δηλαδή είναι πιο πιθανό να εφανιστεί πρώτα ηακολουθία ΚΓΚ παρά η ακολουθία ΓΓΓ;

Παράδειγα 21 Παίζετε ένα παιχνίδι στο οποίο η πιθανότητα νίκης σας σε κάθε γύρο είναι p ∈ (0, 1).Σε κάθε γύρο στοιχηατίζετε ένα κέρα. Αν κερδίσετε σε έναν γύρο παίρνετε πίσω το κέρα σας καιένα ακόα, ενώ αν χάσετε χάνετε το κέρα σας. Η αρχική σας περιουσία είναι x κέρατα, ενώ αυτή τουαντιπάλου σας είναι y κέρατα. Το παιχνίδι συνεχίζεται έχρι είτε εσείς είτε ο αντίπαλός σας να είνετεχωρίς καθόλου κέρατα, οπότε νικητής αναδεικνύεται εκείνος που άζεψε όλα τα N = x + y κέρατα.Ποια είναι η πιθανότητα να νικήσετε;

Η περιουσία σας στο συγκεκριένο παιχνίδι πορεί να περιγραφεί από ια αρκοβιανή αλυσίδα στον χώροκαταστάσεων X = 0, 1, 2, . . . , N. Σε κάθε γύρο είτε θα κερδίσετε (ε πιθανότητα p) και η περιουσίασας θα αυξηθεί κατά 1, είτε θα χάσετε (ε πιθανότητα 1 − p) και η περιουσία σας θα ειωθεί κατά 1.Εποένως αν z ∈ 1, 2, . . . , N − 1, οι πιθανότητες ετάβασης αυτής της αλυσίδας είναι

p(z, z + 1) = p, p(z, z − 1) = 1− p, p(z, w) = 0, για |z − w| = 1.

Αν ορίσουε Tu = infk ≥ 0 : Xk = u τον χρόνο πρώτης άφιξης στην κατάσταση u, τότε το ενδεχόενονίκης σας είναι το TN < T0, εποένως ψάχνουε την πιθανότητα Px

TN < T0

= ΦN,0(x). Από την

(3.2) έχουε ότι για z ∈ 1, 2, . . . , N − 1

0 = LΦN,0(z) =

u∈Xp(z, u)

ΦN,0(u)− ΦN,0(z)

= pΦN,0(z + 1)− ΦN,0(z)

+ (1− p)(ΦN,0(z − 1)− ΦN,0(z)

.

Ξαναγράφουε την παραπάνω σχέση ως

ΦN,0(z + 1)− ΦN,0(z) =1− p

p

ΦN,0(z)− ΦN,0(z − 1)

, z ∈ 1, 2, . . . , N − 1. (3.5)

Στην περίπτωση όπου p = 12 η (3.5) σηαίνει ότι η ΦN,0(n)n∈X είναι ια αριθητική πρόοδος και άρα

ΦN,0(n) = ΦN,0(0) + cn = cn, για n ∈ X.

Η διαφορά της προόδου c πορεί να βρεθεί θέτοντας n = N στην παραπάνω σχέση, οπότε

1 = cN ⇒ c =1

N

και άραΦN,0(x) =

x

N. (3.6)

Εποένως, όταν το παιχνίδι είναι δίκαιο, η πιθανότητα νίκης σας σε αυτό είναι απλά το κλάσα της αρχικήςσας περιουσίας στη συνολική περιουσία.

37

Αν τώρα έχουε p = 12 , η (3.5) δίνει ότι η ΦN,0(n+ 1)− ΦN,0(n) είναι γεωετρική πρόοδος, άρα

ΦN,0(n+ 1)−ΦN,0(n) =1− p

p

nΦN,0(1)−ΦN,0(0)

=

1− p

p

n

ΦN,0(1), για n = 0, 1, . . . , N − 1.

Προσθέτοντας κατά έλη τις παραπάνω σχέσεις για n = 0, 1, . . . , z − 1, το άθροισα στο αριστερό έλοςτηλεσκοπεί, ενώ στο δεξί έλος έχουε το άθροισα των z πρώτων όρων ιας γεωετρικής προόδου ελόγο (1− p)/p, οπότε παίρνουε

ΦN,0(z) =

1−p

p

z − 11−p

p− 1

ΦN,0(1) =p

1− 2p

1− p

p

z − 1ΦN,0(1), z ∈ X. (3.7)

Η ΦN,0(1) πορεί τώρα να υπολογιστεί από την τελική συνθήκη ΦN,0(N) = 1 επιλέγοντας z = N στην(3.7). Συγκεκριένα,

1 = ΦN,0(N) = 1 =p

1− 2p

1− p

p

N − 1ΦN,0(1).

Αντικαθιστώντας την τιή που προκύπτει για την ΦN,0(1) πίσω στην (3.7) βρίσκουε ότι

ΦN,0(x) =

1−p

p

x − 11−p

p

N − 1. (3.8)

Παρατηρήστε ότι αν p < 1/2, αν δηλαδή το παιχνίδι που παίζουε είναι εις βάρος ας, τότε 1−p

p> 1 και

από τη στοιχειώδη ανισότητααn − 1

αN − 1≤ αn−N για α = 1, n ≤ N

έχουε ότι

Px

TN < T0

≤

1− p

p

x−N.

Η πιθανότητα νίκης πέφτει λοιπόν εκθετικά ε την αρχική περιουσία του αντιπάλου σας. Αξίζει τον κόπονα συγκρίνουε τα αποτελέσατα των (3.6) και (3.8) για διάφορες τιές του p. Παίρνοντας N = 100 καιx = 50 βρίσκουε ότι αν p = 4/10, η πιθανότητα νίκης ας είναι ικρότερη από 10−8, αν p = 1/2, ηπιθανότητα νίκης ας είναι ακριβώς 1/2, ενώ αν p = 6/10, η πιθανότητα νίκης ας είναι εγαλύτερη από1− 10−8.

Παρατήρηση: Αν στο Θεώρηα 1 πάρουε την ειδική περίπτωση B = ∅, τότε η συνθήκη A ∩ B = ∅ικανοποιείται αυτόατα. Επιπλέον,

TB(ω) = infk ≥ 0 : Xk(ω) ∈ ∅ = inf(∅) = +∞

και άραΦA,B(x) = Px

TA < TB

= Px

TA < +∞

.

΄Εχουε λοιπόν το ακόλουθο πόρισα που ας δίνει τη δυνατότητα να υπολογίζουε την πιθανότητα ηαλυσίδα ας να φτάσει σε κάποιο σύνολο στόχο A σε πεπερασένο χρόνο.

Πόρισα 3 Αν A ⊂ X και ορίσουε ΦA(x) = Px

TA < +∞

, τότε η ΦA ικανοποιεί το ΠΣΤ

Lh(x) = 0, αν x /∈ A

h(x) = 1, αν x ∈ A.(3.9)

38

Ας θυηθούε σ΄ αυτό το σηείο τη σχέση (2.10). Το να πορούε να υπολογίζουε την πιθανότηταPy

Tx < ∞

ας επιτρέπει να αποφανθούε αν ια κατάσταση είναι επαναληπτική ή παροδική. Παρότι

σε πεπερασένους χώρους καταστάσεων το ερώτηα αυτό είναι εύκολο να απαντηθεί, όπως είδαε στοΠαράδειγα 17, τα πράγατα περιπλέκονται. Ας δούε τώρα πώς πορούε να ξαναβρούε το αποτέλεσαεκείνου του παραδείγατος, χρησιοποιώντας τις εθόδους αυτού του κεφαλαίου.

Παράδειγα 22 Θεωρήστε έναν απλό συετρικό τυχαίο περίπατο Xnn∈N0 στο Z, δηλαδή οι πιθα-νότητες ετάβασης ικανοποιούν τις σχέσεις

p(x, x+ 1) = p(x, x− 1) =1

2∀x ∈ Z.

Αν X0 = k ∈ N, ποια είναι η πιθανότητα ο περίπατος να φτάσει κάποια στιγή στο ηδέν;

Με τον συβολισό που αναπτύξαε ψάχνουε να βρούε την Φ0(k) = PT0 < +∞ |X0 = k

. Με βάση

το Πόρισα 3, η συνάρτηση Φ0 θα ικανοποιεί για x = 0 την

LΦ0(x) = 0 ⇔ 1

2

Φ0(x+ 1)− Φ0(x)

+

1

2

Φ0(x− 1)− Φ0(x)

= 0

⇔ Φ0(x+ 1)− Φ0(x) = Φ0(x)− Φ0(x− 1).

Η παραπάνω σχέση σηαίνει ότι η διαφορά οποιωνδήποτε διαδοχικών όρων της ακολουθίας αnn∈N0 εαn = Φ0(n) είναι σταθερή και άρα η ακολουθία αυτή είναι αριθητική πρόοδος. Μαζί ε τη συνθήκη στοηδέν Φ0(0) = 1 αυτό σηαίνει ότι υπάρχει ια σταθερά c ∈ R τέτοια ώστε

Φ0(n) = PT0 < +∞ |X0 = n

= 1 + cn, για κάθε n ∈ N0.

Θα πρέπει όως 0 ≤ Φ0(n) ≤ 1 για κάθε n ∈ N. Εποένως, θα πρέπει c = 0, που δίνει τελικά

Φ0(k) = 1.

Απ΄ όποιο k ∈ N κι αν ξεκινήσει ο συετρικός τυχαίος περίπατος, θα καταφέρει να φτάσει στο 0 επιθανότητα 1. Φυσικά, λόγω συετρίας, το ίδιο θα ισχύει αν ξεκινήσει από κάποιο αρνητικό ακέραιο.Η (2.10) δίνει τώρα ότι f(0) = 1 και το Θεώρηα 6.14 ότι το ηδέν είναι επαναληπτική κατάσταση.Ξαναβρίσκουε λοιπόν ότι ο απλός συετρικός τυχαίος περίπατος είναι επαναληπτικός.

΄Ενας άλλος τρόπος να δούε το προηγούενο αποτέλεσα είναι ο εξής. Αν παίζουε ένα τίιο παιχνίδι σεένα καζίνο (το οποίο υποθέτουε ότι έχει άπειρο κεφάλαιο) ποντάροντας ία άρκα κάθε φορά, όποια κιαν είναι η αρχική ας περιουσία, θα χρεωκοπήσουε κάποια στιγή ε πιθανότητα 1.

Παράδειγα 23 Αν X0 = k ∈ N όπως στο παραπάνω παράδειγα, αλλά ο περίπατος έχει επιπλέον ιατάση προς τα αριστερά, δηλαδή

p(x, x+ 1) = p <1

2, p(x, x− 1) = 1− p >

1

2, ∀x ∈ Z,

περιένουε διαισθητικά ότι και πάλι θα φτάσει στο ηδέν ε πιθανότητα 1. Πράγατι, κατ΄ αναλογία ετο Παράδειγα 21, η συνθήκη LΦ0(x) = 0 για x > 0 γράφεται ως

Φ0(x+ 1)− Φ0(x) =1− p

p

Φ0(x)− Φ0(x− 1)

και δίνει ότι για κάθε x ≥ 0 ισχύει

Φ0(x) = Φ0(0) + c

1− p

p

x

− 1

= 1 + c

1− p

p

x

− 1

, (3.10)

39

για κάποια σταθερά c ∈ R. Η σταθερά c δεν πορεί να είναι αυστηρά θετική, αφού στην περίπτωση αυτήθα είχαε Φ0(x) > 1 για x ∈ N. εν πορούε όως να έχουε ούτε c < 0 αφού

p ∈0,

1

2

⇒ 1− p

p> 1 ⇒

1− p

p

x

→ +∞ καθώς x → ∞

και άρα η Φ0(x) θα έπαιρνε αρνητικές τιές για κατάλληλα εγάλα x. Εποένως c = 0 και άρα Φ0(k) = 1για κάθε k ∈ N. Γνωρίζοντας από το προηγούενο κεφάλαιο ότι ο η συετρικός τυχαίος περίπατος είναιπαροδικός, περιένουε φυσικά ότι αυτή η πιθανότητα είναι ικρότερη του 1, αν η αλυσίδα ας ξεκινήσειαπό κάποιο αρνητικό ακέραιο k. Θα εξετάσουε αυτή την περίπτωση στο Παράδειγα 24.

Στα παραδείγατα που είδαε ως τώρα τα ΠΣΤ (3.2) και (3.9) είχαν οναδική λύση και προσδιόριζανεποένως τη συνάρτηση δυναικού. Στην περίπτωση που τα παραπάνω ΠΣΤ έχουν περισσότερες από ίαλύσεις, θα θέλαε να έχουε ένα κριτήριο που να ας επιτρέπει να επιλέγουε εκείνη που ας ενδιαφέρει,δηλαδή τη συνάρτηση δυναικού. Είναι πολλές φορές εύκολο να απορρίψουε κάποιες λύσεις γιατί π.χ.παίρνουν αρνητικές τιές, ενώ η συνάρτηση δυναικού είναι εξ ορισού η αρνητική. Κι αυτό όως δενείναι πάντα αρκετό, γιατί τα ΠΣΤ ενδέχεται να έχουν περισσότερες από ία η αρνητικές λύσεις. Τοακόλουθο θεώρηα είναι χρήσιο σε τέτοιες περιπτώσεις.

Θεώρηα 8 Ας είναι A,B ⊂ X, ε A ∩ B = ∅. Αν η w : X → [0,∞) είναι ια η αρνητική λύση τουΠΣΤ (3.2), τότε

ΦA,B(x) = Px

TA < TB

≤ w(x), για κάθε x ∈ X.

Απόδειξη: Ο ισχυρισός ισχύει κατά τετριένο τρόπο, αν x ∈ A, οπότε ΦA,B(x) = w(x) = 1 ή x ∈ B,οπότε ΦA,B(x) = w(x) = 0. Αν πάλι x /∈ A ∪B, τότε από την (3.2) έχουε

0 = Lw(x) ⇔ w(x) =

y∈Xp(x, y)w(y). (3.11)

Χωρίζοντας τους προσθετέους στο παραπάνω άθροισα ανάλογα ε το αν η y είναι στα A,B ή στο (A∪B)c

και χρησιοποιώντας τις συνοριακές συνθήκες για την w στα A,B παίρνουε

w(x) =

y∈Ap(x, y)w(y) +

y∈Bp(x, y)w(y) +

y/∈A∪B

p(x, y)w(y)

=

y∈Ap(x, y) + 0 +

y/∈A∪B

p(x, y)w(y)

= Px

1 = TA < TB

+

y/∈A∪B

p(x, y)w(y).

Εφόσον το τελευταίο άθροισα εκτείνεται σε όρους y /∈ A ∪ B πορούε να γράψουε την w(y) ε τηβοήθεια της (3.11) ώστε να πάρουε

w(x) = Px

1 = TA < TB

+

y/∈A∪Bz∈X

p(x, y)p(y, z)w(z)

= Px

1 = TA < TB

+

y/∈A∪Bz∈A

p(x, y)p(y, z) +

y,z /∈A∪B

p(x, y)p(y, z)w(z)

= Px

1 = TA < TB

+ Px

2 = TA < TB

+

y,z /∈A∪B

p(x, y)p(y, z)w(z)

= Px

TA ≤ 2, TA < TB

+

y,z /∈A∪B

p(x, y)p(y, z)w(z).

40

Επαναλαβάνοντας το παραπάνω επιχείρηα n φορές, λαβάνουε

w(x) = Px

TA ≤ n, TA < TB

+

x1,...,xn /∈A∪B

p(x, x1)p(x1, x2) · · · p(xn−1, xn)w(xn)

≥ Px

TA ≤ n, TA < TB

,

αφού η w παίρνει η αρνητικές τιές. Η παραπάνω ανισότητα ισχύει για κάθε n ∈ N, ενώ τα ενδεχόεναRn = TA ≤ n ∩ TA < TB σχηατίζουν ια αύξουσα ακολουθία ενδεχοένων. Παίρνοντας το όριοκαθώς n → ∞ έχουε

w(x) ≥ limn→∞

Px

TA ≤ n, TA < TB

= Px

n

TA ≤ n ∩ TA < TB

= Px

TA < TB

= ΦA,B(x).

Εποένως, σε κάθε περίπτωση το δυναικό ΦA,B(x) είναι ικρότερο από οποιαδήποτε η αρνητική λύσητης (3.2).

Στην ειδική περίπτωση όπου B = ∅ παίρνουε το ακόλουθο πόρισα.

Πόρισα 4 Αν A ⊂ X και w : X → [0,∞) είναι ια η αρνητική λύση του ΠΣΤ (3.9), τότε

ΦA(x) = Px

TA < +∞

≤ w(x), για κάθε x ∈ X.

Παράδειγα 24 Θεωρήστε έναν τυχαίο περίπατο στους η αρνητικούς ακεραίους ε p(x, x+1) = p >12 , p(x, x − 1) = 1 − p για κάθε x ∈ N. Αν τον ξεκινήσουε από το n ∈ N, ποια είναι η πιθανότητα ναφτάσει κάποτε στο ηδέν;

΄Εχουε ήδη δει στο Παράδειγα 22 ότι, αν p ≤ 12 τότε Φ0(x) = Px

T0 < +∞

= 1, για κάθε x ∈ N. Εδώ

θα δούε πώς συπεριφέρεται αυτή η πιθανότητα, αν p > 1/2. ΄Οπως και στο παράδειγα (21) η συνθήκηLw(x) = 0 για x > 0 γράφεται ως

w(x+ 1)− w(x) =1− p

p

w(x)− w(x− 1)

και δίνει ότι για κάθε x ≥ 0 έχουε

w(x) = w(0) + c

1− p

p

x

− 1

= 1 + c

1− p

p

x

− 1

, (3.12)

για κάποια σταθερά c ∈ R. Σε αντίθεση ε το Παράδειγα 21 όπου προσδιορίσαε τη σταθερά c απότη συνοριακή συνθήκη στο δεξί άκρο του διαστήατος που κινείτο η αλυσίδα, εδώ το ΠΣΤ (3.9) έχειάπειρες λύσεις, αφού ικανοποιείται από την w της εξίσωσης (3.12) για κάθε c ∈ R. Γνωρίζουε όως ότιη συνάρτηση δυναικού είναι ία από αυτές τις λύσεις και ε τη βοήθεια του Πορίσατος 4 πορούε ναπροσδιορίσουε σε ποια τιή του c αντιστοιχεί η λύση Φ0 που ας ενδιαφέρει. Παρατηρήστε ότι

p ∈12, 1⇒ 1− p

p< 1 ⇒

1− p

p

x

→ 0, καθώς x → ∞.

41

Συπεραίνουε ότι θα πρέπει c ≤ 1, ώστε η λύση w στην (3.12) να είναι θετική. Επιπλέον, εφόσον1−p

p

x

< 1 για κάθε x > 0, η ικρότερη η αρνητική λύση της (3.12) αντιστοιχεί σε c = 1 και άρα

Φ0(x) = 1 + 1

1− p

p

x

− 1

=

1− p

p

x

, για κάθε x ∈ N.

Αξίζει να σηειώσουε ότι για c ∈ [0, 1] έχουε w(x) ∈ [0, 1], για κάθε x ∈ N, εποένως δεν θα ήτανδυνατόν να επιλέξουε την παράετρο c που δίνει τη συνάρτηση δυναικού ε επιχειρήατα ανάλογα εαυτά που χρησιοποιήσαε για p ≤ 1

2 .

3.3 Στατιστικά του χρόνου άφιξης

Ας υποθέσουε ότι το σύνολο A ⊂ X είναι τέτοιο ώστε Px

TA < +∞

= 1. Μπορούε να πούε κάτι

παραπάνω για την κατανοή του χρόνου άφιξης στο A; Ποια είναι η αναενόενη τιή του; Η κατανοήτου; Σε αυτή την παράγραφο θα δούε ότι πορούε να απαντήσουε σε τέτοια ερωτήατα ε εθόδουςανάλογες ε αυτές που αναπτύξαε στην προηγούενη παράγραφο.

Θεώρηα 9 Ας είναι A ⊂ X και TA = infk ≥ 0 : Xk ∈ A ο χρόνος πρώτης άφιξης στο A. ΟρίζουεGA : X → [0,+∞] ε τύπο GA(x) = E

TA |X0 = x

= Ex

TA

. Αν το ΠΣΤ

Lg(x) = −1, αν x /∈ A

g(x) = 0, αν x ∈ A(3.13)

έχει κάποια η αρνητική και πεπερασένη λύση g : X → [0,∞), τότε η GA επίσης λύνει το (3.13) καιάλιστα

GA(x) ≤ g(x), για κάθε x ∈ X.

Απόδειξη: Ας θεωρήσουε ια g : X → [0,∞) που λύνει το (3.13).Αν x ∈ A, τότε TA(ω) = 0 για κάθε ω στο ενδεχόενο X0 = x. Εποένως, GA(x) = 0 = g(x).

΄Εστω τώρα x /∈ A. Τότε πορούε να γράψουε την Lg(x) = −1 ως

g(x) =

y∈Xp(x, y)g(y) + 1 =

y/∈A

p(x, y)g(y) + 1, (3.14)

όπου η τελευταία ισότητα προκύπτει από τη συνοριακή συνθήκη για την g στο A. Επαναλαβάνοντας τοπροηγούενο επιχείρηα έχουε

g(x) = 1 +

y/∈A

p(x, y)

z /∈A

p(y, z)g(z) + 1

= 1 +

y/∈A

p(x, y) +

y,z /∈A

p(x, y)p(y, z)g(z)

= 1 +

y/∈A

p(x, y) +

y,z /∈A

p(x, y)p(y, z)

u/∈A

p(z, u)g(u) + 1

= 1 +

y/∈A

p(x, y) +

y,z /∈A

p(x, y)p(y, z) +

y,z,u/∈A

p(x, y)p(y, z)p(z, u)g(u)

= Px

TA > 0

+ Px

TA > 1

+ Px

TA > 2

+

y,z,u/∈A

p(x, y)p(y, z)p(z, u)g(u).

42

΄Επειτα από n ∈ N επαναλήψεις καταλήγουε στην

g(x) =n−1

k=0

Px

TA > k

+

x1,...,xn /∈A

p(x, x1)p(x1, x2) · · · p(xn−1, xn)g(xn)

≥n−1

k=0

Px

TA > k

,

αφού η g παίρνει η αρνητικές τιές. Παίρνοντας το όριο n → ∞ έχουε

g(x) ≥∞

k=0

Px

TA > k

= Ex

TA

= GA(x).

Αποδείξαε ως τώρα ότι αν το (3.13) έχει ία η αρνητική και πεπερασένη λύση g, τότε GA(x) ≤ g(x) <+∞ για κάθε x ∈ X. Μένει να αποδείξουε ότι η GA λύνει και αυτή το ΠΣΤ (3.13). Με ανάλυση πρώτουβήατος έχουε διαδοχικά

GA(x) = Ex

TA

=

y∈XPX1 = y |X0 = x

ETA |X0 = x, X1 = y

=

y∈Xp(x, y) E

T+A|X0 = x, X1 = y

, (3.15)

όπου T+A

= infk > 0 : Xk ∈ A. Από τη αρκοβιανή ιδιότητα, ε δεδοένο ότι X1 = y, η αλυσίδαYnn∈N ε Yn = Xn+1 για n ∈ N0 είναι ια αλυσίδα ε τις ίδιες πιθανότητες ετάβασης όπως η Xnn∈N0

και Y0 = y, ενώT+A

= infk > 0 : Xk ∈ A = infk ≥ 0 : Yk ∈ A+ 1.

Εποένως, η (3.15) γίνεται

GA(x) =

y∈Xp(x, y)E

T+A|X1 = y

=

y∈Xp(x, y))E

TA + 1|Y0 = y

=

y∈Xp(x, y)

GA(y) + 1

= 1 +

y∈Xp(x, y)GA(y). (3.16)

Αναδιατάσσοντας τους όρους της (3.16), πορούε να την ξαναγράψουε ως LGA(x) = −1.

Ας δούε ερικά παραδείγατα εφαρογής του θεωρήατος 9.

Παράδειγα 25 Σε συνέχεια του Παραδείγατος 19, αν κάποια στιγή ένα γκέι τένις είναι ισόπαλο,πόσοι κατά έση τιή πόντοι θα παιχτούν ακόα έχρι να τελειώσει;

Αν ορίσουε E = A,B το σύνολο των καταστάσεων στις οποίες τελειώνει το γκέι, τότε, ε τονσυβολισό του Παραδείγατος 19 θέλουε να υπολογίσουε την GE(ι) = E

TE |X0 = ι

. Θεωρούε το

ΠΣΤ Lg(x) = −1, αν x /∈ E

g(x) = 0, αν x ∈ E.

Γράφοντας τις εξισώσεις Lg(x) = −1 διαδοχικά για x ∈ α, ι,β έχουε:

για x = α : g(α) = pg(A) + (1− p)g(ι) + 1 = (1− p)g(ι) + 1

για x = ι : g(ι) = pg(α) + (1− p)g(β) + 1

για x = β : g(β) = pg(ι) + (1− p)g(B) + 1 = pg(ι) + 1

43

Το σύστηα αυτό έχει οναδική λύση

g(ι) =2

p2 + (1− p)2, g(α) = (1− p)g(ι) + 1, g(β) = pg(ι) + 1

που είναι η αρνητική. Εποένως η GE θα ικανοποιεί και αυτή το παραπάνω ΠΣΤ και λόγω οναδικότηταςθα ταυτίζεται ε αυτήν τη λύση. ηλαδή,

GE(ι) = ETE |X0 = ι

=

2

p2 + (1− p)2.

Παράδειγα 26 Ποιος είναι ο αναενόενος αριθός ζαριών που πρέπει να ρίξουε ε ένα τίιο ζάριέχρι να εφανιστούν τέσσερα διαδοχικά εξάρια; Μέχρι να εφανιστεί για πρώτη φορά η ακολουθία 6,5,4,3;

Πριν προχωρήσουε σε υπολογισούς, αφιερώστε ένα λεπτό για να αναλογιστείτε σε ποια περιπτώσηείναι εγαλύτερος ο αναενόενος αριθός ζαριών έχρι την εφάνιση της ακολουθίας στόχου. Αν δενσας είναι φανερό, ξανασκεφτείτε την ερώτηση αφού έχετε ελετήσει τη λύση.

Μπορούε να περιγράψουε το πρώτο πείραα ε ια αρκοβιανή αλυσίδα στο σύνολο X = N0. ιαι-σθητικά, η κατάσταση της αλυσίδας θα δείχνει το τρέχον σερί ας από εξάρια. Πιο συγκεκριένα, ανζnn∈N είναι τα αποτελέσατα των ζαριών ας πορούε να ορίσουε X0 = 0, ενώ για n ∈ N να θέσουε

Xn = k ⇔ ζn−k = 6 και ζj = 6, για κάθε j ∈ n− k + 1, . . . , n.

ιαπιστώνει κανείς ότι η Xnn είναι ια αρκοβιανή αλυσίδα ε πιθανότητες ετάβασης

p(k, k + 1) =1

6και p(k, 0) =

5

6, για κάθε k ∈ N0.

Πράγατι, αν έχουε ήδη σχηατίσει ένα σερί από k εξάρια και αν στην επόενη ζαριά ας φέρουε 6,τότε το σερί ας θα διευρυνθεί σε k + 1, ενώ αν φέρουε οτιδήποτε άλλο, το τρέχον σερί ας θα πέσειστο ηδέν. Με τον συβολισό που αναπτύξαε, αν ορίσουε

T4 = infn ≥ 0 : Xn = 4

τότε η απάντηση στο ερώτηά ας είναι η ET4 |X0 = 0

. Θα υπολογίσουε αυτή την αναενόενη τιή

λύνοντας το ΠΣΤ Lg(x) = −1, αν x ∈ 0, 1, 2, 3g(x) = 0, αν x = 4.

Γράφουε τις εξισώσεις που προκύπτουν διαδοχικά για x = 0, 1, 2, 3.

x = 0 : g(0) =1

6g(1) +

5

6g(0) + 1

x = 1 : g(1) =1

6g(2) +

5

6g(0) + 1

x = 2 : g(2) =1

6g(3) +

5

6g(0) + 1

x = 3 : g(3) =1

6g(4) +

5

6g(0) + 1 =

5

6g(0) + 1.

Το παραπάνω σύστηα έχει οναδική λύση g(0) = 1.554, g(1) = 1.548, g(2) = 1.512, g(3) = 1.296,εποένως από το Θεώρηα 9 θα έχουε

ET4 |X0 = 0

= 1.554.

44

Σε ό,τι αφορά στο δεύτερο πείραα, πορούε πάλι να το περιγράψουε ε τη βοήθεια ιας αρκοβιανήςαλυσίδας στον χώρο X = 0, 1, 2, 3, 4 που θα ας δείχνει πόσα από τα ψηφία της ακολουθίας-στόχουέχουε σχηατίσει. Την πρώτη φορά που θα εφανιστεί η ακολουθία ζαριών 6,5,4,3 η αλυσίδα αυτή θαφτάσει για πρώτη φορά στην κατάσταση 4 και θα παραείνει στην κατάσταση αυτή εφεξής. εν είναιδύσκολο να βρει κανείς τον πίνακα πιθανοτήτων ετάβασης της αλυσίδας

P =

0 1 2 3 4

0 5/6 1/6 0 0 01 2/3 1/6 1/6 0 02 2/3 1/6 0 1/6 03 2/3 1/6 0 0 1/64 0 0 0 0 1

.

Για παράδειγα, αν κάποια στιγή η αλυσίδα είναι στην κατάσταση 2, αυτό σηαίνει ότι η προτελευταία ζαριάήταν 6, ενώ η τελευταία 5. Αν στην επόενη ζαριά φέρουε 4 (πιθανότητα 1/6) η επόενη κατάστασητης αλυσίδας θα είναι η 3, αφού θα έχουε σχηατίσει 3 από τα 4 ψηφία της ακολουθίας στόχου. Ανφέρουε 6 (πιθανότητα 1/6) τότε το σερί ας θα έχει σπάσει, αλλά θα έχουε ήδη έτοιο το πρώτο ψηφίο(6) της ακολουθίας στόχου, οπότε επόενη κατάσταση της αλυσίδας θα είναι η 1. Αν τέλος φέρουε 1,2, 3, ή 5 (πιθανότητα 2/3), η επόενη κατάσταση της αλυσίδας θα είναι το 0. Με ανάλογα επιχειρήαταπορεί κανείς να γείσει και τις υπόλοιπες γραές του πίνακα πιθανοτήτων ετάβασης. ΄Οπως και πριν, ηET4 |X0 = 0

πορεί να βρεθεί λύνοντας το ΠΣΤ

Lg(x) = −1, αν x ∈ 0, 1, 2, 3g(x) = 0, αν x = 4.

Γράφουε τις εξισώσεις που προκύπτουν διαδοχικά για x = 0, 1, 2, 3.

x = 0 : g(0) =1

6g(1) +

5

6g(0) + 1

x = 1 : g(1) =1

6g(2) +

1

6g(1) +

2

3g(0) + 1

x = 2 : g(2) =1

6g(3) +

1

6g(1) +

2

3g(0) + 1

x = 3 : g(3) =1

6g(4) +

1

6g(1) +

2

3g(0) + 1 =

1

6g(1) +

2

3g(0) + 1.

Το παραπάνω σύστηα έχει οναδική λύση g(0) = 1.296, g(1) = 1.290, g(2) = 1.260, g(3) = 1.080,εποένως από το Θεώρηα 9 θα έχουε E

T4 |X0 = 0

= 1.296.

Με παρόοιο τρόπο, κάνοντας δηλαδή ανάλυση πρώτου βήατος, δεν είναι δύσκολο να βρούε και τηγεννήτρια συνάρτηση του χρόνου πρώτης άφιξης ΨA : R+ → [0, 1] ε

ΨA(s;x) = Ex

e−sTA

,

που χαρακτηρίζει πλήρως την κατανοή του χρόνου TA.

Θεώρηα 10 Ας είναι A ⊂ X και TA = infk ≥ 0 : Xk ∈ A ο χρόνος πρώτης άφιξης στο A. Για κάθεs > 0 η συνάρτηση ψ(x) = Ex

e−sTA

ικανοποιεί το ΠΣΤ

Lu(x) = (es − 1)u(x), αν x /∈ A

u(x) = 1, αν x ∈ A.(3.17)

Επιπλέον, αν u : X → [0,∞) ια η αρνητική λύση του (3.17), τότε u(x) ≥ ΨA(s;x), για κάθε x ∈ X.

45

Απόδειξη: Αν x ∈ A, τότε TA(ω) = 0 στο ενδεχόενο ω : X0(ω) = x και άρα ψ(x) = Ex

e−s0

= 1.

Αν x /∈ A τότε ε ανάλυση πρώτου βήατος έχουε

ψ(x) = Ex

e−sTA

=

y∈XPX1 = y |X0 = x

Ee−sTA |X0 = x,X1 = y

=

y∈Xp(x, y) E

e−sT

+A |X0 = x,X1 = y

=

y∈Xp(x, y) E

e−sT

+A |X1 = y

=

y∈Xp(x, y) E

e−sT

+A |Y0 = y

=

y∈Xp(x, y)e−sψ(y),

αφού από τη αρκοβιανή ιδιότητα η Ynn∈N0 ε Yn = Xn+1 έχει τις ίδιες πιθανότητες ετάβασης όπως ηXnn και T+

A= infk > 0 : Xk ∈ A = infk ≥ 0 : Yk ∈ A+ 1. Εποένως

(es − 1)ψ(x) =

y∈Xp(x, y)ψ(y)− ψ(x) = Lψ(x).

Η απόδειξη του δεύτερου ισχυρισού είναι αντίστοιχη ε αυτήν του Θεωρήατος 7 και αφήνεται για ε-ξάσκηση.


΄Ασκηση 34 Θεωρήστε τη αρκοβιανή αλυσίδα της ΄Ασκησης 23. Υπολογίστε την πιθανότητα η αλυσίδανα καταλήξει σε καθεία από τις κλειστές κλάσεις της, όταν ξεκινάει από τις καταστάσεις 3, 4, 5. Ποιαείναι αυτή η πιθανότητα, αν αρχικά η αλυσίδα επιλέγει τυχαία ία από τις τρεις αυτές καταστάσεις καιξεκινά από εκεί; Στην τελευταία περίπτωση, ποια είναι η πιθανότητα να φτάσει η αλυσίδα στην κατάσταση1 πριν φτάσει στην κατάσταση 8; Υπόδειξη για το τελευταίο ερώτηα: δεν χρειάζεται να λύσετε ένα ΠΣΤαπό την αρχή. Χρησιοποιήστε τις ιδιότητες των επαναληπτικών κλάσεων.

΄Ασκηση 35 ΄Εχετε €1 και θέλετε να συπληρώσετε γρήγορα ένα ποσό €10. Για το σκοπό αυτό παίζετεένα παιχνίδι ε τους εξής κανόνες. Σε κάθε γύρο η πιθανότητα νίκης σας είναι 0 < p < 1, ανεξάρτητα απότα αποτελέσατα των προηγούενων γύρων. Πριν από κάθε γύρο, επιλέγετε το ποσό που στοιχηατίζετε.Αν κερδίσετε σας επιστρέφεται το διπλάσιο του στοιχήατός σας, αν όχι, χάνετε το ποσό που ποντάρατεσ΄ αυτόν τον γύρο. ΄Εχετε αποφασίσει να ποντάρετε όσα χρήατα έχετε, αν αυτά είναι λιγότερα από €5,διαφορετικά όσα χρειάζεστε για να φτάσετε τα €10.α) Ποια είναι η πιθανότητα να φτάσετε ποτέ τα €10 ε αυτήν τη στρατηγική;β) Ποια είναι η πιθανότητα να φτάσετε ποτέ τα €10, αν σε κάθε γύρο ποντάρετε €1;γ) Με τη βοήθεια του υπολογιστή παραστήστε σε ένα κοινό γράφηα τα παραπάνω αποτελέσατα ωςσυνάρτηση του p ∈ (0, 1). Τι παρατηρείτε;δ) Ποιος είναι ο αναενόενος χρόνος έχρι να χάσετε τα χρήατά σας ή να φτάσετε τα €10 σε καθείααπό τις παραπάνω περιπτώσεις;

΄Ασκηση 36 ίνεται ο πίνακας πιθανοτήτων ετάβασηςP ιας αρκοβιανής αλυσίδας στον X = s1, . . . , s5, p ∈

46

(0, 1) .

P =

s1 s2 s3 s4 s5s1 1 0 0 0 0s2 p 0 1− p 0 0s3 0 1− p 0 p 0s4 0 0 p 0 1− ps5 0 0 0 0 1

.

α) Αν Ti = infk ≥ 0 : Xk = si είναι ο χρόνος πρώτης άφιξης στην κατάσταση si, υπολογίστε τηνπιθανότητα

PT1 < T5 | X0 = s3

.

β) Αν έχετε ένα κέρα που φέρνει κορώνα ε πιθανότητα p = 1/2, πορείτε ε τη βοήθεια της παραπάνωαλυσίδας να φτιάξετε έναν αλγόριθο που ιείται το στρίψιο ενός τίιου κέρατος; Συγκεκριέναθέλουε ο αλγόριθος να τερατίζει ε πιθανότητα 1 σε πεπερασένο χρόνο και ε πιθανότητα 1/2 σεκαθεία από τις δύο δυνατές τελικές καταστάσεις.

΄Ασκηση 37 ΄Ενα διωνυικό δέντρο ε ρίζα είναι ένας άπειρος γράφος, χωρίς κλειστά ονοπάτια, ε ίαδιακεκριένη κορυφή R (τη ρίζα) από την οποία διέρχεται ίαακή, ενώ από κάθε άλλη κορυφή του διέρχονται τρεις ακέςόπως στο διπλανό σχήα. ΄Ενας τυχαίος περίπατος σ΄ αυτόν τονγράφο είναι ια αρκοβιανή αλυσίδα στο σύνολο V των κορυ-φών του γράφου, που επιλέγει σε κάθε βήα τυχαία ία από τιςκορυφές ε τις οποίες συνδέεται ε ακή και ετακινείται εκεί.Αν ξεκινήσουε από την κορυφή που συνδέεται ε τη ρίζα, ποιαείναι η πιθανότητα να φτάσουε κάποια στιγή στη ρίζα; Είναιαυτός ο περίπατος παροδικός ή επαναληπτικός; R

΄Ασκηση 38 Ποιος είναι ο αναενόενος αριθός των φορών που πρέπει να στρίψουε ένα τίιο νόισα,έχρι να εφανιστεί ια σειρά απόN ίδια αποτελέσατα; Ποια είναι η απάντηση, αν η πιθανότητα να φέρουεγράατα σε κάθε στρίψιο είναι p = 1

2 ;

΄Ασκηση 39 Κάθε φορά που επισκέπτεστε ένα εστιατόριο επιλέγετε ένα από τα N πιάτα του ενούτυχαία. Ποιος είναι ο αναενόενος αριθός των επισκέψεων που θα χρειαστείτε έχρι να δοκιάσετε όλατα πιάτα;

΄Ασκηση 40 Ποιος είναι ο αναενόενος αριθός ζαριών που πρέπει να ρίξουε έχρι το άθροισα τωνενδείξεων να είναι πολλαπλάσιο του 7;

΄Ασκηση 41 είξτε ότι ο αναενόενος αριθός ζαριών έχρι να φέρουε n διαδοχικά 6άρια ε ένα τίιοζάρι είναι tn = 1, 2× (6n − 1).

΄Ασκηση 42 Απαντήστε τα παρακάτω ερωτήατα για τη αρκοβιανή αλυσίδα της ΄Ασκησης 6.α) Αν αρχικά ο ρήγας βρίσκεται στο κέντρο, ποια είναι η πιθανότητα να βρίσκεται στο κέντρο ετά από 4βήατα;β) Αν αρχικά ο ρήγας είναι αριστερά, ποιος είναι ο αναενόενος αριθός κινήσεων έχρι να βρεθεί γιαπρώτη φορά δεξιά;

47

΄Ασκηση 43 Θεωρούε ια αρκοβιανή αλυσίδα Xn στον X = N ε πιθανότητες ετάβασης

pk,k−1 =k − 1

2k=

1

2− 1

2k, pk,k+1 =

k + 1

2k=

1

2+

1

2k, για k ∈ N.

Η Xn έχει ια τάση να πηγαίνει δεξιά αλλά η τάση αυτή εξασθενεί όσο αποακρινόαστε από το 1, οπότεσυπεριφέρεται σχεδόν όπως ένας απλός, συετρικός τυχαίος περίπατος. Για τον απλό, συετρικό τυχαίοπερίπατο γνωρίζουε ότι απ΄ όπου κι αν ξεκινήσει θα φτάσει στο 1 ε πιθανότητα 1. Αν T1 = infn ≥ 0 :Xn = 1 υπολογίστε την πιθανότητα Pk

T1 < +∞

.

΄Ασκηση 44 Μια αράχνη κινείται τυχαία στον ιστό της, που αποτελείται από N οόκεντρα εξάγωνα καιτις ακτίνες τους. Πόσο χρόνο κατά έσο όρο θα της πάρει για να φτάσει στο κέντρο του ιστού;

΄Ασκηση 45 Μια αρκοβιανή αλυσίδα κινείται ανάεσα σε έξικαταστάσεις. Οι δυνατές εταβάσεις εικονίζονται σαν ακές στοδιπλανό σχήα. Οι πιθανότητες ετάβασης είναι συετρικές,δηλ. p(x, y) = p(y, x) για κάθε x, y ∈ A,B,C,D,E, F καιδίνονται και αυτές στο σχήα. Π.χ. p(C,D) = p(D,C) = ε, ε0 < ε < 1.α) Ορίζουε Tε = inf

m ≥ 0 : Xm ∈ D,E, F

τον χρόνο

εισόδου στο D,E, F. Υπολογίστε για x ∈ A,B,C τηνET | X0 = x

.

β) Υπολογίστε την ψ(x) = Ee−sεTε |X0 = x

για x = A,B,C

και βρείτε ποιο είναι το όριό της, καθώς ε → 0. Συπεράνετεότι η τυχαία εταβλητή εTε συγκλίνει κατά κατανοή σε ιαεκθετική τυχαία εταβλητή, ε ρυθό λ = 3.

A

B

DC

F

E

1+ε2

ε

1−ε2

1−ε2

1−ε2

1+ε2

1−ε2

΄Ασκηση 46 Στην άσκηση αυτή θα υπολογίσουε τις πιθανότητες ετάβασης ιας αλυσίδας, δεσευένηςνα φτάσει σε ένα σύνολο A ⊂ X πριν φτάσει στο B. Συγκεκριένα, ορίζουε για x ∈ X \ (A ∪B)

p(x, y) = PXn+1 = y |Xn = x, n < TA < TB

.

είξτε ότι

p(x, y) = p(x, y)ΦA,B(y)

ΦA,B(x).

Σαν εφαρογή λύστε το ακόλουθο πρόβληα. Η Αλίκη και ο Βασίλης είχαν από δέκα κέρατα και έπαιξανκορώνα/γράατα, ποντάροντας από ένα κέρα σε κάθε γύρο, έχρι ένας από τους δύο να συγκεντρώσεικαι τα είκοσι κέρατα. Με δεδοένο ότι κέρδισε η Αλίκη, ποια είναι η πιθανότητα να εσολάβησε κάποιαστιγή που η Αλίκη είχε είνει ε ένα κέρα;


Για τις παρακάτω ασκήσεις πορείτε να χρησιοποιήσετε τη βασική ρουτίνα προσοοίωσης πεπερασένωναρκοβιανών αλυσίδων που είδαε στο Κεφάλαιο 1. Χρησιοποιήστε τη ρουτίνα αυτή ως βιβλιοθήκη, όπωςκάναε στον κώδικα ex1.py, ώστε να γράψετε κώδικες σε python που θα λύνουν αριθητικά τα ακόλουθαπροβλήατα.

΄Ασκηση 47 Υπολογίστε προσεγγιστικά την πιθανότητα της ΄Ασκησης 34, προσοοιώνοντας N =10.000 ονοπάτια της αλυσίδας και ετρώντας πόσα από αυτά κατέληξαν σε καθειά από τις κλειστέςκλάσεις.

48


http://www.math.ntua.gr/~loulakis/info/python_codes_files/ex1.py

΄Ασκηση 48 Υπολογίστε προσεγγιστικά την πιθανότητα της ΄Ασκησης 40 ε δύο τρόπους: α) άεσα καιβ) θεωρώντας τη αρκοβιανή αλυσίδα του υπολοίπου της ακέραιας διαίρεσης του αθροίσατος των ζαριώνσας ε το 7.

΄Ασκηση 49 Υπολογίστε προσεγγιστικά ε Monte Carlo την πιθανότητα νίκης του παίκτη που σερβίρεισε ένα γκέι τένις, αν η πιθανότητα που έχει να κερδίσει κάθε πόντο είναι p = 0, 6.

΄Ασκηση 50 Ας υποθέσουε ότι p = 1/2 στο σενάριο της ΄Ασκησης 35 . ΄Εστω ότι θέλουε να υπο-λογίσουε ε εθόδους Monte Carlo τον αναενόενο αριθό των γύρων που παίχτηκαν, δεδοένου ότικαταφέρατε να φτάσετε τα €10. Υπάρχουν δύο τρόποι να το πετύχετε αυτό. α) Να προσοοιώσετε έναεγάλο αριθό παρτίδων, π.χ. N = 10.000, να ετρήσετε το πλήθος m από αυτές κατά τις οποίες φτάσατεπραγατικά τα €10, καθώς και των αριθό των γύρων T1, . . . , Tm που παίχτηκαν σε αυτές τις παρτίδες.Η εκτιήτρια της πιθανότητας που ψάχνετε είναι τότε η

T1 + T2 + · · ·+ Tm

m.

β) Να χρησιοποιήσετε την ιδέα της ΄Ασκησης 46, προσοοιώνοντας N = 10.000 φορές την αλυσίδαδεσευένη να φτάσει στο 10.

Γράψτε ια ρουτίνα που εκτιά τον αναενόενο χρόνο 50 φορές ε καθέναν από τους δύο τρόπους. Σεποια περίπτωση τα αποτελέσατα που παίρνετε διαφέρουν εταξύ τους λιγότερο; Μπορείτε να εξηγήσετεγιατί; Κάντε τώρα το ίδιο για p = 1/4. Τι παρατηρείτε;

49

Κεφάλαιο 4

Martingales


Στο κεφάλαιο αυτό θα εισαγάγουε την έννοια της δεσευένης έσης τιής για διακριτές τυχαίες ετα-βλητές και θα δούε πότε χαρακτηρίζουε ια στοχαστική διαδικασία διακριτού χρόνου ως martingale.Μια βασική ιδιότητα που έχει ια martingale είναι ότι η αναενόενη τιή της ένει σταθερή στον χρόνοακόα και όταν αυτή υπολογίζεται για έναν φραγένο χρόνο διακοπής. ΄Οπως θα δούε, αυτή η ιδιότηταείναι ένα πολύ ισχυρό υπολογιστικό εργαλείο, ιδιαίτερα όταν η στοχαστική διαδικασία συβαίνει να είναιταυτόχρονα αρκοβιανή. Παρόοιο υλικό πορείτε να βρείτε στις εξαιρετικές αναφορές [2], [8] και [9].

4.2 εσευένη έση τιή

Στην παράγραφο αυτή θα ορίσουε τη δεσευένη έση τιή ως προς ια διακριτή τυχαία εταβλητή. Αςυποθέσουε λοιπόν ότι οι X,Y είναι τυχαίες εταβλητές, ορισένες στον ίδιο χώρο πιθανότητας, πουπαίρνουν τιές στα αριθήσια σύνολα X,Y αντίστοιχα. Ας συβολίζουε ε pXY την από κοινού σ..π.των X και Y , δηλαδή

pXY (x, y) = PX = x, Y = y

, x ∈ X, y ∈ Y.

Οι περιθώριες σ..π. των X,Y πορούν εύκολα να υπολογιστούν από την από κοινού σ..π. ως εξής.

pX(x) = PX = x

=

y∈YPX = x, Y = y

, x ∈ X

καιpY (y) = P

Y = y

=

x∈XPX = x, Y = y

, y ∈ X.

Υποθέτουε χωρίς βλάβη ότι pY (y) > 0 για κάθε y ∈ Y, αφού, αν pY (y) = 0, πορούε να αφαιρέσουεένα τέτοιο y από το Y. Η δεσευένη πιθανότητα του ενδεχοένου X = x δεδοένου του ενδεχοένουY = y είναι

PX = x |Y = y

=

PX = x, Y = y

PY = y

.

Η δεσευένη πιθανότητα του ενδεχοένου X = x ως προς την τυχαία εταβλητή Y είναι ια τυχαίαεταβλητή, που είναι συνάρτηση της Y και η τιή της, όταν Y = y, είναι P

X = x

Y = y. ΄Εχει σηασία

να έχουε κατά νου ότι η δεσευένη πιθανότητα ως προς ια τυχαία εταβλητή είναι εν γένει ια τυχαία

50

εταβλητή και όχι ένας αριθός. Η τιή της αλλάζει ανάεσα στα σηεία του δειγατικού χώρου Ω. Ανόως θεωρήσουε τη διαέριση του Ω

Ω =

y∈Yω ∈ Ω : Y (ω) = y =

y∈YY = y,

τότε, σε καθένα από τα ενδεχόενα Y = y, η τιή της PX = x |Y

παραένει σταθερή και ίση προς

PX = x

Y = y. ΄Εχουε λοιπόν ότι

PX = x |Y

= p(x|Y ), όπου p(x|y) = P

X = x

Y = y=

PX = x, Y = y

PY = y

, y ∈ Y.

Παρατηρήστε ότι, για κάθε y ∈ Y, η p(· |y) είναι ια σ..π. στον X. Εποένως, πορούε να φανταζόαστετην P

X = · |Y

ως ια τυχαία σ..π.

Ορισός: ΄Εστω X ια πραγατική, διακριτή, τυχαία εταβλητή, ε E|X|

< ∞. Ορίζουε τη δε-

σευένη έση τιή (conditional expectation) της X ως προς τη διακριτή τυχαία εταβλητή Y , ως τηναναενόενη τιή της X, υπολογισένη ε βάση την τυχαία σ..π. P

X = · |Y

, δηλαδή

EXY

=

x∈Xx P

X = x |Y

. (4.1)

Η συνθήκη E|X|

< ∞ εξασφαλίζει ότι το δεξί έλος είναι πεπερασένο. Παρατηρήστε ότι η E

XY

,

ως γραικός συνδυασός των PX = x |Y

, είναι κι αυτή ια πραγατική τυχαία εταβλητή, η οποία είναι

συνάρτηση της Y . Αυτή η συνάρτηση, g(Y ) = EXY

, έχει τη σταθερή τιή g(y) =

x∈X x P

X =

x |Y = yσε καθένα από τα ενδεχόενα Y = y.

Παράδειγα 27 Ρίχνετε ένα ζάρι και στη συνέχεια στρίβετε τόσα κέρατα όσα η ένδειξη του ζαριού,Y ∈ 1, 2, 3, 4, 5, 6. Αν X ∈ 0, 1, 2, 3, 4, 5, 6 είναι το πλήθος των κεφαλών που θα φέρετε, τότε ηδεσευένη κατανοή της X, δεδοένου ότι Y = y, είναι διωνυική bin(y, 12), δηλαδή

PX = x

Y = y=

y

x

1

2y.

Η δεσευένη έση τιή της X ως προς την Y είναι ια τυχαία εταβλητή, που στο ενδεχόενο Y = yέχει την τιή

y

x=0

x

y

x

1

2y=

y

2.

Εποένως, EX

Y= Y

2 .

Θεώρηα 11 Η g(Y ) = EX

Yτης σχέσης (4.1) είναι η οναδική συνάρτηση της Y για την οποία

EXh(Y )

= E

g(Y )h(Y )

, για κάθε συνάρτηση h : Y → [0, 1]. (4.2)

51

Απόδειξη: Θα δείξουε πρώτα ότι η g(Y ) = EX

Yτης (4.1) έχει την ιδιότητα (4.2). Πράγατι, από

τον ορισό της δεσευένης πιθανότητας και το Θεώρηα Fubini-Tonelli έχουε

EXh(Y )

=

x∈X

y∈Yxh(y)P

X = x, Y = y

=

x∈X

y∈Yxh(y)P

X = x

Y = yPY = y

=

y∈Yh(y)

x∈XxP

X = x

Y = yPY = y

=

y∈Yh(y)g(y)P

Y = y

= E

g(Y )h(Y )

.

Θα δείξουε τώρα ότι η g είναι η οναδική συνάρτηση της Y που έχει την ιδιότητα (4.2). ΄Εστω φ(Y ) ιασυνάρτηση της Y για την οποία

EXh(Y )

= E

φ(Y )h(Y )

για οποιαδήποτε συνάρτηση h : Y → [0, 1]. Επιλέγοντας

hy(Y ) =

1, αν Y = y

0, αν Y = y

παίρνουε

x∈XxP

X = x, Y = y

= φ(y)P

Y = y

.

Εποένως, για κάθε y ∈ Y, έχουε

φ(y) =

x∈XxPX = x, Y = y

PY = y

= g(y).

Το παραπάνω θεώρηα ας δίνει έναν εναλλακτικό ορισό της δεσευένης έσης τιής ο οποίος έχειδύο πλεονεκτήατα. Αφενός, δεν κάνει αναφορά στο είδος των τυχαίων εταβλητών X,Y , ενώ ο αρχι-κός ορισός υποθέτει ότι οι X,Y έχουν διακριτή κατανοή. Αφετέρου, απλοποιεί συχνά τις αποδείξειςισχυρισών που αφορούν στη δεσευένη έση τιή, όπως θα δούε και στο ακόλουθο θεώρηα.

Θεώρηα 12 Θεωρούε Y, Z διακριτές τυχαίες εταβλητές. Η δεσευένη έση τιή έχει τις παρακάτωιδιότητες.

1. Ec1X1 + c2X2

Y= c1E

X1

Y+ c2E

X2

Y, για κάθε c1, c2 ∈ R.

2. EEX|Y

= E

X.

3. Αν οι X,Y είναι ανεξάρτητες, τότε η EX|Y

είναι σταθερή και έχει την τιή E

X.

4. Αν η f : Y → R είναι φραγένη συνάρτηση, τότε EXf(Y )

Y= f(Y )E

X

Y.

5.E

X

Y ≤ E

|X|

Y.

6. EEX

Y, Z Y

= E

X

Y.

52

7. Αν X1 ≤ X2, τότε EX1

Y≤ E

X2

Y.

Απόδειξη: Σε όλη την απόδειξη η h είναι ια συνάρτηση h : Y → [0, 1]. Για την (1), αν g1(Y ) = EX1

Y

και g2(Y ) = EX2

Y, από τη γραικότητα της έσης τιής έχουε ότι

E(c1X1 + c2X2)h(Y )

= c1E

X1h(Y )

+ c2E

X2h(Y )

= c1Eg1(Y )h(Y )

+ c2E

g2(Y )h(Y )

= E

(c1g1(Y ) + c2g2(Y ))h(Y )

.

Εποένως, από το Θεώρηα 4.2,

Ec1X1 + c2X2

Y= c1g1(Y ) + c2g2(Y ) = c1E

X1

Y+ c2E

X2

Y.

Για την (2), αρκεί να επιλέξουε h(Y ) = 1 στο Θεώρηα 4.2.Για την (3), έχουε

EXh(Y )

= E

XEh(Y )

= E

EXh(Y )

.

Η πρώτη ισότητα ισχύει λόγω της ανεξαρτησίας των X,Y και η δεύτερη γιατί η EXείναι ια σταθερά.

Από το Θεώρηα 4.2 έχουε λοιπόν ότι EX|Y

= E

X. Υπενθυίζουε ότι, όταν η Y είναι σταθερή,

τότε είναι ανεξάρτητη από κάθε άλλη τυχαία εταβλητή, εποένως EXY

= E

X, για οποιαδήποτε

τυχαία εταβλητή X. Για τον ίδιο λόγο, έχουε ότι EcY

= c, για οποιαδήποτε τυχαία εταβλητή Y

και c ∈ R.Για την (4), λόγω της γραικότητας (ιδιότητα 1), αρκεί να υποθέσουε ότι η f είναι η αρνητική καιφραγένη από το 1. Πράγατι, αν f+ = maxf, 0, f− = max−f, 0 και M = sup |f |, έχουε ότι

f = M

f+

M− f−

M

,

όπου οι f±/M είναι η αρνητικές και φραγένες από το 1. Σε αυτή την περίπτωση, εφόσον η f × h είναικι αυτή ια συνάρτηση από το Y στο [0, 1], το Θεώρηα 4.2 δίνει ότι για κάθε h : Y → [0, 1] έχουε

EXf(Y ) h(Y )

= E

Xf × h(Y )

= E

g(Y )f × h(Y )

= E

g × f(Y )h(Y )

,

όπου g(Y ) = EX

Y. Εποένως, E

Xf(Y )

Y= f(Y )E

X

Y.

Για την (5), παρατηρήστε ότι, αν ορίσουε το θετικό και το αρνητικό έρος τηςX ωςX+ = maxX, 0 ≥ 0και X− = max−X, 0 ≥ 0 αντίστοιχα, τότε X = X+ −X− και |X| = X+ +X−. Εποένως, από τηντριγωνική ανισότητα, έχουε

EX

Y =

EX+

Y− E

X− Y

≤ EX+

Y+ E

X− Y

= E

|X|

Y.

Για την (6), αν ορίσουε G(Y, Z) = EX

Y, Z, έχουε αρχικά από τις ιδιότητες (5) και (1), ότι

E|G(Y, Z)|

≤ E

E|X|

Y, Z

= E|X|

< ∞.

Η δεσευένη έση τιή EG(Y, Z)

Yείναι λοιπόν καλά ορισένη. Από το Θεώρηα 4.2, αρχικά για την

G(Y, Z) και στη συνέχεια για τη X, έχουε ότι

EG(Y, Z)h(Y )

= E

Xh(Y )

= E

g(Y )h(Y )

.

Εποένως, EG(Y, Z)

Y= g(Y ) = E

X

Y.

Τέλος για την (7), από τη γραικότητα της δεσευένης έσης τιής (ιδιότητα 1), αρκεί να δείξουε ότι

X ≥ 0 ⇒ EX

Y≥ 0.

53

Αν τώρα g(Y ) = EX

Yκαι h(Y ) = g(Y ) < 0 ≥ 0, τότε, από το Θεώρηα 4.2

0 ≤ EXh(Y )

= E

g(Y )h(Y )

= E

g(Y ) g(Y ) < 0

≤ 0.

Προκειένου όως να έχουε ισότητα στην τελευταία ανισότητα, θα πρέπει Pg(Y ) < 0

= 0.

Παράδειγα 28 Πενήντα φοιτητές από το ΕΜΠ, εβδοήντα φοιτητές από το ΕΚΠΑ και 30 φοιτητέςαπό το ΟΠΑ παίρνουν έρος σ΄ ένα διαγώνισα. Αν επιλέξουε τυχαία έναν από τους φοιτητές, πορούε ναθεωρήσουε ως δειγατικό χώρο του πειράατος τύχης το σύνολο των φοιτητών και τότε το πανεπιστήιοπροέλευσής τους Y είναι ια τυχαία εταβλητή ορισένη σε αυτόν τον χώρο, ενώ ο βαθός τους στοδιαγώνισα X είναι ια άλλη τυχαία εταβλητή. Η E

X|Y

είναι ια τυχαία εταβλητή, που δίνει σε όλους

τους φοιτητές του Πανεπιστηίου Y τον έσο όρο M(Y ) των φοιτητών του Y . Τότε η ιδιότητα 2 τουΘεωρήατος 12 σηαίνει ότι ο έσος όρος M των βαθών όλων των φοιτητών δίνεται από τη

M =50

150M(EMΠ) +

70

150M(EKΠA) +

30

150M(OΠA),

δηλαδή ο έσος όρος των βαθών όλων των φοιτητών πορεί να υπολογιστεί και ως ένας ζυγισένοςέσος των έσων βαθών κατά πανεπιστήιο, ε βάρη τις πιθανότητες ο τυχαία επιλεγένος φοιτητής ναπροέρχεται από κάθε πανεπιστήιο.

4.3 Martingales

Σε αυτή την παράγραφο θα δούε πότε χαρακτηρίζουε ια στοχαστική διαδικασία διακριτού χρόνου ωςmartingaleκαι κάποιες βασικές ιδιότητες αυτών των διαδικασιών.

Θυηθείτε από το Κεφάλαιο 2 ότι, αν έχουε ια ακολουθία από διακριτές τυχαίες εταβλητές, όπως π.χ.στην περίπτωση ιας στοχαστικής διαδικασίας διακριτού χρόνου Xnn∈N0 και το ενδεχόενο A εξαρτάταιόνο από τις τιές των X0, . . . , Xn, γράφουε A ∈ Fn. Για κάθε n ∈ N0, η Yn = (X0, . . . , Xn) είναιια τυχαία εταβλητή ε τιές στον διακριτό χώρο Xn+1. Θα συβολίζουε τη δεσευένη έση τιή ιαςτυχαίας εταβλητής Z ως προς την Yn ε E

ZFn

. Εποένως, η

EZFn

= E

ZX0, . . . , Xn

είναι ια τυχαία εταβλητή που εξαρτάται όνο από τις X0, . . . , Xn.

Ορισός: Αν ια τυχαία εταβλητή X είναι συνάρτηση των X0, . . . , Xn, θα λέε ότι η X είναι Fn-ετρήσιη.

Ορισός: Αν, για ια στοχαστική διαδικασία Mnn∈N0 η τυχαία εταβλητή Mn είναι Fn-ετρήσιηγια κάθε n ∈ N0, θα χαρακτηρίζουε την Mnn∈N0 προσαροσένη (adapted) στην Fnn∈N0 .

Ορισός: Θα χαρακτηρίζουε ια στοχαστική διαδικασία Mnn∈N0 ε τιές στο R ως Fn-martingale,αν για κάθε n ∈ N0 έχουε

1. E|Mn|

< ∞,

2. EMn+1

Fn

= Mn.

Η πρώτη συνθήκη του ορισού υπάρχει απλώς για να είναι καλά ορισένη η δεσευένη έση τιή πουεφανίζεται στη δεύτερη. Η ουσία του ορισού βρίσκεται στη δεύτερη συνθήκη. Αυτό που χαρακτηρίζειια martingale είναι ότι, ε δεδοένο οτιδήποτε έχει συβεί έχρι τη χρονική στιγή n, η αναενόενη τιήτης ετά το επόενο βήα είναι ίδια ε τη σηερινή, όπως ακριβώς συβαίνει, σε κάθε γύρο ενός δίκαιουπαιχνιδιού, ε την περιουσία κάποιου που στοιχηατίζει σ΄ αυτό. Παρατηρήστε επίσης ότι, από την ιδιότητα2 του ορισού, ια διαδικασία που είναι Fn-martingale, είναι πάντα προσαροσένη στην Fnn∈N0 .

54

Παράδειγα 29 ΄Ενας απλός, συετρικός τυχαίος περίπατος Snn∈N0 στο Z είναι martingale. Πράγ-ατι, αν S0 = x ∈ Z, έχουε ότι για κάθε n ∈ N

Sn = Sn−1 +Xn = x+n

k=1

Xk,

όπου η Xnn∈N είναι ια ακολουθία ανεξάρτητων, ισόνοων τυχαίων εταβλητών, που παίρνουν τις τιές+1 ή -1, ε πιθανότητα 1

2 καθειά. ΄Εχουε λοιπόν ότι |Sn| ≤ |x|+ n < ∞, ενώ

ESn+1

Fn

= E

Sn +Xn+1

Fn

= E

Sn

Fn

+ E

Xn+1

Fn

= Sn + E

Xn+1

= Sn.

Η δεύτερη ισότητα προκύπτει από την ιδιότητα 1 του Θεωρήατος 12, ενώ η τρίτη ισότητα από τις ιδιότητες3 και 4 του ίδιου θεωρήατος.

Παράδειγα 30 Αν Snn∈N0 είναι ο απλός, συετρικός τυχαίος περίπατος του προηγούενου παραδε-ίγατος, τότε η διαδικασία Mnn∈N0 εMn = S2

n−n είναι martingale. Πράγατι, εφόσον |Sn| ≤ |x|+n,έχουε ότι E

Mn

≤ (|x|+ n)2 < ∞. Από τις ιδιότητες 1, 3 και 4 του Θεωρήατος 12, έχουε τώρα ότι

ES2n+1

Fn

= E

S2n + 2SnXn+1 +X2

n+1

Fn

= S2

n + 2SnEXn+1

Fn

+ E

1Fn

= S2n + 2SnE

Xn+1

+ 1 = S2

n + 1.

Αφαιρώντας n+ 1 από τα δύο έλη, παίρνουε ότι EMn+1

Fn

= Mn.

Παράδειγα 31 ΄Εστω z ∈ (0, 1). Για τον απλό, συετρικό, τυχαίο, περίπατο των προηγούενωνπαραδειγάτων θα εξετάσουε αν, για κάποια σταθερά α = α(z) > 0, η διαδικασία Mnn∈N0 ε

Mn = αSnzn

είναι martingale. Η πρώτη συνθήκη του ορισού ελέγχεται εύκολα όπως στα προηγούενα παραδείγατα.Τώρα, από τις ιδιότητες 3 και 4 του Θεωρήατος 12

EMn+1

Fn

= E

αSnαXn+1zn+1

Fn

= zn+1αSnE

αXn+1

Fn

= zMnEαXn+1

=

1

2zMn

α+

1

α

.

Εποένως, η Mnn∈N0 είναι martingale, αν και όνο αν

α+1

α=

2

z⇔ α =

1±√1− z2

z.

Παράδειγα 32 Αν η Z είναι ια τυχαία εταβλητή ε E|Z|

< ∞, τότε η Mn = E

ZFn

είναι

martingale. Πράγατι, από τις ιδιότητες 5 και 2 του Θεωρήατος 12, έχουε

E|Mn|

= E

EZFn

≤ E

E|Z|

Fn

= E

|Z|

< ∞.

Επιπλέον, από την ιδιότητα 6 του Θεωρήατος 12, για κάθε n ∈ N0 έχουε

EMn+1

Fn

= E

EZFn+1

Fn

= E

ZFn

= Mn.

55

Παράδειγα 33 (ετασχηατισός martingale) ΄Εστω Mnn∈N0 ια Fn-martingale. Θεωρούε ιαστοχαστική διαδικασία φnn∈N0 προσαροσένη στην Fnn∈N0 , τέτοια ώστε, για κάθε n ∈ N0 η τυχαίαεταβλητή φn είναι φραγένη από ια σταθερά Cn. Ορίζουε (φ ·M)0 = 0 και για n ∈ N

(φ ·M)n =n−1

k=0

φk(Mk+1 −Mk).

Η (φ ·M)nn∈N0 είναι ια martingale. Η ιδιότητα 1 δεν είναι δύσκολο να ελεγχθεί, ενώ

E(φ ·M)n+1

Fn

= E

(φ ·M)n+φn(Mn+1−Mn)

Fn

= (φ ·M)n+φnE

Mn+1−Mn

Fn

= (φ ·M)n,

όπου στη δεύτερη ισότητα χρησιοποιήσαε ότι η φn είναι Fn-ετρήσιη ώστε, από την ιδιότητα 4 τουΘεωρήατος 12, να τη βγάλουε εκτός της δεσευένης έσης τιής.

΄Εστω ότι παίζουε ένα τίιο παιχνίδι όπου πριν από κάθε γύρο ποντάρουε κάποια νοίσατα. Σε κάθεγύρο κερδίζουε ή χάνουε ε πιθανότητα 1/2. Αν κερδίσουε σε κάποιον γύρο, ας επιστρέφεται τοστοιχηά ας στο διπλάσιο, διαφορετικά χάνουε όσα νοίσατα στοιχηατίσαε. Αν πριν από κάθε γύροποντάρουε ένα νόισα, η περιουσία ας θα είναι ένας τυχαίος περίπατος στους ακεραίους

Mn = x+n

k=1

Xk.

Στην παραπάνω σχέση x είναι το αρχικό πλήθος των νοισάτων ας, ενώ οι τυχαίες εταβλητές Xk

παριστάνουν το κέρδος ας κατά τον γύρο k και έχουν έση τιή 0. Αν τώρα πριν από τον γύρο k + 1ποντάρουε φk νοίσατα, τότε η εταβολή της περιουσίας ας θα είναι φkXk+1 = φk(Mk+1 − Mk) καιη περιουσία ας ετά τον n-οστό γύρο θα είναι x+ (φ ·M)n. Μπορούε να επιτρέψουε στο ποντάρισάας να εξαρτάται απ΄ ό,τι έχει συβεί έχρι τη στιγή που ποντάρουε, αλλά όχι απ΄ ό,τι θα συβεί στοέλλον. Εποένως, για κάθε k ∈ N0, η φk είναι ια τυχαία εταβλητή, που εξαρτάται όνο από τιςX1, X2, . . . , Xk, είναι δηλαδή Fk-ετρήσιη. Το προηγούενο παράδειγα ας διδάσκει ότι, ακόα κι ανποντάρουε χρησιοποιώντας τη σοφία που έχουε κάθε φορά σωρεύσει, η περιουσία ας θα είναι και πάλιια martingale. Το ακόλουθο θεώρηα ας διδάσκει ότι δεν πορούε να αυξήσουε την αναενόενηπεριουσία ας ποντάροντας έξυπνα.

Θεώρηα 13 Αν η διαδικασία Mnn∈N0 είναι martingale, τότε EMn+k

Fk

= Mk, για κάθε k ∈ N0

και n ∈ N. Ειδικότερα, EMn

= E

M0

, για κάθε n ∈ N.

Απόδειξη: ΄Εστω k ∈ N0. Θα αποδείξουε τον ισχυρισό ε επαγωγή επί του n. Για n = 1 ο ισχυρισόςσυπίπτει ε την ιδιότητα 2 του ορισού ιας martingale. ΄Εστω τώρα ότι E

Mn+k

Fk

= Mk για κάποιο

n ∈ N. Από την ιδιότητα 6 του Θεωρήατος 12, έχουε

EMn+k+1

Fk

= E

EMn+k+1

Fn+k

Fk

= E

Mn+k

Fk

= Mk,

όπου η τελευταία ισότητα προκύπτει από την επαγωγική υπόθεση. Ειδικότερα, για k = 0 έχουεEMn

F0= M0. Το ζητούενο προκύπτει τώρα από την ιδιότητα 2 του Θεωρήατος 12, παίρνον-

τας την αναενόενη τιή των δύο ελών.

Σύφωνα ε το προηγούενο θεώρηα, η αναενόενη τιή ιας martingale είναι η ίδια σε όποια χρονικήστιγή n ∈ N0 κι αν την υπολογίσουε. ΄Ενα κεντρικό αποτέλεσα στη ελέτη των martingale είναι ότιη παραπάνω ιδιότητα παραένει σε ισχύ ακόα κι αν αυτή η χρονική στιγή είναι ένας φραγένος χρόνοςδιακοπής.

56

Θεώρηα 14επιλεκτικής διακοπής (optional stopping)

Αν η διαδικασία Mnn∈N0 είναι Fn-martingale

και ο τυχαίος χρόνος T είναι φραγένος χρόνος διακοπής της Xnn∈N0 , τότε

EMT

= E

M0

.

Απόδειξη: ΄Εστω N ένα άνω φράγα του χρόνου T . ΄Εχουε τότε ότι 1 =

N

k=0 T = k και

EMT

=

N

k=0

EMT T = k

=

N

k=0

EMk T = k

. (4.3)

Από το Θεώρηα 13 έχουε ότι EMN

Fk

= Mk, για k = 0, 1, . . . , N − 1. Εφόσον ο T είναι χρόνος

διακοπής, η T = k εξαρτάται όνο από τις X0, . . . , Xk και παίρνει τιές στο διάστηα [0,1]. Εποένως,από το Θεώρηα 4.2 έχουε ότι

EMN T = k

= E

Mk T = k

.

Αντικαθιστώντας τώρα στην (4.3) έχουε ότι

EMT

=

N

k=0

EMN T = k

= E

MN

= E

M0

,

όπου η τελευταία ισότητα προκύπτει πάλι από το Θεώρηα 13.

Παρατήρηση 1: Το προηγούενο θεώρηα ας διδάσκει ότι δεν πορούε να αυξήσουε την αναε-νόενη περιουσία ας σ΄ ένα τίιο παιχνίδι ακολουθώντας ια στρατηγική εξόδου που πορεί να εξαρτάταιαπ΄ ό,τι έχει συβεί στο παρελθόν, αλλά οφείλει να έχει ολοκληρωθεί έχρι κάποια συγκεκριένη χρονικήστιγή N .

Παρατήρηση 2: Η υπόθεση ότι ο χρόνος διακοπής T είναι φραγένος είναι ουσιαστική. εν πορείεν γένει να αντικατασταθεί από την ασθενέστερη συνθήκη P

T < ∞

= 1, όπως φαίνεται στο παράδειγα

που ακολουθεί.

Παράδειγα 34 Θεωρούε έναν απλό, συετρικό, τυχαίο περίπατο Snn∈N0 στο Z, που ξεκινά απότο ηδέν. ΄Εστω T1 = infk ≥ 0 : Xk = 1 ο χρόνος πρώτης άφιξης του περιπάτου στο 1. ΄Οπωςείδαε στο Παράδειγα 14, ο T1 είναι χρόνος διακοπής, ενώ, από το Παράδειγα 17, ο Snn∈N0 είναιεπαναληπτικός. Το Λήα 4 δίνει λοιπόν ότι P0

T1 < ∞

= 1. Είναι φανερό όως ότι στο ενδεχόενο

T1 < ∞ έχουε ST1 = 1, εποένως EST1

= 1, ενώ E

S0

= 0.

Παρατήρηση 3: Στην πράξη είναι σπάνιο να πορεί να εξασφαλίσει κανείς ότι ένας ενδιαφέρων χρόνοςδιακοπής T είναι φραγένος. Σύφωνα όως ε το Παράδειγα 13, ο σταθερός χρόνος N ∈ N είναι χρόνοςδιακοπής, ενώ, αξιοποιώντας το Πόρισα 1, ο χρόνος T ∧N = minT,N είναι χρόνος διακοπής και είναιπροφανώς φραγένος από το N . Εφαρόζουε λοιπόν συνήθως το Θεώρηα επιλεκτικής διακοπής γιατον T ∧N και προσπαθούε να περάσουε το αποτέλεσα που παίρνουε στον αρχικό χρόνο διακοπής T ,στέλνοντας το N στο άπειρο. Θα δούε πώς ακριβώς δουλεύει αυτή η διαδικασία στα παραδείγατα πουακολουθούν.

Παράδειγα 35 ΄Ενας απλός, συετρικός τυχαίος περίπατος Snn∈N0 ξεκινάει από το x ∈ Z. Ανa, b ∈ Z, ε a < x < b και Ta, Tb είναι οι χρόνοι πρώτης άφιξης στα a, b αντίστοιχα, θέλουε ναυπολογίσουε την πιθανότητα Px

Tb < Ta

.

57

Είδαε στο Παράδειγα 29 ότι η Snn∈N0 είναι martingale, οπότε άεσα προκύπτει ότι και η Mnn∈N0

ε Mn = Sn − a είναι martingale. ΄Οπως είδαε στο παράδειγα 14 οι Ta, Tb, αλλά και ο χρόνος

T = Ta,b = Ta ∧ Tb = infk ≥ 0 : Sk ∈ a, b

είναι χρόνοι διακοπής. Θα εφαρόσουε το Θεώρηα επιλεκτικής διακοπής για τη martingale Mnn∈N0

και τον φραγένο χρόνο διακοπής T ∧N . ΄Εχουε λοιπόν

x− a = Ex

M0

= Ex

MT∧N

= Ex

MT T < N

+ Ex

MN T ≥ N

.

Παρατηρήστε τώρα ότι MT = 0 στο ενδεχόενο Ta < Tb ∧ N, ενώ MT = b − a στο ενδεχόενοTb < Ta ∧N. ΄Εχουε λοιπόν ότι

x− a = (b− a) Px

Tb < Ta ∧N

+ Ex

MN T ≥ N

. (4.4)

Παρατηρήστε τώρα ότι η ακολουθία ενδεχοένων BN = Tb < Ta ∧ N είναι αύξουσα και ∪NBN =Tb < Ta. Εποένως, αν στείλουε το N στο άπειρο, ο πρώτος προσθετέος στο δεξί έλος τείνει στο(b−a)Px

Tb < Ta

. Σε ό,τι αφορά στον δεύτερο προσθετέο παρατηρήστε ότι στο ενδεχόενο CN = T ≥

N ο περίπατος έχρι τη χρονική στιγή N δεν έχει βγει από το σύνολο a, a+1, . . . , b−1, b. Εποένως,Ex

MN T ≥ N

≤ max|a|, |b| Px

T ≥ N

→ max|a|, |b| Px

T = ∞

,

αφού η ακολουθία ενδεχοένων CN είναι φθίνουσα, ε ∩NCN = T = ∞. ΄Οπως έχουε δει όωςο απλός, συετρικός τυχαίος περίπατος είναι επαναληπτικός, εποένως Px

T = ∞

= 0. Παίρνοντας

λοιπόν N → ∞ στην (4.4) παίρνουε ότι

Px

Tb < Ta

=

x− a

b− a.

Παράδειγα 36 Στο προηγούενο παράδειγα θέλουε να υπολογίσουε τον αναενόενο χρόνο ε-ξόδου του περιπάτου από το σύνολο a, a + 1, . . . , b − 1, b. Θα χρησιοποιήσουε τη martingale τουΠαραδείγατος 30 και τον φραγένο χρόνο διακοπής Ta,b ∧N , όπου Ta,b = inf

k ≥ 0 : Sk ∈ a, b

είναι

ο χρόνος πρώτης άφιξης στο σύνολο a, b. ΄Εχουε λοιπόν για κάθε N ∈ N ότι

x2 = Ex

M0

= Ex

MTa,b∧N

= Ex

S2Ta,b∧N

− Ex

Ta,b ∧N

. (4.5)

΄Οπως και στο προηγούενο παράδειγα,

limN→∞

Ex

S2Ta,b∧N

= a2Px

Ta < Tb

+ b2Px

Tb < Ta

= x(a+ b)− ab.

Για να υπολογίσουε το όριο του Ex

Ta,b ∧N

, πορούε είτε να επικαλεστούε το Θεώρηα ονότονης

σύγκλισης της Θεωρίας Μέτρου (δείτε το Πόρισα 1.6 στο [8]), είτε να χρησιοποιήσουε το ακόλουθοχρήσιο αποτέλεσα από τις Πιθανότητες. Αν X είναι ια τυχαία εταβλητή που παίρνει ε πιθανότητα 1τιές στους η αρνητικούς ακεραίους, όπως π.χ. η Ta,b και η Ta,b ∧N στο παράδειγά ας, τότε

EX=

∞

k=0

PX > k

.

΄Εχουε λοιπόν ότι

Ex

Ta,b ∧N

=

∞

k=0

Px

Ta,b ∧N > k

=

N−1

k=0

Px

Ta,b > k

.

58

Εποένως,

limN→∞

Ex

Ta,b ∧N

= lim

N→∞

N−1

k=0

Px

Ta,b > k

=

∞

k=0

Px

Ta,b > k

= Ex

Ta,b

.

Παίρνοντας το όριο N → ∞ στην (4.5) παίρνουε

Ex

Ta,b

= (x− a)(b− x).

Στην ειδική περίπτωση όπου −a = b = R και x = 0, αν συβολίσουε ε TR = infk ≥ 0 : |Sk| ≥ R τονχρόνο άφιξης του περιπάτου στο −R,R, έχουε

E0TR

= R2.

Βλέπουε λοιπόν ότι ο αναενόενος χρόνος έχρι ο απλός, συετρικός τυχαίος περίπατος να διανύσειαπόσταση R, είναι R2. Αυτό είναι ένα χαρακτηριστικό των διαχυτικών διαδικασιών, που δεν έχουν τηντάση να ετακινούνται προς κάποια κατεύθυνση και η ετακίνησή τους συβαίνει όνο ως αποτέλεσατυχαίων διακυάνσεων.

Παράδειγα 37 Μπορούε, χρησιοποιώντας το Θεώρηα επιλεκτικής διακοπής, να υπολογίσουε α-κόα και την κατανοή του χρόνου TR στο προηγούενο παράδειγα. Θυηθείτε από το Παράδειγα 31ότι, για z ∈ (0, 1), η διαδικασία αSnzn είναι martingale, αν

α =1±

√1− z2

z.

Παρατηρήστε ότι οι παραπάνω τιές του α είναι η ία αντίστροφη της άλλης. Εύκολα επίσης ελέγχεται ότιτο άθροισα δύο martingale είναι οοίως ια martingale. Εποένως, η διαδικασία Mnn∈N0 , ε

Mn =αSn + α−Sn

zn,

είναι martingale. Εφαρόζοντας το Θεώρηα επιλεκτικής διακοπής γι΄ αυτήν τη martingale και τον φραγ-ένο χρόνο διακοπής TR ∧N , έχουε

αx + α−x = Ex

M0

= Ex

MTR∧N

= Ex

MTR TR ≤ N

+ Ex

MN TR > N

. (4.6)

Παρατηρήστε τώρα ότι, στο ενδεχόενο TR > N , ο περίπατος βρίσκεται έσα στο σύνολο IR = −R, . . . , Rτη χρονική στιγή N . Χρησιοποιώντας ότι αk + α−k ≤ αR + α−R για κάθε k ∈ IR και ότι z ∈ (0, 1)έχουε ότι

Ex

MN TR > N

≤ (αR + α−R)Px

TR > N

→ 0, καθώς N → ∞.

Επιπλέον, από τον ορισό του χρόνου διακοπής TR, έχουε ότι MTR = (αR + α−R)zTR . Εποένως,

Ex

MTR TR ≤ N

= (αR + α−R)Ex

zTR TR ≤ N

= (αR + α−R)

N

k=0

zkPx

TR = k

−→ (αR + α−R)∞

k=0

zkPx

TR = k

= (αR + α−R)Ex

zTR

.

Παίρνοντας το όριο καθώς N → ∞ στη σχέση (4.6) έχουε λοιπόν ότι

Ex

zTR

=

αx(z) + α−x(z)

αR(z) + α−R(z), z ∈ (0, 1),

όπου α(z) = 1−√1−z2

z.

59

4.4 Martingales και αρκοβιανές αλυσίδες

Στην παράγραφο αυτή θα δούε πώς πορούε να υπολογίσουε, ε τη βοήθεια του Θεωρήατος επιλεκτι-κής διακοπής, πολλές ενδιαφέρουσες ποσότητες που εφανίζονται όταν ελετάε αρκοβιανές αλυσίδες.

Ας ξεκινήσουε ε έναν απλό υπολογισό. ΄Εστω Xnn∈N0 ια αρκοβιανή αλυσίδα στον αριθήσιοχώρο καταστάσεων X. Θεωρούε ια συνάρτηση f : X → R, τέτοια ώστε E

|f(Xn)|

< ∞ για κάθε

n ∈ N0. Από τη αρκοβιανή ιδιότητα έχουε ότι Ef(Xn+1)

Fn

= E

f(Xn+1)

Xn

. Αυτή η δεσευ-

ένη έση τιή είναι, όπως είδαε, ια τυχαία εταβλητή, η οποία είναι συνάρτηση της Xn, και η τιή τηςστο ενδεχόενο Xn = x είναι

Ef(Xn+1)

Xn = x=

y∈Xp(x, y)f(y).

Εποένως,Ef(Xn+1)

Fn

=

y∈Xp(Xn, y)f(y). (4.7)

Θεώρηα 15 Αν E|f(Xn)|

< ∞ για κάθε n ∈ N0, τότε η στοχαστική διαδικασία Mf

nn∈N0 εMf

0 = f(X0) και

Mf

n = f(Xn)−n−1

k=0

Lf(Xk), για κάθε n ∈ N

είναι Fn-martingale.

Απόδειξη: Παρατηρήστε αρχικά ότι

Lf(Xk) =

y∈Xp(Xk, y)

f(y)−f(Xk)

=

y∈Xp(Xk)f(y)−f(Xk)

y∈Xp(Xk, y) = E

f(Xk+1)

Fn

−f(Xk).

΄Εχουε εποένως

Mf

n+1 −Mf

n = f(Xn+1)− f(Xn)− Lf(Xn) = f(Xn+1)− Ef(Xn+1)

Fn

και

Mf

n = Mf

0 +n

k=1

Mf

k−Mf

k−1

= f(X0) +

n

k=1

f(Xk)− Ef(Xk)

Fk−1

.

Από την τριγωνική ανισότητα παίρνουε ότι E|Mf

n |< ∞, ενώ

EMf

n+1

Fn

= Mf

n + EMf

n+1 −Mf

n

Fn

= Mf

n .

Χρησιοποιώντας το Θεώρηα επιλεκτικής διακοπής, κάθε martingale που πορούε να γράψουε αςδίνει ια πληροφορία για τη συπεριφορά της στοχαστικής διαδικασίας που ελετάε. Το Θεώρηα 15 αςπροσφέρει έναν συστηατικό τρόπο για να κατασκευάζουε martingale που σχετίζονται ε ια αρκοβιανήανέλιξη που θέλουε να αναλύσουε. Επιλέγοντας κατάλληλα τη συνάρτηση f , πορούε να κάνουεχρήσιους υπολογισούς.

60

Αυτή η ιδέα ρίχνει καινούργιο φως στα αποτελέσατα του Κεφαλαίου 3. Για παράδειγα, αν επιλέξουεως f τη λύση του ΠΣΤ 3.2

Lf(x) = 0, αν x /∈ A ∪B

f(x) = 1, αν x ∈ A

f(x) = 0, αν x ∈ B

(4.8)

και εφαρόσουε το Θεώρηα επιλεκτικής διακοπής για τον χρόνο διακοπής TN = TA∪B ∧N , παίρνουεότι

f(x) = Ex

Mf

TN

= Ex

f(XTN )−

TN−1

k=0

Lf(Xk)= Ex

f(XTN )

, για κάθε N ∈ N,

όπου στην τελευταία ισότητα χρησιοποιήσαε ότι πριν τον χρόνο TN , η αλυσίδα οπωσδήποτε βρίσκεταιεκτός των A και B, οπότε Lf(Xk) = 0 στο παραπάνω άθροισα. Προσέξτε ότι η εξίσωση που η fικανοποιεί εκτός των A και B, επιλέχθηκε ακριβώς ώστε να απλοποιήσει την παραπάνω έκφραση. Προσέξτεακόη ότι οι συνοριακές συνθήκες για την f έχουν έτσι επιλεγεί, ώστε περνώντας στο όριο (όταν αυτόείναι δυνατόν) το δεξί έλος να ας δίνει την πιθανότητα Px

TA < TB

.

Ανάλογα πορεί να σκεφτεί κανείς και για τη λύση f του ΠΣΤ 3.13

Lf(x) = −1, αν x /∈ A

f(x) = 0, αν x ∈ A.(4.9)

Εδώ έχουε επιλέξει την εξίσωση που ικανοποιεί η f εκτός του A, ώστε το άθροισα

−TN−1

k=0

Lf(Xk) = TN

να εφανίζει την ποσότητα της οποίας την αναενόενη τιή θέλουε να βρούε. Επιπλέον, οι ηδενικέςσυνοριακές συνθήκες εξασφαλίζουν ότι δεν θα έχουε άλλους ανεπιθύητους όρους.

Παράδειγα 38 Στον απλό, συετρικό τυχαίο περίπατο θέλουε να υπολογίσουε τον αναενόενοαριθό των επισκέψεων στο ηδέν πριν από τον χρόνο εξόδου TR = infk ≥ 0 : |Sk| = R, δηλαδή την

Ex

V (TR)

= Ex

TR−1

k=0

δ0(Xk).

Θα θέλαε να χρησιοποιήσουε το Θεώρηα επιλεκτικής διακοπής για τη martingaleMfnn∈N0 , όπου η

f είναι ια συνάρτηση που ικανοποιεί το ΠΣΤ

Lf(x) = −δ0(x), αν |x| < R

f(x) = 0, αν |x| > R.

Πράγατι, ε αυτή την επιλογή έχουε ότι

−TN−1

k=0

Lf(Xk) =TR−1

k=0

δ0(Xk)

61

Επιπλέον, λόγω των συνοριακών συνθηκών, θα έχουε ηδενική συνεισφορά από όρους της ορφήςf(XTR). εν είναι ιδιαίτερα δύσκολο να βρούε ια συνάρτηση ε αυτές τις ιδιότητες. Η συνθήκη

Lf(x) = 0 ⇔ f(x+ 1) + f(x− 1)

2−f(x) = 0 ⇔ f(x+1)−f(x) = f(x)−f(x−1), x = 1, 2, . . . , R−1,

επιβάλλει η f να είναι γραική για x ≥ 0. Για να ικανοποιήσουε ταυτόχρονα τη συνοριακή συνθήκηστο R, θα πρέπει εποένως να έχουε f(x) = A(R − x) για x = 0, 1, . . . , R. Οοίως, θα πρέπει f(x) =B(R+ x), για x = 0,−1, . . . ,−R. Θέτοντας x = 0 στους δύο κλάδους παίρνουε ότι f(0) = AR = BR,εποένως έχουε A = B και

f(x) = A(R− |x|), x ∈ −R,−R+ 1, . . . , R− 1, R.

Θα υπολογίσουε τώρα τη σταθερά A, ώστε Lf(0) = −1. ΄Εχουε όως

Lf(0) =f(1) + f(−1)

2− f(0) = −A,

εποένως f(x) = R − |x|. Εφαρόζουε τώρα το Θεώρηα επιλεκτικής διακοπής για τη Mfnn και τον

χρόνο διακοπής TR ∧N .

R− |x| = Ex

Mf

TR∧N= Ex

f(XTR∧N )

+ Ex

V (TR ∧N)

= Ex

R− |XN |

TR > N

+ Ex

TR∧N−1

k=0

δ0(Xk).

Ο πρώτος όρος του δεξιού έλους φράσσεται από την RPx

TR > N

→ RPx

TR = ∞

= 0, αφού η

ακολουθία ενδεχοένων CN = TR > N είναι φθίνουσα και ∩NCN = TR = ∞. Για τον δεύτεροόρο, πορούε είτε να χρησιοποιήσουε το Θεώρηα ονότονης σύγκλισης (Πόρισα 1.6 στο [8]), είτενα ελέγξουε, ε τη βοήθεια του Θεωρήατος Fubini-Tonelli, ότι

Ex

TR∧N−1

k=0

δ0(Xk)=

N−1

k=0

Ex

δ0(Xk) TR > k

.

΄Εχουε τότε ότι

limN→∞

Ex

TR∧N−1

k=0

δ0(Xk)=

∞

k=0

Ex

δ0(Xk) TR > k

= Ex

TR−1

k=0

δ0(Xk).

Εποένως,

Ex

TR−1

k=0

δ0(Xk)= R− |x|.

Παράδειγα 39 Μπορούε να χρησιοποιήσουε τις παραπάνω ιδέες για να δείξουε ότι ο απλός,συετρικός τυχαίος περίπατος στο Zd είναι παροδικός για d > 2. Θυηθείτε ότι όταν d = 1 ή 2, ο απλός,συετρικός, τυχαίος περίπατος είναι επαναληπτικός. Για x = (x1, . . . , xd) ∈ Zd ορίζουε

|x|2 =d

i=1

x2i

62

καιV (x) = |x|−α, x = 0, V (0) = 1.

Αν 0 < α < d − 2, πορεί κανείς να ελέγξει ότι υπάρχει ια σταθερά L = L(α, d) > 0, τέτοια ώστεLV (x) ≤ 0, όταν |x| > L. Αν ξεκινήσουε τον περίπατο από κάποιο x ∈ Zd, ε |x| > L και ορίσουεTL = infk ≥ 0 : |Xk| ≤ L να είναι ο χρόνος πρώτης άφιξης του περιπάτου στη σφαίρα ε κέντρο το 0και ακτίνα L, το Θεώρηα επιλεκτικής διακοπής δίνει ότι

|x|−α = V (x) = Ex

V (XTL∧N )

− Ex

TL∧N−1

k=0

LV (Xk)≥ Ex

V (XTL∧N )

Επιπλέον,

Ex

V (XTL∧N )

= Ex

V (XTL) TL ≤ N

+ Ex

V (XN ) TL > N

≥ L−αPx

TL ≤ N

.

Συνδυάζοντας τις δύο παραπάνω σχέσεις, παίρνουε ότι

Px

TL ≤ N

≤

L

x

α

.

Εφόσον τώρα η ακολουθία ενδεχοένων CN = TL ≤ N είναι αύξουσα και ∪NCN = TL < ∞,παίρνοντας το όριο καθώς N → ∞ έχουε ότι

Px

TL < ∞

≤

L

x

α

< 1,

εποένως ο περίπατος είναι παροδικός.

Θεώρηα 16 ΄Εστω A ⊂ X και g : A → R ια φραγένη συνάρτηση. Αν Px

TA < ∞

= 1 για κάθε

x ∈ Ac, τότε το ΠΣΤ Lf(x) = 0, αν x /∈ A

f(x) = g(x), αν x ∈ A(4.10)

έχει το πολύ ια φραγένη λύση, που δίνεται από την

f(x) = Ex

g(XTA)

.

Απόδειξη: Το ότι η Ex

g(XTA)

λύνει το ΠΣΤ (4.10) αποδεικνύεται ε ανάλυση πρώτου βήατος, ε τρόπο

εντελώς ανάλογο ε το Θεώρηα 7 του Κεφαλαίου 3. είξτε το για εξάσκηση. Για τη οναδικότητα, αςυποθέσουε ότι η f είναι φραγένη και ικανοποιεί το ΠΣΤ 4.10. Από το Θεώρηα επιλεκτικής διακοπήςέχουε ότι

f(x) = Ex

f(XTA∧N )

− Ex

TA∧N−1

k=0

Lf(Xk)= Ex

f(XTA∧N )

= Ex

g(XTA) TA ≤ N

+ Ex

f(XN ) TA > N

.

Από την υπόθεση έχουε ότι Px

TA = ∞

= 0. Αν λοιπόν η σταθερά M είναι ένα κοινό φράγα των |f |

και |g|, τότεEx

g(XTA) TA > N

+ Ex

f(XN ) TA > N

≤ 2MPx

TA > N

→ 0.

63

Εποένως, παίρνοντας N → ∞ έχουε ότι f(x) = Ex

g(XTA)

.

Το παραπάνω Θεώρηα λειτουργεί προς δύο κατευθύνσεις. Αν πορούε να λύσουε το ΠΣΤ 4.10,τότε έχουε έναν τρόπο για να υπολογίσουε την Ex

g(XTA)

. Αντίστροφα, αν θέλουε να λύσουε το

ΠΣΤ 4.10, που συχνά είναι ια εξίσωση διαφορών σε πολλές διαστάσεις, πορούε να βρούε τη λύσηπροσεγγιστικά, προσοοιώνοντας τροχιές ιας αρκοβιανής αλυσίδας ε γεννήτορα L και εκτιώντας τηέση τιή Ex

g(XTA)

ε εθόδους Monte Carlo.


΄Ασκηση 51 Μπορούε να φανταστούε ια συνεχή συνάρτηση X : [0, 1) → R ως ια τυχαία εταβλητήορισένη στον δειγατικό χώρο Ω = [0, 1). Εφοδιάζουε τον Ω ε το σύνηθες έτρο που δίνει στα δια-στήατα [a, b) πιθανότητα b−a. Ορίζουε τώρα στον Ω την τυχαία εταβλητή Y , ε τιές στο 0, 1, . . . , 9και τύπο Y (x) = k αν k

10 ≤ x < k+110 , k = 0, 1, . . . , 9. Υπολογίστε ε τη βοήθεια του Θεωρήατος 4.2

την EX

Y.

΄Ασκηση 52 Ρίχνουε δύο ζάρια. Ανάλογα ε το άθροισα των ζαριών Y , επιλέγουε τυχαία έναναριθό X από το σύνολο 1, 2, . . . , Y . Υπολογίστε την E

XY

και επιβεβαιώστε την ιδιότητα 2 του

Θεωρήατος 12.

΄Ασκηση 53 (ανισότητα Jensen) Αν η f : R → R είναι ια κυρτή συνάρτηση, η γραφική της παράστασηείναι πάνω από την εφαπτοένη της σε οποιοδήποτε σηείο (x0, f(x0)) του γραφήατος της f . Εποένως,για κάθε x0, x ∈ R,

f(x) ≥ f(x0) + f ±(x0)(x− x0).

Με τη βοήθεια της παραπάνω ανισότητας δείξτε ότι, αν E|X|

< ∞ και Y είναι ια διακριτή τυχαία

εταβλητή, τότε

Ef(X)

Y≥ f

EX

Y

.

Μια ειδική περίπτωση αυτής της ανισότητας είναι η ιδιότητα 5 του Θεωρήατος 12, αφού η x → |x| είναικυρτή.

΄Ασκηση 54 Ας θεωρήσουε τον δειγατικό χώρο Ω = [0, 1) και την τυχαία εταβλητή Z : Ω → R ετύπο Z(x) = x2, x ∈ Ω. Ας θεωρήσουε επίσης την ακολουθία τυχαίων εταβλητών Xnn∈N0 , όπου

Xn(x) =k

2n, x ∈ [

k

2n,k + 1

2n), k = 0, 1, . . . , 2n − 1.

Φτιάξτε τις γραφικές παραστάσεις των X0, X1, X2, X3. Στη συνέχεια, ε τη βοήθεια της ΄Ασκησης 51,βρείτε τις Mn = E

ZX0, . . . , Xn

για n = 1, 2, 3 και ζωγραφίστε τις γραφικές παραστάσεις τους.

΄Ασκηση 55 Ορίζουε τη στοχαστική διαδικασία Snn∈N0 , ε S0 = x > 0 και Sn = Sn−1Xn, n ∈ N,όπου η Xnn∈N είναι ια ακολουθία από ανεξάρτητες τυχαίες εταβλητές, ε

PXn = u

= q ∈ (0, 1), P

Xn = d

= 1− q, για κάθε n ∈ N,

όπου u, d > 0. Βρείτε την ικανή και αναγκαία συνθήκη που πρέπει να πληρούν οι παράετροι u, d, q, ώστεη Snn∈N0 να είναι martingale. Είναι η στοχαστική διαδικασία logSnn∈N0 martingale;

64

΄Ασκηση 56 ίνεται ένας περίπατος Snn∈N0 στους ακεραίους, ε S0 = x ∈ Z και

Sn = x+n

k=1

Xk, n ∈ N,

όπου οι Xkk∈N είναι ανεξάρτητες, ισόνοες τυχαίες εταβλητές ε EXk

= µ = 0. είξτε ότι η

διαδικασία Mnn∈N0 , ε Mn = Sn − µn είναι martingale.

΄Ασκηση 57 Ρίχνετε ένα ζάρι ώσπου το άθροισα των ζαριών σας να φτάσει ή να ξεπεράσει τον αριθόν ∈ N. Αν N ∈ N είναι ο αριθός των ζαριών που θα χρειαστεί να ρίξετε ώσπου να συβεί αυτό, δείξτεότι

EN>

2ν

7.

΄Ασκηση 58 Για τον απλό, συετρικό τυχαίο περίπατο στους ακεραίους Snn∈N0 , υπολογίστε τη στα-θερά α ώστε η διαδικασία Mnn∈N0 ε

Mn = S3n − αnSn

να είναι martingale.

΄Ασκηση 59 ΄Εστω z ∈ (0, 1). Για έναν απλό τυχαίο περίπατο στους ακεραίους, ε p(x, x + 1) = p ∈(0, 1) και p(x, x− 1) = 1− p για κάθε x ∈ Z, δείξτε ότι η στοχαστική διαδικασία Mnn∈N0 , ε

Mn = αSnzn, n ∈ N0,

είναι martingale, αν και όνο αν

α =1±

1− 4p(1− p)z2

2pz.

Στη συνέχεια, χρησιοποιήστε το Θεώρηα επιλεκτικής διακοπής, για να δείξετε ότι, αν S0 = x ∈ N, ηγεννήτρια συνάρτηση του χρόνου πρώτης άφιξης στο 0, T0 = infk ≥ 0 : Sk = 0 είναι η

ψ(z) = Ex

zT0

=

1−

1− 4p(1− p)z2

2pz

x

, z ∈ (0, 1).

Η γεννήτρια συνάρτηση έχει όλη την πληροφορία για την κατανοή του χρόνου T0. Π.χ. έχουε

Px

T0 < ∞

= lim

z↑1ψ(z) =

1− |1− 2p|

2p

x

=

1 , p ≤ 1

21−p

p

x

, p > 12 .

Υπολογίστε ε τη βοήθεια της ψ(z) και των παραγώγων της, τη έση τιή και τη διασπορά του T0.

΄Ασκηση 60 Μπορούε να επλουτίσουε τη γκάα των martingale που σχετίζονται ε ια αρκοβιανήαλυσίδα Xnn∈N0 θεωρώντας συναρτήσεις που εξαρτώνται και από τον χρόνο. είξτε κατ΄ αναλογία ετο Θεώρηα 15 ότι, αν E

|f(n,Xn)|

< ∞ για κάθε n ∈ N0, τότε η στοχαστική διαδικασία Mf

nn∈N0 ,ε Mf

0 = f(0, X0) και

Mf

n = f(n,Xn)−n−1

k=0

(f(n+ 1, Xk)− f(n,Xk) + Lf(Xk)) , για n ∈ N

είναι Fn-martingale.

65

΄Ασκηση 61 Για να βρούε τη γεννήτρια συνάρτηση ενός χρόνου άφιξης TA = infk ≥ 0 : Xk ∈ A

ψ(z) = EzTA

, z ∈ (0, 1),

πορούε να θεωρήσουε ια συνάρτηση f : N0 ×X → R ε τύπο f(n, x) = znh(x). Ποιο ΠΣΤ πρέπεινα ικανοποιεί η συνάρτηση h : X → R, ώστε εφαρόζοντας το Θεώρηα επιλεκτικής διακοπής για τηmartingale της προηγούενης άσκησης να βρίσκουε την ψ(z); Μπορείτε τώρα να βρείτε όνοι σας γιατίεπιλέξαε τη συγκεκριένη martingale στο Παράδειγα 37;

΄Ασκηση 62 Θεωρήστε τον απλό, συετρικό τυχαίο περίπατο στους ακεραίους και τη συνάρτηση f :Z → Z, f(k) = k4. είξτε ότι Lf(k) = 6k2 +1 και συπεράνετε ότι η διαδικασία Mnn∈N0 , ε M0 = 0και

Mn = X4n −X2

n − 6n−1

k=0

X2k, για n ∈ N,

είναι martingale. Αν X0 = 0 και TR = infk ≥ 0 : |Xk| = R είναι ο χρόνος πρώτης εξόδου από το−R+ 1, . . . , R− 1, υπολογίστε την

E TN

k=1

X2k

.

΄Ασκηση 63 Παίζουε ένα ευνοϊκό παιχνίδι στο οποίο σε κάθε γύρο ε πιθανότητα p ∈ (12 , 1) διπλασι-άζουε το στοίχηά ας και ε πιθανότητα 1 − p χάνουε το ποσόν που στοιχηατήσαε. Ξεκινάε εαρχική περιουσία S0 > 0 και αέσως πριν τον n-οστό γύρο πορούε να στοιχηατήσουε οποιοδήποτεποσόν Cn εταξύ του 0 και της περιουσίας ας έχρι εκείνη τη στιγή Sn−1. Εποένως, αέσως ετά τοn-οστό γύρο η περιουσία ας θα είναι

Sn = Sn−1 + CnXn,

όπου οι Xkk∈N είναι ανεξάρτητες, ισόνοες τυχαίες εταβλητές, που παίρνουν την τιή +1 ε πιθανότηταp και την τιή -1 ε πιθανότητα 1 − p. Η Cn πρέπει να ικανοποιεί την ανισότητα 0 ≤ Cn ≤ Sn−1 καιπορεί να εξαρτάται από τα αποτελέσατα των προηγούενων γύρων, θα πρέπει όως οπωσδήποτε να είναιFn−1-ετρήσιη. Ο σκοπός ας είναι να βρούε ια στρατηγική που εγιστοποιεί τον αναενόενο ρυθόεγέθυνσης

rn =1

nElog(Sn/S0)

.

είξτε ότι, ανεξαρτήτως της στρατηγικής βάσει της οποίας επιλέγουε τα στοιχήατά ας, η στοχαστικήδιαδικασία Mnn∈N0 ε τύπο

Mn = log(Sn)− nH(p), όπου H(p) = p log p+ (1− p) log(1− p) + log 2

ικανοποιεί την ανισότηταEMn+1

Fn

≤ Mn

και συπεράνετε ότι rn ≤ H(p) για κάθε n ∈ N. Βρείτε τώρα ια στρατηγική (έναν τρόπο να επιλέγετετα στοιχήατά σας Cnn∈|N ), τέτοια ώστε η Mnn∈N0 να είναι martingale και δείξτε ότι ε αυτή τηστρατηγική έχουε

limN→∞

1

nlog

Sn

S0

= H(p),

ε πιθανότητα 1.

66


΄Ασκηση 64 Θεωρούε το δισδιάστατο πλέγα hZ2 = hz : z ∈ Z2. Αν f : hZ2 → R, η διακριτήΛαπλασιανή της f δίνεται από τον τύπο

∆hf(x, y) =f(x+ h, y) + f(x− h, y) + f(x, y + h) + f(x, y − h)− 4f(x, y)

h2.

Θέλουε να υπολογίσουε τη λύση του προβλήατος συνοριακών τιών∆hf(x, y) = 0, αν |x|, |y| < 1

f(x, y) = | sin(πx)− sin(πy)|, αν |x| = 1, ή |y| = 1,

για h = 0.01, σύφωνα ε το αποτέλεσα του Θεωρήατος 4.10. Η ρουτίνα srw2d.py προσοοιώνειN = 10.000 βήατα ενός απλού, συετρικού τυχαίου περιπάτου στο Z2 και υπολογίζει την αναενόενητιή E

|XN |

ε τη έθοδο Monte Carlo. Προσοοιώνοντας ονοπάτια ενός απλού, συετρικού τυχαίου

περιπάτου στο Z2, εκτιήστε την τιή της λύσης του παραπάνω ΠΣΤ στο σηείο (1/2,1/4). Θα χρειαστείνα αλλάξετε τον κώδικα ώστε η προσοοίωση να σταατάει όχι τη συγκεκριένη χρονική στιγή N , αλλάστον χρόνο άφιξης του περιπάτου στο σύνορο.

΄Ασκηση 65 Σκοπός αυτής της άσκησης είναι να οπτικοποιήσουε την κίνηση ιας αρκοβιανής αλυ-σίδας. Κατεβάστε τον οδηγό και ακολουθήστε τα βήατα που περιγράφονται εκεί. είξτε τα διαδοχικάστιγιότυπα ενός γκέι τένις, τρέχοντας τον κώδικα tennis.py που λύνει την ΄Ασκηση 49.

67

http://www.math.ntua.gr/~loulakis/info/python_codes_files/srw2d.py

http://www.math.ntua.gr/~loulakis/info/python_codes_files/animationguide.pdf

http://www.math.ntua.gr/~loulakis/info/python_codes_files/tennis.py

Κεφάλαιο 5

Αναλλοίωτες κατανοές


Οι αναλλοίωτες κατανοές είναι κατά κάποιο τρόπο οι φυσικές καταστάσεις ιας αρκοβιανής αλυσίδας.Αν ια αλυσίδα ξεκινήσει από ια αναλλοίωτη κατανοή της, θα παραείνει σε αυτήν για πάντα, ενώ ηασυπτωτική συπεριφορά ιας αλυσίδας πορεί να χαρακτηριστεί έσω αυτών. Επίσης, οι απαντήσεις σεπολλά προβλήατα πορούν εύκολα να εκφραστούν έσω των αναλλοίωτων κατανοών. Σε αυτό το κε-φάλαιο θα δούε ικανές και αναγκαίες συνθήκες για την ύπαρξη αναλλοίωτων κατανοών, θα ελετήσουετις ιδιότητες και τη δοή τους. Παρόοιο υλικό πορείτε να βρείτε στις αναφορές [7] και [6].

5.2 Αναλλοίωτες κατανοές

Θα συβολίζουε το σύνολο των κατανοών στον X εM(X). ΄Ετσι

π ∈ M(X) ⇔ η π είναι ια συνάρτηση π : X → [0, 1] ε

x∈Xπ(x) = 1.

΄Εστω Xnn∈N ια αρκοβιανή αλυσίδα ε αρχική κατανοή π0 και πιθανότητες ετάβασης p(x, y)x,y∈X.Θα συβολίζουε την κατανοή της τυχαίας εταβλητής Xn ε πn, δηλαδή

πn(x) = PXn = x

, για x ∈ X. (5.1)

Το κεντρικό ερώτηα αυτού του κεφαλαίου είναι αν η πn συγκλίνει καθώς n → ∞ και, αν ναι, ποιο είναιτο όριό της π.

Ορισός Αν πnn είναι ια ακολουθία κατανοών στο M(X), θα λέε ότι συγκλίνει στην κατανοήπ ∈ M(X) αν και όνο η πιθανότητα που αποδίδει η πn σε κάθε κατάσταση συγκλίνει στην αντίστοιχηπιθανότητα που αποδίδει η π. ηλαδή,

πn → π ∈ M(X) ⇔ πn(x) → π(x), για κάθε x ∈ X. (5.2)

Παρατήρηση: Από ένα αποτέλεσα της θεωρίας έτρου, το λήα του Scheffe (βλ. [9], παρ. 5.10), οπαραπάνω ορισός είναι ισοδύναος ε το φαινοενικά ισχυρότερο αποτέλεσα

πn → π ∈ M(X) ⇔

x∈X|πn(x)− π(x)| → 0. (5.3)

Ορισός: Αν η πnn είναι η ακολουθία των κατανοών ιας αρκοβιανής αλυσίδας Xn, αν δηλαδήη πn ορίζεται όπως στην (5.1) για κάθε n ∈ N0 και πn → π ∈ M(X), θα λέε ότι η π είναι η κατανοή

68

ισορροπίας (ή εναλλακτικά η ασυπτωτική κατανοή) της Xn.

Το πρώτο ας αποτέλεσα χαρακτηρίζει τις υποψήφιες κατανοές ισορροπίας αρκοβιανών αλυσίδων.

Θεώρηα 17 Αν η ακολουθία πnn των κατανοών ιας αρκοβιανής αλυσίδας Xnn∈N ε πίνακαπιθανοτήτων ετάβασης P συγκλίνει στην κατανοή π ∈ M(X), τότε

π = πP, δηλαδή π(x) =

y∈Xπ(y)p(y, x), για κάθε x ∈ X. (5.4)

Απόδειξη: Είδαε στο δεύτερο κεφάλαιο ότι η κατανοή πn ιας αρκοβιανής αλυσίδας Xnn ετά απόn βήατα, δηλαδή η κατανοή της τυχαίας εταβλητής Xn, δίνεται από την

πn = π0Pn.

Εποένως, για κάθε n ∈ N έχουε

πn = π0(Pn−1P ) = (π0P

n−1)P = πn−1P,

δηλαδήπn(x) =

y∈Xπn−1(y)p(y, x) για κάθε x ∈ X.

Παίρνοντας το όριο καθώς n → ∞ στα δύο έλη της προηγούενης σχέσης, το αριστερό έλος συγκλίνειστην π(x), ενώ για το δεξί έλος έχουε

|

y∈Xπn−1(y)p(y, x)−

y∈Xπ(y)p(y, x)| ≤

y∈X|πn−1(x)− π(x)|p(y, x) ≤

y∈X|πn−1(x)− π(x)| → 0

από την (5.3). Εποένως, π(x) =

y∈X π(y)p(y, x), για κάθε x ∈ X.

Σύφωνα ε το προηγούενο Θεώρηα τα όνα υποψήφια όρια των κατανοών ιας αρκοβιανής αλυσίδαςε πίνακα πιθανοτήτων ετάβασης P είναι εκείνες οι π : X → [0, 1] για τις οποίες

π = πP

x∈X π(x) = 1.(5.5)

Ορισός: Αν ια κατανοή π ∈ M(X) ικανοποιεί την (5.4), θα λέε ότι είναι αναλλοίωτη (ή στάσιη)κατανοή για την αλυσίδα Xnn ε πίνακα πιθανοτήτων ετάβασης P .

Μπορούε να το αναδιατυπώσουε το Θεώρηα 17 ως εξής. Οι όνες δυνατές κατανοές ισορροπίας ιαςαρκοβιανής αλυσίδας είναι οι αναλλοίωτες κατανοές της. Η ορολογία αναλλοίωτη και στάσιη εξηγείταιαπό το παρακάτω Θεώρηα.

Θεώρηα 18 Αν η αρχική κατανοή π0 ∈ M(X) ιας αλυσίδας στον X ε πίνακα πιθανοτήτων ετάβα-σης P ικανοποιεί την (5.4) τότε

πn = π0, για κάθε n ∈ N.Επιπλέον, η Xnn∈N0 είναι στάσιη, δηλαδή για κάθε n, k ∈ N0 και κάθε x0, x1, . . . , xk ∈ X έχουε

PXn = x0, Xn+1 = x1, . . . , Xn+k = xk

= P

X0 = x0, X1 = x1, . . . , Xk = xk

.

Απόδειξη: Θα δείξουε τον ισχυρισό πn = π0 για κάθε n ∈ N επαγωγικά. Για n = 1 έχουε

π1 = π0P = π0,

69

ια και για την π0 έχουε υποθέσει ότι ικανοποιεί την (5.4). ΄Εστω τώρα ότι για κάποιο n ∈ N έχουεπn = π0. Τότε

πn+1 = πnP = π0P = π0.

Εποένως, πn = π0 για κάθε n ∈ N. Για τον δεύτερο ισχυρισό έχουε, από τη αρκοβιανή ιδιότητα,

PXn = x0, . . . , Xn+k = xk

= P

Xn = x0

PXn+1 = x1 |Xn = x0

· · ·P

Xn+k = xk |Xn+k−1 = xk−1

= πn(x0)p(x0, x1) · · · p(xk−1, xk)

= π0(x0)p(x0, x1) · · · p(xk−1, xk)

= PX0 = x0, X1 = x1, . . . , Xk = xk

.

Παράδειγα 40 ΄Εστω Xnn ια αρκοβιανή αλυσίδα σε έναν χώρο ε δύο καταστάσεις X = α,βκαι πίνακα πιθανοτήτων ετάβασης

P =

1− p pq 1− q

ε p, q ∈ (0, 1). Από την (5.5) προκειένου η π = (πα,πβ) να είναι αναλλοίωτη κατανοή της αλυσίδαςθα πρέπει να ικανοποιεί τις

πa = (1− p)πα + qπβπβ = pπα + (1− q)πβπα + πβ = 1.

Λύνοντας το παραπάνω σύστηα βρίσκουε ότι η

π = q

p+ q,

p

p+ q

είναι αναλλοίωτη κατανοή της αλυσίδας. Εποένως, αν η αρχική κατανοή της αλυσίδας είναι η π, ανδηλαδή

PX0 = α

=

q

p+ qκαι P

X0 = β

=

p

p+ q,

τότε πn = π για κάθε n ∈ N. Προσέξτε ότι σε κάθε της βήα η αλυσίδα αλλάζει κατάσταση ε πιθανότηταp αν βρίσκεται στην κατάσταση α ή q αν βρίσκεται στην κατάσταση β. Αυτό που δεν αλλάζει είναι ηκατανοή της Xn, δηλαδή η πιθανότητα να βρούε την αλυσίδα σε καθεία από τις δύο καταστάσεις.

5.3 Η δοή του I(P )

Στη συνέχεια θα εξετάσουε αν πορούε να βρούε αναλλοίωτες κατανοές για ια αλυσίδα και, στηνπερίπτωση που πορούε, ποιες είναι αυτές. Θα συβολίζουε ε I(P ) το σύνολο των αναλλοίωτωνκατανοών ιας αλυσίδας ε πίνακα πιθανοτήτων ετάβασης P , δηλαδή

I(P ) = π ∈ M(X) : π = πP.

Το επόενο λήα θα ας φανεί πολύ χρήσιο.

70

Λήα 6 Αν Xnn∈N0 είναι ια αρκοβιανή αλυσίδα ε πίνακα πιθανοτήτων ετάβασης P και π ∈ I(P ),τότε για κάθε x, y ∈ X έχουε

π(y) ≥ π(x) Ex

T+x

k=1

Xk = y. (5.6)

Απόδειξη: ΄Εστω π ∈ I(P ). Για κάθε x, y ∈ X έχουε

π(y) =

z∈Xπ(z)p(z, y) = π(x)p(x, y) +

z =x

π(z)p(z, y)

= π(x)p(x, y) +

z =x

u∈Xπ(u)p(u, z)

p(z, y)

= π(x)p(x, y) +

z =x

p(x, z)p(z, y)+

z,u =x

π(u)p(u, z)p(z, y).

Ας επαναλάβουε την παραπάνω διαδικασία ακόα ια φορά γράφοντας

π(u) =

w∈Xπ(w)p(w, u) = π(x)p(x, u) +

w =x

π(w)p(w, u).

Παίρνουε τότε ότι

π(y) = π(x)p(x, y) +

z =x

p(x, z)p(z, y) +

z,u =x

p(x, u)p(u, z)p(z, y)

+

z,u,w =x

π(w)p(w, u)p(u, z)p(z, y). (5.7)

Προσέξτε ότι στον όρο

z,u =xp(x, u)p(u, z)p(z, y) αθροίζουε τις πιθανότητες όλων των ονοπατιών

ήκους 3 που ξεκινούν από το x και καταλήγουν στο y χωρίς ενδιάεσα να έχουν ξαναπεράσει από το x.΄Αρα

z,u =x

p(x, u)p(u, z)p(z, y) = Px

X1 = x, X2 = x, X3 = y

= Px

X3 = y, T+

x ≥ 3.

Αντίστοιχα έχουε

z =x

p(x, z)p(z, y) = Px

X1 = x, X2 = y

= Px

X2 = y, T+

x ≥ 2

ενώp(x, y) = Px

X1 = y

= Px

X1 = y, T+

x ≥ 1.

Με αυτή την παρατήρηση πορούε να ξαναγράψουε την (5.7) ως

π(y) = π(x) 3

k=1

Px

Xk = y, T+

x ≥ k

+

z,u,w =x

π(w)p(w, u)p(u, z)p(z, y).

Θα πρέπει να είναι τώρα φανερό ότι, αν επαναλάβουε αυτήν τη διαδικασία n φορές, έχουε ότι

π(y) = π(x) n

k=1

Px

Xk = y, T+

x ≥ k

+

x1,...,xn =x

π(x1)p(x1, x2) · · · p(xn, y) (5.8)

≥ π(x) n

k=1

Px

Xk = y, T+

x ≥ k

, για κάθε n ∈ N.

71

Περνώντας στο όριο n → ∞ έχουε λοιπόν

π(y) ≥ π(x) ∞

k=1

Px

Xk = y, T+

x ≥ k

= π(x) ∞

k=1

Ex

Xk = y, T+

x ≥ k

.

Εφόσον οι δείκτριες συναρτήσεις που εφανίζονται παραπάνω είναι η αρνητικές, από το Θεώρηα Fubini-Tonelli πορούε να εναλλάξουε την άθροιση ως προς k και την αναενόενη τιή, παίρνοντας

π(y) ≥ π(x) Ex

∞

k=1

Xk = y, T+x ≥ k

= π(x) Ex

T+x

k=1

Xk = y.

Ορισός: Θα λέε ια κατάσταση x ∈ X γνησίως επαναληπτική αν Ex

T+x

< +∞.

Η γνήσια επαναληπτικότητα είναι ια έννοια ισχυρότερη της επαναληπτικότητας, αφού αν Ex

T+x

< +∞,

τότε αναγκαστικά έχουε Px

T+x < ∞

= 1 και άρα η x είναι επαναληπτική. Το ακόλουθο Πόρισα

ας εγγυάται ότι οποιαδήποτε αναλλοίωτη κατανοή ιας αλυσίδας στηρίζεται σε γνησίως επαναληπτικέςκαταστάσεις.

Πόρισα 5 Αν π ∈ I(P ) και x ∈ X τότε

Ex

T+x

= +∞ ⇒ π(x) = 0.

Απόδειξη: Αθροίζοντας τις ανισότητες (5.6) για όλα τα y ∈ X έχουε

1 =

y∈Xπ(y) ≥ π(x)

y∈XEx

T+x

k=1

Xk = y= π(x) Ex

T+x

k=1

y∈XXk = y

,

όπου χρησιοποιήσαε το Θεώρηα Fubini-Tonelli για να εναλλάξουε τη σειρά των αθροίσεων και τηςαναενόενης τιής. Προσέξτε όως ότι στο άθροισα ως προς y υπάρχει ακριβώς ένας όρος Xk = yπου είναι ίσος ε 1 (αυτός που αντιστοιχεί στην κατάσταση της Xk), ενώ όλοι οι υπόλοιποι είναι ηδέν.Εποένως, η παραπάνω ανισότητα γίνεται

1 ≥ π(x) Ex

T+x

k=1

1= π(x) Ex

T+x

,

απ΄ όπου έπεται ο ισχυρισός ας.

Πόρισα 6 Αν ια αρκοβιανή αλυσίδα έχει αναλλοίωτη κατανοή, τότε έχει τουλάχιστον ία γνησίωςεπαναληπτική κατάσταση.

72

Απόδειξη: Αν π ∈ I(P ), τότε π(y) ≥ 0 για κάθε y ∈ X και

y∈X π(y) = 1. Θα υπάρχει εποένωςκάποια κατάσταση x για την οποία π(x) > 0 και άρα από το Πόρισα 5 θα πρέπει Ex

T+x

< ∞.

Στο επόενο θεώρηα θα δείξουε ότι και το αντίστροφο του προηγούενου πορίσατος είναι σωστό.ηλαδή, αν ια αλυσίδα έχει ια γνησίως επαναληπτική κατάσταση x τότε έχει και αναλλοίωτη κατανοή,κατασκευάζοντας ια εκπεφρασένα. Η ιδέα προέρχεται από το Λήα 6.

Θεώρηα 19 ΄Εστω x ∈ X ια γνησίως επαναληπτική κατάσταση. Ορίζουε

πx(y) =1

Ex

T+x

Ex

T+x

k=1

Xk = y

Η πx είναι αναλλοίωτη κατανοή της αλυσίδας Xnn∈N0 και

πx(x) =1

Ex

T+x

. (5.9)

Παρατήρηση: Μπορούε να σκεφτούε την κατανοή πx ως εξής. Ξεκινώντας από τη x κάνουε ιαεκδροή έχρι να επιστρέψουε πάλι στην κατάσταση x, δηλαδή έχρι τον χρόνο διακοπής T+

x . Κατά τηδιάρκεια αυτής της εκδροής σηειώνουε πόσες επισκέψεις κάναε στην κατάσταση y ∈ X. Το πλήθοςαυτών των επισκέψεων είναι

T+x

k=1

Xk = y

και είναι βέβαια ια τυχαία εταβλητή. Το βάρος που δίνει η πx στην κατάσταση y είναι ανάλογο προς τοαναενόενο πλήθος των επισκέψεών ας στην κατάσταση y κατά τη διάρκεια αυτής της εκδροής γύρωαπό τη x. Η σταθερά αναλογίας 1

Ex

T

+x

που εφανίζεται είναι απλά ένας παράγοντας κανονικοποίησης

ώστε η πx να είναι κατανοή.

Απόδειξη: Ας δούε πρώτα ότι πx ∈ M(X). Πράγατι, είναι φανερό από τον ορισό ότι πx(y) ≥ 0για κάθε y ∈ X, ενώ

y∈Xπx(y) =

1

Ex

T+x

y∈XEx

T+x

k=1

Xk = y=

1

Ex

T+x

Ex

T+x

k=1

y∈XXk = y

=

Ex

T+x

Ex

T+x

= 1.

Ο ισχυρισός της (5.9) προκύπτει άεσα από τον ορισό του χρόνου T+x = infk ≥ 1 : Xk = x, αφού

κατά τη διάρκεια της εκδροής γύρω από τη x, δηλαδή για k ∈ 1, 2, . . . , T+x , η αλυσίδα ας βρίσκεται

στη x όνο τη χρονική στιγή T+x .

73

Θα δείξουε τώρα ότι η πx είναι αναλλοίωτη. Πράγατι, για κάθε y ∈ X έχουε

πx(y) = πx(x) Ex

T+x

k=1

Xk = y

= πx(x) Ex

∞

k=1

Xk = y, T+x ≥ k

= πx(x) Ex

∞

k=1

z∈XXk−1 = z, Xk = y, T+

x ≥ k

= πx(x)

z∈X

∞

k=1

Ex

Xk−1 = z, Xk = y, T+

x ≥ k(Θεώρηα Fubini-Tonelli)

= πx(x)

z∈X

∞

k=1

Px

Xk−1 = z, Xk = y, T+

x ≥ k. (5.10)

Παρατηρήστε τώρα ότι T+x ≥ k = X1 = x, X2 = x, · · · , Xk−1 = x, εποένως το ενδεχόενο

T+x ≥ k ανήκει στην κλάση Fk−1. ΄Ετσι, από τη αρκοβιανή ιδιότητα έχουε

Px

Xk = y |Xk−1 = z, T+

x ≥ k= Px

Xk = y |Xk−1 = z

= p(z, y)

και η σχέση (5.10) γίνεται

πx(y) = πx(x)

z∈Xp(z, y)

∞

k=1

Px

Xk−1 = z, T+

x ≥ k

= πx(x)

z∈Xp(z, y)

∞

k=1

Ex

Xk−1 = z, T+

x ≥ k

= πx(x)

z∈Xp(z, y) Ex

∞

k=1

Xk−1 = z, T+x ≥ k

(Θεώρηα Fubini-Tonelli)

= πx(x)

z∈Xp(z, y) Ex

T+x

k=1

Xk−1 = z. (5.11)

Παρατηρήστε τέλος ότι

Ex

T+x

k=1

Xk−1 = z

m=k−1= Ex

T+x −1

m=0

Xm = z= Ex

T+x

m=1

Xm = z,

όπου η τελευταία ισότητα προκύπτει γιατί η αλυσίδα ας ε Px-πιθανότητα 1 βρίσκεται στη x τόσο τηχρονική στιγή 0, όσο και τη χρονική στιγή T+

x . ΄Ετσι, η (5.11) γίνεται

πx(y) =

z∈Xp(z, y)πx(x) Ex

T+x

m=1

Xm = z=

z∈Xp(z, y)πx(z)

και εποένως πx ∈ I(P ).

74

΄Οπως είδαε ια γνησίως επαναληπτική κατάσταση x ∈ X είναι επαναληπτική και άρα ανήκει αναγκα-στικά σε ια κλειστή κλάση Cx. Από την κατασκευή της κατανοής πx είναι φανερό ότι

y /∈ Cx ⇒ πx(y) = 0,

αφού αν y /∈ Cx η αλυσίδα που ξεκινά από τη x αποκλείεται να επισκεφτεί την κατάσταση y ποτέ καιειδικότερα αποκλείεται να επισκεφτεί την y έχρι να επιστρέψει στη x. Θα δείξουε τώρα ότι η πx δίνειθετικό βάρος σε όλες τις καταστάσεις της κλάσης Cx.

Θεώρηα 20 Αν η κατάσταση x είναι γνησίως επαναληπτική και y ∈ Cx, τότε πx(y) > 0.

Απόδειξη: Εφόσον η y είναι προσβάσιη από τη x υπάρχει m ∈ N τέτοιο ώστε p(m)(x, y) > 0. Επίσηςεύκολα πορούε να δείξουε επαγωγικά ότι

πx ∈ I(P ) ⇒ πx = πxP ⇒ πx = πxPm.

Εποένωςπx(y) =

z∈Xπx(z)p

(m)(z, y) ≥ πx(x)p(m)(x, y) > 0.

Πόρισα 7 Η γνήσια επαναληπτικότητα είναι ιδιότητα κλάσης, δηλαδή αν η κατάσταση x είναι γνησίωςεπαναληπτική και y ∈ Cx, τότε και η y είναι γνησίως επαναληπτική.

Απόδειξη: Προκύπτει αέσως από το Πόρισα 5 αφού

πx ∈ I(P ) και πx(y) > 0 ⇒ Ey

T+y

< +∞.

Με βάση το παραπάνω Πόρισα έχει νόηα να κάνουε λόγο για γνησίως επαναληπτικές κλάσεις. Ση-ειώστε ότι, εφόσον οι ανοιχτές κλάσεις ιας αλυσίδας είναι παροδικές, τότε κάθε γνησίως επαναληπτικήκλάση είναι κλειστή. Το ακόλουθο Πόρισα συνοψίζει ια ικανή και αναγκαία συνθήκη για το πότε ιακλειστή κλάση είναι γνησίως επαναληπτική και αποτελεί συχνά έναν εύκολον τρόπο για να αποδείξει κα-νείς τη γνήσια επαναληπτικότητα ιας κλειστής κλάσης. Σηειώστε ότι για τον σκοπό αυτό αρκεί ναπεριορίσουε την αλυσίδα σε αυτή την κλειστή κλάση, οπότε η αλυσίδα που θα προκύψει θα είναι ηυποβιβάσιη.

Πόρισα 8 Μια η υποβιβάσιη αρκοβιανή αλυσίδα είναι γνησίως επαναληπτική, αν και όνο αν έχειαναλλοίωτη κατανοή.

Απόδειξη: Το Θεώρηα 19 εξασφαλίζει την ύπαρξη ιας αναλλοίωτης κατανοής πx αν υπάρχει ιαεπαναληπτική κατάσταση x. Αντίστροφα, αν η αλυσίδα έχει αναλλοίωτη κατανοή π, τότε, από το Πόρισα6, η αλυσίδα θα έχει ια γνησίως επαναληπτική κατάσταση. Εφόσον η αλυσίδα είναι η υποβιβάσιη, απότο Πόρισα 7 όλες οι καταστάσεις της θα είναι γνησίως επαναληπτικές.

Πόρισα 9 Μια η υποβιβάσιη αρκοβιανή αλυσίδα σε έναν πεπερασένο χώρο καταστάσεων είναιγνησίως επαναληπτική.

Απόδειξη: Θεωρούε ένα x ∈ X και ορίζουε T+x = infk > 0 : Xk = x τον χρόνο πρώτης επιστρο-

φής στην κατάσταση x. Εφόσον η αλυσίδα είναι η υποβιβάσιη, ολόκληρος ο X είναι ια κλειστή καιπεπερασένη, άρα επαναληπτική κλάση. ΄Ετσι, Px

T+x < ∞

= 1. Ορίζουε την λ : X → [0,∞] ε

λ(y) = Ex

T+x

k=1

Xk = y.

75

Από την απόδειξη του Θεωρήατος 19 έχουε ότι λ = λP , ενώ λ(x) = 1. Θα δείξουε ότι λ(y) < ∞για κάθε y ∈ X. Εφόσον η x είναι προσβάσιη από την y, επιλέγουε m ∈ N τέτοιο ώστε p(m)(y, x) > 0.΄Ετσι

1 = λ(x) =

z∈Xπ(z)p(m)(z, x) ≥ λ(y)p(m)(y, x) ⇒ λ(y) <

1

p(m)(y, x)< +∞.

Αν ορίσουε τώρα Z =

y∈X λ(y) ∈ (1,+∞) και π(y) = λ(y)/Z για κάθε y ∈ X, εύκολα επιβεβαιώνουεότι π ∈ I(P ) και άρα, από το Πόρισα 8, η αλυσίδα είναι γνησίως επαναληπτική.

΄Εχουε ως τώρα δει ότι οποιαδήποτε αναλλοίωτη κατανοή δίνει ηδενικό βάρος σε κλάσεις που δενείναι γνησίως επαναληπτικές (Πόρισα 5), ενώ για κάθε γνησίως επαναληπτική κλάση έχουε κατασκευ-άσει ια αναλλοίωτη κατανοή πx που στηρίζεται στις καταστάσεις αυτής της κλάσης (Θεωρήατα 19 και20). Θα δείξουε στη συνέχεια ότι η αναλλοίωτη κατανοή που στηρίζεται σε ια γνησίως επαναληπτικήκλάση είναι οναδική. ΄Οπως και στο προηγούενο Πόρισα, περιορίζοντας την αλυσίδα σε ια γνησίωςεπαναληπτική και εποένως κλειστή κλάση, αρκεί να υποθέσουε ότι η αλυσίδα ας είναι η υποβιβάσιη.

Θεώρηα 21 Αν η Xnn∈N0 είναι ια η υποβιβάσιη γνησίως επαναληπτική αλυσίδα, τότε έχει ονα-δική αναλλοίωτη κατανοή.

Απόδειξη: Η ύπαρξη ιας τουλάχιστον αναλλοίωτης κατανοής εξασφαλίζεται από το Θεώρηα 19. Θααποδείξουε εδώ τη οναδικότητα. ΄Εστω λοιπόν π ια αναλλοίωτη κατανοή της Xnn∈N0 .

Θεωρούε ένα x ∈ X και ορίζουε την αναλλοίωτη κατανοή πx όπως στο Θεώρηα 19. Θα δείξου-ε ότι π(y) = πx(y) για κάθε κατάσταση y ∈ X. Εφόσον η αλυσίδα είναι η υποβιβάσιη, η x θα είναιπροσβάσιη από την y. Υπάρχει εποένως m ∈ N τέτοιο ώστε p(m)(y, x) > 0. ΄Εχουε τώρα

0 = π(x)− π(x) = π(x)− π(x)

πx(x)πx(x)

=

z∈Xπ(z)p(m)(z, x)− π(x)

πx(x)

z∈Xπx(z)p

(m)(z, x) (π,πx ∈ I(P ))

=

z∈X

π(z)− π(x)

πx(z)

πx(x)

p(m)(z, x).

Από το Λήα 6 κάθε προσθετέος στο παραπάνω άθροισα είναι εγαλύτερος ή ίσος του ηδενός. Για ναείναι το άθροισα 0 θα πρέπει όλοι οι προσθετέοι να είναι ίσοι ε 0. Ειδικότερα,

π(y)− πx(y)

πx(x)π(x)

p(m)(y, x) = 0 ⇒ π(y) =

π(x)

πx(x)πx(y).

Εφόσον η y είναι αυθαίρετα επιλεγένη έχουε ότι

π(y) =π(x)

πx(x)πx(y), για κάθε y ∈ X. (5.12)

Αθροίζοντας τις παραπάνω σχέσεις σε όλα τα y ∈ X έχουε

1 =

y∈Xπ(y) =

y∈X

π(x)

πx(x)πx(y) =

π(x)

πx(x)

76

και άρα η (5.12) γίνεται π(y) = πx(y), για κάθε y ∈ X.

Παρατήρηση: Μια άεση συνέπεια του Θεωρήατος 21 είναι ότι, αν οι καταστάσεις x, y ανήκουνσε ια γνησίως επαναληπτική κλάση C, τότε πx ≡ πy. ΄Εχει λοιπόν νόηα να ιλάε για τη οναδικήαναλλοίωτη κατανοή πC που αντιστοιχεί στην κλάση C. Το τελικό συπέρασα αυτής της παραγράφουείναι ότι κάθε αναλλοίωτη κατανοή είναι ένας κυρτός συνδυασός τέτοιων κατανοών.

Θεώρηα 22 ΄Εστω R το σύνολο των γνησίως επαναληπτικών κλάσεων ιας αρκοβιανής αλυσίδαςXnn∈N0 ε πίνακα πιθανοτήτων ετάβασης P . Τότε

I(P ) = coπC : C ∈ R ≡

C∈Rα(C)πC : α(C) ≥ 0 ∀C ∈ R, και

C∈Rα(C) = 1

.

Απόδειξη: Ας υποθέσουε πρώτα ότι π =

C∈R α(C)πC ε α(C) ≥ 0 και

C∈R α(C) = 1. Είναιφανερό ότι π(x) ≥ 0 για κάθε x ∈ X ενώ

x∈Xπ(x) =

x∈X

C∈Rα(C)πC(x) =

C∈Rα(C)

x∈XπC(x) =

C∈Rα(C) = 1.

Εποένως π ∈ M(X). Για να δείξουε ότι π ∈ I(P ) και άρα coπC : C ∈ R ⊂ I(P ) παρατηρούε ότι

πP =

C∈Rα(C)πC

P =

C∈Rα(C)(πCP ) =

C∈Rα(C)πC = π.

Θα δείξουε τώρα ότι I(P ) ⊂ coπC : C ∈ R. Για µ ∈ I(P ) και C ∈ R τέτοια ώστε µ[C] > 0,θεωρούε τον περιορισό µ|

Cτου µ στην κλάση C. Συγκεκριένα, για κάθε A ⊂ X έχουε

µ|C

A= µ

A |C

=

µA ∩ C

µC .

Θα δείξουε ότι µ|C= πC . Η µ|

Cείναι ια κατανοή που στηρίζεται στην κλειστή κλάση C και, από το

Θεώρηα 21, για να την ταυτίσουε ε την πC , αρκεί να δείξουε ότι είναι αναλλοίωτη. Πράγατι, γιακάθε x ∈ C έχουε p(y, x) = 0 για κάθε y /∈ C και άρα

µ|C(x) =

µ(x)

µC =

1

µC

y∈Xµ(y)p(y, x) =

y∈C

µ(y)

µCp(y, x) =

y∈Cµ|

C(y)p(y, x).

είξαε λοιπόν ότι αν µC> 0, τότε µ|

C≡ πC . Αν µ

C= 0, ορίζουε µ|

C= πC . Από το Πόρισα 5

έχουε ότιµ

C∈RC= 1.

΄Ετσι, για κάθε A ⊂ X

µA= µ

C∈R(A ∩ C)

=

C∈RµA ∩ C] =

C∈RµCµ|

C

A=

C∈RµCπC

A

και άραµ =

C∈RµCπC .

Παρατηρήστε ότι µC≥ 0 για κάθε C ∈ R και

C∈R µ

C= µ

C∈RC

= 1. ΄Εχουε γράψει το µ

ως ένα κυρτό συνδυασό των πC , άρα I(P ) ⊂ coπC : C ∈ R.

77

5.4 Παραδείγατα

Στην προηγούενη παράγραφο ελετήσαε τη δοή των αναλλοίωτων κατανοών ιας αρκοβιανής αλυ-σίδας. Είδαε ότι, για κάθε γνησίως επαναληπτική κλάση C, υπάρχει ια οναδική αναλλοίωτη κατανοήπC της αλυσίδας που στηρίζεται στη C (δηλαδή x /∈ C ⇒ πC(x) = 0) και ότι κάθε αναλλοίωτη κατανοήτης αλυσίδας πορεί να γραφτεί ως κυρτός συνδυασός των κατανοών πC . Είδαε όως και αρκετο-ύς τρόπους για να χαρακτηρίσουε τις πC . ΄Ετσι, αν έχουε ια η υποβιβάσιη γνησίως επαναληπτικήαρκοβιανή αλυσίδα Xnn∈N0 ε πίνακα πιθανοτήτων ετάβασης P (όπως είναι οποιαδήποτε αρκοβιανήαλυσίδα περιορισένη σε ια γνησίως επαναληπτική της κλάση), έχουε τους ακόλουθους χαρακτηρισούςγια τη οναδική αναλλοίωτη κατανοή της π.

1. Η π είναι λύση του προβλήατος π = πP

x∈X π(x) = 1.

2. Για κάθε x ∈ X, αν T+x = infk > 0 : Xk = x, έχουε

π(x) =1

Ex

T+x

.

3. Για κάθε x, y ∈ X έχουε

π(y) = π(x) Ex

T+x

k=1

Xk = y.

Μπορεί κανείς να χρησιοποιήσει έναν τρόπο για να υπολογίσει την αναλλοίωτη κατανοή της αλυσίδαςκαι να πάρει από τους άλλους τρόπους ενδεχοένως χρήσιες πληροφορίες.

Παράδειγα 41 ΄Ενα έντοο κινείται στις κορυφές V ενός κανονικού ν-γώνου. Σε κάθε βήα τουετακινείται σε ία από τις δύο γειτονικές κορυφές ε πιθανότητα p ∈ (0, 1) κατά τη φορά των δεικτών τουρολογιού και ε πιθανότητα 1− p αντίστροφα από τους δείκτες του ρολογιού. Ποιος είναι ο αναενόενοςαριθός βηάτων έχρι να επιστρέψει στην αρχική του θέση;

Η αλυσίδα που καταγράφει τη θέση του εντόου είναι η υποβιβάσιη, αφού το έντοο πορεί να επι-σκεφτεί όλες τις καταστάσεις και να επιστρέψει στην αρχική του κατάσταση κάνοντας ν βήατα κατά τηφορά των δεικτών του ρολογιού, ενδεχόενο το οποίο έχει πιθανότητα pν > 0. Εφόσον |V | < +∞ η αλυ-σίδα θα είναι γνησίως επαναληπτική και άρα θα έχει οναδική αναλλοίωτη κατανοή π. Στο συγκεκριένοπαράδειγα δεν είναι δύσκολο να αντέψει κανείς ότι λόγω συετρίας η οναδική αναλλοίωτη κατανοήθα είναι η οοιόορφη κατανοή στις κορυφές του ν-γώνου

π(x) =1

νγια κάθε x ∈ V.

Πράγατι, για κάθε x ∈ V

y∈Vπ(y)p(y, x) =

y∈V

1

νp(y, x) =

1

ν

p+ (1− p)

=

1

ν= π(x).

Εποένως

Ex

T+x

=

1

π(x)= ν.

78

Το προηγούενο παράδειγα πορεί να γενικευτεί κατά τον ακόλουθο τρόπο. Θα λέε ότι ένας στοχα-στικός πίνακας P είναι διπλά στοχαστικός αν

x∈X p(x, y) = 1 για κάθε y ∈ X. ΄Ετσι σε έναν διπλά

στοχαστικό πίνακα, εκτός από το άθροισα των στοιχείων του κατά γραή, και το άθροισα των στοι-χείων του κατά στήλη είναι ίσο ε 1. Παρατηρήστε ότι ένας συετρικός πίνακας πιθανοτήτων ετάβασηςείναι πάντα διπλά στοχαστικός.

Παράδειγα 42 Μια η υποβιβάσιη αρκοβιανή αλυσίδα που κινείται σε έναν πεπερασένο χώρο κατα-στάσεων X και έχει διπλά στοχαστικό πίνακα πιθανοτήτων ετάβασης, έχει οναδική αναλλοίωτη κατανοήτην οοιόορφη κατανοή στον X.

Από το Θεώρηα 21, η αλυσίδα έχει οναδική αναλλοίωτη κατανοή. Αρκεί λοιπόν να επαληθεύσου-ε ότι η οοιόορφη κατανοή π : X → [0, 1] ε π(x) = 1

|X| είναι αναλλοίωτη. Πράγατι, για κάθε x ∈ Xέχουε

y∈Xπ(y)p(y, x) =

1

|X|

y∈Xp(y, x) =

1

|X| = π(x),

όπου η δεύτερη ισότητα προκύπτει επειδή ο πίνακας πιθανοτήτων ετάβασης είναι διπλά στοχαστικός.Επίσης,

x∈Xπ(x) =

x∈X

1

|X| =1

|X| |X| = 1

και άρα π ∈ I(P ).

Παράδειγα 43 Σε ένα ράφι της βιβλιοθήκης σας υπάρχουν τρία βιβλία: Algebra, Basic Topology,Calculus, που θα συβολίζουε ε A,B,C για συντοία. Κάθε πρωί παίρνετε τυχαία ένα βιβλίο από τηθέση του ε πιθανότητα p, q, r αντίστοιχα. Υποθέτουε p, q, r > 0 ε p + q + r = 1. ΄Οταν τελειώνετετο διάβασά σας για την ηέρα το ξαναβάζετε στο ράφι στην αριστερότερη θέση. Η διάταξη των βιβλίωνείναι ια αρκοβιανή αλυσίδα στον χώρο X των εταθέσεων των συβόλων A,B,C. Αν κάποια στιγήτα βιβλία είναι τοποθετηένα ε αλφαβητική σειρά, βρείτε τον αναενόενο αριθό ηερών έχρι τα βιβλίανα ξαναβρεθούν τοποθετηένα ε αλφαβητική σειρά. Πόσες κατά έση τιή ηέρες θα διαβάσετε το βιβλίοCalculus ενδιάεσα σε αυτές τις στιγές;

Ας απαριθήσουε τις δυνατές καταστάσεις ε την εξής σειρά

X = ABC,CAB,BCA,BAC,ACB,CBA.

Ο πίνακας πιθανοτήτων ετάβασης της αλυσίδας είναι ο

P =

p r 0 q 0 00 r q 0 p 0p 0 q 0 0 rp 0 0 q 0 r0 r 0 q p 00 0 q 0 p r

.

Το ότι η αλυσίδα είναι η υποβιβάσιη είναι διαισθητικά φανερό. Μπορείτε να δείτε ότι, όποια κι αν είναιη αρχική της κατάσταση, αν επιλέξετε τις δύο πρώτες έρες το δεξιότερο βιβλίο, την τρίτη έρα το εσαίοβιβλίο και τις δυο επόενες πάλι το δεξιότερο βιβλίο (ενδεχόενο το οποίο έχει θετική πιθανότητα), τότεη διάταξη των βιβλίων στο ράφι θα έχει περάσει από όλες τις δυνατές καταστάσεις της. Εφόσον ο χώρος

79

καταστάσεων είναι πεπερασένος, όλες οι καταστάσεις θα είναι γνησίως επαναληπτικές. Για να βρούετη οναδική αναλλοίωτη κατανοή π, λύνουε το οογενές σύστηα εξισώσεων π = πP . Ας δούε τιςεξισώσεις που αφορούν σε καταστάσεις ε το A ως αριστερότερο βιβλίο:

π(ABC) = pπ(ABC) + pπ(BAC) + pπ(BCA) (5.13)

π(ACB) = pπ(ACB) + pπ(CAB) + pπ(CBA). (5.14)

Αν SA = ABC,ACB, προσθέτοντας κατά έλη βρίσκουε π(SA) = p

x∈X π(x) = p. ΄Οοια, ανSB = BAC,BCA και SC = CAB,CBA, τότε π(SB) = q, π(SC) = r. Από τις (5.13), (5.14)παίρνουε τελικά ότι

π(ABC) =p

1− pπ(SB) =

pq

1− pκαι π(ACB) =

p

1− pπ(SC) =

pr

1− p. (5.15)

Οι πιθανότητες των άλλων καταστάσεων βρίσκονται ε ανάλογο τρόπο, οπότε τελικά

π = (pq

1− p,

rp

1− r,

qr

1− q,

qp

1− q,

pr

1− p,

rq

1− r).

΄Εχοντας βρει την αναλλοίωτη κατανοή της αλυσίδας, πορούε εύκολα να απαντήσουε τα υπόλοιπαερωτήατα. ΄Ετσι, αν T+

ABC= infk > 0 : Xk = ABC, τότε

ET+ABC

|X0 = ABC=

1

π(ABC)=

1− p

pq.

Κάθε φορά που διαβάζετε το βιβλίο Calculus το τοποθετείτε αριστερά οπότε η αλυσίδα περνά από ία απότης καταστάσεις του SC . ΄Ετσι,

E T

+ABC

k=1

Xk ∈ SC

X0 = ABC=

π[SC ]

π(ABC)=

(1− p)r

pq.

5.5 Χρονική αντιστρεψιότητα και ακριβής ισορροπία

Ας θεωρήσουε ια αρκοβιανή αλυσίδα Xnn∈N0 που εξελίσσεται σε έναν αριθήσιο χώρο καταστάσε-ων X και βρίσκεται στην κατάσταση ισορροπίας της ε κατανοή π. ΄Οπως έχουε εξηγήσει, η κατάστασηισορροπίας ιας αρκοβιανής αλυσίδας είναι ια κατάσταση δυναικής ισορροπίας. Η αλυσίδα εξελίσσεταιστον χρόνο αλλά ε τέτοιο τρόπο ώστε η κατανοή της να ένει σταθερή. Ας κάνουε τώρα το ακόλουθονοητικό πείραα. Ας υποθέσουε πως κινηατογραφούε την αλυσίδα για κάποιο χρόνο και έπειτα αναπα-ράγουε την ταινία που τραβήξαε ανάποδα. Πώς οιάζει η δυναική της αλυσίδας όταν ο χρόνος κυλάειανάποδα; Την απάντηση σε αυτό το ερώτηα δίνει το παρακάτω θεώρηα.

Θεώρηα 23 ΄Εστω Xnn∈N0 ια η υποβιβάσιη στάσιη αρκοβιανή αλυσίδα ε κατανοή ισορροπίαςπ. Για τον χρόνο N ∈ N ορίζουε την ακολουθία Yn0≤n≤N ε Yn = XN−n. Τότε η Ynn είναι επίσηςια στάσιη αρκοβιανή αλυσίδα ε κατανοή π αλλά ε πιθανότητες ετάβασης p(·, ·) που δίνονται απότη σχέση

p(x, y) =π(y)

π(x)p(y, x), ∀x, y ∈ X. (5.16)

80

Απόδειξη: Οι p είναι καλά ορισένες, αφού, όπως έχουε δει, για την αναλλοίωτη κατανοή π ιαςστάσιης αλυσίδας έχουε π(x) > 0, για κάθε x ∈ X. Επίσης, είναι πιθανότητες ετάβασης, αφούp(x, y) ≥ 0 για κάθε x, y ∈ X, ενώ

y∈Xp(x, y) =

1

π(x)

y∈Xπ(y)p(y, x) = 1, ∀x ∈ X,

αφού η π(·) είναι αναλλοίωτη κατανοή για τη Xnn. Θα δούε τώρα ότι οι p είναι οι πιθανότητεςετάβασης για την Yn. Πράγατι, για k ∈ 1, 2, . . . , N, έχουε

PY0 = y0, Y1 = y1, . . . , Yk = yk

= P

XN−k = yk, . . . , XN−1 = y1, XN = y0

= PXN−k = yk

PXN−k+1 = yk−1|XN−k = yk

· · ·P

XN = y0 |XN−1 = y1

= π(yk) p(yk, yk−1) · · · p(y1, y0) = π(y0) p(y0, y1) · · · p(yk−1, yk),

όπου η τελευταία ισότητα προκύπτει από τον ορισό (5.16) των p. Τέλος, για κάθε x ∈ X, έχουε

y∈Xπ(y) p(y, x) = π(x)

y∈Xp(x, y) = π(x),

άρα η κατανοή π είναι αναλλοίωτη για την Ynn και, εφόσον η κατανοή της Yk = XN−k για κάθεk ∈ 1, 2, . . . , N είναι π, η Ynn είναι στάσιη.

Αν η κατανοή π ικανοποιεί την

π(x) p(x, y) = π(y) p(y, x), ∀x, y ∈ X, (5.17)

τότε, από τη σχέση (5.16), έχουε ότι p = p και άρα η Ynn, η χρονική αντιστροφή της Xnn, έχει τηνίδια στάσιη κατανοή και τις ίδιες πιθανότητες ετάβασης όπως και η Xnn. Με άλλα λόγια, αν κινη-ατογραφήσουε τη Xnn, δεν θα πορούε ε την αναπαραγωγή του φιλ να διακρίνουε τη φορά τουχρόνου. ΄Οταν ικανοποιείται η (5.17), λέε ότι η κατανοή π και οι πιθανότητες ετάβασης p βρίσκονταισε ακριβή ισορροπία (detailed balance) και ότι η αλυσίδα είναι χρονικά αντιστρέψιη (time reversible).

Τα περισσότερα ενδιαφέροντα φυσικά συστήατα ικανοποιούν τις συνθήκες ακριβούς ισορροπίας (5.17).΄Ενας από τους λόγους για τους οποίους οι συνθήκες αυτές είναι ιδιαίτερα χρήσιες είναι ότι, όταν ικα-νοποιούνται, ας επιτρέπουν να εντοπίσουε ια αναλλοίωτη κατανοή π πιο εύκολα από τις συνθήκεςορισού της

π(x) =

y∈Xπ(y) p(y, x), ∀x ∈ X. (5.18)

Πράγατι, όπως φαίνεται από την (5.17), οδηγούν σε απλούστερες εξισώσεις για την π, που σύφωνα ετο ακόλουθο Λήα όταν έχουν λύση, αυτή είναι πάντα αναλλοίωτη κατανοή.

Λήα 7 Αν η κατανοή π και οι πιθανότητες ετάβασης p βρίσκονται σε ακριβή ισορροπία, τότε η πείναι αναλλοίωτη κατανοή για τη αρκοβιανή αλυσίδα ε πιθανότητες ετάβασης p.

Απόδειξη: Για κάθε x ∈ X έχουε

y∈Xπ(y)p(y, x)

(5.17)=

y∈Xπ(x) p(x, y) = π(x)

y∈Xp(x, y) = π(x).

81

Παράδειγα 44 Στο οντέλο διάχυσης του Ehrenfest N σωατίδια τοποθετούνται σε ένα δοχείο εδύο διαερίσατα, Α και Β. Σε κάθε βήα επιλέγουε τυχαία ένα από τα N σωατίδια και του αλλάζουεδιαέρισα.

Αν Xnn∈N0 είναι η αρκοβιανή αλυσίδα στον χώρο καταστάσεων X = 0, 1, . . . , N που περιγράφει τοπλήθος των σωατιδίων στο διαέρισα Α, τότε οι πιθανότητες ετάβασης αυτής της αλυσίδας είναι

p(k, k + 1) =N − k

Nκαι p(k, k − 1) =

k

N, ∀k ∈ X.

Πράγατι, για να αυξηθεί κατά 1 το πλήθος των σωατιδίων στο διαέρισα Α θα πρέπει να επιλέξουε ένααπό τα σωατίδια του διαερίσατος Β για να του αλλάξουε διαέρισα. Αν στο διαέρισα Α υπάρχουνk σωατίδια, τότε στο διαέρισα Β υπάρχουν N − k και άρα η πιθανότητα να επιλέξουε ένα από τασωατίδια του Β είναι N−k

N. Οοίως για να ειωθεί κατά 1 το πλήθος των σωατιδίων στο διαέρισα

Α θα πρέπει το σωατίδιο που θα επιλέξουε για να του αλλάξουε διαέρισα να προέρχεται από το Α,ενδεχόενο που έχει πιθανότητα k

Nόταν στο Α υπάρχουν k σωατίδια.

Είναι φανερό ότι η Xnn είναι η υποβιβάσιη και άρα θα έχει οναδική αναλλοίωτη κατανοή π. Ανεπιχειρήσουε να προσδιορίσουε την π από τις εξισώσεις (5.18), θα οδηγηθούε σε ια η γραικήαναδροική εξίσωση δεύτερης τάξης που θέλει αρκετό κόπο για να λυθεί. οκιάστε το για εξάσκηση.Αν αντίθετα επιχειρήσουε να βρούε κάποια κατανοή π στον X που βρίσκεται σε ακριβή ισορροπία ετις πιθανότητες ετάβασης p, θα πάρουε τις εξισώσεις

π(k) p(k, k + 1) = π(k + 1) p(k + 1, k) k ∈ 0, 1, . . . , N − 1,

ή ισοδύνααπ(k + 1)

π(k)=

N − k

kk ∈ 0, 1, . . . , N − 1.

Πολλαπλασιάζοντας τις σχέσεις αυτές για k = 0, 1, . . . , n− 1 λαβάνουε ότι

π(n) = π(0)

N

n

, ∀n ∈ X,

ενώ από τη συνθήκη κανονικοποίησης

n∈Xπ(n) = 1 έχουε ότι π(0)

N

n=0

N

n

= π(0)2N = 1. Εποένως,

π(n) = 2−N

N

n

, ∀n ∈ X.

Παράδειγα 45 : Τυχαίος περίπατος σε γράφο΄Εστω Xnn ένας περίπατος στις κορυφές V ενός συνεκτικού, η προσανατολισένου γράφου. Σε κάθεβήα ο περιπατητής επιλέγει τυχαία ία από τις ακές της κορυφής που βρίσκεται και εταβαίνει στην άλληκορυφή αυτής της ακής.

Αν ο περιπατητής ας βρίσκεται σε ια κορυφή x ∈ V ε βαθό v(x), τότε όλες οι v(x) κορυφές πουσυνδέονται ε την κορυφή x είναι ισοπίθανες ως επόενος προορισός. Εποένως, αν E είναι το σύνολοτων ακών του γράφου, οι πιθανότητες ετάβασης της αλυσίδας δίνονται από την

p(x, y) =

1

v(x) , αν (x, y) ∈ E

0, αν (x, y) /∈ E.(5.19)

82

Εφόσον ο γράφος είναι συνεκτικός (ανάεσα σε οποιεσδήποτε δυο κορυφές υπάρχει ένα ονοπάτι, τουοποίου οι διαδοχικές κορυφές συνδέονται ε ακές), η αλυσίδα είναι η υποβιβάσιη και έχει εποένωςοναδική αναλλοίωτη κατανοή π, την οποία θέλουε να προσδιορίσουε. Από την (5.19) προκύπτει άεσαότι

v(x) p(x, y) = v(y) p(y, x) = χE(x, y), ∀x, y ∈ V,

όπου χE(x, y) = 1 αν (x, y) ∈ E και 0 διαφορετικά. Εποένως, αν για κάποια σταθερά c έχουε π(x) =cv(x), ∀x ∈ V , τότε η π βρίσκεται σε ακριβή ισορροπία ε τις πιθανότητες ετάβασης p. Η σταθερά c θαπροσδιοριστεί από τη συνθήκη κανονικοποίησης

1 =

x∈Vπ(x) = c

x∈Vv(x) = 2c|E|,

όπου |E| είναι το πλήθος των ακών του γράφου. Η τελευταία ισότητα προκύπτει γιατί κάθε ακήπροστίθεται στο άθροισα δύο φορές, ία για κάθε κορυφή στην οποία καταλήγει. ΄Αρα

π(x) =v(x)

2|E| , ∀x ∈ V.

΄Ενας ακόα πολύ σηαντικός λόγος για τον οποίο οι συνθήκες ακριβούς ισορροπίας είναι πολύ χρήσιεςείναι ότι ας δίνουν τη δυνατότητα να κατασκευάσουε ια αρκοβιανή αλυσίδα ε επιθυητή αναλλοίωτηκατανοή, όπως θα δούε παρακάτω στον αλγόριθο Metropolis-Hastings.


΄Ασκηση 66 Η Xnn∈N0 είναι ια αρκοβιανή αλυσίδα στον χώρο καταστάσεων X = 1, 2, 3, 4 επίνακα ετάβασης

P =

0 1/2 1/3 1/61/2 0 1/4 1/40 1/2 0 1/2

1/2 1/3 1/6 0

.

α) Βρείτε την αναλλοίωτη κατανοή της αλυσίδας.β) Αν X0 = 1, υπολογίστε τον αναενόενο χρόνο πρώτης επιστροφής T+

1 = infk > 0 : Xk = 1 στηνκατάσταση 1.γ) Υπολογίστε τον αναενόενο αριθό επισκέψεων στην κατάσταση 3 έχρι τη συπλήρωση 93 επιστρο-φών στην κατάσταση 1.

΄Ασκηση 67 α) Βρείτε όλες τις αναλλοίωτες κατανοές της αλυσίδας Xn που περιγράψαε στην ΄Α-σκηση 5. ΄Ισως βρείτε χρήσιο το Παράδειγα 45.β) Υπολογίστε τον αναενόενο αριθό ηερών έχρι την πρώτη επιστροφή του εντόου στο πάνιο.γ) Υπολογίστε τον αναενόενο αριθό ηερών που θα περάσει το έντοο στο σαλόνι έχρι την πρώτητου επιστροφή στο πάνιο.δ) Αν ένα άλλο έντοο αρχικά βρίσκεται στην κουζίνα και ετακινείται κάθε έρα όπως το πρώτο, ποιαείναι η πιθανότητα κάποια έρα τα δύο έντοα να βρεθούν στο ίδιο δωάτιο;

΄Ασκηση 68 ΄Ενας παντοπώλης εφοδιάζεται κάθε πρωί ε ένα πακέτο πισκότα. ΄Εχει παρατηρήσειότι η ηερήσια ζήτηση είναι ια τυχαία εταβλητή X ε κατανοή P

X = 0

= 1

4 , PX = 1

= 1

2 ,PX = 2

= 1

6 , PX = 3

= 1

12 . Περιγράψτε την ποσότητα από πισκότα που έχει στο παντοπωλείο κάθεβράδυ ως ια αρκοβιανή αλυσίδα και βρείτε την αναλλοίωτη κατανοή της. Αν χτες το βράδυ δεν είχεείνει κανένα πακέτο πισκότα στο παντοπωλείο, ποιος είναι ο αναενόενος αριθός ηερών έχρι τηνεπόενη φορά που το παντοπωλείο θα είνει χωρίς πισκότα;

83

΄Ασκηση 69 Μια αρκοβιανή αλυσίδα στον X = N0 ετατοπίζεται ένα βήα προς τα αριστερά όταν δενβρίσκεται στο 0 και όταν φτάσει στο 0 κάνει ένα άλα που ακολουθεί γεωετρική κατανοή ε παράετροq (0 < q < 1). Υπολογίστε την αναλλοίωτη κατανοή της ε τρεις διαφορετικούς τρόπους.

΄Ασκηση 70 Μια αρκοβιανή αλυσίδα στον X = 0, 1, 2, . . . έχει πιθανότητες ετάβασης p(k, k+1) =p < 1, p(k, 0) = 1− p, ∀k ∈ X. Βρείτε την αναλλοίωτη κατανοή της. Ποια είναι η αναενόενη τιή τουχρόνου που εσολαβεί ανάεσα σε δύο διαδοχικές επισκέψεις στο 3; Ποιος είναι ο αναενόενος αριθόςεπισκέψεων στο 0 ανάεσα σε δύο διαδοχικές επισκέψεις στο 3;

΄Ασκηση 71 Ο κύριος Χ αντιετωπίζει ένα σοβαρό πρόβληα νήης. Κάθε νύχτα ξεχνά ένα έρος απότα πρόσωπα που γνωρίζει. Συγκεκριένα, αν θυάται k πρόσωπα πριν πέσει για ύπνο, το πλήθος τωνπροσώπων που εξακολουθεί να θυάται όλις ξυπνήσει πορεί να είναι 0, 1, 2, . . . , k, καθένα ε πιθανότητα1/(k + 1). Ο γιατρός που τον παρακολουθεί του αθαίνει κάθε έρα ένα πρόσωπο, διαφορετικό από αυτάπου θυάται. Αν Xn είναι το πλήθος των προσώπων που ο κύριος Χ θυάται το βράδυ της n-στης ηέρας:

α) Βρείτε τις πιθανότητες ετάβασης p(j, k), j, k ∈ N της αλυσίδας Xn.β) είξτε ότι η οναδική αναλλοίωτη κατανοή της Xn είναι η π : N → [0, 1] ε π(k) = 1

e(k−1)! .γ) Αν κάποιο βράδυ ο κύριος Χ θυάται 3 πρόσωπα πριν πέσει για ύπνο, ποιος είναι ο αναενόενος χρόνοςπου θα εσολαβήσει έχρι το επόενο βράδυ που θα θυάται πάλι 3 πρόσωπα;

΄Ασκηση 72 Αν R = ∅ είναι το σύνολο των γνησίως επαναληπτικών κλάσεων ιας αλυσίδας Xnn καιπ ∈ I(P ), δείξτε ότι υπάρχει όνο ένας τρόπος να γράψουε την π ως

π =

C∈Rα(C)πC .

΄Ασκηση 73 είξτε ότι για ια αρκοβιανή αλυσίδα σε έναν πεπερασένο χώρο καταστάσεων X εγεννήτορα L και αναλλοίωτη κατανοή π έχουε

x∈Xπ(x)f(x)Lf(x) = −1

2

x,y∈Xπ(x)p(x, y)

f(y)− f(x)

2.

Συπεράνετε ότι, αν η αλυσίδα είναι η υποβιβάσιη και Lf(x) = 0 για κάθε x ∈ X, τότε η f είναι σταθερήσυνάρτηση.

΄Ασκηση 74 ( σταθερά του Kemeny) ΄Εστω Xnn ια η υποβιβάσιη αλυσίδα σε έναν πεπερασένοχώρο καταστάσεων X ε αναλλοίωτη κατανοή π. Θεωρούε ια τυχαία εταβλητή Y ανεξάρτητη από τιςXn και ε κατανοή π, δηλαδή P

Y = x

= π(x), ∀x ∈ X. Ορίζουε τώρα TY = infk ≥ 0 : Xk = Y .

Ποια είναι η κατανοή της τυχαίας εταβλητής XTY ; είξτε ότι η συνάρτηση f(x) = ETY | X0 = x

είναι σταθερή.

΄Ασκηση 75 Θεωρήστε ια αλυσίδα Markov στον X = 0, 1, 2, . . . ε p(k, k+1) = 1k+1 , p(k, k− 1) =

k

k+1 , για κάθε k ∈ X. Βρείτε ια αναλλοίωτη κατανοή της. Είναι αυτή οναδική; Υπόδειξη: δοκιάστενα βρείτε ια κατανοή που ικανοποιεί τις συνθήκες ακριβούς ισορροπίας. Αφού τη βρείτε, δοκιάστε ναλύσετε το πρόβληα ε τον ορισό της αναλλοίωτης κατανοής. Παρατηρήστε ότι είναι πολύ πιο εύκολο ναβρει κανείς την αναλλοίωτη κατανοή π έσω των συνθηκών ακριβούς ισορροπίας, όταν η π τις ικανοποιεί.Αυτό βέβαια συβαίνει όνο αν η αλυσίδα είναι χρονικά αντιστρέψιη.

΄Ασκηση 76 ΄Ενα αλογάκι ξεκινά από το κάτω αριστερά τετραγωνάκι ιας σκακιέρας. Σε κάθε βήα,επιλέγει τυχαία ία από τις επιτρεπτές κινήσεις που έχει και εταβαίνει στο αντίστοιχο τετράγωνο. Ποιοςείναι ο αναενόενος χρόνος έχρι την πρώτη επιστροφή του στο τετράγωνο απ΄ όπου ξεκίνησε;

84


΄Ασκηση 77 Σε αυτή την άσκηση θα δούε πώς πορούε να κάνουε γραφικές παραστάσεις ε τηνPython. Κατεβάστε το πρόγραα example plot.py και αποθηκεύστε το στον κατάλογο που θα δου-λέψετε. Τρέξτε το πρόγραα. Το πρόγραα τυπώνει τη γραφική παράσταση της συνάρτησης x → 32x3

στο διάστηα (0,6) σε κανονική και λογαριθική (ε βάση το 2) κλίακα.α) Γιατί σε λογαριθική κλίακα βλέπουε ια ευθεία;β) Εκτιήστε γραφικά την κλίση της ευθείας και το σηείο που τένει τον άξονα yy.

Για τα επόενα δύο ερωτήατα ίσως σας βοηθήσει να έχετε ανοίξει τον κώδικα ε έναν επεξεργαστή κει-ένου σε ένα τερατικό και να εκτελείτε το πρόγραα από ένα άλλο τερατικό.

γ) Αλλάξτε τη συνάρτηση σε x → 8x3 και ξανατρέξτε το πρόγραα. Πώς αλλάζει το διάγραα σελογαριθική κλίακα;δ) Αλλάξτε τη συνάρτηση σε x → 8x2 και ξανατρέξτε το πρόγραα. Πώς αλλάζει το διάγραα σελογαριθική κλίακα;

Κλείστε τώρα το παράθυρο γραφικών και αλλάξτε το πρόγραα ώστε να ξαναπάρετε τη γραφική πα-ράσταση της x → 32x3. Αφαιρέστε το σύβολο # από τις δύο γραές στο τέλος του προγράατος

a,b = np.polyfit(newx,newy,1)

print "The fitted line is y=%.2f*x+%.2f " % (a,b)

ώστε αυτές να ετατραπούν από σχόλια σε έρος του εκτελέσιου προγράατος. Η πρώτη υπολογίζειτους συντελεστές της ευθείας y = ax + b που προσαρόζεται καλύτερα στα σηεία (newx,newy). Ηπαράετρος 1 δηλώνει ότι θέλουε να προσαρόσουε ένα πολυώνυο βαθού 1, δηλαδή ια ευθεία. Ηδεύτερη γραή απλά τυπώνει το αποτέλεσα (ε δύο δεκαδικά ψηφία) για τον χρήστη. Ξανατρέξτε τοπρόγραα.

ε) Συφωνεί το αποτέλεσα για τα a, b ε αυτό που βρήκατε στο ερώτηα (β);

΄Ασκηση 78 Κατεβάστε το πρόγραα variance.py και αποθηκεύστε το στον κατάλογο που θα δου-λέψετε.

Το πρόγραα προσοοιώνει ια αλυσίδα στον χώρο καταστάσεων X = 1, 2, 3, 4, 5 και υπολογίζει ε τηέθοδο Monte Carlo τον αναενόενο χρόνο επιστροφής στην κατάσταση 1, E

T+1 |X0 = 1

, όπου

T+1 = infk > 0 : Xk = 1.

Η εκτίηση για την ET+1 |X0 = 1

λαβάνεται προσοοιώνοντας την αλυσίδα N φορές, παίρνοντας

N ανεξάρτητα δείγατα t1, . . . , tN του χρόνου επιστροφής στο 1 και παίρνοντας τον έσο όρο αυτώντων δειγάτων. Ο νόος των εγάλων αριθών εγγυάται ότι ο έσος όρος αυτών των N ανεξάρτητωνδειγάτων της τυχαίας εταβλητής T+

1 είναι για αρκετά εγάλο N κοντά στην ET+1 |X0 = 1

ε εγάλη

πιθανότητα. Θα καλούε την

EN =t1 + t2 + · · ·+ tN

N

εκτιήτριαMonte Carlo της αναενόενης τιής ET+1 |X0 = 1

. Φυσικά η EN είναι ια τυχαία εταβλητή

και αν ξανακάνουε το πείραα θα πάρουε ια διαφορετική εκτίηση.

α) Τρέξτε το πρόγραα ερικές φορές και δείτε πόσο διαφέρουν οι εκτιήσεις που παίρνουε κάθε φορά

85

http://math.ntua.gr/~loulakis/info/python_codes_files/example_plot.py

http://math.ntua.gr/~loulakis/info/python_codes_files/variance.py

για την ET+1 |X0 = 1

. Επαναλάβετε για N = 26, 27, . . . , 212. Φαίνεται να διαφέρουν λιγότερο οι

διαφορετικές εκτιήσεις καθώς εγαλώνει το N ;

Σκοπός αυτής της άσκησης είναι να βρούε υπολογιστικά πώς επηρεάζεται η διασπορά της εκτιήτριας EN

από το πλήθος των επαναλήψεων N .

β) Φτιάξτε έναν βρόχο που θα κάνει M = 30 εκτιήσεις της ET+1 |X0 = 1

για κάθε δεδοένη τιή του

N και αποθηκεύστε αυτές τις M εκτιήσεις στη λίστα mcestimates.

γ) Υπολογίστε τη δειγατική έση τιή και τη δειγατική διασπορά αυτών των εκτιήσεων αφαιρώνταςτον σχολιασό από τις εντολές

sample mean = float( sum(mcestimates) ) / M

squared distance from mean = [ (e - sample mean)**2 for e in mcestimates ]

sample variance= float(sum ( squared distance from mean )) / (M-1)

που βρίσκονται στο τέλος του προγράατος.

δ) Φτιάξτε έναν βρόχο που κάνει τον παραπάνω υπολογισό για N = 26, 27, . . . , 214 και παραστήστεγραφικά πώς εξαρτάται η δειγατική έση τιή και η δειγατική τυπική απόκλιση από το N .

ε) Υπολογίστε θεωρητικά την ET+1 |X0 = 1

. Συφωνεί το αριθητικό αποτέλεσα που βρήκατε ε τη

θεωρητική τιή;

στ) Σχεδιάστε σε λογαριθική κλίακα πώς εξαρτάται η δειγατική τυπική απόκλιση της εκτιήτριαςMonteCarlo από το N . Ποια είναι η κλίση της ευθείας στο λογαριθικό διάγραα; Συφωνεί αυτό που βρήκατεε το κεντρικό οριακό θεώρηα;

86

Κεφάλαιο 6

Ασυπτωτικά Θεωρήατα


Στο κεφάλαιο αυτό θα ελετήσουε την ασυπτωτική συπεριφορά αρκοβιανών αλυσίδων, το πώς δη-λαδή αυτές συπεριφέρονται σε βάθος χρόνου. Η κατανόηση της ασυπτωτικής συπεριφοράς τους είναισηαντική για δύο κυρίως λόγους. Αφενός, υπάρχουν συστήατα που οντελοποιούνται από αρκοβιανέςαλυσίδες και τα οποία, αφού περάσουν ια παροδική φάση, τελικά λειτουργούν σε ια κατάσταση ισορρο-πίας. Αφετέρου, αν θέλουε να χρησιοποιήσουε ιδέες από τις αρκοβιανές αλυσίδες για να φτιάξουευπολογιστικούς αλγορίθους, είναι σηαντικό να ξέρουε τη συπεριφορά του αλγορίθου ετά από πολ-λές επαναλήψεις, να πορούε να εκτιήσουε πόσο γρήγορα συκλίνει και πώς εξαρτάται το σφάλα τηςπροσέγγισης από το πλήθος των επαναλήψεων που θα εκτελέσουε. Παρόοιο υλικό πορείτε να βρείτεστις αναφορές [7] και [6].

6.2 Περιοδικότητα

Ας θεωρήσουε ια αλυσίδα που κινείται στις κορυφές ενός τετραγώνου ΑΒΓ. Ξεκινώντας από τηνκορυφή Α, σε κάθε βήα εταβαίνει σε ία από τις δύο γειτονικές της κορυφές ε πιθανότητα 1/2. Εύκολαβλέπει κανείς ότι η οναδική αναλλοίωτη κατανοή αυτής της αλυσίδας είναι η οοιόορφη κατανοήπ = (1/4, 1/4, 1/4, 1/4) και όπως είδαε στο προηγούενο κεφάλαιο αυτό είναι όνο υποψήφιο όριο τηςκατανοής πn της αλυσίδας ετά από n βήατα. εν είναι δύσκολο να δει κανείς όως ότι πn → π.Πράγατι, εφόσον η αλυσίδα ξεκινά από το Α, θα βρίσκεται οπωσδήποτε στο Β ή στο ετά από περιττόαριθό βηάτων και στο Α ή στο Γ ετά από άρτιο αριθό βηάτων. ΄Ετσι, π.χ.

π2n+1(A) = PX2n+1 = A |X0 = A

= 0 → 1/4.

Βλέπουε λοιπόν ότι στο παράδειγά ας υπάρχουν υποσύνολα του χώρου καταστάσεων που είναι προ-σβάσια όνο σε συγκεκριένες χρονικές στιγές. Αυτή η ιδιότητα αποτελεί κατά κάποιον τρόπο ιαπαθολογία που εποδίζει τη σύγκλιση της κατανοής της αλυσίδας πn, και σε αυτή την παράγραφο θαπροσπαθήσουε να την κατανοήσουε.

Ορισός: Για ια κατάσταση x ∈ X ορίζουε το σύνολο των δυνατών χρόνων επιστροφής στο x

R(x) = n ∈ N : pn(x, x) > 0, όπου θυίζουε p(n)(x, x) = PXn = x |X0 = x

.

Θα ονοάζουε τον έγιστο κοινό διαιρέτη του συνόλου R(x) περίοδο της κατάστασης x και θα τον συ-βολίζουε ε d(x). Στην ειδική περίπτωση που d(x) = 1, θα λέε ότι η κατάσταση x είναι απεριοδική.

87

Παράδειγα 46 Στο διπλανό σχήα φαίνονται οι κατα-στάσεις και οι δυνατές εταβάσεις ιας αρκοβιανής αλυσίδαςπου κινείται σ΄ έναν χώρο ε οκτώ καταστάσεις. Μια προσανα-τολισένη ακή από το x στο y στον διπλανό γράφο αντιστοιχείσε θετική πιθανότητα ετάβασης p(x, y). Οι υπόλοιπες ετα-βάσεις έχουν ηδενική πιθανότητα. ΄Εχουε R(1) = R(2) =R(3) = R(6) = 2, 3, . . ., R(4) = 3, 5, 6, 7, 8, . . ., R(5) =N, R(7) = R(8) = 2, 4, 5, 6, . . .. Στο παράδειγα αυτό έχου-ε d(x) = 1 για όλες τις καταστάσεις x της αλυσίδας, εποένωςόλες οι καταστάσεις είναι απεριοδικές.

!

"

#

$

%

&

'

(

Παρατηρήστε ότι, για κάθε x ∈ X, το σύνολο R(x) είναι ένα υποσύνολο του N που είναι κλειστό ως προςτην πρόσθεση, δηλαδή

m,n ∈ R(x) ⇒ m+ n ∈ R(x).

ιαισθητικά αυτό σηαίνει ότι, αν είναι δυνατόν να επιστρέψουε στο x ετά από m βήατα, αλλά και ετάαπό n βήατα, τότε είναι δυνατόν να επιστρέψουε στο x και ετά από m+ n βήατα. Πράγατι, από τιςεξισώσεις Chapman-Kolmogorov, έχουε

p(m+n)(x, x) =

y∈Xp(m)(x, y)p(n)(y, x) ≥ p(m)(x, x)p(n)(x, x) > 0,

εφόσον m,n ∈ R(x). Για τέτοια σύνολα έχουε το ακόλουθο λήα.

Λήα 8 Αν ένα σύνολο R ⊂ N είναι κλειστό ως προς την πρόσθεση και έχει έγιστο κοινό διαιρέτηd ∈ N, τότε υπάρχει n0 ∈ N τέτοιο ώστε n0d, (n0 + 1)d, (n0 + 2)d, . . . ⊂ R. Το R περιέχει εποένωςτελικά όλα τα πολλαπλάσια του d.

Απόδειξη: Θα συβολίζουε ε dN το σύνολο των φυσικών που είναι πολλαπλάσια του d, δηλαδήdN = d, 2d, 3d, . . .. Αν d ∈ R, εφόσον το R είναι ένα κλειστό ως προς την πρόσθεση υποσύνολο του N,έχουε R = dN. Αν πάλι d /∈ R, τότε, εφόσον το d είναι ο έγιστος κοινός διαιρέτης του R, θα υπάρχουνm1, . . . ,mk ∈ R και p1, p2, . . . , pk ∈ Z \ 0 τέτοια ώστε

k

i=1

pimi = d. (6.1)

΄Εστω I ⊂ 1, 2, . . . , k το σύνολο των δεικτών i για τους οποίους pi > 0 και I = 1, 2, . . . , k \ I τοσύνολο των δεικτών i για τους οποίους pi < 0. Προφανώς, το I δεν πορεί να είναι κενό αφού το δεξίέλος της (6.1) είναι φυσικός αριθός. Ούτε το I πορεί να είναι κενό όως, αφού κάθε προσθετέος στοαριστερό έλος της (6.1) είναι εγαλύτερος ή ίσος από 2d κατ΄ απόλυτη τιή στην περίπτωση (d /∈ R) πουεξετάζουε. Μπορούε εποένως να ξαναγράψουε την (6.1) ως

i∈Ipimi −

i∈I(−pi)mi = d.

Εφόσον το R είναι κλειστό ως προς την πρόσθεση και pi > 0 για i ∈ I έχουε ότι m =

i∈I pimi ∈ R.Αντίστοιχα, έχουε ότι n =

i∈I(−pi)mi ∈ R. Βρήκαε εποένως δύο στοιχεία m,n ∈ R τέτοια ώστε

m = n+ d. Θα δείξουε ότι το R περιέχει κάθε φυσικό της ορφής Nd για Nd ≥ n(n− 1). Πράγατι,αν γράψουε την ταυτότητα της ακέραιας διαίρεσης του N ε το n έχουε

N = qn+ υ, για κάποια q ≥ n− 1

d, υ ∈ 0, 1, 2, . . . , n− 1. (6.2)

88

΄Εχουε τώραNd = qnd+ υd = qnd+ υ(m− n) = υm+ (qd− υ)n.

Οι υ και qd−υ είναι η αρνητικοί ακέραιοι λόγω της (6.2) και τουλάχιστον ένας από αυτούς είναι διάφοροςαπό το ηδέν αφού έχουν άθροισα qd. Εφόσον m,n ∈ R και το R είναι κλειστό ως προς την πρόσθεση,θα έχουε Nd ∈ R για κάθε φυσικό N ≥ n(n− 1)/d.

Θα χρησιοποιήσουε τώρα το Λήα 8 για να δείξουε ότι η περίοδος είναι χαρακτηριστικό κλάσης.

Θεώρηα 24 Αν δύο κατάστασεις ανήκουν στην ίδια κλάση επικοινωνίας, τότε έχουν την ίδια περίοδο.

Απόδειξη: Αν οι x, y ∈ X επικοινωνούν αφίδροα, υπάρχουν m,n ∈ N τέτοια ώστε

p(m)(x, y) > 0 και p(n)(y, x) > 0.

Επιπλέον, αν ∈ R(x), τότε θα έχουε m+ n+ ∈ R(y). Πράγατι,

p(m+n+)(y, y) =

z,w∈Xp(n)(y, z)p()(z, w)p(m)(w, y) ≥ p(n)(y, x)p()(x, x)p(m)(x, y) > 0.

Από το Λήα 8, υπάρχει κάποιο q ∈ N τέτοιο ώστε qd(x), (q + 1)d(x) ∈ R(x). Από την προηγούενηπαρατήρηση, θα έχουε λοιπόν

m+ n+ qd(x) ∈ R(y) και m+ n+ (q + 1)d(x) ∈ R(y).

Εποένως, d(y)/m + n + qd(x) και d(y)/m + n + (q + 1)d(x) και άρα d(y)/d(x). Εναλλάσσοντας τονρόλο των x, y στο παραπάνω επιχείρηα, παίρνουε ότι d(x)/d(y) και άρα d(x) = d(y).

Υπό το φως του Θεωρήατος 24 έχει νόηα να ιλάε για την περίοδο ιας κλάσης ή για την περίοδο ιαςη υποβιβάσιης αλυσίδας και να χαρακτηρίζουε ια τέτοια αλυσίδα απεριοδική όταν η περίοδός όλων τωνκαταστάσεών της είναι 1. Το ακόλουθο πόρισα είναι συχνά χρήσιο γιατί δίνει ια ικανή συνθήκη ώστενα είναι ια αλυσίδα απεριοδική που πορεί να ελεγχθεί ε απλή επισκόπηση.

Πόρισα 10 Αν ια η υποβιβάσιη αλυσίδα έχει ια κατάσταση x για την οποία p(x, x) > 0, τότε ηαλυσίδα είναι απεριοδική.

Απόδειξη: Εφόσον p(x, x) > 0 έχουε 1 ∈ R(x) και άρα d(x) = 1. Επειδή η αλυσίδα είναι η υποβι-βάσιη, όλες οι καταστάσεις της θα έχουν την ίδια περίδο ε την x, δηλαδή 1.

Το ακόλουθο λήα θα ας φανεί επίσης χρήσιο στις επόενες παραγράφους.

Λήα 9 Αν η Xnn∈N0 είναι ια η υποβιβάσιη και απεριοδική αλυσίδα σε έναν χώρο καταστάσεωνX ε πιθανότητες ετάβασης p(·, ·), τότε για κάθε x, y ∈ X υπάρχει n0 ∈ N τέτοιο ώστε p(n)(x, y) > 0,για κάθε n ≥ n0.

Απόδειξη: Εφόσον d(x) = 1 από το Λήα 8 υπάρχει ένα n1 ∈ N τέτοιο ώστε p(n)(x, x) > 0, για κάθεn ≥ n1. Εφόσον η Xnn είναι η υποβιβάσιη υπάρχει ακόη ένα m ∈ N τέτοιο, ώστε p(m)(x, y) > 0.Αν τώρα n ≥ n1 +m, έχουε

p(n)(x, y) =

z∈Xp(n−m)(x, z)p(m)(z, y) ≥ p(n−m)(x, x)p(m)(x, y) > 0.

89

Προσέξτε ότι στο παράδειγα που είδαε στην αρχή της παραγράφου, για το οποίο η κατανοή πn τηςαλυσίδας ετά από n βήατα δεν συγκλίνει στην αναλλοίωτη κατανοή της αλυσίδας, η περίοδος τηςαλυσίδας είναι 2. Ο λόγος που η σύγκλιση αποτυγχάνει είναι γιατί αν ια η υποβιβάσιη αλυσίδα έχειπερίοδο d, ο χώρος κατάστασεων διαερίζεται σε d σύνολα X = ∪d−1

j=0Cj , σε καθένα από τα οποία η αλυσίδαπορεί να επιστρέψει όνο ετά από ένα αριθό βηάτων που είναι πολλαπλάσιο του d. ηλαδή,

PXn ∈ Cj |X0 ∈ Cj

= 0 ⇔ d/n.

Πιο συγκεκριένα έχουε το ακόλουθο θεώρηα, του οποίου η απόδειξη αφήνεται σαν άσκηση.

Θεώρηα 25 ΄Εστω Xnn∈N0 ια η υποβιβάσιη αλυσίδα σε έναν χώρο καταστάσεων X x επιθανότητες ετάβασης p(·, ·) και περίοδο d. Τότε η αλυσίδα Ynn∈N0 ε Yn = Xnd (δηλαδή η αλυσίδαπου προκύπτει αν δειγατοληπτούε την Xnn κάθε d βήατα) είναι υποβιβάσιη στις d απεριοδικέςκλάσεις

Cv = y ∈ X : p(dn+v)(x, y) > 0, για κάποιο n ∈ N0, v ∈ 0, 1, 2, . . . d− 1.

Αν η αλυσίδα Xnn∈N είναι γνησίως επαναληπτική ε αναλλοίωτη κατανοή π, τότε η αναλλοίωτη κατα-νοή πv της αλυσίδας Ynn∈N0 που στηρίζεται στην κλάση Cv δίνεται από την

πv(y) =

dπ(y), αν y ∈ Cv

0, αν y /∈ Cv.(6.3)

Στην παράγραφο 6.4 θα δούε ότι αν ια η υποβιβάσιη και γνησίως επαναληπτική αλυσίδα είναι απεριο-δική, τότε σε βάθος χρόνου η κατανοή της αλυσίδας πn θα συγκλίνει στην αναλλοίωτη κατανοή της.Αυτό είναι ένα πολύ χρήσιο αποτέλεσα, γιατί εκτός του ότι περιγράφει την ασυπτωτική συπεριφο-ρά της αλυσίδας, προσφέρει και έναν υπολογιστικό τρόπο για να πάρουε δείγατα από ια κατανοή π.Χρειάζεται απλώς να κατασκευάσουε ια η υποβιβάσιη, γνησίως επαναληπτική και απεριοδική αλυσίδαπου έχει αναλλοίωτη κατανοή την π και να αφήσουε αυτή την αλυσίδα να κάνει αρκετά βήατα ώστε ηκατανοή της να πλησιάσει την π. Αυτή η ιδέα είναι η βάση της εθόδου Markov Chain Monte Carlo(MCMC), που θα ελετήσουε εκτενέστερα στο Κεφάλαιο 7.

Για την απόδειξη της σύγκλισης πn → π θα χρησιοποιήσουε ια πολύ ισχυρή πιθανοθεωρητική τεχνι-κή, τη σύζευξη (coupling). Λόγω της χρησιότητας αυτής της τεχνικής θα αφιερώσουε την επόενηπαράγραφο στο να την περιγράψουε έσα από δύο παραδείγατα.

6.3 Σύζευξη

Η σύζευξη είναι ια πολύ γενική έθοδος ε την οποία πορούε να πάρουε χρήσια αποτελέσατα γιατην κατανοή τυχαίων εταβλητών, ορισένων εν γένει σε διαφορετικούς χώρους πιθανότητας, θεωρώνταςέναν εγαλύτερο χώρο πιθανότητας στον οποίο πορούε να ορίσουε ταυτόχρονα τις τυχαίες εταβλητέςχωρίς να αλλάξουε την κατανοή τους. Πιο συγκεκριένα, αν η τυχαία εταβλητή X έχει οριστεί στονχώρο πιθανότητας (Ω1,F1,P1) και η τυχαία εταβλητή Y έχει οριστεί στον χώρο πιθανότητας (Ω2,F2,P2)πορούε να ορίσουε τις X, Y στον κοινό δειγατικό χώρο Ω = Ω1 × Ω2 ως εξής

X(ω1,ω2) = X(ω1), Y (ω1,ω2) = Y (ω2).

Αν εφοδιάσουε τον Ω ε ένα έτρο πιθανότητας P που, περιορισένο στο Ωi, ταυτίζεται ε το Pi γιαi ∈ 1, 2, αν δηλαδή

PA1 × Ω2

= P1

A1

και P

Ω1 ×A2

= P2

A2

, (6.4)

90

για κάθε Ai ⊂ Ω1 στο πεδίο ορισού Fi του Pi, τότε οι X, Y , που είναι από κοινού ορισένες στον Ω,έχουν την ίδια κατανοή ε τις X και Y , αντίστοιχα. Πράγατι,

PX ∈ C

= P

X ∈ C× Ω2

= P1

X ∈ C

και αντίστοιχα για τις Y και Y . ΄Ενα έτρο πιθανότητας P που ικανοποιεί τις (6.4) ονοάζεται έτροσύζευξης των P1 και P2.

Παρατηρήστε ότι ενώ οι σχέσεις (6.4) που επιβάλλουε στο P καθορίζουν την κατανοή καθειάς από τιςX και Y , δεν ας δίνουν καιά πληροφορία για τον τρόπο που οι X και Y συνδέονται εταξύ τους. Ητεχνική της σύζευξης συνίσταται στο να επιλέξουε το έτρο σύζευξης P ε τρόπο ώστε η από κοινούκατανοή των X, Y κάτω από το P να ας οδηγεί σε χρήσια συπεράσατα.

Ας δούε πώς πορούε να εφαρόσουε το παραπάνω γενικό σχέδιο έσα από δύο συγκεκριένα παρα-δείγατα.

Παράδειγα 47 ΄Εστω X τυχαία εταβλητή ε τιές στο R. Αν οι συναρτήσεις f, g : R → R είναι καιοι δύο αύξουσες ή και οι δύο φθίνουσες, τότε

Ef(X)g(X)

≥ E

f(X)

Eg(X)

οποτεδήποτε οι παραπάνω αναενόενες τιές είναι καλά ορισένες.

Σε αυτό το σηείο αξίζει να δοκιάσετε να αποδείξετε τον ισχυρισό του παραδείγατος χωρίς να χρησι-οποιήσετε την τεχνική της σύζευξης. Θα δείτε ότι δεν είναι καθόλου εύκολο. Θεωρήστε τώρα ια άλλητυχαία εταβλητή Y ε την ίδια κατανοή όπως η X και ανεξάρτητη από τη X. Παρατηρήστε ότι, εφόσονοι f, g έχουν το ίδιο είδος ονοτονίας, τότε για κάθε x, y ∈ R έχουε

f(x)− f(y)

g(x)− g(y)

≥ 0

και εποένως η τυχαία εταβλητήf(X) − f(Y )

g(X) − g(Y )

παίρνει όνο η αρνητικές τιές. Ειδι-

κότερα,

0 ≤ Ef(X)− f(Y )

g(X)− g(Y )

= Ef(X)g(X)

+ E

f(Y )g(Y )

− E

f(X)g(Y )

− E

f(Y )g(X)

= Ef(X)g(X)

+ E

f(Y )g(Y )

− E

f(X)

Eg(Y )

− E

f(Y )

Eg(X)

= 2Ef(X)g(X)

− E

f(X)

Eg(X)

,

όπου η προτελευταία ισότητα ισχύει επειδή οι X,Y είναι ανεξάρτητες, ενώ η τελευταία ισότητα προκύπτειαπό το ότι οι X,Y έχουν την ίδια κατανοή.

Πού ακριβώς χρησιοποιήσαε τη σύζευξη στο παραπάνω επιχείρηα; Λέγοντας ‘θεωρήστε τώρα ια άλλητυχαία εταβλητή Y ε την ίδια κατανοή όπως η X και ανεξάρτητη από τη X’ αποσιωπήσαε πώς πορείκανείς να ορίσει στον ίδιο χώρο πιθανότητας δύο τυχαίες εταβλητές ε δεδοένη κατανοή ώστε αυτέςνα είναι ανεξάρτητες. Αυτό γίνεται ακριβώς ε την τεχνική της σύζευξης. Με τον συβολισό πουπεριγράψαε πριν, αν η X είναι ορισένη σε έναν χώρο πιθανότητας (Ω1,F1,P1) και η Y είναι ορισένησε έναν χώρο πιθανότητας (Ω2,F2,P2), εφοδιάζουε τον χώρο γινόενο Ω1 × Ω2 ε το έτρο γινόενοP = P1 × P2, που ικανοποιεί την

PA1 ×A2

= P1

A1

P2

A2

,

για κάθε Ai ⊂ Ωi στο πεδίο ορισού Fi του Pi. Το P είναι έτρο σύζευξης αφού Pi

Ωi

= 1, εποένως οι

X και Y που είναι ορισένες στον Ω έχουν την κατανοή των X και Y , αντίστοιχα. Επιπλέον το P κάνειτις X και Y ανεξάρτητες, αφού

PX ∈ C1, Y ∈ C2

= P

X ∈ C1× Y ∈ C2

= P1

X ∈ C1

P2

Y ∈ C2

= P

X ∈ C1

PY ∈ C2

.

91

Κατασκευάσαε λοιπόν ανεξάρτητες τυχαίες εταβλητές X, Y , ορισένες σε έναν κοινό χώρο πιθανότητας,ε την ίδια κατανοή όπως οι X και Y αντίστοιχα. ΄Εχοντας πλέον δει πώς γίνεται αυτό, πορούε χάριναπλότητας να συβολίζουε τις X, Y ε X και Y αντίστοιχα.

Παρατηρήστε ότι κάθε έτρο σύζευξης δίνει στις X, Y την κατανοή των X,Y αντίστοιχα. Επιλέγονταςνα εφοδιάσουε τον Ω ε το έτρο γινόενο P καθορίσαε επιπλέον πώς αυτές συνδέονται εταξύ τους:είναι ανεξάρτητες. Στη συνέχεια χρησιοποιήσαε την ανεξαρτησία τους στην πορεία της απόδειξης.

Παράδειγα 48 Θεωρήστε έναν συνεκτικό γράφο G ε σύνολο κορυφών V (|V | < +∞) και σύνολοακών E. Για κάθε ακή του γράφου και ανεξάρτητα από τις άλλες ακές, αποφασίζουε αν θα τηδιαγράψουε ε πιθανότητα p ∈ (0, 1). ΄Εστω C το ενδεχόενο ο γράφος να παραένει συνεκτικός ετάτις διαγραφές. Θα δείξουε ότι η πιθανότητα του C είναι φθίνουσα συνάρτηση του p.

Είναι διαισθητικά αναενόενο ότι όσο πιο πιθανό είναι να διαγράψουε κάθε ακή τόσο λιγότερο πιθανόείναι το να παραείνει συνεκτικός ο γράφος ετά τις διαγραφές. Παρ΄ όλα αυτά δεν είναι εύκολο να αποδείξεικανείς αυστηρά αυτόν τον ισχυρισό χωρίς να χρησιοποιήσει την ιδέα της σύζευξης. Ο λόγος είναι ότι,αν χρησιοποιήσει κανείς ένα κέρα που έχει πιθανότητα να φέρει κεφαλή p1 και το στρίψει για κάθε ακήτου γράφου για να αποφασίσει αν θα τη διαγράψει και στη συνέχεια κάνει το ίδιο ε ένα κέρα που έχειπιθανότητα να φέρει κεφαλή p2 > p1, είναι δυνατόν τα αποτελέσατα των στριψιάτων να είναι τέτοια ώστεστην πρώτη περίπτωση να καταλήξει ε έναν η συνεκτικό γράφο, ενώ στη δεύτερη ε έναν συνεκτικόγράφο. Θα χρησιοποιήσουε την ιδέα της συζευξης ώστε να κάνουε τις διαγραφές ε πιθανότητα p1 καιp2 συντονισένα και ε τρόπο ώστε οι ακές που διαγράφουε στην πρώτη περίπτωση να είναι υποσύνολοεκείνων που διαγράφουε στη δεύτερη.

Ο γράφος του πειράατος είναι ια τυχαία εταβλητή G ορισένη στον δειγατικό χώρο Ω = 0, 1E ετιές στο σύνολο των γράφων που έχουν κορυφές τα σηεία του V και ακές κάποιο υποσύνολο του E.Πράγατι, το ω = ωee∈E ∈ Ω αντιστοιχεί στον γράφο G(ω) ε σύνολο ακών το E(ω) = e ∈ E :ωe = 1. Προκειένου να διαγράφουε κάθε ακή ανεξάρτητα ε πιθανότητα p, εφοδιάζουε τον Ω ε τοέτρο γινόενο Pp, κάτω από το οποίο οι τυχαίες εταβητές Xee∈E ε Xe(ω) = ωe είναι ανεξάρτητεςκαι ισόνοες ε κατανοή Bernoulli(1-p).

Αν στρίψουε δύο διαφορετικά κέρατα ε πιθανότητες να φέρουν κεφαλή p1, p2 αντίστοιχα (p1 < p2),εφοδιάζουε τον Ω × Ω ε το έτρο σύζευξης Pp1 × Pp2 κάτω από το οποίο οι Xe(ω,ω) = ωe καιYe(ω,ω) = ω

e είναι ανεξάρτητες. Αυτό το έτρο όως επιτρέπει σε ια ακή να διαγραφεί από τον G(ω),όχι όως και από τον G(ω). Πράγατι,

Pp1 × Pp2

ωe = 0,ω

e = 1= p1(1− p2) > 0.

Για να εξασφαλίσουε ότι όλες οι ακές του G(ω) περιέχονται στις ακές του G(ω) θα κατασκευάσουεένα έτρο σύζευξης P των Pp1 και Pp2 στον χώρο γινόενο Ω× Ω τέτοιο ώστε

PYe ≤ Xe για κάθε e ∈ E

= 1. (6.5)

εν είναι δύσκολο να δει κανείς ότι για να είναι το P έτρο σύζευξης των Pp1 και Pp2 θα πρέπει οιXee∈E να είναι ανεξάρτητες τυχαίες εταβλητές ε κατανοή Bernoulli(1− p1) και οι Yee∈E να είναιανεξάρτητες τυχαίες εταβλητές ε κατανοή Bernoulli(1− p2).

Μπορούε να κατασκευάσουε ένα έτρο P στον Ω × Ω ε τις παραπάνω ιδιότητες ως εξής. Αρχικάεφοδιάζουε το 0, 1× 0, 1 ε το έτρο πιθανότητας Q για το οποίο

Q(0, 0)

= p1, Q

(1, 0)

= p2 − p1, Q

(1, 1)

= 1− p2, και Q

(0, 1)

= 0.

92

Στη συνέχεια ορίζουε για (ω,ω) ∈ Ω× Ω

P(ω,ω)

=

e∈EQ(ωe,ω

e)

.

Παρατηρήστε ότι κάτω από το έτρο P οι (Xe, Ye)e∈E είναι ια ακολουθία από ανεξάρτητες ισόνοεςτυχαίες εταβλητές ε κατανοή Q. Εφόσον P

Xe = 1

= Q

(1, 0), (1, 1)

= 1 − p1 έχουε ότι οι

Xee∈E είναι ανεξάρτητες, ισόνοες τυχαίες εταβλητές ε κατανοή Bernoulli(1 − p1). Αντίστοιχα,εφόσον P

Ye = 1

= Q

(0, 1), (1, 1)

= 1 − p2, οι Yee∈E είναι ανεξάρτητες, ισόνοες τυχαίες ετα-

βλητές ε κατανοή Bernoulli(1− p2). Εποένως το P είναι πράγατι έτρο σύζευξης. Κάτω από το P οιXe και Ye δεν είναι εταξύ τους ανεξάρτητες, αλλά για κάθε e ∈ E έχουε

PYe ≤ Xe

= Q

(0, 0), (1, 0), (1, 1)

= p1 + (p2 − p1) + (1− p2) = 1.

Επιπλέον, λόγω της ανεξαρτησίας των (Xe, Ye)e∈E , έχουε ότι

PYe ≤ Xe για κάθε e ∈ E

= P

e∈EYe ≤ Xe

=

e∈EPYe ≤ Xe

= 1,

οπότε το έτρο P πράγατι ικανοποιεί την (6.5). Θα δείξουε τώρα ότι αν υπάρχει έτρο σύζευξης P τωνPp1 και Pp2 που ικανοποιεί την (6.5), τότε Pp1

C≥ Pp2

C.

Αν ορίσουε την τυχαία εταβλητή

F (ω) =

1, αν ο G(ω) είναι συνεκτικός

0, αν ο G(ω) δεν είναι συνεκτικός,

έχουε προφανώςPp

C= Pp

ω ∈ Ω : G(ω) συνεκτικός

= Ep

F.

Επιπλέον αν ω,ω ∈ Ω και ωe ≤ ωe για κάθε e ∈ E, τότε το σύνολο των ακών του G(ω) είναι υποσύνολο

των ακών του G(ω) και άρα F (ω) ≤ F (ω). Ορίζουε τέλος τις συναρτήσεις F1, F2 στον Ω×Ω ε τύπουςF1(ω,ω) = F (ω) και F2(ω,ω) = F (ω). Παρατηρήστε ότι, αν το έτρο P ικανοποιεί την (6.5), τότε

PF1 ≥ F2

= P

(ω,ω) ∈ Ω× Ω : F (ω) ≥ F (ω)

≥ P

ωe ≤ ωe, για κάθε e ∈ E

= 1. (6.6)

΄Εχουε τώραPp1

C= Ep1

F= E

F1

≥ E

F2

= Ep2

F= Pp2

C,

όπου η δεύτερη και η προτελευταία ισότητα προκύπτουν από το γεγονός ότι το P είναι έτρο σύζευξης,ενώ η τρίτη ισότητα από την (6.6).

Θα κλείσουε αυτή την παράγραφο ε ια παρατήρηση. Στην απόδειξη που δώσαε για τον ισχυρισότου Παραδείγατος 2, χρησιοποιήσαε συβολισό συβατό ε αυτόν της εισαγωγής της παραγράφου,κατασκευάζοντας ένα κατάλληλο έτρο σύζευξης στον χώρο γινόενο 0, 1E × 0, 1E . ιαβάζονταςόως προσεκτικά την απόδειξη διαπιστώνουε ότι είναι αρκετό να κατασκευάσουε τυχαίες εταβλητέςXe, Yee∈E σε έναν κοινό χώρο πιθανότητας (Ω,F ,P) έτσι ώστε: α) οι Xee∈E να είναι ανεξάρτητεςτυχαίες εταβλητές ε κατανοή Bernoulli(1−p1), β) οι Yee∈E να είναι ανεξάρτητες τυχαίες εταβλητέςε κατανοή Bernoulli(1− p2) και γ) P

Ye ≤ Xe για κάθε e ∈ E

= 1.

Αυτό πορούε να το πετύχουε ε τον εξής απλούστερο και ενδεχοένως πιο διδακτικό τρόπο. Θεωρού-ε έναν χώρο πιθανότητας (Ω,F ,P) στον οποίο πορούε να ορίσουε ια ακολουθία από ανεξάρτητες,

93

ισόνοες τυχαίες εταβλητές Uee∈E ε οοιόορφη κατανοή στο (0,1). Για κάθε e ∈ E ορίζουε τιςXe, Ye ε τη βοήθεια της Ue ως εξής

Xe = Ue > p1 και Ye = Ue > p2.

Λόγω της ανεξαρτησίας των Uee∈E οι (Xe, Ye)e∈E είναι ανεξάρτητες. Επιπλέον

PXe = 1

= P

Ue > 1− p1

= 1− p1 και P

Ye = 1

= P

Ue > 1− p2

= 1− p2,

άρα πράγατι οι (α) και (β) παραπάνω ικανοποιούνται. Τέλος η (γ) είναι προφανής από την κατασκευή τωνXe, Ye αφού Ye = 1 ⇔ Ue > p2 ⇒ Xe = 1.

6.4 Ασυπτωτική κατανοή

Η παράγραφος αυτή είναι αφιερωένη στην απόδειξη του παρακάτω Θεωρήατος.

Θεώρηα 26 ΄Εστω Xnn∈N0 ια η υποβιβάσιη, γνησίως επαναληπτική και απεριοδική αλυσίδα στονχώρο καταστάσεων X. Αν πn(x) = P

Xn = x

για x ∈ X, είναι η κατανοή της αλυσίδας ετά από n ∈ N0

βήατα και π είναι η αναλλοίωτη κατανοή της αλυσίδας, τότε

limn→∞

πn = π.

Ειδικότερα,limn→∞

p(n)(x, y) = π(y), για κάθε x ∈ X.

Απόδειξη: Η απόδειξη βασίζεται στην τεχνική της σύζευξης. ΄Οπως είδαε στην παράγραφο της σύζευ-ξης, πορούε να κατασκευάσουε στον ίδιο χώρο πιθανότητας την αλυσίδα Xnn∈N0 και ια άλλη ανε-ξάρτητη αλυσίδα Ynn∈N ε αρχική κατανοή π και τις ίδιες πιθανότητες ετάβασης όπως η Xnn∈N0 .Ορίζουε τον χρόνο

T = infk ≥ 0 : Xk = Yk

της πρώτης συνάντησης των δύο ανεξάρτητων αλυσίδων. Το υπόλοιπο της απόδειξης πορεί να χωριστείσε ια σειρά από βήατα.

Βήα 1: Θα δείξουε ότι PT < +∞

= 1.

Στον χώρο καταστάσεων X×X θεωρούε τη στοχαστική διαδικασία Wnn∈N0 ε Wn = (Xn, Yn). Είναιεύκολο να δει κανείς ότι αυτή είναι ια αρκοβιανή αλυσίδα ε αρχική κατανοή π0 όπου

π0(x, u)

= P

W0 = (x, u)

= P

X0 = x, Y0 = u

= π0(x)π(u)

και πιθανότητες ετάβασης

p(x, u), (y, v)

= P

Wn+1 = (y, v) |Wn = (x, u)

= P

Xn+1 = y, Yn+1 = v |Xn = x, Yn = u

= PXn+1 = y |Xn = x

PYn+1 = v |Yn = u

= p(x, y)p(u, v).

Επιπλέον η Wnn είναι η υποβιβάσιη. Πράγατι, εφόσον η Xn είναι απεριοδική, από το Λήα 9 γιακάθε x, y, u, v ∈ X υπάρχει ένα n0 τέτοιο ώστε

n ≥ n0 ⇒ p(n)(x, y) > 0 και p(n)(u, v) > 0.

94

΄Ετσι, αν n ≥ n0, έχουε

p(n)(x, u), (y, v)

= P

Wn = (y, v) |W0 = (x, u)

= P

Xn = y, Yn = v |X0 = x, Y0 = u

= PXn = y |X0 = x

PYn = v |Y0 = u

= p(n)(x, y)p(n)(u, v) > 0,

εποένως οποιαδήποτε κατάσταση (y, v) ∈ X × X είναι προσβάσιη από οποιαδήποτε άλλη κατάσταση(x, u) ∈ X× X.

Θα δείξουε τέλος ότι η π : X × X → [0, 1] ε π(y, v) = π(y)π(v) είναι αναλλοίωτη κατανοή για τηWnn. Πράγατι, είναι φανερό ότι π(y, v) ≥ 0 για κάθε (y, v) ∈ X× X, ενώ

y,v∈Xπ(y, v) =

y,v∈Xπ(y)π(v) =

y∈Xπ(y)

v∈Xπ(v) = 1.

Τέλος,

x,u∈Xπ(x, u)p

(x, u), (y, v)

=

x,u∈Xπ(x)π(u)p(x, y)p(u, v)

=

x∈Xπ(x)p(x, y)

u∈Xπ(u)p(u, v) = π(y)π(v) = π(y, v).

Εφόσον η Wnn είναι ια η υποβιβάσιη αλυσίδα που έχει αναλλοίωτη κατανοή π, είναι και γνησίωςεπαναληπτική. Ο χρόνος T που ορίσαε παραπάνω είναι ο χρόνος πρώτης άφιξης της Wnn στη διαγώνιοτου X×X, δηλαδή στο σύνολο ∆ = (w,w) : w ∈ X. Από την επαναληπτικότητα της αλυσίδας προκύπτειο ισχυρισός του βήατος.

Βήα 2: Ορίζουε τη διαδικασία Znn∈N0 ως εξής:

Zn(ω) =

Xn(ω), αν n ≤ T (ω)

Yn(ω), αν n > T (ω).

Θα δείξουε ότι η Znn είναι ια αρκοβιανή αλυσίδα στον X ε αρχική κατανοή π0 και πιθανότητεςετάβασης p(·, ·), έχει δηλαδή την ίδια κατανοή ε τη Xnn.

Αυτός ο ισχυρισός είναι διαισθητικά φανερός. Η Zn παρακολουθεί τη Xn έχρι τον χρόνο T κατάτον οποίο η Xnn συναντά για πρώτη φορά την Ynn και στη συνέχεια παρακολουθεί την Ynn. Επειδήόως, από την ισχυρή αρκοβιανή ιδιότητα, τόσο η XT+nn∈N0 όσο και η YT+nn∈N0 είναι αρκοβιανέςαλυσίδες που ξεκινούν από το σηείο συνάντησής τους, έχουν πιθανότητες ετάβασης p(·, ·) και είναιανεξάρτητες από το παρελθόν του χρόνου T , περιένουε ότι θα είναι αδύνατο να ξεχωρίσει κανείς τηστατιστική συπεριφορά των Xnn και Znn.

Το ότι η Z0 έχει κατανοή π0 είναι φανερό, αφού T ≥ 0 και άρα PZ0 = X0

= 1. Θα δείξουε ακόα

ότι αν τα σηεία z0, z1, . . . , zn ∈ X είναι τέτοια ώστε p(zi, zi+1) > 0 για i ∈ 0, 1, . . . , n− 1, τότε

PZn+1 = y |Zn = zn, . . . , Z0 = z0

= p(zn, y). (6.7)

Από τη διαέριση Ω =

n

k=0T = k ∪ T > n έχουε

PZn+1 = y |Zn = zn, . . . , Z0 = z0

=

n

k=0

PZn+1 = y, T = k |Zn = zn, . . . , Z0 = z0

+ PZn+1 = y, T > n |Zn = zn, . . . , Z0 = z0

(6.8)

95

Αν k ∈ 0, 1, . . . , n, έχουε

PZn+1 = y, T = k |Zn = zn, . . . , Z0 = z0

=PX0 = z0 = Y0, . . . , Xk−1 = zk−1 = Yk−1, Xk = Yk = zk, Yk+1 = zk+1, . . . , Yn = zn, Yn+1 = y

PZ0 = z0, . . . , Zn = zn

=PYn+1 = y, Yn = zn, . . . , Yk = zk, Yk−1 = zk−1, . . . , Y0 = z0

PZ0 = z0, . . . , Zn = zn

PXi = zi, i = 0, . . . , k

.

Από τη αρκοβιανή ιδιότητα της Ynn έχουε περαιτέρω ότι

PZn+1 = y, T = k |Zn = zn, . . . , Z0 = z0

= p(zn, y)PX0 = z0 = Y0, . . . , Xk−1 = zk−1 = Yk−1, Xk = Yk = zk, Yk+1 = zk+1, . . . , Yn = zn

PZ0 = z0, . . . , Zn = zn

= p(zn, y)PT = k |Z0 = z0, . . . , Zn = zn

. (6.9)

Με παρόοιο τρόπο, έχουε

PZn+1 = y, T > n |Zn = zn, . . . , Z0 = z0

=

PXi = zi = Yi, i = 0, 1, . . . , n,Xn+1 = y

PZ0 = z0, . . . , Zn = zn

= p(zn, y)PXi = zi = Yi, i = 0, 1, . . . , n

PZ0 = z0, . . . , Zn = zn

= p(zn, y)PT > n |Z0 = z0, . . . , Zn = zn

. (6.10)

Αντικαθιστώντας τις (6.9) και (6.10) στην (6.8) παίρνουε την (6.7).

Βήα 3: Θα δείξουε ότι, για κάθε x ∈ X, έχουε

|πn(x)− π(x)| ≤ PT > n

. (6.11)

Εφόσον οι Xnn και Znn έχουν την ίδια κατανοή, έχουε

πn(x) = PXn = x

= P

Zn = x

, για κάθε x ∈ X, n ∈ N0.

Επειδή η αρχική κατανοή π της Ynn είναι αναλλοίωτη κατανοή έχουε

π(x) = PYn = x

, για κάθε x ∈ X, n ∈ N0.

Συνδυάζοντας τις δύο παραπάνω σχέσεις έχουε ότι, για κάθε x ∈ X και n ∈ N0,πn(x)− π(x)| = | P

Zn = x

− P

Yn = x

= P

Zn = x, T ≤ n

+ P

Zn = x, T > n

− P

Yn = x, T ≤ n

− P

Yn = x, T > n

= P

Xn = x, T > n

− P

Yn = x, T > n

≤ PT > n

.

Η ακολουθία ενδεχοένων An = T > n είναι φθίνουσα, δηλαδή An+1 ⊂ An, για κάθε n ∈ N0. ΄Εχουελοιπόν

limn→∞

PT > n

= P

n

T > n= P

T = ∞

= 0

από το αποτέλεσα του βήατος 1. Συνεπώς, για κάθε x ∈ X έχουε πn(x) → π(x) και άρα πn → π.

96

Τέλος, για να αποδείξουε ότι p(n)(x, y) → π(y) αρκεί να ξεκινήσουε την αλυσίδα Xn από την κα-τάσταση x, να πάρουε δηλαδή P

X0 = x

= 1. Τότε p(n)(x, y) = P

Xn = y

→ π(y), ια και ο

ισχυρισός του θεωρήατος ισχύει για οποιαδήποτε αρχική κατανοή π0.

Παρατηρήστε πώς χρησιοποιήσαε τη συνθήκη της απεριοδικότητας στην απόδειξη στο βήα 1. Χωρίςτην απεριοδικότητα της Xn δεν είναι δυνατόν να συπεράνουε ότι η Wnn είναι η υποβιβάσιη. Ανγια παράδειγα θεωρήσουε ια αλυσίδα που κινείται στις κορυφές ενός τετραγώνου A,B,C,D και σεκάθε βήα εταβαίνει ε πιθανότητα 1/2 σε ία από τις δύο γειτονικές της κορυφές, τότε η κατάσταση(A,A) δεν είναι προσβάσιη για την Wnn από την κατάσταση (A,B). Πράγατι,

PWn = (A,A) |W0 = (A,B)

= p(n)(A,A)p(n)(B,A) = 0,

αφού ο πρώτος όρος του γινοένου στο δεξί έλος είναι 0 αν n περιττός, ενώ ο δεύτερος όρος είναι 0αν n άρτιος. Εποένως, χωρίς την απεριοδικότητα της Xn δεν πορούε να συπεράνουε τη συνθήκηPT < +∞

= 1 που ας δίνει το ζητούενο ε τη βοήθεια της εκτίησης του βήατος 3.

6.5 Το εργοδικό θεώρηα

Σε αυτή την παράγραφο θα αποδείξουε το εργοδικό θεώρηα για αρκοβιανές αλυσίδες. Το εργοδικό θε-ώρηα ας δίνει πληροφορίες για την ασυπτωτική συπεριφορά του χρονικού έσου όρου συναρτησιακώντης αλυσίδας και ε αυτή την έννοια είναι ια γενίκευση του κλασικού νόου των εγάλων αριθών στηνπερίπτωση εταβλητών που δεν είναι ανεξάρτητες. Στην περίπτωση η αρνητικών τυχαίων εταβλητώνπου θα χρειαστούε παρακάτω ο ισχυρός νόος των εγάλων αριθών διατυπώνεται ως εξής.

Θεώρηα 27 ΄Εστω Znn∈N ια ακολουθία από ανεξάρτητες, ισόνοες, η αρνητικές τυχαίες ετα-βλητές ε E

Zi

= µ ≤ ∞. Τότε

P 1

n

n

k=1

Zk → µ= 1.

Η απόδειξη αυτού του θεωρήατος πορεί να βρεθεί στην [8] και στην [9]. Προσέξτε ότι για κάθε n ∈ N οχρονικός έσος της ακολουθίας 1

n

n

k=1 Zk είναι ια τυχαία εταβλητή. Ο νόος των εγάλων αριθών άςδίνει την πληροφορία ότι η κατανοή αυτής της τυχαίας εταβλητής συγκεντρώνεται ασυπτωτικά γύρω απότο µ. Η ανεξαρτησία των ZnN∈N παίζει αποφασιστικό ρόλο σε αυτό. Πράγατι, στην ακραία περίπτωσηπου πάρει κανείς όλες τις εταβλητές ίσες ε ια τυχαία εταβλητή Z, ο έσος όρος οσωνδήποτε από αυτέςείναι η πάλι η Z και φυσικά η κατανοή του δεν συγκεντρώνεται γύρω από έναν αριθό. Μπορούε νακαταλάβουε τον ηχανισό ε τον οποίον υπεισέρχεται η ανεξαρτησία στην περίπτωση µ < ∞ ως εξής.Για ένα τυπικό ω ∈ Ω, κάποιες από τις τυχαίες εταβλητές παίρνουν τιές εγαλύτερες από τη έση τιήτους µ και κάποιες ικρότερες. Επειδή οι εταβλητές είναι ανεξάρτητες, οι προς τα πάνω αποκλίσεις απο τηέση τιή σε εγάλο βαθό αλληλοαναιρούνται ε τις προς τα κάτω αποκλίσεις, τόσο που οι αθροιστικέςαποκλίσεις n προσθετέων είναι πολύ ικρότερες από το n ε το οποίο διαιρούε και στο όριο n → ∞εξαφανίζονται.

Αν τώρα Xnn∈N0 είναι ια η υποβιβάσιη αρκοβιανή αλυσίδα σε έναν χώρο καταστάσεων X καιf : X → R, πορεί κανείς να ελετήσει τον χρονικό έσο όρο των πραγατικών τυχαίων εταβλητώνZn = f(Xn). Αυτές βέβαια δεν είναι ανεξάρτητες. ΄Εχουε όως δει ότι η εξάρτηση της κατανοής ιαςη υποβιβάσιης αρκοβιανής αλυσίδας από τις προηγούενες τιές της εξασθενεί προϊόντος του χρόνου.Το εργοδικό Θεώρηα ας λέει ότι και σε αυτή την περίπτωση οι αθροιστικές αποκλίσεις n προσθετέωνείναι πολύ ικρότερες από το n και οι χρονικοί έσοι όροι συγκλίνουν καθώς n → ∞. Στην απλούστερη

97

ορφή του που θα δούε πρώτα, η συνάρτηση f είναι η δείκτρια ιας κατάστασης x ∈ X και το εργοδικόθεώρηα ας δίνει πληροφορία για το ασυπτωτικό ποσοστό του χρόνου που περνά η αλυσίδα στη x.

Για x ∈ X ορίζουε Vn(x) το πλήθος των επισκέψεων στη x ιας αλυσίδας Xnn∈N0 πριν τη χρονικήστιγή n,

Vn(x) =n−1

k=0

Xk = x.

Θεώρηα 28 (εργοδικό Θεώρηα) ΄Εστω Xnn∈N0 ια η υποβιβάσιη αρκοβιανή αλυσίδα σε ένανδιακριτό χώρο καταστάσεων X. Για οποιαδήποτε αρχική κατανοή της αλυσίδας, έχουε

P Vn(x)

n→ 1

Ex

T+x

, για κάθε x ∈ X= 1,

όπου T+x = infk > 0 : Xk = x είναι ο χρόνος πρώτης επανόδου της αλυσίδας στην κατάσταση x.

Απόδειξη: Θα αποδείξουε πρώτα ότι για κάθε x ∈ X

P Vn(x)

n→ 1

Ex

T+x

= 1. (6.12)

Αξίζει να παρατηρήσουε ότι το αν υπάρχει το όριο Vn(x)/n και το ποιο είναι αυτό εξαρτάται όνο απότην τελική συπεριφορά της αλυσίδας και όχι από τα οσαδήποτε πρώτα βήατά της. Πράγατι, αν M ∈ Nκαι θεωρήσουε τη διαδικασία Ynn∈N0 ε Yn = XM+n, έχουε

n−1

k=0

Xk = x−n−1

k=0

Yk = x =M−1

k=0

Xk = x− Xn+k = x

και εποένως 1n

n−1

k=0

Xk = x− 1

n

n−1

k=0

Yk = x ≤ M

n→ 0, καθώς n → ∞.

Μάλιστα, ακόα κι αν η M = M(ω) είναι ένας τυχαίος χρόνος ε PM < +∞

= 1, πορούε να

χρησιοποιήσουε αυτό το επιχείρηα για κάθε ω ∈ ω ∈ Ω : M(ω) < +∞.

Αν η x είναι επαναληπτική κατάσταση και Tx = infk ≥ 0 : Xk = x, τότε για οποιαδήποτε αρχικήκατανοή της αλυσίδας έχουε P

Tx < +∞

= 1. Επιπλέον, από την ισχυρή αρκοβιανή ιδιότητα, η

διαδικασία Ynn∈N0 ε Yn = XTx+n είναι ια αλυσίδα που ξεκινά από το x και έχει τις ίδιες πιθανότητεςετάβασης όπως η Xnn. Σύφωνα ε την προηγούενη παρατήρησή ας, για να δείξουε την (6.12)στην περίπτωση που η x είναι επαναληπτική, αρκεί να δείξουε ότι

Px

Vn(x)

n→ 1

Ex

T+x

= 1. (6.13)

Ορίζουε S0 = 0 και επαγωγικά για κάθε n ∈ N τον χρόνο της n-στής επανόδου στην κατάσταση x ωςεξής

Sn(ω) = infk > Sn−1(ω) : Xk = x.

Από την ισχυρή αρκοβιανή ιδιότητα και την επαναληπτικότητα της x, έχουε Px

Sn < +∞ για κάθε n ∈

N= 1. Επιπλέον, όπως είδαε στο Πόρισα 2, οι χρόνοι Sn − Sn−1n∈N, που εσολαβούν ανάεσα

98

σε διαδοχικές επισκέψεις στην κατάσταση x είναι ανεξάρτητες, ισόνοες τυχαίες εταβλητές ε κοινήκατανοή αυτήν της S1−S0 = T+

x . Από τον νόο των εγάλων αριθών (Θεώρηα 27) έχουε εποένως

Px

limn→∞

Sn

n= Ex

T+x

= 1.

Από την επαναληπτικότητα της κατάστασης x έχουε ακόα

Px

Vn(x) → ∞

= 1.

Αφού τα παραπάνω ενδεχόενα συβαίνουν ε Px-πιθανότητα 1 και η τοή τους θα συβαίνει ε Px-πιθανότητα 1, εποένως

Px

limn→∞

SVn(x)

Vn(x)= Ex

T+x

= 1. (6.14)

Παρατηρήστε όως τώρα ότι, για ια αλυσίδα που ξεκινά από το x, ο χρόνος SVn(x) = infk ≥ n : Xk = xείναι ο χρόνος της πρώτης επίσκεψης στην x ετά τη χρονική στιγή n για κάθε n ∈ N, εποένως

Px

SVn(x)−1 < n ≤ SVn(x), για κάθε n ∈ N

= 1

και άρα η (6.13) προκύπτει από την (6.14).

Αν η κατάσταση x είναι παροδική, η απόδειξη της (6.12) είναι ακόα πιο εύκολη, αφού τότε Ex

T+x

= +∞,

ενώ Plimn→∞ Vn(x) < +∞

= 1 και άρα P

limn→∞ Vn(x)/n = 0

= 1.

Ο ισχυρισός του θεωρήατος προκύπτει τώρα από την (6.12) επειδή ο X έχει το πολύ αριθήσιο πλήθοςαπό στοιχεία. Πράγατι, η (6.12) σηαίνει ότι για κάθε x ∈ X έχουε P

Ux

= 1, όπου

Ux =ω ∈ Ω :

Vn(x)

n→ 1

Ex

T+x

.

Εφόσον καθένα από τα Ux έχει πιθανότητα 1, το ίδιο θα συβαίνει και για την αριθήσιη τοή τους∩x∈XUx, αφού

P

x∈XUx

c= P

x∈XU c

x

≤

x∈XPU c

x

=

x∈X0 = 0.

Παρατήρηση: Αν η αλυσίδα Xn είναι εκτός από η υποβιβάσιη και γνησίως επαναληπτική, θα έχειοναδική αναλλοίωτη κατανοή π, η οποία θα ικανοποιεί όπως είδαε στο προηγούενο κεφάλαιο την

π(x) =1

Ex

T+x

, για κάθε x ∈ X.

Σε αυτή την περίπτωση το Θεώρηα 28 άς λέει ότι σε βάθος χρόνου το ποσοστό του χρόνου που ξοδεύειη αλυσίδα σε κάθε κατάσταση x ∈ X είναι το βάρος που δίνει στη x η αναλλοίωτη κατανοή π:

P Vn(x)

n→ π(x), για κάθε x ∈ X

= 1. (6.15)

Στην περίπτωση αυτή πορούε να διατυπώσουε το εργοδικό Θεώρηα και ε ια διαφορετική ορφή πουπολλές φορές είναι πιο χρήσιη για υπολογισούς.

99

Θεώρηα 29 (εργοδικό Θεώρηα ΙΙ) ΄Εστω Xnn∈N0 ια η υποβιβάσιη, γνησίως επαναληπτική αρ-κοβιανή αλυσίδα σε έναν διακριτό χώρο καταστάσεων X. Αν f : X → R είναι ια φραγένη συνάρτηση,τότε για οποιαδήποτε αρχική κατανοή της αλυσίδας έχουε

P 1

n

n−1

k=0

f(Xk) → Eπf

= 1,

όπου Eπf=

x∈X f(x)π(x) είναι η έση τιή της τυχαίας εταβλητής f(X), αν η τυχαία εταβλητή X

ακολουθεί την αναλλοίωτη κατανοή της αλυσίδας π.

Απόδειξη: Επειδή κάθε χρονική στιγή k ∈ N0 η αλυσίδα βρίσκεται σε ακριβώς ία από τις καταστάσειςτου X έχουε

x∈XXk = x = 1.

Μπορούε τώρα να γράψουε τον χρονικό έσο των τιών της f κατά ήκος του ονοπατιού της αλυσίδαςως

1

n

n−1

k=0

f(Xk) =1

n

n−1

k=0

f(Xk)

x∈XXk = x

=1

n

x∈X

n−1

k=0

f(Xk) Xk = x

=1

n

x∈X

n−1

k=0

f(x) Xk = x

=

x∈Xf(x)

1

n

n−1

k=0

Xk = x

=

x∈Xf(x)

Vn(x)

n.

Στην περίπτωση που ο X είναι πεπερασένος, ο ισχυρισός προκύπτει κατευθείαν από το Θεώρηα 28.Στην περίπτωση που ο X έχει άπειρο αλλά αριθήσιο πλήθος από καταστάσεις, θεωρήστε M > 0 τέτοιοώστε |f(x)| ≤ M , για κάθε x ∈ X. Εφόσον η σειρά

x∈X π(x) συγκλίνει (στο 1), για κάθε > 0

πορούε να βρούε ένα πεπερασένο σύνολο από καταστάσεις A ⊂ X τέτοιο ώστε

x/∈A π(x) <

2M .΄Εχουε

1

n

n−1

k=0

f(Xk)− Eπf =

x∈Xf(x)

Vn(x)

n− π(x)

≤ M

x∈X

Vn(x)

n− π(x)

= M

x∈A

Vn(x)

n− π(x)

+M

x/∈A

Vn(x)

n− π(x)

. (6.16)

Για τους προσθετέους του τελευταίου όρου θα χρησιοποιήσουε την αλγεβρική ταυτότητα |u| = u+2u−,που ισχύει για κάθε u ∈ R, όπου u− είναι το αρνητικό έρος του u και δίνεται από την u− = max0,−u.

100

Παίρνουε έτσι

x/∈A

Vn(x)

n− π(x)

=

x/∈A

Vn(x)

n− π(x)

+ 2

x/∈A

Vn(x)

n− π(x)

−

=

x∈A

π(x)− Vn(x)

n

+ 2

x/∈A

Vn(x)

n− π(x)

−

≤

x∈A

π(x)− Vn(x)

n

+ 2

x/∈A

π(x)

≤

x∈A

π(x)− Vn(x)

n

+

M,

όπου στο δεύτερο βήα χρησιοποιήσαε ότι

x∈X

Vn(x)

n= 1 =

x∈Xπ(x),

ενώ στο τρίτο ότι, αν u, v > 0, τότε (u− v)− ≤ v. Με αντικατάσταση της παραπάνω σχέσης στην (6.16)έχουε

1

n

n−1

k=0

f(Xk)− Eπf ≤ 2M

x∈A

Vn(x)

n− π(x)

+ .

Εφόσον το σύνολο A είναι πεπερασένο, για τα ω ∈ Ω για τα οποία Vn(x)/n → π(x) έχουε

lim supn→∞

1

n

n−1

k=0

f(Xk)− Eπf ≤

και άρα από το Θεώρηα 28 έχουε ότι για κάθε > 0

Plim supn→∞

1

n

n−1

k=0

f(Xk)− Eπf ≤

= 1.

Αν πάρουε τώρα = 1/N , η ακολουθία ενδεχοένων

BN = ω ∈ Ω : lim supn→∞

1

n

n−1

k=0

f(Xk)− Eπf ≤

1

N

είναι φθίνουσα (BN+1 ⊂ BN για κάθε N ∈ N) και PBN

= 1 για κάθε N ∈ N. Εποένως,

P 1

n

n−1

k=0

f(Xk) → Eπf

= P

N

BN

= lim

N→∞PBN

= 1,

που είναι και ο ισχυρισός του θεωρήατος.

101


΄Ασκηση 79 Αποδείξτε το Θεώρηα 25.

΄Ασκηση 80 Υπολογίστε τη συνδιακύανση των τυχαίων εταβλητών Xe και Ye του Παραδείγατος 48.

΄Ασκηση 81 Τέσσερις υπολογιστές είναι συνδεδεένοι ανά δύο. Κάθε τέτοια σύνδεση είναι λειτουργικήε πιθανότητα p ∈ [0, 1] ανεξάρτητα από τις άλλες συνδέσεις. Υπολογίστε την πιθανότητα f(p) να υπάρχειλειτουργικό κανάλι που να επιτρέπει την επικοινωνία δύο δεδοένων υπολογιστών (ενδεχοένως και έσωτων άλλων δύο υπολογιστών) και ελετήστε τη συνάρτηση f : p → f(p) ως προς τη ονοτονία της. Στησυνέχεια δείξτε ότι η f είναι αύξουσα ε την τεχνική της σύζευξης και παρατηρήστε πόσο πιο εύκολος καιγενικεύσιος σε πιο πολύπλοκες συνδεσολογίες είναι ο δεύτερος τρόπος.

΄Ασκηση 82 Ρίχνουε επαναλαβανόενα ένα τίιο ζάρι και προσθέτουε τα αποτελέσατα των ενδεί-ξεων. Αν Sn είναι το άθροισα των n πρώτων ζαριών ας, υπολογίστε το όριο

limn→∞

PSn είναι πολλαπλάσιο του 7

.

΄Ασκηση 83 Στην ΄Ασκηση 5, σε βάθος χρόνου, ποιο ποσοστό του χρόνου του ξοδεύει το έντοο στοσαλόνι;

΄Ασκηση 84 Στην ΄Ασκηση 68, σε βάθος χρόνου, ποιο ποσοστό των ηερών το πακάλικο δεν έχειπισκότα την ώρα που κλείνει;

΄Ασκηση 85 Αν η Xn είναι ια αρκοβιανή αλυσίδα σ΄ ένα χώρο X, τότε η Yn+1 = (Xn, Xn+1) είναι ιααρκοβιανή αλυσίδα στον X × X. Ποιες είναι οι πιθανότητες ετάβασης της Y ; Αν η X έχει οναδικήαναλλοίωτη κατανοή π, δείξτε ότι η y έχει οναδική αναλλοίωτη κατανοή την π∗(j, k) = π(j)p(j, k).

΄Ασκηση 86 Με τη βοήθεια της προηγούενης άσκησης δείξτε ότι αν η αλυσίδα Xnn∈N είναι ηυποβιβάσιη και κινείται σ΄ έναν πεπερασένο χώρο καταστάσεων X και f : X×X → R, τότε ε πιθανότητα1 έχουε

limn→∞

f(X0, X1) + f(X1, X2) + · · ·+ f(Xn−1, Xn)

n=

(x,y)∈X×Xf(x, y)π(x)p(x, y).

για οποιαδήποτε κατανοή της X0.

΄Ασκηση 87 Στην ΄Ασκηση 66, σε βάθος χρόνου, ποιο ποσοστό των εταβάσεων γίνονται εταξύ τωνκαταστάσεων 3 και 4; Ποιο είναι το όριο

limn→∞

PXn = 4|Xn+1 = 3

;

΄Ασκηση 88 ΄Ενας παίκτης του πάσκετ προπονείται στα τρίποντα. ΄Εχετε παρατηρήσει ότι η πιθανότητανα ευστοχήσει σε ένα σουτ είναι ίση ε

• 1/2 αν έχει ευστοχήσει και στα δύο προηγούενα σουτ που έχει επιχειρήσει

• 1/3 αν έχει ευστοχήσει σε ένα από τα δύο προηγούενα σουτ που έχει επιχειρήσει

• 1/4 αν έχει αστοχήσει και στα δύο προηγούενα σουτ που έχει επιχειρήσει.

102

Για n ∈ N ορίζουε Xn = 1 αν το n-οστό σουτ του παίκτη είναι εύστοχο και 0 διαφορετικά.

α. Είναι η ακολουθία Xn αρκοβιανή; ικαιολογήστε την απάντησή σας.β. Είναι η αλυσίδα Yn = (Xn, Xn+1) ια αρκοβιανή αλυσίδα στον χώρο καταστάσεωνX = 0, 1× 0, 1 = (0, 0), (0, 1), (1, 0), (1, 1); Ποιες είναι οι πιθανότητες ετάβασης;γ. Ποια είναι η αναλλοίωτη κατανοή αυτής της αλυσίδας;δ. Σε βάθος χρόνου τι ποσοστό από τα σουτ του είναι εύστοχα;

΄Ασκηση 89 Επιλέγουε τυχαία δύο n-ψήφιους αριθούς και τους προσθέτουε. Αν An είναι το πλήθοςτων κρατούενων που εταφέραε κατά την πρόσθεση, τι συβαίνει στο όριο limn

Ann;

΄Ασκηση 90 Στο παρακάτω σχήα φαίνονται οι καταστάσεις και οι πιθανότητες ετάβασης ιας αρκο-βιανής αλυσίδας Xnn.

! "

#

$

%

&

' (

1/4

3/43/4

1/4

1/4 1/4

1/41/41/2

1/4 1/4

1 1/4

1/4

1/4

1/4

3/4

1/43/4 1/4

α) Βρείτε τις κλάσεις επικοινωνίας της αλυσίδας και χαρακτηρίστε τις ως προς την επαναληπτικότητα.β) Αν X0 = 3, ποιος είναι ο αναενόενος χρόνος εξόδου της αλυσίδας από την κλάση που περιέχει τηνκατάσταση 3 και ποια η πιθανότητα να καταλήξει σε καθειά από τις άλλες κλάσεις;γ) Υπολογίστε το όριο limn P

Xn = 8 |X0 = 8

.

δ) Αν X0 = 8, T1 = infk > 0 : Xk = 8 και T2 = infk > T1 : Xk = 8, δηλαδή T1 και T2 είναι οιχρόνοι πρώτης και δεύτερης επανόδου στο 8 αντίστοιχα, υπολογίστε τις E

T1

και E

T2

.

ε) ΄Εστω X0 = 3. Αν κερδίζετε 1 ευρώ κάθε φορά που η αλυσίδα βρίσκεται σε κατάσταση ε άρτιο δείκτη,τι πορείτε να πείτε για το έσο κέρδος σας ανά κίνηση σε βάθος χρόνου; Ποιες τιές πορεί να πάρει;Με ποια πιθανότητα;


΄Ασκηση 91 Στην άσκηση αυτή γίνεται προσοοίωση της αλυσίδας της άσκησης 5 του Κεφαλαίου 6για p = 1/2. Υπενθυίζεται ότι αυτή η αλυσίδα στον χώρο καταστάσεων N ∪ 0 είναι η υποβιβάσιη,γνησίως επαναληπτική, ε αναλλοίωτη κατανοή π που δίνεται από την

π(k) =1

2k+1, k = 0, 1, 2, 3, . . .

Κατεβάστε και τρέξτε τον κώδικα ergodic.py. Ο κώδικας αυτός προσοοιώνει τα πρώτα N = 106 βήατατης αλυσίδας και επιστρέφει τον εργοδικό έσο

X1 +X2 + · · ·+XN

N.

103

http://math.ntua.gr/~loulakis/info/python_codes_files/ergodic.py

Από το εργοδικό Θεώρηα η παραπάνω ποσότητα συγκλίνει καθώς N → ∞ ε πιθανότητα 1 στο

∞

k=0

kπ(k),

οπότε ο κώδικας υπολογίζει αριθητικά την παραπάνω ποσότητα ε τη έθοδο Markov Chain MonteCarlo (MCMC).

α) Υπολογίστε αναλυτικά το παραπάνω άθροισα και επιβεβαιώστε ότι ο κώδικας προσφέρει ια καλήεκτίησή του.

β) Αλλάξτε τον κώδικα ώστε να υπολογίζει το παραπάνω άθροισα 50 φορές και βρείτε τη διασπορά τωναποτελεσάτων.

γ) Αν θέλαε να περιορίσουε τη διασπορά των αποτελεσάτων στο ισό, πόσο εγάλο θα έπρεπε ναπάρουε το N ; Απαντήστε θεωρητικά και επιβεβαιώστε το αριθητικά.

δ) Αλλάξτε τον κώδικα ώστε να υπολογίζει ε τη έθοδο MCMC το άθροισα

∞

k=0

cos(k + cos(k))

2k.

104

Κεφάλαιο 7

Εφαρογές των αρκοβιανώναλυσίδων


Στο κεφάλαιο αυτό θα δούε ερικές εφαρογές των αρκοβιανών αλυσίδων στις σύγχρονες επιστήεςκαι στην τεχνολογία. Θα δούε γιατί η ηχανή αναζήτησης της εταιρείας Google κυριάρχησε στην αγορά,όταν εφανίστηκε, αξιοποιώντας ια πολύ απλή ιδέα επνευσένη από αρκοβιανές αλυσίδες. Στη συνέχειαθα δούε ια αναλογία εταξύ αρκοβιανών αλυσίδων και ηλεκτρικών κυκλωάτων. Θα γνωρίσουε α-κόα τη έθοδο MCMC και τον πολύ σηαντικό αλγόριθο Metropolis-Hastings που έφεραν επανάστασηστην υπολογιστική προσοοίωση. Τέλος θα γνωρίσουε την τεχνική της προσοοιωένης ανόπτησης(simulated annealing) και πώς πορούε να τη χρησιοποιήσουε για να προσεγγίσουε δύσκολα προ-βλήατα βελτιστοποίησης, όπως π.χ. το διάσηο πρόβληα του πλανόδιου πωλητή που προέρχεται από τηνπληροφορική.

7.2 Μια κατανοή αξίας δισεκατουρίων

Οι εγαλύτεροι σε ηλικία αναγνώστες θα θυούνται ότι πριν την εφάνιση της Google οι ηχανές αναζήτη-σης δεν ήταν τόσο ακριβείς. Στα αποτελέσατα που επέστρεφαν υπήρχαν πολλές σελίδες που δεν είχανκαία σχέση ε την αναζήτηση και έτσι συχνά χρειαζόταν να δει κανείς αρκετές σελίδες αποτελεσάτωνγια να βρει σελίδες ε χρήσιο περιεχόενο. ΄Οταν η Google εφανίστηκε στην αγορά (1997) και εισήγα-γε τη δική της ηχανή αναζήτησης, τα αποτελέσατα ήταν εντυπωσιακά καλύτερα από οτιδήποτε υπήρχεέχρι τότε. Πολύ σύντοα η συντριπτική πλειονότητα των χρηστών του διαδικτύου χρησιοποιούσε αυτήν,βάζοντας έτσι τις βάσεις για να γίνει η Google ο κολοσσός που γνωρίζουε σήερα.

Το υστικό της επιτυχίας της συγκεκριένης ηχανής ήταν ένας αλγόριθος που χρησιοποιούσε για νααξιολογεί τις ιστοσελίδες και να προτάσσει στα αποτελέσατα της αναζήτησης εκείνες που αξιολογούντανως πιο σηαντικές. Ο αλγόριθος αυτός είναι ο PageRankTMκαι παρά τις τροποποιήσεις που έχει υποστείαπό τότε η βασική του ιδέα είναι εξαιρετικά απλή και παραένει επίκαιρη ακόα και σήερα (2015).

Φανταστείτε έναν περιηγητή του διαδικτύου που σε κάθε του βήα επιλέγει τυχαία έναν από τους συν-δέσους της σελίδας στην οποία βρίσκεται και εταβαίνει εκεί. Μπορούε να φανταστούε την περιήγηση

105

αυτή ως ια αρκοβιανή αλυσίδα στο σύνολο V των ιστοσελίδων του διαδικτύου ε πιθανότητες ετάβασης

q(x, y) =

1

vo(x), αν υπάρχει σύνδεσος από τη σελίδα x προς τη σελίδα y,

0, διαφορετικά,

όπου vo(x) είναι το πλήθος των συνδέσων από τη σελίδα x προς άλλες σελίδες. Ο χώρος καταστάσεωνείναι τεράστιος αλλά πεπερασένος. Ας υποθέσουε για λίγο ότι η αλυσίδα αυτή είναι η υποβιβάσιη,οπότε θα έχει οναδική αναλλοίωτη κατανοή π. Αυτή η υπόθεση είναι ισοδύναη ε το ότι ο περιηγητήςας πορεί να φτάσει από οποιαδήποτε σελίδα του διαδικτύου σε οποιαδήποτε άλλη έσα από ένα ονοπάτιδιαδοχικών συνδέσων. Κάτι τέτοιο δεν είναι ρεαλιστικό, αφού λ.χ. υπάρχουν σελίδες χωρίς εξωτερικούςσυνδέσους, θα ας βοηθήσει όως να καταλάβουε γιατί το βάρος π(x) που αποδίδει στη σελίδα x ηαναλλοίωτη κατανοή π είναι ένας πολύ καλός δείκτης σηαντικότητας της σελίδας x. Στη συνέχεια θαάρουε τον περιορισό της η υποβιβασιότητας.

Πράγατι, το εργοδικό θεώρηα εξασφαλίζει ότι το ποσοστό του χρόνου θα ξοδεύει ο περιηγητής ας στησελίδα x είναι ασυπτωτικά π(x). Συγκεκριένα, αν Nn(x) είναι το πλήθος των επισκέψεων του περιηγητήστη σελίδα x στα πρώτα n βήατά του, τότε

Plimn→∞

Nn(x)

n= π(x), ∀x ∈ V

= 1.

Με αυτή την έννοια λοιπόν η κατανοή π είναι ένας δείκτης σηαντικότητας.

Μπορούε επίσης να φανταστούε ότι η σηαντικότητα σ(x) ιας σελίδας x προσδιορίζεται εέσως απότη σηαντικότητα των σελίδων που έχουν συνδέσους προς τη x. Αυτό είναι διαισθητικά επιθυητό, αφούένας σύνδεσος από την ιστοσελίδα της Yahoo ενδεχοένως βαρύνει περισσότερο απ΄ ότι ένας σύνδεσοςαπό κάποιο άγνωστο ιστολόγιο. Θα θέλαε επίσης η σηαντικότητα ιας σελίδας να επιερίζεται στιςσελίδες προς τις οποίες παρέχει συνδέσους, ώστε σηαντικές σελίδες ε πολλούς συνδέσους να βαρύνουνσυνολικά όσο εξίσου σηαντικές σελίδες ε λίγους εξωτερικούς συνδέσους. Τις προδιαγραφές αυτέςπορούε να τις γράψουε συνοπτικά ως εξής:

σ(x) =

y→x

σ(y)

v0(y), ∀x ∈ V. (7.1)

Η παραπάνω σχέση ας λέει απλώς ότι η σηαντικότητα της σελίδας x προκύπτει, αν αθροίσουε τιςσηαντικότητες των σελίδων y που παρέχουν συνδέσους προς τη x, ε βάρη αντιστρόφως ανάλογα τουπλήθους v0(y) των συνδέσων τους. Αυτός ο ορισός της σηαντικότητας είναι αυτοαναφορικός, αφούγια να ορίσουε τη σηαντικότητα ιας ιστοσελίδας χρησιοποιούε τη σηαντικότητα άλλων σελίδων.εν είναι λοιπόν εκ των προτέρων φανερό γιατί οι εξισώσεις (7.1) έχουν λύση. Μπορούε όως ναξαναγράψουε τις εξισώσεις αυτές ως εξής

σ(x) =

y∈Vσ(y) q(y, x), ∀x ∈ V.

Αν επιπλέον θελήσουε να κανονικοποιήσουε τη συνολική σηαντικότητα όλων των ιστοσελίδων στηονάδα, δηλαδή

x∈Vσ(x) = 1,

βλέπουε ότι αυτές είναι ακριβώς οι εξισώσεις που ορίζουν τη οναδική αναλλοίωτη κατανοή π της αρ-κοβιανής αλυσίδας ας. ΄Αρα όχι όνο έχουν λύση, αλλά η λύση αυτή είναι οναδική και είναι η π.

106

Ελπίζω τα παραπάνω επιχειρήατα να σας έχουν πείσει ότι, αν ο τυχαίος περίπατος στο διαδίκτυο πουπεριγράψαε αντιστοιχούσε σε ια η υποβιβάσιη αλυσίδα, τότε η αναλλοίωτη κατανοή της θα ήταν έναςπολύ καλός δείκτης σηαντικότητας. ΄Οπως προείπαε όως, αυτός ο περιορισός είναι πολύ ισχυρός. Γιανα τον άρουε τροποποιούε την περιήγησή ας ως εξής. Πριν από κάθε ας βήα στρίβουε ένα κέραπου φέρνει κεφαλή ε πιθανότητα α ∈ (0, 1). Αν το κέρα έρθει κεφαλή, τότε όπως και πριν επιλέγουετυχαία ία από τις ιστοσελίδες προς τις οποίες υπάρχει σύνδεσος και εταβαίνουε σε αυτήν. Αν τοκέρα έρθει γράατα, τότε επιλέγουε τυχαία ία από όλες τις σελίδες του διαδικτύου και εταβαίνουεεκεί. Αν |V | είναι το πλήθος των ιστοσελίδων του διαδικτύου, η παραπάνω περιήγηση αντιστοιχεί σε ιααρκοβιανή αλυσίδα στο V ε πιθανότητες ετάβασης

p(x, y) = α q(x, y) +(1− α)

|V | , ∀x, y ∈ V.

Η αλυσίδα αυτή είναι η υποβιβάσιη για κάθε α < 1 και ο δείκτης PageRankTM είναι στην ουσία ηαναλλοίωτη κατανοή αυτής της αλυσίδας για την επιλογή α = 0, 85.

7.3 Μαρκοβιανές αλυσίδες και ηλεκτρικά κυκλώατα

Σε αυτή την παράγραφο θα εξερευνήσουε ια αναλογία που υπάρχει ανάεσα σε χρονικά αντιστρέψιεςαρκοβιανές αλυσίδες και σε ηλεκτρικά κυκλώατα. Μέσα από αυτή την αναλογία θα κατανοήσουε τηνπροέλευση της ορολογίας που χρησιοποιήσαε στο Κεφάλαιο 3 και θα αποδείξουε την αρχή του Rayleigh.

Ας θεωρήσουε ένα ηλεκτρικό κύκλωα που αποτελείται από αντιστάσεις, αγωγούς και ία πηγή συνεχούςρεύατος ε διαφορά δυναικού 1 ανάεσα στους δύο πόλους της. Χωρίς βλάβη της γενικότητας, αςυποθέσουε ότι το δυναικό στον αρνητικό πόλο της πηγής είναι 0, ενώ στον θετικό πόλο είναι 1. Αςσυβολίζουε ε X το σύνολο των κόβων του κυκλώατος. ΄Ενα υποσύνολο A από αυτούς τους κόβουςείναι απευθείας συνδεδεένο στον θετικό πόλο της πηγής, εποένως το δυναικό Φ(x) σε κάθε κόβοx ∈ A είναι 1. Αντίστοιχα, ένα υποσύνολο B των κόβων του κυκλώατος είναι συνδεδεένο στοναρνητικό πόλο της πηγής, εποένως το δυναικό Φ(x) σε κάθε κόβο x ∈ B είναι 0. εν θέλουε ναβραχυκυκλώσουε την πηγή, οπότε θα πρέπει A∩B = ∅. Ποιο είναι όως το δυναικό στους υπόλοιπουςκόβους;

Ανάεσα σε δύο κόβους x, y ∈ X υπάρχει ια αγωγιότητα c(x, y) = c(y, x). Αν οι κόβοι συνδέονταιέσω ιας αντίστασης, αυτή η αγωγιότητα είναι απλά το αντίστροφο της αντίστασης. ιαφορετικά, ηεταξύ τους αγωγιότητα είναι ηδέν. Οι νόοι που καθορίζουν την τιή του δυναικού σε κάθε κόβοείναι δύο. Ο Νόος του Ohm ορίζει ότι το ρεύα από τον κόβο y προς τον κόβο x δίνεται από τη σχέση

i(y, x) = c(x, y)Φ(y)− Φ(x)

, για κάθε x, y ∈ X.

Ο Νόος του Kirchoff ορίζει ότι σε κάθε κόβο x του κυκλώατος που δεν είναι συνδεδεένος ε τηνπηγή, το συνολικό ρεύα που εισέρχεται από άλλους κόβους είναι ηδέν, δηλαδή

y∈Xi(y, x) = 0, για κάθε x /∈ A ∪B.

Συνδυάζοντας τις δύο παραπάνω σχέσεις, έχουε ότι η συνάρτηση που δίνει το δυναικό Φ σε κάθε κόβολύνει το ΠΣΤ

y∈Xc(x, y)

Φ(y)− Φ(x)

= 0, αν x /∈ A ∪B

Φ(x) = 1, αν x ∈ A

Φ(x) = 0, αν x ∈ B.

(7.2)

107

Το παραπάνω πρόβληα οιάζει ε το ΠΣΤ (3.2) που δίνει τις πιθανότητες Px

TA < TB

, ε τη διαφορά

ότι οι αγωγιότητες δεν είναι πιθανότητες ετάβασης, αφού δεν αθροίζονται απαραίτητα στη ονάδα. Αυτόόως πορούε να το διορθώσουε κανονικοποιώντας. Αν ορίσουε

p(x, y) =c(x, y)

y∈Xc(x, y)

=c(x, y)

w(x), (7.3)

τότε τα ΠΣΤ (3.2) και (7.2) ταυτίζονται και άλιστα αν το κύκλωα είναι συνεκτικό, αν δηλαδή οποιοι-δήποτε δύο κόβοι επικοινωνούν έσα από ένα ονοπάτι ε θετικές αγωγιότητες, αυτά τα ΠΣΤ έχουνοναδική λύση. Εποένως, το δυναικό στον κόβο x ∈ X ταυτίζεται ε την πιθανότητα Px

TA < TB

για ια αρκοβιανή αλυσίδα, ε πιθανότητες ετάβασης που δίνονται από την (7.3).

Παρατηρήστε ότι οι πιθανότητες ετάβασης αυτής της αλυσίδας βρίσκονται σε ακριβή ισορροπία ε τουςπαράγοντες κανονικοποίησης w(x) =

y∈X c(x, y). Πράγατι, από την (7.3) βλέπουε ότι

w(x)p(x, y) = c(x, y) = c(y, x) = w(y)p(y, x).

Εποένως, αν ορίσουε

π(x) =w(x)x∈Xw(x)

=

y∈X c(x, y)

z,y∈X c(z, y)

,

το Λήα 7 ας δίνει ότι η π είναι αναλλοίωτη κατανοή της αρκοβιανής αλυσίδας ε πιθανότητες ετάβα-σης p(x, y)x,y∈X, που δίνονται από την (7.3) και η αλυσίδα αυτή είναι χρονικά αντιστρέψιη. Μάλιστα,αν το κύκλωα είναι συνεκτικό, η αλυσίδα αυτή είναι η υποβιβάσιη και η π είναι η οναδική αναλλοίωτηκατανοή της.

Αντίστροφα, σε κάθε χρονικά αντιστρέψιη αρκοβιανή αλυσίδα σ΄ έναν πεπερασένο χώρο καταστάσεωνX, ε πιθανότητες ετάβασης p(x, y)x,y∈X και αναλλοίωτη κατανοή π, πορούε να αντιστοιχίσουεένα ηλεκτρικό κύκλωα, θεωρώντας ένα κόβο σε κάθε κατάσταση του X και τοποθετώντας αγωγιότητα

c(x, y) = π(x)p(x, y) = π(y)p(y, x)

ανάεσα στους κόβους που αντιστοιχούν στις καταστάσεις x, y. Αν τώρα ενώσουε ένα σύνολο κόβωνA αυτού του κυκλώατος ε τον θετικό πόλο ιας πηγής κι ένα σύνολο κόβων B (A ∩ B = ∅) ε τοναρνητικό πόλο της πηγής, τότε το δυναικό Φ(x) σε κάθε κόβο x αυτού του κυκλώατος θα ταυτίζεταιε την πιθανότητα Px

TA < TB

. Με άλλα λόγια πορούε να ετρήσουε αυτές τις πιθανότητες ΄ ένα

πολύετρο.

Η ισχύς που καταναλώνεται σε ια αγωγιότητα c(x, y) δίνεται σε σχέση ε τη διαφορά δυναικού σταάκρα της από την ποσότητα c(x, y)

Φ(y)−Φ(x)

2. Το ακόλουθο θεώρηα εξασφαλίζει ότι η κατανοή του

δυναικού σε κάθε κόβο ενός ηλεκτρικού κυκλώατος γίνεται έτσι ώστε να ελαχιστοποιείται η συνολικήισχύς που καταναλώνεται στο κύκλωα.

Θεώρηα 30 Από όλες τις συναρτήσεις στο σύνολο

FA,B = Ψ : X → R : Ψ(x) = 1 για κάθε x ∈ A, Ψ(x) = 0 για κάθε x ∈ B,

η λύση του ΠΣΤ (7.2) είναι η όνη που ελαχιστοποιεί την

D(Ψ) =1

2

x,y∈Xc(x, y)

Ψ(y)−Ψ(x)

2. (7.4)

108

Απόδειξη: ΄Εστω Ψ : X → R ια συνάρτηση για την οποία Ψ(x) = 1 για κάθε x ∈ A και Ψ(x) = 0 γιακάθε x ∈ B. Αν Φ είναι η λύση του ΠΣΤ (7.2), τότε η h = Ψ−Φ ηδενίζεται στα A και B. Αρκεί λοιπόννα δείξουε ότι

D(Φ) ≤ D(Φ+ h)

για κάθε συνάρτηση h : X → R τέτοια ώστε h(x) = 0 για κάθε x ∈ A ∪B. ΄Εχουε όως ότι

D(Φ+ h) =1

2

x,y∈Xc(x, y)

Φ(y) + h(y)− Φ(x)− h(x)

2

= D(Φ) +D(h) +1

2

x,y∈Xc(x, y)

Φ(y)− Φ(x)

h(y)− h(x)

= D(Φ) +D(h) +1

2

x,y∈Xc(x, y)

Φ(y)− Φ(x)

h(y)− 1

2

x,y∈Xc(x, y)

Φ(y)− Φ(x)

h(x).

Αν εναλλάξουε τον ρόλο των x και y στο πρώτο άθροισα της τελευταίας έκφρασης και χρησιοποιήσουεότι η αγωγιότητα είναι συετρική, δηλαδή c(x, y) = c(y, x) για κάθε x, y ∈ X παίρνουε ότι

D(Φ+ h) = D(Φ) +D(h)−

x,y∈Xc(x, y)

Φ(y)− Φ(x)

h(x)

= D(Φ) +D(h)−

x∈Xh(x)

y∈Xc(x, y)

Φ(y)− Φ(x)

.

Από το ΠΣΤ (7.2) που ικανοποιεί η Φ έχουε ότι, αν x /∈ A ∪ B, τότε

y∈X c(x, y)Φ(y)− Φ(x)

= 0.

Επιπλέον, αν x ∈ A ∪ B, τότε h(x) = 0. Σε κάθε περίπτωση ο τελευταίος όρος της παραπάνω σχέσηςηδενίζεται, οπότε

D(Φ+ h) = D(Φ) +D(h) ≥ D(Φ),

αφού η D(h) είναι εξ ορισού η αρνητική. Μάλιστα, για να έχουε ισότητα στην παραπάνω σχέση θαπρέπει D(h) = 0. Εφόσον η D(h) είναι άθροισα η αρνητικών όρων, αυτό σηαίνει ότι h(y) = h(x),όποτε έχουε c(x, y) > 0. Μια και το κύκλωα είναι συνεκτικό, πορούε να συνδέσουε οποιονδήποτεκόβο του, y, ε το A, έσω ενός ονοπατιού κατά ήκος του οποίου συναντάε θετικές αγωγιότητες.΄Ετσι η h πρέπει να είναι σταθερή στους κόβους αυτού του ονοπατιού και εφόσον ηδενίζεται στο A,έχουε h(y) = 0.

Πόρισα 11 (Αρχή του Rayleigh)Αν για δύο κυκλώατα ε κόβους X και αγωγιότητες c(x, y)x,y∈Xκαι c(x, y)x,y∈X αντίστοιχα, έχουε ότι c(x, y) ≤ c(x, y) για κάθε x, y ∈ X, τότε η ισχύς που κατανα-λώνεται στο πρώτο είναι πάντα ικρότερη από την ισχύ που καταναλώνεται στο δεύτερο.

Απόδειξη: ΓιαΨ ∈ FA,B ορίζουε την D(Ψ) κατ΄ αναλογία ε την (7.4), χρησιοποιώντας τις αγωγιότητεςc(x, y). Από την υπόθεση ότι c(x, y) ≤ c(x, y) για κάθε x, y ∈ X, έχουε

D(Ψ) ≤ D(Ψ), για κάθε Ψ ∈ FA,B.

Εποένως infΨ∈FA,B D(Ψ) ≤ infΨ∈FA,B D(Ψ). Από το Θεώρηα 30 όως, το αριστερό έλος αυτής τηςανίσωσης είναι η ισχύς που καταναλώνεται στο πρώτο κύκλωα, ενώ το δεξί έλος είναι η ισχύς πουκαταναλώνεται στο δεύτερο.

Εφόσον η ποσότηταC(A,B) = D(Φ) = inf

Ψ∈FA,B

D(Ψ)

109

είναι η ισχύς που καταναλώνει ολόκληρο το κύκλωα όταν συνδέσουε το σύνολο κόβων A στον θετικόπόλο και το σύνολο κόβων B στον αρνητικό πόλο ιας πηγής που δηιουργεί διαφορά δυναικού 1, αυτήη ποσότητα είναι η ισοδύναη αγωγιότητα (ή χωρητικότητα) του κυκλώατος ανάεσα στο A και στο B.Μάλιστα, εύκολα πορεί να δει κανείς ότι C(A,B) = C(B,A), αφού, αν η Φ λύνει το ΠΣΤ (7.2), τότε η1-Φ λύνει το αντίστοιχο ΠΣΤ ε τον ρόλο των A και B εναλλαγένο, ενώ D(Φ) = D(1− Φ).

Εντελώς ανάλογα αποτελέσατα ε την ίδια ακριβώς απόδειξη έχουε για ια χρονικά αντιστρέψιη αρ-κοβιανή αλυσίδα. Την αντίστοιχη ποσότητα

C(A,B) = infΨ∈FA,B

D(Ψ) = D(ΦA,B) =1

2

x,y∈Xπ(x)p(x, y)

ΦA,B(y)− ΦA,B(x)

2

ονοάζουε χωρητικότητα (capacity) ανάεσα στα σύνολα καταστάσεων A και B. Συβολίζοντας γιααπλότητα τη συνάρτηση δυναικού ΦA,B ε Φ, πορούε να ξαναγράψουε τη χωρητικότητα, ως εξής.

C(A,B) =1

2

x,y∈Xπ(x)p(x, y)

Φ(y)− Φ(x)

Φ(y)− 1

2

x,y∈Xπ(x)p(x, y)

Φ(y)− Φ(x)

Φ(x).

Αν εναλλάξουε τον ρόλο των x και y στο πρώτο άθροισα και χρησιοποιήσουε τη συνθήκη ακριβούςισορροπίας, παίρνουε περαιτέρω

C(A,B) =1

2

x,y∈Xπ(y)p(y, x)

Φ(x)− Φ(y)

Φ(x)− 1

2

x,y∈Xπ(x)p(x, y)

Φ(y)− Φ(x)

Φ(x)

= −

x,y∈Xπ(x)p(x, y)

Φ(y)− Φ(x)

Φ(x) = −

x∈Xπ(x)Φ(x)LΦ(x).

΄Οως από το ΠΣΤ (3.2) που ικανοποιεί η Φ έχουε ότι LΦ(x) = 0 για x /∈ A ∪ B και Φ(x) = 0 γιαx ∈ B. Εποένως, στο τελευταίο άθροισα επιζούν όνο οι όροι για x ∈ A, για τους οποίους έχουεΦ(x) = 1. ΄Ετσι,

C(A,B) = −

x∈Aπ(x)LΦ(x) =

x∈Aπ(x)

y∈Xp(x, y)

Φ(x)− Φ(y)

=

x∈Aπ(x)

y∈Xp(x, y)

1− Φ(y)

=

x∈Aπ(x)

y∈Xp(x, y)Py

TB < TA

=

x∈Aπ(x)Px

T+B

< T+A

=

x∈Aπ(x)Px

TB < T+

A

. (7.5)

Στην προτελευταία ισότητα χρησιοποιήσαε ανάλυση πρώτου βήατος και τη αρκοβιανή ιδιότητα καιστην τελευταία ότι A ∩B = ∅. Στην ειδική περίπτωση που A = x και B = y έχουε ότι

C(x, y) = π(x)Px

Ty < T+

x

.

Χρησιοποιώντας τώρα τη συετρία της χωρητικότητας, C(A,B) = C(B,A), φτάνουε στο καθόλου τε-τριένο αποτέλεσα ότι για οποιεσδήποτε καταστάσεις x, y ∈ X ιας χρονικά αντιστρέψιης αρκοβιανήςαλυσίδας έχουε

π(x)Px

Ty < T+

x

= π(y)Py

Tx < T+

y

.

Μπορείτε να διαβάσετε περισσότερα για την αναλογία αρκοβιανών αλυσίδων και ηλεκτρικών κυκλωάτωνστο εξαιρετικό βιβλίο [3]. Εκεί πορείτε να βρείτε και ια απόδειξη πως ο απλός, συετρικός τυχαίοςπερίπατος στο Zd είναι επαναληπτικός όταν d = 1 ή 2 αλλά παροδικός όταν d > 2, χρησιοποιώντας αυτήτην αναλογία και την Αρχή του Rayleigh.

110

7.4 Ο αλγόριθος Metropolis-Hastings και το οντέλο Ising

Η κλασική έθοδος Monte Carlo χρησιοποιεί τον νόο τον εγάλων αριθών για να υπολογίσει τη έσητιή βάσει κάποιας κατανοής π ως ένα έσο όρο ανεξάρτητων δειγάτων. Συγκεκριένα, αν X1, X2, . . .είναι ανεξάρτητες, ισόνοες τυχαίες εταβλητές ε κατανοή π, ο νόος των εγάλων αριθών εξασφαλίζειότι

P

limN→∞

f(X1) + f(X2) + · · ·+ f(XN )

N= Eπ

f

= 1.

Συνηθως χρησιοποιεί κανείς τη έθοδο Monte Carlo για να υπολογίσει την αναενόενη τιή Eπf

προσοοιώνοντας ανεξάρτητα δείγατα X1, X2, . . . , XN από την κατανοή π και παίρνοντας τον έσο όροτων f(Xi). Ο νόος των εγάλων αριθών ας εξασφαλίζει ότι ε πιθανότητα 1, όταν το N είναι εγάλο,οι δύο ποσότητες είναι κοντά, ενώ το κεντρικό οριακό θεώρηα πορεί να ας δώσει εκτιήσεις για τοτυπικό σφάλα της προσέγγισης.

Σε πολλές ενδιαφέρουσες εφαρογές το να πάρει κανείς δείγατα από την κατανοή π είναι εξαιρετικάδύσκολο. Αυτό πορεί να συβεί γιατί ο χώρος X στον οποίο έχει οριστεί η κατανοή π είναι πολύπλοκοςκαι η κατανοή π δεν είναι ακριβώς γνωστή. Η έθοδος MCMC προσοοιώνει την π ως την κατανοήισορροπίας ιας αρκοβιανής αλυσίδας. Η προσοοίωση της αρκοβιανής αλυσίδας είναι συνήθως πολύεύκολη, αφού η δεσευένη κατανοή της Xn+1 δεδοένης της Xn δίνεται από τις πιθανότητες ετάβασηςτης αλυσίδας. ΄Εχουε ήδη δει πώς γίνεται αυτό στα αριθητικά πειράατα. Χρειάζεται όως να κατασκευ-άσουε κατάλληλες πιθανότητες ετάβασης που θα ας εξασφαλίζουν ότι η Xn έχει κατανοή ισορροπίαςτην π. Το πρόβληα αυτό δεν έχει οναδική λύση, αλλά ία από τις πιο επιτυχηένες προσεγγίσεις είναιο αλγόριθος Metropolis-Hastings.

Ο αλγόριθος αυτός πορεί να περιγραφεί ως εξής. Χωρίς βλάβη της γενικότητας πορούε να υπο-θέσουε ότι π(x) > 0 για κάθε x ∈ X. Θεωρούε έναν περίπατο στο X ε πιθανότητες ετάβασης r(x, y)από την κατάσταση x στην κατάσταση y. Αν κάποια στιγή βρισκόαστε στην κατάσταση x ∈ X επι-λέγουε την υποψήφια επόενη κατάσταση y ε πιθανότητα r(x, y). Στη συνέχεια αποφασίζουε αν θαεταβούε στην y ε πιθανότητα να το κάνουε ίση ε

π(y)r(y, x)

π(x)r(x, y)∧ 1 = min

π(y)r(y, x)

π(x)r(x, y), 1.

Η πιθανότητα ετάβασης από την x στην y = x είναι το γινόενο της πιθανότητας να επιλέξουε την yως υποψήφια επόενη κατάσταση ε την πιθανότητα να πραγατοποιήσουε τη ετάβαση, δεδοένου ότιεπιλέξαε την y. Συγκεκριένα,

p(x, y) = r(x, y)

π(y)r(y, x)

π(x)r(x, y)∧ 1

, y = x. (7.6)

Εποένως, η πιθανότητα να παραείνουε στην κατάσταση x είναι

p(x, x) = 1−

z =x

p(x, z) ≥ 1−

z =x

r(x, z) = r(x, x).

Από την παραπάνω ανισότητα βλέπουε ότι, αν r(x, x) > 0 για κάποιο x ∈ X, τότε η αλυσίδα πουκατασκευάσαε είναι αυτόατα απεριοδική. Ακόα όως κι αν επιλέξουε r(x, x) = 0 για κάθε x ∈ X, ανοι πιθανότητες ετάβασης r(x, y)x,y∈X δεν είναι σε ακριβή ισορροπία ε την π, τότε υπάρχουν x, y ∈ Xε π(y)r(y, x) < π(x)r(x, y). Εποένως,

p(x, x) > 1−

z =x

r(x, z) = r(x, x) ≥ 0

111

και πάλι η αλυσίδα ε πιθανότητες ετάβασης p(x, y)x,y∈X είναι απεριοδική. Η κατανοή π που θέλουενα προσοοιώσουε και οι πιθανότητες ετάβασης p(x, y)x,y∈X βρίσκονται σε ακριβή ισορροπία. Πράγ-ατι, για x = y έχουε

π(x) p(x, y) = π(x)r(x, y)

π(y)r(y, x)

π(x)r(x, y)∧ 1

= π(y)r(y, x) ∧ π(x)r(x, y) = π(y) p(y, x).

Σύφωνα ε το Λήα 1, η π είναι αναλλοίωτη κατανοή της αλυσίδας Xn ε πιθανότητες ετάβασηςp(x, y)x,y∈X. Επιπλέον, η Xn είναι η υποβιβάσιη, όταν ο περίπατος που ορίζουν οι πιθανότητεςετάβασης r(x, y)x,y∈X είναι η υποβιβάσιος. Εποένως, όπως είδαε στο προηγούενο Κεφάλαιο 6,έχουε

PXn = x

n→∞−→ π(x).

Μπορούε λοιπόν να πάρουε δείγατα από την κατανοή π, προσοοιώνοντας την Xnn∈N0 για αρκετόχρόνο ώστε να έρθει κοντά στην κατανοή ισορροπίας της.

΄Ενα κλασικό παράδειγα κατανοών που παρουσιάζουν εγάλο ενδιαφέρον και συχνά είναι δύσκολο ναπροσοοιωθούν είναι οι κατανοές Gibbs. Αυτές εφανίζονται φυσικά σε συστήατα που βρίσκονταισε κατάσταση θεροδυναικής ισορροπίας σε θεροκρασία T , οπότε η πιθανότητα να βρούε ένα τέτοιοσύστηα σε ια κατάσταση x ε ενέργεια H(x) είναι

π(x) =1

Z(β)e−βH(x).

Στην παραπάνω σχέση β = 1KTείναι ο παράγοντας Boltzmann. Η Z(β), η οποία στη βιβλιογραφία της

Φυσικής αναφέρεται ως συνάρτηση επιερισού (partition function), είναι ια σταθερά κανονικοποίησηςπου δίνεται από τη σχέση

Z(β) =

x∈Xe−βH(x).

Η συνάρτηση επιερισού είναι ό,τι θα ήθελε να ξέρει ένας Στατιστικός Φυσικός για το σύστηα πουελετά. Πολλές θεροδυναικές παράετροι του συστήατος, όπως η ελεύθερη ενέργεια, η εντροπία ή ηπίεση, πορούν να υπολογιστούν από την Z(·) και τις παραγώγους της.

Συνήθως όως είναι δύσκολο να υπολογιστεί το παραπάνω άθροισα. Σ΄ ένα απλό οντέλο αγνήτισηςγια παράδειγα, στις κορυφές ενός τετραγωνικού πλέγατος L × L τοποθετούε σωατίδια που έχουνσπιν +1 ή -1. Η κατάσταση του συστήατος x περιγράφεται από το σπιν σε κάθε κορυφή του πλέγατος,εποένως ο χώρος καταστάσεων X έχει πληθάριθο 2L2

. Για ένα πλέγα 100× 100 ατόων ο X αριθεί210000 ≥ 103000 καταστάσεις. Αυτός είναι ένας τεράστιος αριθός. Τα άτοα στο σύπαν εκτιάται ότι είναιτης τάξης του 1080. Παρότι λοιπόν η συνάρτηση ενέργειας του συστήατος H πορεί να είναι γνωστή,είναι συχνά δύσκολο να πάρει κανείς δείγατα από την κατανοή π γιατί δεν πορεί να υπολογίσει τοάθροισα στον ορισό της συνάρτησης επιερισού.

Με τον αλγόριθο Metropolis-Hastings έχουε το πλεονέκτηα ότι δεν χρειάζεται να γνωρίζουε τηZ για να προσοοιώσουε την αλυσίδα. Συγκεκριένα, επιλέγοντας για απλότητα ια συετρική r,r(x, y) = r(y, x) για κάθε x, y ∈ X, οι πιθανότητες ετάβασης είναι για x = y

p(x, y) = r(x, y)

π(y)

π(x)∧ 1

= r(x, y)

e−β

H(y)−H(x)

∧ 1

= r(x, y)e−β

H(y)−H(x)

+.

Μπορούε να επιλέξουε τις r(x, y) να είναι 0, εκτός αν οι καταστάσεις x, y διαφέρουν όνο ως προς το σπινίας από τις L2 θέσεις, οπότε r(x, y) = 1/L2. Σε αυτή την περίπτωση ο αλγόριθος Metropolis-Hastingsθα εφαροζόταν ως εξής:

112

1. Επιλέγουε τυχαία ένα σωατίδιο στο πλέγα.

2. Υπολογίζουε πόσο εταβάλλεται η ενέργεια του συστήατος, αν αλλάξουε το σπιν αυτού τουσωατιδίου. Αν x είναι η παρούσα κατάσταση και y η κατάσταση που προκύπτει, αν αλλάξουε τοσπιν του σωατιδίου που επιλέξαε στο βήα 1, υπολογίζουε τη διαφορά ∆H = H(y)−H(x).

3. Αν ∆H ≤ 0, αλλάζουε το σπιν του σωατιδίου και η νέα κατάσταση γίνεται η y. Αν ∆H > 0, τότεαλλάζουε το σπιν του σωατιδίου ε πιθανότητα e−β∆H , διαφορετικά παραένουε στην κατάστασηx.

4. Επιστρέφουε στο βήα 1.

Στον κώδικα ising.py υλοποιούε σε γλώσσα Python τον αλγόριθο για το οντέλο Ising, σύφωνα ετο οποίο η ενέργεια του συστήατος στην κατάσταση x δίνεται από τη σχέση

H(x) = −

i∼j

x(i)x(j).

Στην παραπάνω σχέση x(i), x(j) ∈ −1,+1 είναι τα σπιν της κατάστασης x στις θέσεις i, j αντίστοιχα,ενώ ο συβολισός i ∼ j δείχνει ότι η άθροιση εκτείνεται σε ζευγάρια σωατιδίων που γειτνιάζουν στοπλέγα. Το πλέγα που χρησιοποιούε στον κώδικα έχει L = 128, ενώ ο παράγοντας Boltzmann είναιβ = 1/3. Προσέξτε ότι εφόσον β > 0, το έτρο Gibbs π αποδίδει εγαλύτερη πιθανότητα σε καταστάσειςπου έχουν χαηλή ενέργεια. Στον υπολογισό της ενέργειας ιας κατάστασης x στο οντέλο Ising κάθεζευγάρι γειτονικών σωατιδίων συνεισφέρει -1, αν τα σπιν τους έχουν τον ίδιο προσανατολισό, και +1,αν έχουν αντίθετο. ΄Αρα καταστάσεις όπου γειτονικά σωατίδια έχουν το ίδιο σπιν είναι πιο πιθανές, γι΄αυτό και το οντέλο Ising είναι ένα οντέλο σιδηροαγνητισού.

Παρατηρήστε ότι, επειδή r(x, y) = 0 όνο αν τα σπιν των καταστάσεων x, y διαφέρουν σε ία όνο θέση, δενείναι ανάγκη να υπολογίσουε ολόκληρη τη συνάρτηση ενέργειας στο 2ο βήα παραπάνω. Συγκέκριένα,αν η y προκύπτει από τη x αλλάζοντας το σπιν του σωατιδίου που βρίσκεται στη θέση k, δηλαδή

y(j) =

x(j) j = k

−x(j) j = k,

τότε∆H = H(y)−H(x) = −

i∼j

y(i)y(j) +

i∼j

x(i)x(j) = 2x(k)

j: j∼k

x(j).

Εποένως, προκειένου να υπολογίσουε τη εταβολή στην ενέργεια που προκύπτει από την αλλαγή τουσπιν ενός σωατιδίου, αρκεί να υπολογίσουε το αθροιστικό σπιν των γειτόνων αυτού του σωατιδίου.

Ας ελετήσουε τώρα τον ρόλο του παράγοντα Boltzmann. Θυηθείτε ότι

π(x) =e−βH(x)

y∈X e−βH(y)

.

Για β → ∞, δηλαδή όταν η θεροκρασία T ↓ 0, η κατανοή π τείνει να συγκεντρωθεί στις καταστάσειςε τη ικρότερη δυνατή ενέργεια. Στο οντέλο Ising αυτές είναι οι δύο καταστάσεις x+ και x− όπουόλα τα σπιν έχουν τον ίδιο προσανατολισό, όλα +1 στην κατάσταση x+ , ή όλα -1 στην κατάσταση x−.Συγκεκριένα,

π(x+) →1

2, π(x−) →

1

2καθώς β → ∞.

113

http://math.ntua.gr/~loulakis/info/python_codes_files/ising.py

Σχήα 7.1: Τυπικές διαορφώσεις των σπιν σ΄ ένα πλέγα διαστάσεων 128 × 128 για ια εγάλη θερο-κρασία (αριστερά) και για ια θεροκρασία κοντά στο 0 (δεξιά).

Αντίθετα για β = 0 (άπειρη θεροκρασία) όλες οι καταστάσεις έχουν την ίδια πιθανότητα π(x) = 1|X| =

2−L2. Βλέπουε λοιπόν ότι, καθώς θεραίνουε το σύστηα από τη θεροκρασία T = 0 στη θεροκρασία

T = ∞, το σύστηα εταβαίνει από ια κατάσταση πλήρους οργάνωσης (όλα τα σπιν προσανατολισένα)σε ια κατάσταση πλήρους αταξίας, όπου όλες οι διαορφώσεις σπιν είναι ισοπίθανες.

Στο Σχήα 7.4 βλέπουε δείγατα από την κατανοή π που έχουε πάρει ε τη βοήθεια του αλγορίθ-ου ας για β = 1/3 (αριστερά) και για β = 1 (δεξιά). Τα αύρα pixel αντιστοιχούν σε σωατίδια ε σπιν+1 ενώ τα άσπρα σε σωατίδια ε σπιν -1. Επιβεβαιώνουε αριθητικά έτσι ότι σε χαηλές θεροκρασίες(δεξιά) τα σπιν τείνουν να είναι σε συφωνία, ενώ σε υψηλές θεροκρασίες (αριστερά) τα σπιν φαίνονταιτυχαία προσανατολισένα.

Στα αριθητικά πειράατα θα εξετάσουε πώς πραγατοποιείται η ετάβαση από τη ία εικόνα στην άλληκαθώς κατεβάζουε τη θεροκρασία και θα δούε ότι αυτή η ετάβαση συβαίνει απότοα, όταν η θερο-κρασία πέσει κάτω από ια κρίσιη τιή. Περισσότερα για τον αλγόριθο Metropolis-Hastings και για τηέθοδο MCMC πορείτε να διαβάσετε στις αναφορές [4] και [5].

7.5 Προσοοιωένη ανόπτηση (simulated annealing)

Στην προηγούενη παράγραφο είδαε ότι καθώς β → ∞ (καθώς ψύχουε το σύστηα), η κατανοή Gibbsπ τείνει να συγκεντρωθεί στις καταστάσεις εκείνες όπου η ενέργεια του συστήατος ελαχιστοποιείται. Στοοντέλο Ising οι καταστάσεις που ελαχιστοποιούν την ενέργεια είναι προφανείς. Υπάρχουν όως παραδε-ίγατα όπου το ελάχιστο της συνάρτησης ενέργειας H είναι εξαιρετικά δύσκολο να υπολογιστεί, όπως γιαπαράδειγα στο πρόβληα του πλανόδιου πωλητή που πρέπει να επισκεφτεί ια σειρά από πόλεις και θέλεινα βρει τη σειρά ε την οποία θα τις επισκεφτεί, ώστε να ελαχιστοποιήσει τη συνολική απόσταση που θαδιανύσει.

Η έθοδος της προσοοιωένης ανόπτησης χρησιοποιεί αυτή την ιδιότητα των κατανοών Gibbs για

114

να υπολογίσει το ελάχιστο ιας συνάρτησης. Η ιδέα οφείλει το όνοά της σε ια τεχνική επεξεργα-σίας ετάλλων ε σταδιακή ψύξη τους (ανόπτηση) και είναι πολύ απλή. Χρησιοποιούε τον αλγόριθοMetropolis-Hastings για κάποιο αρχικό β > 0. Μετά από έναν αριθό βηάτων ώστε η αλυσίδα ας να έχειπροσεγγίσει την κατάσταση ισορροπίας που αντιστοιχεί σε αυτήν τη θεροκρασία, ανεβάζουε την τιήτου β (ψύχουε το σύστηα). Συνήθως ρίχνουε τη θεροκρασία κατά έναν πολλαπλασιαστικό παράγονταψύξης (cooling factor). Στην καινούργια θεροκρασία αφήνουε πάλι την αλυσίδα ας να προσεγγίσει τηνισορροπία. Η συνάρτηση r(·, ·) στον αλγόριθο Metropolis-Hastings πορεί να αλλάζει καθώς αλλάζουετη θεροκρασία. Αυτό συνήθως γίνεται επιτρέποντας όλο και πιο εντοπισένες εταβάσεις όσο η θερο-κρασία κατεβαίνει, ώστε ο αλγόριθος να εντοπίζει το ελάχιστο ε εγαλύτερη ακρίβεια. Η επιλογή τουπαράγοντα ψύξης και της r ονοάζεται πρόγραα ψύξης (cooling schedule) και έχει, όπως θα δούε στιςπρογραατιστικές ασκήσεις, εγάλη σηασία στην αποτελεσατική λειτουργία του αλγορίθου. Καθώςεπαναλαβάνουε τη διαδικασία, ανεβάζοντας σταδιακά την τιή του β, οι καταστάσεις ε χαηλή ενέργειαγίνονται όλο και πιο πιθανές και στο όριο καθώς β → ∞ η αλυσίδα ας θα βρίσκεται ε εγάλη πιθανότητασε κάποια από τις κατάστασεις ε τη χαηλότερη ενέργεια.

Πιο συγκεκριένα, ας υποθέσουε χωρίς βλάβη της γενικότητας (αφού αν ετατοπίσουε τη συνάρτησηενέργειας κατά ία σταθερά, το έτρο π δεν αλλάζει) ότι το ελάχιστο της συνάρτησης H στο X είναι το0. Ορίζουε το σταθικό σύνολο της H

Et = x ∈ X : H(x) ≤ t.

Το σύνολο E0 αποτελείται από τα σηεία του X στα οποία η H λαβάνει την ελάχιστη τιή της. ΄Εστω|E0| = M ο πληθάριθος του E0. Για > 0 το σύνολο Ec

είναι εκείνες οι καταστάσεις ε ενέργειατουλάχιστον . Μπορούε να εκτιήσουε την π

Ec

ως εξής:

πEc

=

x∈Ec

e−βH(x)

x∈Ec

e−βH(x) +

x∈E

e−βH(x)≤

x∈Ec

e−βH(x)

x∈Ec

e−βH(x) +M

≤ |X|M

e−β.

Βλέπουε λοιπόν ότι, καθώς β → ∞, η πEc

τείνει στο 0 και άλιστα εκθετικά γρήγορα. Εποένως,

έχοντας αφήσει την αλυσίδα να ισορροπήσει σε ια χαηλή θεροκρασία, ε πολύ εγάλη πιθανότητα αυτήθα βρεθεί σε κάποιο σηείο του X, που δίνει στη συνάρτηση H τιή κοντά στο ελάχιστό της.

Ο λόγος που ψύχουε σταδιακά το σύστηα είναι για να ην παγιδευτούε σε τοπικά ελάχιστα της συ-νάρτησης H. Αυτός είναι ο κυριότερος λόγος που ο αλγόριθος της προσοοιωένης ανόπτησης δου-λεύει πολύ καλύτερα από κλασικές εθόδους κλίσης, στην περίπτωση που τα σταθικά σύνολα της H,Et = x ∈ X : H(x) ≤ t έχουν πολύπλοκη γεωγραφία.

Παράδειγα 49 Ας δούε τώρα τη έθοδο της προσοοιωένης ανόπτησης έσα από ένα εύκολο πα-ράδειγα που πορούε να λύσουε και αναλυτικά. Η συνάρτηση

V (x) =x4

4+

7x3

15− 4x2

5− 4x

5+ 2 (7.7)

έχει ελάχιστο στο x = −2 ε V (−2) = 23 και τοπικό ελάχιστο στο x = +1 ε V (1) = 67/60. Στο Σχήα

7.2 φαίνεται η γραφική παράσταση της συνάρτησης V (·). Ο κώδικας potential siman.py υλοποιεί σεPython τον αλγόριθο της προσοοιωένης ανόπτησης. Η σταθερά gamma στον κώδικα καθορίζει τονπαράγοντα ψύξης, αφού όταν κατεβάζουε τη θεροκρασία η νέα θεροκρασία T είναι η προηγούενηπολλαπλασιασένη ε 1-gamma. Το πρόγραα επαναλαβάνει iter φορές τον αλγόριθο και υπολογίζειτο ποσοστό p των φορών που επιτυγχάνει να βρει το ολικό ελάχιστο, δηλαδή το -2.

115

http://math.ntua.gr/~loulakis/info/python_codes_files/potential_siman.py

-3 -2 -1 0 1 2

12

34

5

x

V(x)

Σχήα 7.2: Η γραφική παράσταση της συνάρτησης V του Παραδείγατος 49

Στα αριθητικά πειράατα θα έχετε την ευκαιρία να δείτε ένα κινούενο σχέδιο σχετικά ε το πώς λει-τουργεί ο αλγόριθος της προσοοιωένης ανόπτησης στο συγκεκριένο παράδειγα και πώς επηρεάζεταιη αποτελεσατικότητα του αλγορίθου στο να εντοπίζει το ελάχιστο από το πρόγραα ψύξης.

Με αντίστοιχο τρόπο πορούε να επιχειρήσουε να βρούε το ελάχιστο και στην περίπτωση του προ-βλήατος του πλανόδιου πωλητή. Με δεδοένες τις θέσεις των πόλεων πορούε να πάρουε ως χώρο τωνκαταστάσεων X της αλυσίδας ας τις κυκλικές εταθέσεις των πόλεων που θα παριστάνουν τη σειρά ε τηνοποία ο πωλητής επισκέπτεται τις πόλεις. Σαν ενέργεια ιας τέτοιας κατάστασης πορούε να πάρουε τοσυνολικό ήκος του ονοπατιού που διανύουε για επισκεπτούε τις πόλεις ε τη συγκεκριένη σειρά. Μεαυτό το πρόβληα θα ασχοληθείτε εκτενώς στα αριθητικά πειράατα. Μπορείτε να βρείτε περισσότερεςπληροφορίες για την προσοοιωένη ανόπτηση στην αναφορά [5].

116


΄Ασκηση 92 Στο δίκτυο του διπλανού σχήατος υπολογίστε τονδείκτη σηαντικότητας που κατασκευάσαε στην παράγραφο 7.2 γιακάθε κορυφή του.

΄Ασκηση 93 Αν διατηρούσατε τη σελίδα 1 του διπλανού σχήατοςπώς θα πορούσατε να αυξήσετε τον δείκτη σηαντικότητάς της ώστενα εφανίζεται πιο ψηλά σε σχετικές αναζητήσεις;

΄Ασκηση 94 Κατασκευάστε ια αρκοβιανή αλυσίδα στον χώροX = A,B,C,D,E, F,G, ώστε να έχει κατανοή ισορροπίας

π =π(A),π(B),π(C),π(D),π(E),π(F ),π(G)

= (1/4, 1/8, 1/6, 1/16, 3/16, 1/12, 1/8).

΄Ασκηση 95 είξτε ότι αν B1 ⊂ B2, τότε C(A,B1) ≤ C(A,B2).

΄Ασκηση 96 Στον αλγόριθοMetropolis-Hastings παίρνουε τις προτεινόενες εταβάσεις r(x, y)x,y∈Xανεξάρτητες από την κατάσταση αφετηρίας, δηλαδή

r(x, y) = ρ(y), x, y ∈ X,

όπου η ρ(·) είναι ια σ..π. στον X, τέτοια ώστε ρ(x) > 0 για κάθε x ∈ X. Ορίζουε w(x) = ρ(x)π(x) . Με

αυτή την επιλογή οι πιθανότητες ετάβασης της αλυσίδας του αλγορίθου γίνονται

p(x, y) = ρ(y)w(x)w(y)

∧ 1.

Αν ταξινοήσουε τις καταστάσεις του X = x1, . . . , xN, ώστε

w(x1) ≤ w(x2) ≤ . . . ≤ w(xN ),

δείξτε ότι οι ιδιοτιές και τα αντίστοιχα ιδιοδιανύσατα του πίνακα πιθανοτήτων ετάβασης P = p(x, y)x,y∈Xείναι λ1 = 1, v1 = (1, 1, . . . , 1)T και για k ∈ 1, 2, . . . , N − 1

λk+1 =N

j=k+1

π(xj)w(xj)− w(xk)

, vk+1 =

0, . . . , 0,

N

j=k+1

π(xj),−π(xk), . . . ,−π(xk)T

.

είξτε ότι 1 = λ1 > λ2 = 1− w(x1) > λ3 > · · · > λN .


΄Ασκηση 97 Στην άσκηση αυτή θα χρησιοποιήσουε τον αλγόριθοMetropolis-Hastings για να κάνου-ε δειγατοληψία από την αναλλοίωτη κατανοή π του οντέλου Ising. Καταβάστε και ανοίξτε τον κώδικαising.py. Στον κώδικά ας θεωρούε L = 64, οπότε ο χώρος των δυνατών διαορφώσεων έχει πλη-θάριθο 24096 > 101200. Καταλαβαίνει κανείς ότι η δειγατοληψία από έναν τόσο εγάλο χώρο είναιπρακτικά αδύνατη ε συβατικές εθόδους. Ο κώδικας χρησιοποιεί τον αλγόριθο Metropolis-Hastings

117

http://math.ntua.gr/~loulakis/info/python_codes_files/ising.py

για να προσοοιώσει ια αρκοβιανή αλυσίδα στον X που ξεκινά από ια τυχαία αρχική διαόρφωση καιέχει κατανοή ισορροπίας την π.

α) Τρέξτε τον κώδικα για τη δοσένη θεροκρασία T = 30 και δείτε τη διαόρφωση στην οποία καταλήγειο αλγόριθος. Επαναλάβετε ερικές φορές.

β) Αλλάξτε τον κώδικα ώστε η αρχική διαόρφωση των σπιν να είναι +1 παντού. Ξανατρέξτε τον κώδικαερικές φορές. Αλλάζουν τα ποιοτικά χαρακτηριστικά της διαόρφωσης που επιστρέφει ο αλγόριθος;

γ) Αρχίστε τώρα να κατεβάζετε τη θεροκρασία, θέτοντας διαδοχικά T = 10.0, 3.0, 1.0, 0.3, 0.1, 0.03 καιπεριγράψτε τι παρατηρείτε.

δ) Εξηγήστε γιατί η γραή του κώδικα

if random.uniform(0.0,1.0) < math.exp(-deltaE/Temperature): Spin[k] *=-1

υλοποιεί τον αλγόριθο Metropolis-Hastings.

ε) Η αγνήτιση του συστήατος ορίζεται ως ο έσος όρος των σπιν του πλέγατος Λ, δηλαδή

m(σ) =1

|Λ|

k∈Λσ(k).

Εξετάστε πώς συπεριφέρεται η m(σ) για τις καταστάσεις σ που δίνει ο αλγόριθος καθώς κατεβάζετε τηθεροκρασία, όπως στο ερώτηα (β).

ε) Για τη θεροκρασία T = 0.03 αλλάξτε την τιή της παραέτρου nsteps. Πώς οιάζουν τα εν-διάεσα στάδια από τα οποία περνάει η αλυσίδα έχρι να καταλήξουε στην εικόνα που πήραε γιαnsteps = 100× L× L;

στ) Η θεωρία προβλέπει ότι υπάρχει ια απότοη εταβολή φάσης από την παρααγνητική κατάσταση (υψη-λή θεροκρασία) στη σιδηροαγνητική (χαηλή θεροκρασία) όταν β 0.44. Μπορείτε να επιβεβαιώσετεαριθητικά αυτό το γεγονός;

΄Ασκηση 98 Στην άσκηση αυτή θα χρησιοποιήσετε τη έθοδο της προσοοιωένης ανόπτησης για ναβρείτε το ελάχιστο ιας συνάρτησης V : R → R. Ο αλγόριθος έχει ως εξής. ΄Ενα σωατίδιο είναι αρχικάτοποθετηένο τυχαία στο διάστηα (-3.5,+3.5) σε θεροκρασία T = 128. Σε κάθε βήα επιχειρεί ιαετατόπιση που ακολουθεί οοιόορφη κατανοή στο διάστηα (−δ,+δ) και πραγατοποιεί τη ετατόπισησύφωνα ε τον αλγόριθο Metropolis-Hastings. Κάθε 100 βήατα ρίχνουε τη θεροκρασία και επανα-λαβάνουε έχρι η θεροκρασία να πέσει κάτω από το T = 0.01.

Κατεβάστε τον κώδικα sim annealing.py και ελετήστε τον. Η παράετρος minima σας επιτρέπει ναεπιλέξετε αν θα ελαχιστοποιήσετε ια συνάρτηση ε 1, 2 ή 3 τοπικά ακρότατα. Η αρχική επιλογή είναι3. Η παράετρος gamma σας επιτρέπει να ελέγξετε τον ρυθό ψύξης. Η αρχική επιλογή είναι να ρίχνουετη θεροκρασία στο ισό κάθε 100 βήατα. Η παράετρος iterations σας επιτρέπει να επαναλάβετετη διαδικασία εύρεσης του ελαχίστου όσες φορές θέλετε. Η αρχική επιλογή της είναι 1. Η παράετροςdelta ελέγχει το έγεθος της επιχειρούενης ετατόπισης σε κάθε βήα. Η αρχική της επιλογή είναι3. Τέλος η λογική παράετρος animation ελέγχει αν θέλουε να δούε ια οπτική αναπαράσταση τηςπροσοοιωένης ανόπτησης. Η αρχική της επιλογή είναι True.

α) Τρέξτε τον κώδικα. Παρατηρήστε πώς σε εγάλες θεροκρασίες το σωατίδιο κινείται σχετικά ελεύθε-ρα στον χώρο και πώς καθώς ψύχουε το σύστηα το σωατίδιο εντοπίζεται κοντά στο ολικό ελάχιστοτης V . Αλλάξτε την παράετρο minima και επαναλάβετε.β) Αλλάξτε την παράετρο iterations σε 1000 και την παράετρο animation σε False ώστε να επι-ταχύνετε την εκτέλεση του προγράατος. Για τις διάφορες τιές της παραέτρου minima βρείτε σε τι

118

http://math.ntua.gr/~loulakis/info/python_codes_files/sim_annealing.py

ποσοστό επιτυγχάνει ο αλγόριθος να εντοπίσει το ελάχιστο της V .γ) Αλλάξτε την τιή της παραέτρου delta σε 0.1 και επαναλάβετε το προηγούενο ερώτηα. Ποιο ε-ίναι τώρα το ποσοστό επιτυχούς εύρεσης του ολικού ελαχίστου; Γιατί πιστεύετε ότι συβαίνει αυτό; Ανθέλετε να έχετε ια εικόνα του τι συβαίνει, αλλάξτε την παράετρο iterations σε 1 και την παράετροanimation σε True για να δείτε πώς κινείται το σωατίδιο και τρέξτε τον κώδικα έχρι να δείτε το σωα-τίδιο να καταλήγει κοντά σε ένα τοπικό ελάχιστο, διαφορετικό από το ολικό.δ) Αλλάξτε τον κώδικα ώστε να βρίσκει το ελάχιστο της συνάρτησης V της (7.7).ε) Μεταβάλετε το gamma και δείτε πώς συπεριφέρεται το ποσοστό p των επιτυχηένων προσπαθειών ωςσυνάρτηση του gamma.

- Επαληθεύστε ότι για σχετικά εγάλες τιές του gamma (π.χ. > 1/2) ο ο αλγόριθος δεν βρίσκει πάντατο ολικό ελάχιστο.- Πού τερατίζει ο αλγόριθος στις περιπτώσεις που δεν βρίσκει το ολικό ελάχιστο; Τι παρατηρείτε;- Παραστήστε γραφικά την πιθανότητα p ως συνάρτηση του gamma.- Επαληθεύστε ότι για πολύ ικρές τιές του gamma έχουε p πολύ κοντά στο 1. ηλαδή για κατάλληλααργό ρυθό ανόπτησης ο αλγόριθος εντοπίζει το ολικό ελάχιστο ε πιθανότητα κοντά στο 1.

΄Ασκηση 99 Στην άσκηση αυτή θα χρησιοποιήσουε τον αλγόριθο της προσοοιωένης ανόπτησηςγια να λύσουε το πρόβληα του πλανόδιου πωλητή. Κατεβάστε το αρχείο eu.csv που περιέχει το γεωργα-φικό ήκος και πλάτος 27 ευρωπαϊκών πόλεων. Κατεβάστε τους κώδικες siman tsp.py και plot lib.py.Ο πρώτος περιλαβάνει τη βασική ρουτίνα που θα χρησιοποιήσουε, ενώ ο δεύτερος εισάγεται ως βιβλιο-θήκη και χρησιοποιείται για τα διαγράατα που θα κατασκευάσουε. Ο κώδικας siman tsp.py διαβάζειαπό το αρχείο eu.csv τις πόλεις και τα γεωγραφικά ήκη και πλάτη τους και χρησιοποιεί τη ρουτίναgeodesic distance για να υπολογίσει τη γεωδεσιακή τους απόσταση (την απόστασή τους πάνω στηγήινη σφαίρα). Στη συνέχεια χρησιοποιεί τον αλγόριθο της προσοοιωένης ανόπτησης για να υπολο-γίσει ια προσεγγιστική λύση για το πρόβληα του πλανόδιου πωλητή, δηλαδή ε ποια σειρά πρέπει ναεπισκεφτεί κανείς αυτές τις πόλεις ώστε να ελαχιστοποιήσει τη συνολική απόσταση που θα διανύσει.

Στην έξοδό του ο κώδικας επιστρέφει τρία διαγράατα. Το πρώτο έχει ένα ονοπάτι όπου οι επισκέψειςστις πόλεις γίνονται ε τυχαία σειρά. Το δεύτερο έχει το βέλτιστο ονοπάτι που υπολογίζει ο αλγόριθοςτης προσοοιωένης ανόπτησης, ενώ το τρίτο δείχνει πώς εξελίσσεται η συνολική απόσταση για το τρέχονονοπάτι του αλγορίθου (πλε γραή) και για το βέλτιστο ονοπάτι που έχει βρεθεί έχρι τότε (κόκκινηγραή), καθώς κατεβάζουε τη θεροκρασία.

α) Τρέξτε τον κώδικα siman tsp.py και δείτε το ονοπάτι που επιστρέφει ο αλγόριθος της προσοοιω-ένης ανόπτησης και την εξέλιξη της συνολικής απόστασης καθώς ψύχουε το σύστηα. Τυπώστε αυτάτα διαγράατα και εξηγήστε την εικόνα που βλέπετε στο δεύτερο.β) Εντοπίστε στον κώδικα τις εντολές που υλοποιούν τον αλγόριθο Metropolis-Hastings και εξηγήστεπώς ακριβώς αλλάζει το ονοπάτι σε κάθε βήα του αλγορίθου.γ) Αλλάξτε τον κώδικα ώστε να διαβάζει από το αρχείο europe.csv τις συντεταγένες 35 ευρωπαϊκώνπόλεων και λύστε το πρόβληα του πλανόδιου πωλητή που θέλει να επισκεφτεί και τις 35 αυτές πόλεις.Στο διάγραα δεν τυπώνονται τα ονόατα των πόλεων για να είναι πιο ευκρινές το ονοπάτι.δ) Πόσα είναι τα δυνατά ονοπάτια που περνούν από όλες τις 35 πόλεις ία όνο φορά; Αν σε έναν υ-πολογιστή ο χρόνος που απαιτείται για τον υπολογισό του συνολικού ήκους ενός τέτοιου ονοπατιούήταν 1sec, πόσο χρόνο θα χρειαζόασταν για να βρούε το βέλτιστο ονοπάτι ε έναν εξαντλητικό αλ-γόριθο που θα υπολόγιζε τη συνολική απόσταση που θα διανύσει ο πλανόδιος πωλητής κατά ήκος κάθεονοπατιού και θα επέστρεφε το ονοπάτι ε την ελάχιστη συνολική απόσταση;

119

http://math.ntua.gr/~loulakis/info/python_codes_files/eu.csv

http://math.ntua.gr/~loulakis/info/python_codes_files/simulated_annealing_tsp.py

http://math.ntua.gr/~loulakis/info/python_codes_files/plot_lib.py

http://math.ntua.gr/~loulakis/info/python_codes_files/europe.csv

Κεφάλαιο 8

ιαδικασίες Poisson


Σ΄ αυτό το κεφάλαιο θα ορίσουε τις διαδικασίες Poisson και θα ελετήσουε τις βασικές τους ιδιότητες. Οιδιαδικασίες αυτές είναι ίσως οι απλούστερες η τετριένες διαδικασίες συνεχούς χρόνου. Οι τροχιές τουςαυξάνουν στους ακεραίους και οι χρόνοι που εσολαβούν ανάεσα σε διαδοχικές αυξήσεις είναι ανεξάρτητεςεκθετικές τυχαίες εταβλητές. Οι διαδικασίες αυτές είναι ένα καλό οντέλο για διακριτές αφίξεις τυχαίωνσυβάντων σε συνεχή χρόνο, όπως π.χ. οι κλήσεις που δέχεται το τηλεφωνικό κέντρο του ΕΚΑΒ, οιδιασπάσεις των πυρήνων ενός ραδιενεργού υλικού, οι αφίξεις φωτονίων σε ια φωτοδίοδο, τα αιτήατα πουδέχεται ένας εξυπηρετητής και πολλά άλλα. Υπάρχουν πολλά καλά βιβλία στα οποία πορεί να βρει κανείςια εισαγωγή στις διαδικασίες Poisson, ερικά απ΄ αυτά είναι το [1]και το [7]

8.2 Ορισός και ιδιότητες

Συνήθως σ΄ αυτό το βιβλίο περιγράφουε εξαρχής ια στοχαστική διαδικασία έσω των κατανοών πεπε-ρασένης διάστασης. Σ΄ αυτό το κεφάλαιο θα κάνουε ια εξαίρεση. Θα δώσουε πρώτα έναν κατασκευα-στικό, διαισθητικό ορισό για τις διαδικασίες Poisson και στη συνέχεια θα υπολογίσουε τις κατανοέςπεπερασένης διάστασης.

Φανταστείτε ότι επαναλαβάνετε ανεξάρτητες δοκιές Bernoulli ε πιθανότητα επιτυχίας p και σηειώνετετις επιτυχείς δοκιές. Ανάεσά τους εσολαβεί ένας τυχαίος αριθός προσπαθειών, που ακολουθεί γεω-ετρική κατανοή ε παράετρο p. Αν σε ια ονάδα φυσικού χρόνου προλαβαίνετε να κάνετε ν δοκιές,τότε ο ρυθός ε τον οποίο έρχονται επιτυχίες είναι νp. Ας κάνουε ξανά το πείραα, αυτή τη φοράόως ας κάνουε τις δοκιές ε διπλάσια ταχύτητα αλλά ε τη ισή πιθανότητα επιτυχίας. Αυτή τη φοράοι προσπάθειες που εσολαβούν ανάεσα σε διαδοχικές επιτυχίες είναι στατιστικά περισσότερες, αφούακολουθούν γεωετρική κατανοή ε παράετρο p/2. Επειδή όως στη ονάδα του χρόνου κάνουε δι-πλάσιες προσπάθειες, ο ρυθός ε τον οποίο σηειώνονται επιτυχίες στον πραγατικό χρόνο θα παραείνεινp. Μπορούε να συνεχίσουε να πολλαπλασιάζουε την ταχύτητα ε την οποία εκτελούε τις δοκιέςκαι να ειώνουε αντίστοιχα την πιθανότητα επιτυχίας ας. Αν κάνουε Nν δοκιές ανά ονάδα χρόνουε πιθανότητα επιτυχίας σε κάθε δοκιή p/N , τότε καθώς το N εγαλώνει, θα εσολαβούν όλο και περισ-σότερες προσπάθειες ανάεσα σε διαδοχικές επιτυχίες. Επειδή όως και το πλήθος των προσπάθειων πουπρολαβαίνουε να κάνουε ανά ονάδα χρόνου εγαλώνει ανάλογα, ο ρυθός ε τον οποίον σηειώνονταιεπιτυχίες σε πραγατικό χρόνο δεν θα αλλάξει. Στο όριο καθώς το N → ∞, ο πραγατικός χρόνοςανάεσα ε διαδοχικές επιτυχίες ακολουθεί εκθετική κατανοή και η διαδικασία που ετρά τις επιτυχίεςας στον πραγατικό χρόνο είναι ια διαδικασία Poisson ε ρυθό νp.

120

Ας θεωρήσουε έναν χώρο πιθανότητας Ω, στον οποίο είναι ορισένη ια ακολουθία Ejj∈N από ανεξάρ-τητες, εκθετικές, τυχαίες εταβλητές, ε παράετρο λ. Εποένως,

PEj > t

= e−λt, για κάθε t ≥ 0.

Μια καθοριστική ιδιότητα που έχουν οι εκθετικές τυχαίες εταβλητές είναι η ιδιότητα της απώλειας νήης(memoryless property). Για κάθε s, t ≥ 0 : P

Ej > t+ s

Ej > t= P

Ej > s

. Ορίζουε ακόα

S0 = 0 και Sn = Sn−1 + En, για κάθε n ∈ N.

Οι εταβλητές Ejj∈N οντελοποιούν τον χρόνο ανάεσα σε διαδοχικές αφίξεις, οπότε οι εταβλητέςSjj∈N είναι οι χρόνοι στους οποίους αυτές οι αφίξεις συβαίνουν. Η διαδικασία Poisson Ntt≥0 ερυθό λ ετρά πόσες τέτοιες αφίξεις έχουν συβεί έχρι την εκάστοτε χρονική στιγή, δηλαδή

Nt(ω) = supk ∈ N0 : Sk(ω) ≤ t, t ≥ 0,ω ∈ Ω. (8.1)

Θεώρηα 31 Η διαδικασία Poisson της (8.1) έχει τις ακόλουθες ιδιότητες.

1. Οι τροχιές της είναι αύξουσες, δηλαδή 0 ≤ t1 ≤ t2 ⇒ Nt1(ω) ≤ Nt2(ω).

2. PNt ∈ X = N0, για κάθε t ≥ 0

= 1.

3. Οι τροχιές της είναι δεξιά συνεχείς.

4. Για κάθε m ∈ N η διαδικασία Ntt≥0 ε Nt = NSm+t −m είναι κι αυτή ια διαδικασία Poisson ερυθό λ και είναι ανεξάρτητη από τις E1, . . . , Em.

Απόδειξη: Από τον ορισό της διαδικασίας Poisson είναι προφανές ότι οι τροχιές της είναι αύξουσες, αφού,αν 0 ≤ t1 ≤ t2, τότε

k ∈ N0 : Sk(ω) ≤ t1 ⊂ k ∈ N0 : Sk(ω) ≤ t2.

Για την (2) αρκεί να δείξουε ότι

PNt < +∞, για κάθε t ≥ 0

= 1. (8.2)

Από τη ονοτονία της διαδικασίας αρκεί να δείξουε ότι

1 = PNn < +∞, για κάθε n ∈ N

= P

n∈NNn < +∞

= lim

n→∞PNn < +∞

Αν ω ∈ Sk → ∞, υπάρχει ένα k0(ω, n) τέτοιο ώστε Sk(ω) > n για όλα τα k > k0(ω, n). Εποένως,Nn(ω) ≤ k0(ω, n) και ειδικότερα Nn(ω) < +∞. Από τον νόο των εγάλων αριθών έχουε όως ότιPSk → ∞

= 1, εποένως P

Nn < +∞

= 1, απ΄ όπου προκύπτει όπως είδαε η (8.2).

Για την (3) προσέξτε ότι, αν για κάποια ω ∈ Ω, t ≥ 0 είχαε ότι Nt+(ω) ≥ Nt(ω) + 1, τότε θα έπρεπε ναυπάρχει κάποιο k ∈ N0 τέτοιο ώστε

Nt = k και Nt+ 1

n≥ k + 1, για κάθε n ∈ N.

΄Οως Nt = k ⇒ Sk+1 > t, ενώ Nt+ 1

n≥ k + 1 για κάθε n ∈ N ⇒ Sk+1 ≤ t + 1

nγια κάθε n ∈ N. Θα

έπρεπε εποένως

Sk+1 ∈

n∈N

t, t+

1

n

= ∅.

121

Θα δείξουε τέλος την (4), η οποία συνεπάγεται ότι ια διαδικασία Poisson ξαναγεννιέται ετά από κάθεάλα της και το έλλον της είναι ανεξάρτητο του παρελθόντος της. Η ιδέα είναι ότι ετά το m-οστό άλατης, η διαδικασία ετρά τις αφίξεις που υπαγορεύονται από τις Em+1, Em+2, . . . . Συγκεκριένα έχουε ότι

NSm+t = maxk ∈ N : Sk ≤ Sm + t = maxk ∈ N :k

j=m+1

Ej ≤ t

= maxk ∈ N :k−m

j=1

Ej+m ≤ t = m+maxr ∈ N :r

j=1

Ej+m ≤ t.

Εποένως,

Nt = maxr ∈ N :r

j=1

Ej+m ≤ t.

΄Οως οι Em+1, Em+2, . . . είναι ανεξάρτητες, ισόνοες, εκθετικές, τυχαίες εταβλητές ε παράετρο λκαι είναι ανεξάρτητες από τις E1, . . . , Em, οπότε το ζητούενο προκύπτει από τον ορισό της διαδικασίαςPoisson.

Θα υπολογίσουε τώρα τις κατανοές πεπερασένης διάστασης της Ntt≥0. Θα ξεκινήσουε από τιςονοδιάστατες κατανοές.

Λήα 10 Για κάθε t ≥ 0 η τυχαία εταβλητή Nt ακολουθεί κατανοή Poisson ε ρυθό λt.

Απόδειξη: Για k = 0 έχουε PNt = 0

= P

E1 > t

= e−λt. Για k ∈ N έχουε

PNt = k

= P

Sk ≤ t, Sk+1 > t

= P

Sk ≤ t

− P

Sk ≤ t, Sk+1 ≤ t

= P

Sk ≤ t

− P

Sk+1 ≤ t

.(8.3)

Εφόσον όως οι Ejj∈N είναι ανεξάρτητες, ε Ej ∼ exp(λ) = G(λ, 1), έχουε ότι

Sk =k

j=1

Ej ∼ G(λ, k)

και η συνάρτηση πυκνότητας πιθανότητά της είναι η

fk(x) =

λk

(k−1)!xk−1e−λx, αν x ≥ 0

0, αν x < 0.

Εποένως, η (8.3) γίνεται

PNt = k

=

t

0

λk

(k − 1)!xk−1e−λx dx−

t

0

λk+1

k!xke−λx dx =

λk

k!xke−λx

t

0

= e−λt(λt)k

k!.

Συπεραίνουε λοιπόν ότι Nt ∼ Po(λt).

Θεώρηα 32 (αρκοβιανή ιδιότητα) ΄Εστω Ntt≥0 ια διαδικασία Poisson ε ρυθό λ. Για κάθε s ≥ 0η διαδικασία Ntt≥0 ε τύπο Nt = Ns+t −Ns είναι οοίως ια διαδικασία Poisson ε ρυθό λ και είναιανεξάρτητη από τις Nr0≤r≤s.

122

Απόδειξη: Αρκεί να δείξουε ότι δεδοένου ότι Ns = m, η Ntt≥0 είναι διαδικασία Poisson ε ρυθό λκαι ανεξάρτητη από τις E1, . . . , Em, αφού σε αυτό το ενδεχόενο

Nr =m

k=1

Ek ≤ r, για κάθε r ≤ s.

Οι χρόνοι ανάεσα στα άλατα της Ntt≥0 είναι

E1 = Em+1 − (s− Sm), E2 = Em+2, . . . , Ek = Em+k, . . .

Το ενδεχόενο ως προς το οποίο δεσεύουε Ns = m = Sm ≤ s, Sm+1 > s εξαρτάται όνο απότις E1, . . . , Em+1. Εποένως, ε δεδοένο το Ns = m, οι E2, E3, . . . συνεχίζουν να είναι ανεξάρτητες,ισόνοες, εκθετικές τυχαίες εταβλητές, ε παράετρο λ και είναι ανεξάρτητες από την E1 που εξαρτάταιόνο από τις E1, . . . , Em+1. Μένει να δείξουε ότι η δεσευένη κατανοή της E1, δεδοένου τουNs = m, είναι εκθετική ε παράετρο λ, δηλαδή

PE1 > t

Ns = m= e−λt, για κάθε t ≥ 0.

΄Εχουε τώρα για κάθε t ≥ 0

PE1 > t

Ns = m= P

Em+1 + Sm > t+ s

Sm ≤ s, Sm + Em+1 > s

=

s

0 fm(x)PEm+1 > t+ s− x

Em+1 > s− xPEm+1 > s− x

dx

s

0 fm(x)PEm+1 > s− x

dx

= e−λt,

από την ιδιότητα απώλειας νήης της εκθετικής κατανοής.

Παρατήρηση: Το προηγούενο θεώρηα εξασφαλίζει ότι η διαδικασία Poisson έχει ανεξάρτητες καιχρονικά οοιογενείς προσαυξήσεις. Συγκεκριένα, για κάθε s ≥ 0 η προσαύξηση Nt−Ns είναι ανεξάρτητηαπό τις προηγούενες τιές της διαδικασίας και ακολουθεί την ίδια κατανοή όπως ηNt−s, δηλαδή Po

λ(t−

s). Θα δούε τώρα πώς αυτή η πληροφορία καθορίζει τις κατανοές πεπερασένης διάστασης της Ntt≥0.

΄Εστω t0 = 0 ≤ t1 ≤ t2 ≤ · · · ≤ tn. Για οποιουσδήποτε ακέραιους k0 = 0 ≤ k1 ≤ k2 ≤ · · · ≤ kn έχουε

PNt1 = k1, Nt2 = k2, . . . , Ntn = kn

= PNt1 = k1

PNt2 = k2 |Nt1 = k1

· · ·P

Ntn = kn |Nt1 = k1, . . . , Ntn−1 = kn−1

= PNt1 = k1

PNt2 −Nt1 = k2 − k1

· · ·P

Ntn −Ntn−1 = kn − kn−1

= PNt1 = k1

PNt2−t1 = k2 − k1

· · ·P

Ntn−tn−1 = kn − kn−1

= e−λtn(λtn)kn

kn!

kn

k1, k2 − k1, . . . , kn − kn−1

n−1

i=0

ti+1 − ti

tn

ki+1−ki

.

Μπορεί κανείς να παρατηρήσει, διαιρώντας τα δύο έλη ε την PNtn = kn

= e−λtn (λtn)kn

kn!, ότι, δεδοένου

του πλήθους των αφίξεων kn στο διάστηα (0, tn], οι αφίξεις που σηειώθηκαν στα διαστήατα

I1 = (0, t1], I2 = (t1, t2], I3 = (t2, t3], . . . , In = (tn−1, tn]

ακολουθούν πολυωνυική κατανοή ε πιθανότητα επιτυχίας για κάθε διάστηα pk = tk−tk−1

tn, ίση δηλαδή

ε το κλάσα του ήκους του διαστήατος Ik στο συνολικό ήκος tn. Με διαφορετικά λόγια, δεδοένου ότιέχρι τη χρονική στιγή tn είχαε kn αφίξεις, η κατανοή αυτών των αφίξεων στα διαστήατα I1, I2, . . . , Inείναι ίδια όπως αν τοποθετούσαε τις kn αφίξεις ανεξάρτητα και οοιόορφα στο διάστηα (0, tn]. Αυτόακριβώς είναι το περιεχόενο του επόενου θεωρήατος.

123

Θεώρηα 33 ΄Εστω Ntt≥0 ια διαδικασία Poisson ε ρυθό αφίξεων λ. εδοένου ότι Nt = n,οι χρόνοι S1, S2, . . . , Sn, στους οποίους η διαδικασία Poisson αλλάζει κατάσταση, ακολουθούν την ίδιακατανοή όπως ια διατεταγένη n-άδα σηείων, οοιόορφα επιλεγένων στο (0, tn]. Συγκεκριένα,έχουν από κοινού συνάρτηση πυκνότητας πιθανότητας που δίνεται από την

g(s1, s2, . . . , sn) = n! t−n 0 ≤ s1 ≤ s2 ≤ · · · ≤ sn ≤ t. (8.4)

Απόδειξη: Η από κοινού συνάρτηση πυκνότητας πιθανότητας των E = (E1, E2, . . . , En, En + 1) είναι η

f(t1, t2, . . . , tn, tn+1) = λn+1e−λt1+···+λtn+1 t1, · · · , tn+1 ≥ 0.Ο γραικός ετασχηατισός Φ, για τον οποίο έχουε S = Φ(E), όπου S = (S1, S2, . . . , Sn, Sn+1), έχειορίζουσα 1. Εποένως, η συνάρτηση πυκνότητας πιθανότητας των(S1, S2, . . . , Sn, Sn+1) είναι

f(s1, s2 − s1, . . . , sn+1 − sn) = λn+1e−λsn+1 0 ≤ s1 ≤ s2 ≤ · · · ≤ sn+1.΄Εχουε τώρα ότι για A ⊂ Rn

P(S1, . . . , Sn) ∈ A,Nt = n

= P

(S1, . . . , Sn) ∈ A,Sn ≤ t, Sn+1 > t

= λn+1

A

∞

t

e−λsn+1 0 ≤ s1 ≤ s2 ≤ · · · ≤ sn ≤ tdsn+1ds1 · · · dsn

= λne−λt

A

0 ≤ s1 ≤ s2 ≤ · · · ≤ sn ≤ tds1 · · · dsn.

Από το Λήα 8.3 έχουε όως ότι PNt = n

= e−λt (λt)n

n! . Εποένως, η δεσευένη συνάρτησηπυκνότητας πιθανότητας των S1, . . . , Sn, δεδοένου ότι Nt = n, είναι η g της (8.4). Αυτή όως είναι ηπυκνότητα της ιας διατεταγένης κατά έγεθος n-άδας ανεξάρτητων, ισόνοων τυχαίων εταβλητών, εοοιόορφη κατανοή στο [0, t].

Προσέξτε ότι το αποτέλεσα είναι ανεξάρτητο από τον ρυθό των αφίξεων της διαδικασίας. Ο ρυθόςεπηρεάζει οπωσδήποτε το πλήθος των αφίξεων έχρι τη στιγή t. Με δεδοένο όως το πλήθος τωναφίξεων, ο ρυθός δεν έχει καία άλλη πληροφορία για το πώς κατανέονται αυτές οι αφίξεις στο διάστηα(0, t]. ΄Οπως είδαε, αρκεί να τις τοποθετήσουε τυχαία (ανεξάρτητα και οοιόορφα) σ΄ αυτό το διάστηα.

Σύφωνα ε το προηγούενο Θεώρηα, θα πορούσαε να προσοοιώσουε ένα ονοπάτι ιας διαδικασίαςPoisson ε ρυθό λ στο χρονικό διάστηα [0, t] ως εξής. Αρχικά επιλέγουε το πλήθος των αφίξεων πουθα έχουε συνολικά σ΄ αυτό το διάστηα από την κατανοή Poisson ε ρυθό λ. ΄Εχοντας επιλέξει τοπλήθος των αφίξεων n, επιλέγουε οοιόορφα και ανεξάρτητα n σηεία στο [0, t]. Αυτά είναι και τασηεία που θα κάνει άλα κατά 1 το ονοπάτι.

Παράδειγα 50 Τα τηλεφωνήατα που δέχεται το ΕΚΑΒ εταξύ 6 το πρωί και 12 το εσηέρι είναιια διαδικασία Poisson ε ρυθό 10/ώρα. Αν από τις 6 έχρι τις 9 έγιναν δέκα τηλεφωνήατα, ποια είναιη πιθανότητα να έγινε ένα ακριβώς την πρώτη ώρα;

Αν Ntt≥0 είναι η διαδικασία που ετρά τα τηλεφωνήατα ετά τις 6, ψάχνουε για την

PNs = 1

Nt = 10,

όπου s =1 ώρα και t = 3 ώρες. Μπορούε να λύσουε το πρόβληα ε δύο τρόπους. Εκεταλλευόενοιτις ανεξάρτητες προσαυξήσεις της διαδικασίας έχουε

PNs = 1

Nt = 10=

PNs = 1, Nt = 10

PNt = 10

=PNs = 1, Nt −Ns = 9

PNt = 10

=e−λs (λs)1

1! e−λ(t−s)

λ(t−s)

99!

e−λt (λt)10

10!

= 10× 29 × 3−10.

124

Στο ίδιο αποτέλεσα θα πορούσαε να φτάσουε και χρησιοποιώντας το Θεώρηα 33. εδοένου ότιέχουε 10 τηλεφωνήατα, αυτά κατανέονται ανεξάρτητα και οοιόορφα στο διάστηα (0, t]. ΄Εχουελοιπόν 10 ανεξάρτητες δοκιές Bernoulli ε πιθανότητα επιτυχίας (να συβούν κατά την πρώτη ώρα) ίσηε s/t = 1/3. Το πλήθος των επιτυχιών σ΄ αυτές τις δοκιές ακολουθεί διωνυική κατανοή bin(10,1/3),εποένως

PNs = 1

Nt = 10=

10

1

13

123

9.

Σκεφτείτε τώρα την πολυπλοκότητα των δύο εθόδων, αν θέλαε να βρούε την πιθανότητα να έχουεακριβώς ία άφιξη από τις δέκα, στα πρώτα είκοσι δεπτερόλεπτα κάθε λεπτού. Ο πρώτος τρόπος άλλονδεν είναι ελκυστικός, ο δεύτερος τρόπος όως ας δίνει εύκολα ότι η απάντηση παραένει ίδια!

8.3 Εκλέπτυνση και πρόσθεση

Σ΄ αυτήν την παράγραφο θα δούε δύο χρήσιους χειρισούς, στους οποίους πορούε να υποβάλλουεδιαδικασίες Poisson και το αποτέλεσα είναι πάλι ια διαδικασία Poisson, την εκλέπτυνση (thinning) καιτην πρόσθεση ανεξάρτητων διαδικασιών.

Φανταστείτε ότι σ΄ έναν ανιχνευτή προσπίπτουν σωατίδια σύφωνα ε ια διαδικασία Poisson ε ρυθόλ. Ο ανιχνευτής όως δεν πορεί να ανιχνεύσει όλα τα σωατίδια. Συγκεκριένα, κάθε σωατίδιο πουφτάνει έχει πιθανότητα p να ανιχνευτεί, ανεξάρτητα από τη διαδικασία άφιξης και από τα άλλα σωατίδια.Το ακόλουθο Θεώρηα εγγυάται ότι η διαδικασία που ετρά τα ανιχνευένα σωατίδια είναι επίσης ιαδιαδικασία Poisson ε ρυθό λp.

Θεώρηα 34 ΄Εστω Ntt≥0 ια διαδικασία Poisson ε ρυθό λ και Xii∈N ια ακολουθία από ανε-ξάρτητες, ισόνοες τυχαίες εταβλητές ε κατανοή Bernoulli(p), που είναι ανεξάρτητες από τη διαδικασίααφίξεων Ntt≥0. Τότε οι διαδικασίες N+

tt≥0 και N−

tt≥0 ε

N+t

=Nt

i=1

Xi και N−t

=Nt

i=1

(1−Xi),

είναι δύο ανεξάρτητες διαδικασίες Poisson ε ρυθούς λp και λ(1− p) αντίστοιχα.

Απόδειξη: Αν M1,M2, . . . , είναι η ακολουθία των επιτυχηένων προσπαθειών, δηλαδή

M1 = infk ≥ 1 : Xk = 1, Mn+1 = infk > Mn : Xk = 1, n ∈ N,

τότε οι M1,M2 − M1,M3 − M2, . . . είναι ανεξάρτητες, ισόνοες τυχαίες εταβλητές, που ακολουθούνγεωετρική κατανοή ε παράετρο p. Αν Ekk∈N είναι η ακολουθία των χρόνων που εσολαβούνανάεσα στα διαδοχικά άλατα της διαδικασίας Ntt≥0, τότε οι χρόνοι ανάεσα στα άλατα της N+

tt≥0

είναι η ακολουθία E+kk∈N ε

E+1 =

M1

k=1

Ek, και E+n+1 =

Mn+1

k=Mn+1

Ek.

Εφόσον η Mnn∈N εξαρτάται όνο από την Xii∈N και η Ekk∈N όνο από τη διαδικασία αφίξεων, οιακολουθίες αυτές είναι ανεξάρητες. Επιπλέον, η ανεξαρτησία και ισονοία των M1,M2 − M1, . . . συνε-πάγεται την ανεξαρτησία και ισονοία E+

1 , E+2 , . . . Προκειένου να βρούε την κατανοή τους, κάνουε

125

τον εξής υπολογισό

PE+

1 > t= P

M1

k=1

Ek > t=

∞

n=1

P M1

k=1

Ek > t, M1 = n

=∞

n=1

P n

k=1

Ek > t, M1 = n=

∞

n=1

P n

k=1

Ek > tPM1 = n

. (8.5)

Ας θυηθούε όως ότι η τυχαία εταβλητή

n

k=1Ek ακολουθεί κατανοή Γάα, G(λ, n), εποένως

P n

k=1

Ek > t=

∞

t

λnxn−1

(n− 1)!e−λx dx.

Αντίστοιχα, η τυχαία εταβλητή M1 ακολουθεί γεωετρική κατανοή, οπότε

PM1 = n

= (1− p)n−1p.

Αν αντικαταστήσουε τις δύο τελευταίες πιθανότητες στην 8.5 και χρησιοποιήσουε το Θεώρηα Fubini-Tonelli για να εναλλάξουε τη σειρά της άθροισης και της ολοκλήρωσης, παίρνουε

PE+

1 > t=

∞

n=1

∞

t

λnxn−1

(n− 1)!e−λx dx (1− p)n−1p

= λp

∞

t

e−λx

∞

n=1

λ(1− p)x

n−1

(n− 1)!

dx

= λp

∞

t

e−λxeλ(1−p)x dx

= λp

∞

t

e−λpxdx = e−λpt.

Εποένως οι E+kk∈N είναι ανεξάρτητες, ισόνοες και ακολουθούν εκθετική κατανοή ε παράετρο λp,

άρα η διαδικασία N+tt≥0 είναι ια διαδικασία Poisson ε ρυθό λp.

Παρατηρώντας ότι η 1 −Xii∈N είναι ια ακολουθία από ανεξάρτητες, ισόνοες τυχαίες εταβλητές, εκατανοή Bernoulli(1 − p), παίρνουε αέσως ότι η διαδικασία N−

tt≥0 είναι ια διαδικασία Poisson ε

ρυθό λ(1− p).

Θα δείξουε τώρα ότι οι N+tt≥0 και N−

tt≥0 είναι ανεξάρτητες. Θα ξεκινήσουε δείχνοντας ότι οι

τυχαίες εταβλητές N+tκαι N−

tείναι ανεξάρτητες για κάθε t ≥ 0.

PN+

t= m,N−

t= n

= P

N+

t= m,Nt = m+ n

= P

Nt = m+ n

PN+

t= m

Nt = m+ n(8.6)

Από το Λήα 10 έχουε ότι

PNt = m+ n

= e−λt

(λt)m+n

(m+ n)!.

Επιπλέον, ε δεδοένο ότι Nt = m + n, η N+tείναι το πλήθος των επιτυχιών σε m + n ανεξάρτητες

δοκιές Bernoulli ε πιθανότητα επιτυχίας p. ΄Αρα,

PNt = m+ n

PN+

t= m

Nt = n+m=

n+m

m

pm(1− p)n.

126

Αν αντικαταστήσουε τις παραπάνω ισότητες στην (8.6), έχουε ότι

PN+

t= m,N−

t= n

= e−λt

(λt)m+n

(m+ n)!

n+m

m

pm(1− p)n

= e−λpt(λpt)m

m!e−λ(1−p)t (λ(1− p)t)n

n!. (8.7)

Εποένως οι τυχαίες εταβλητές N+tt≥0 και N−

tt≥0 είναι ανεξάρτητες. Για να δείξουε ότι οι διαδικα-

σίες N+tt≥0 και N−

tt≥0 είναι ανεξάρτητες, χρειάζεται να δείξουε κάτι αντίστοιχο για τις από κοινού

κατανοές πεπερασένης διάστασης. Συγκεκριένα, αν 0 ≤ t1 ≤ t2 ≤ · · · ≤ tk και οι mi1≤i≤k καιni1≤i≤k είναι αύξουσες ακολουθίες ακεραίων, θέλουε να δείξουε ότι

P k

i=1

N+ti

= mi, N−ti

= ni= P

k

i=1

N+ti

= miP k

i=1

N−ti

= ni. (8.8)

Μπορούε να χρησιοποιήσουε το γεγονός ότι οι διαδικασίες Poisson έχουν ανεξάρτητες και χρονικάοοιογενείς προσαυξήσεις, ώστε να αναγάγουε αυτό το ερώτηα στο ερώτηα για τις ονοδιάστατεςκατανοές της ανέλιξης που ήδη απαντήσαε. Πράγατι, αν θέσουε t0 = m0 = n0 = 0, έχουε

P k

i=1

N+ti

= mi, N−ti

= ni= P

k

i=1

N+ti−N+

ti−1= mi −mi−1, N−

ti−N−

ti−1= ni − ni−1

=k

i=1

PN+

ti−ti−1= mi −mi−1, N−

ti−ti−1= ni − ni−1

.

Από την (8.7) έχουε τώρα ότι

P k

i=1

N+ti

= mi, N−ti

= ni=

k

i=1

PN+

ti−ti−1= mi −mi−1

PN−

ti−ti−1= ni − ni−1

και αντιστρέφοντας τα βήατα του επιχειρήατος στο οποίο χρησιοποιήσαε τις ανεξάρτητες, χρονικάοοιογενείς προσαυξήσεις, φτάνουε στην (8.8).

Παράδειγα 51 Οι άνθρωποι που προσέρχονται σε ένα αναψυκτήριο ένα καλοκαιρινό εσηέρι φτάνουνως ια διαδικασία Poisson ε ρυθό 3/min. Καθένας από αυτούς επιλέγει είτε χυό πορτοκάλι είτε χυόήλο ε πιθανότητα 5/6 και 1/6 αντίστοιχα και ανεξάρτητα ο ένας από τον αλλον. Αν κάποια στιγήυπάρχουν αποθέατα πορτοκαλιών για 240 χυούς και ήλων για 39 χυούς, ποια είναι η πιθανότητα ναεξυπηρετηθούν όλοι οι άνθρωποι που θα φτάσουν έσα στην επόενη ιάιση ώρα;

Σύφωνα ε το προηγούενο Θεώρηα, οι παραγγελίες για χυό πορτοκαλιού φτάνουν ως ια διαδικασίαPoisson ε ρυθό 3/min×5/6=2,5/min. Εποένως, από το Θεώρηα 10, οι παραγγελίες για χυό πορ-τοκαλιού την επόενη ώρα είναι ια τυχαία εταβλητή N , που ακολουθεί κατανοή Poisson ε παράετρο2,5/min×90min=225. Αντίστοιχα, οι παραγγελίες για χυό ήλου φτάνουν ως ια διαδικασία Poissonε ρυθό 3/min×1/6=1/2min. Εποένως, οι παραγγελίες για χυό ήλου την επόενη ώρα, είναι ιατυχαία εταβλητή, M , που ακολουθεί κατανοή Poisson, ε παράετρο 1/2min×90min=45. Μάλιστα,εφόσον οι δύο διαδικασίες είναι ανεξάρτητες, θα είναι ανεξάρτητες και οι τυχαίες εταβλητές M και N .Εείς θέλουε να υπολογίσουε την πιθανότητα

PN ≤ 240 ∩ M ≤ 39

= P

N ≤ 240

PM ≤ 39

.

127

Προκειένου να ολοκληρώσουε τον υπολογισό, πορούε να υπολογίσουε αυτές τις ποσότητες είτεε τη βοήθεια κάποιου στατιστικού πακέτου, όπως η R, είτε να βρούε προσεγγιστικά την απάντηση ετη βοήθεια του Κεντρικού Οριακού Θεωρήατος. Συγκεκριένα, αν η τυχαία εταβλητή X ακολουθείκατανοή Po(λ), τότε

PX − λ√

λ≤ x

→ Φ(x), καθώς λ → ∞,

όπου η συνάρτηση Φ στο δεξί έλος είναι η συνάρτηση κατανοής πιθανότητας της τυπικής κανονικήςκατανοής. Στην πράξη, η προσέγγιση είναι αρκετά καλή για λ ≥ 30, οπότε πορούε να εκτιήσουε

PN ≤ 240

= P

N − 225√225

≤ 240− 225√225

Φ(1) 0, 8414.

Οοίως,

PM ≤ 39

= P

M − 45√45

≤ 39− 45√45

Φ(− 2√

5) = 0, 1856.

Εποένως η ζητούενη πιθανότητα είναι περίπου 0,1561. Η απάντηση που θα παίρναε ε τη βοήθεια τουυπολογιστή, χωρίς την προσέγγιση του Κεντρικού Οριακού Θεωρήατος, θα ήταν 0,1769.

Ας δούε τώρα τι συβαίνει ότι προσθέτουε ανεξάρτητες διαδικασίες Poisson. Την απάντηση δίνει τοεπόενο Θεώρηα.

Θεώρηα 35 Αν Xtt≥0 και Ytt≥0 είναι δύο ανεξάρτητες διαδικασίες Poisson ε ρυθούς λ και µαντίστοιχα, τότε η διαδικασία Ntt≥0 ε Nt = Xt + Yt, είναι ια διαδικασία Poisson ε ρυθό λ+ µ.

Απόδειξη: Η Ntt≥0 είναι ια δεξιά συνεχής διαδικασία, ε τιές στους ακεραίους και αύξουσες τροχιές.Αυτές τις ιδιότητες τις κληρονοεί από τις Xtt≥0 και Ytt≥0. Σύφωνα ε την παρατήρηση ετά τοΘεώρηα 32, αρκεί να δείξουε ότι για κάθε s, t ε 0 ≤ s ≤ t, η τυχαία εταβλητή Nt−Ns είναι ανεξάρτητηαπό τις Nr0≤r≤s και ακολουθεί κατανοή Po(

λ + µ)(t − s)

, αφού αυτή η πληροφορία καθορίζει τις

κατανοές πεπερασένης διάστασης.

΄Εχουε όωςNt −Ns = (Xt −Xs) + (Yt − Ys).

Η Xt −Xs είναι ανεξάρτητη από τις Xr0≤r≤s, αφού η Xtt≥0 είναι διαδικασία Poisson. Επίσης είναιανεξάρτητη από τις Yr0≤r≤s, αφού οι διαδικασίες που προσθέτουε είναι ανεξάρτητες. Εποένως, ηXt − Xs είναι ανεξάρτητη από τις Nr0≤r≤s. Με τον ίδιο τρόπο βλέπουε ότι και η Yt − Ys είναιανεξάρτητη από τις Nr0≤r≤s. Εποένως η Ntt≥0 έχει ανεξάρτητες προσαυξήσεις.

Σχετικά ε την κατανοή της Nt − Ns, προσέξτε ότι η Xt − Xs ακολουθεί κατανοή Poλ(t − s)

, η

Yt − Ys ακολουθεί κατανοή Poµ(t − s)

, ενώ οι Xt −Xs και Yt − Ys είναι ανεξάρτητες. Συνεπώς, το

άθροισά τους ακολουθεί κατανοή Poisson ε ρυθό το άθροισα των δύο ρυθών, δηλαδή (λ+µ)(t−s).

Παρατήρηση: Το παραπάνω Θεώρηα γενικεύεται εύκολα ε επαγωγή, σε αθροίσατα n, ανεξάρτητωνδιαδικασιών Poisson, οπότε και πάλι το άθροισά τους είναι ια διαδικασία Poisson ε ρυθό το άθροισατων επί έρους ρυθών.

Παρατήρηση: Με βάση τα Θεωρήατα 34 και 35, πορούε να κατασκευάσουε δύο ανεξάρτητεςδιαδικασίες Poisson ε ρυθούς λ και µ αντίστοιχα, κάνοντας εκλέπτυνση στην αθροιστική διαδικασίαPoisson. Συγκεκριένα, πορούε να προσοοιώσουε ια διαδικασία Poisson ε ρυθό λ + µ και στησυνέχεια να αποδώσουε κάθε άφιξη είτε στην πρώτη διαδικασία ε πιθανότητα λ

λ+µ, είτε στη δεύτερη

διαδικασία ε πιθανότητα µ

µ+ν, ανεξάρτητα για κάθε άφιξη. Αυτή η παρατήρηση οδηγεί στο ακόλουθο

άεσο πόρισα.

128

Πόρισα 12 Αν Xtt≥0 και Ytt≥0 είναι δύο ανεξάρτητες διαδικασίες Poisson ε ρυθούς λ και µαντίστοιχα και Nt = Xt + Yt, τότε

PXt = k

Nt = n=

n

k

λ

λ+ µ

k µ

λ+ µ

n−k

Εποένως, ε δεδοένο τον συνολικό αριθό αφίξεων n σε ένα διάστηα, οι αφίξεις της διαδικασίαςXtt≥0 ακολουθούν διωνυική κατανοή bin(n, λ

λ+µ).

Παράδειγα 52 ΄Ενα Τήα Επειγόντων Περιστατικών εφηερεύει όνο για παθολογικά, χειρουργικάκαι καρδιολογικά περιστατικά. Τα παθολογικά περιστατικά καταφτάνουν όπως ια διαδικασία Poisson ερυθό λ = 1/10min, τα χειρουργικά περιστατικά όπως ια διαδικασία Poisson ε ρυθό µ = 1/15min, ενώτα καρδιολογικά περιστατικά όπως ια διαδικασία Poisson ε ρυθό ν = 1/30min. Οι τρεις διαδικασίεςείναι ανεξάρτητες. Οι συνολικές αφίξεις στο Τήα Επειγόντων είναι εποένως ια διαδικασία Poissonε ρυθό λ + µ + ν=12/ώρα. Θα υπολογίσουε τώρα την πιθανότητα το πρώτο περιστατικό να είναιπαθολογικό.

΄ΕστωX,Y, Z οι χρόνοι αναονής έχρι την άφιξη του πρώτου παθολογικού, χειρουργικού ή καρδιολογικούπεριστατικού, αντίστοιχα. Θέλουε να υπολογίσουε την πιθανότητα του ενδεχοένου X ≤ Y ∩ X ≤Z = X ≤ Y ∧Z. Μπορούε να κάνουε τον υπολογισό απ΄ ευθείας, χρησιοποιώντας την από κοινούσυνάρτηση πυκνότητας πιθανότητας των X,Y, Z. Μπορούε όως και να παρατηρήσουε ότι η Y ∧Z είναιεκθετική ε ρυθό µ+ ν. Πράγατι,

PY ∧ Z > t

= P

Y > t ∩ Z > t

= P

Y > t

PZ > t

= e−µte−νt = e−(µ+ν)t.

Επίσης, εφόσον οι Y, Z είναι ανεξάρτητες από την X, οι Y ∧ Z και X θα είναι ανεξάρτητες. Εποένως,

PX ≤ Y ∧ Z

=

∞

0λe−λx

∞

x

(µ+ ν)e−(µ+ν)v dv dx = λ

∞

0e−(λ+µ+ν)x dx =

λ

λ+ µ+ ν=

1

2.

Αντίστοιχα, η πιθανότητα το πρώτο περιστατικό να είναι χειρουργικό είναι µ

λ+µ+ν= 1

3 και η πιθανότητατο πρώτο περιστατικό να είναι καρδιολογικό είναι ν

λ+µ+ν= 1

6 .


΄Ασκηση 100 Σωατίδια προσπίπτουν σ΄ έναν ανιχνευτή σύφωνα ε ια διαδικασία Poisson. Αν σταπρώτα δύο λεπτά λειτουργίας του ανιχνευτή προσέπεσαν 14 σωατίδια, ποια είναι η πιθανότητα τα 5 απόαυτά να προσέπεσαν κατά το πρώτο λεπτό;

΄Ασκηση 101 Σε ια διαδικασία Poisson ε ρυθό αφίξεων µ, αν SN είναι ο χρόνος της N -οστής άφιξης,υπολογίστε τα όρια

PlimN

SN

N=

1

µ

και lim

N

PSN ≤ N

µ

.

΄Ασκηση 102 Σε ια διαδικασία Poisson ε ρυθό αφίξεων λ, βρείτε την κατανοή που ακολουθεί τοπλήθος των αφίξεων στο διάστηα (0, s] δεδοένου ότι έχουε N αφίξεις στο διάστηα (0, t] ε t ≥ s.

΄Ασκηση 103 Οι αφίξεις φοιτητών στη βιβλιοθήκη του ΕΜΠ εταξύ 8π και 2 είναι ια διαδικασίαPoisson ε ρυθό αφίξεων 1/5min. Οι αφίξεις καθηγητών την ίδια περίοδο είναι ια ια διαδικασία Poissonε ρυθό αφίξεων 1/30min. Αν στο διάστηα 11π και 12 πήκαν στη βιβλιοθήκη 10 άτοα, ποια είναι η

129

πιθανότητα να πήκαν το πολύ δύο καθηγητές; Η πιθανότητα να δανειστεί βιβλίο κάποιος καθηγητής πουεπισκέπτεται τη βιβλιοθήκη είναι 4/5 ενώ η πιθανότητα να δανειστεί βιβλίο ένας φοιτητής που επισκέπτεταιτη βιβλιοθήκη είναι 1/6. Υποθέστε ότι δεν εσολαβεί χρόνος ανάεσα στην άφιξη ενός ατόου που θέλεινα δανειστεί βιβλίο και στον δανεισό του βιβλίου. Πώς θα περιγράφατε τη διαδικασία που ετράει τουςδανεισούς βιβλίων κατά την παραπάνω περίοδο; Ποια είναι η πιθανότητα το πρώτο βιβλίο της ηέρας νατο δανειστεί ένας φοιτητής;

΄Ασκηση 104 Σ΄ ένα δισκάδικο εξυπηρετούν δύο υπάλληλοι. Ο χρόνος εξυπηρέτησης ενός πελάτηακολουθεί εκθετική κατανοή ε ρυθό 1/2min. Μπαίνετε στο δισκάδικο και παρατηρείτε ότι και οι δύουπάλληλοι εξυπηρετούν, ενώ υπάρχει ακόα ένας πελάτης πριν από σας που περιένει να εξυπηρετηθεί.Ποια είναι η κατανοή του χρόνου που θα σας πάρει έχρι να εξυπηρετηθείτε; Ποια είναι η πιθανότητα νατελειώσετε πριν από τον πελάτη που περιένει; Ποια είναι η πιθανότητα να τελειώσετε πριν από κάποιονπελάτη που εξυπηρετείτο όταν πήκατε;

΄Ασκηση 105 Στις αναετρήσεις των ποδοσφαιρικών οάδων Α και Β τα τέρατα της οάδας Α ση-ειώνονται σύφωνα ε ια διαδικασία Poisson ε ρυθό αφίξεων 1/45min, ενώ εκείνα της οάδας Βσύφωνα ε ια ανεξάρτητη από την προηγούενη διαδικασία Poisson ε ρυθό αφίξεων 1/60min. Ποιαείναι η πιθανότητα στο ηίχρονο να προηγείται η οάδα Β ε 0-1 αλλά στο τέλος να κερδίσει η οάδα Αε 3-1; Ποια είναι η πιθανότητα να κερδίσει η οάδα Α ε 2-1, δεδοένου ότι το σκορ ηιχρόνου είναι 0-1;

΄Ασκηση 106 Σωατίδια τύπου Α και τύπου Β φτάνουν σ΄ έναν ανιχνευτή σύφωνα ε δύο ανεξάρτητεςδιαδικασίες Poisson ε ρυθούς αφίξεων λ και µ αντίστοιχα. Ποια κατανοή ακολουθεί το πλήθος τωνσωατιδίων τύπου Α που έχουν ανιχνευτεί έχρι την ανίχνευση του πρώτου σωατιδίου τύπου Β; Ποιακατανοή ακολουθεί το πλήθος των σωατιδίων τύπου Α που έχουν ανιχνευτεί έχρι την ανίχνευση τουτρίτου σωατιδίου τύπου Β;

΄Ασκηση 107 Σε ια πειραατική διάταξη ια δέση laser περνά από ένα διαχωριστή που τη χωρίζεισε δύο δέσες Α,Β. Η προσπίπτουσα δέση αποτελείται από φωτόνια που φτάνουν στον διαχωριστή ωςια διαδικασία Poisson ε ρυθό λ. Κάθε φωτόνιο, κατευθύνεται είτε στη δέση Α είτε στη δέση Βε πιθανότητα 1/2, ανεξάρτητα για κάθε φωτόνιο. Οι δύο δέσες Α, Β κατευθύνονται στη συνέχεια σεδύο φωτοδιόδους. Για κάθε φωτόνιο που προσπίπτει στη φωτοδίοδο απελευθερώνεται ένα ηλεκτρόνιο. Ταηλεκτρόνια που απελευθερώνονται δηιουργούν τα ρεύατα I1 και I2 αντίστοιχα. Στη συνέχεια τα δύο αυτάρεύατα αφαιρούνται, οπότε προκύπτει ένα ηλεκτρικό ρεύα I = I1 − I2, που οδηγείται σε ια συσκευήέτρησης. Ποια είναι η έση τιή και ποια είναι η διασπορά του αριθού των ηλεκτρονίων που φτάνει στησυσκευή έτρησης σε χρόνο ∆t;

΄Ασκηση 108 Αρσενικά και θηλυκά παρπούνια πέφτουν στα δίχτυα ενός ψαρά σύφωνα ε δύο ανε-ξάρτητες διαδικασίες Poisson ε ρυθούς α = 1/20min και θ = 1/30min αντίστοιχα.

α) Αν ο ψαράς αφήσει τα δίχτυα για 2 ώρες ποια είναι η κατανοή του πλήθους των παρπουνιών που θαπιάσει;β) Αν σε 2 ώρες έπιασε 10 παρπούνια ποια είναι η πιθανότητα να ην έπιασε κανένα στο διάστηα 30minέως 90min;γ) Αν σε 2 ώρες έπιασε 10 παρπούνια ποια είναι η πιθανότητα να ην έπιασε κανένα θηλυκό εταξύ30min και 90min;δ) Αν T είναι η πρώτη χρονική στιγή (από την ώρα που έριξε τα δίχτυα) που έχουν πιαστεί τουλάχιστον2 αρσενικά και τουλάχιστον 2 θηλυκά παρπούνια, ποια κατανοή ακολουθεί η τυχαία εταβλητή T ;

130

΄Ασκηση 109 Σε ια διαδικασία Poisson ε ρυθό αφίξεων λ, ποια είναι η κατανοή του διαστήατοςανάεσα σε διαδοχικές αφίξεις που περιέχει το t > 0; Γιατί η κατανοή ΕΝ είναι εκθετική ε ρυθό λ;Ποιο είναι το όριο αυτής της κατανοής όταν t → ∞;

131

Βιβλιογραφία

[1] Bertsekas, Dimitri P. and Tsitsiklis, John N. Introduction to probability. Athena Scientific,Belmont, 2002.

[2] Bremaud, Pierre. Markov chains : Gibbs fields, Monte Carlo simulation and queues. Texts inapplied mathematics. Springer, New York, NY, 1999.

[3] Doyle, Peter G. Random Walks and Electrical Networks. Carus Mathematical Monographs. JohnWiley & sons, New York, NY, 1985.

[4] Haggstrom, Olle. Finite Markov chains and algorithmic applications. London MathematicalSociety student texts. Cambridge University Press, Cambridge, UK, 2002.

[5] Krauth, Werner. Statistical Mechanics: Algorithms and Computations. Oxford Master Series inPhysics. Oxford University Press, Oxford, UK, 2006.

[6] Levin, David Asher and Peres, Yuval and Wilmer, Elizabeth Lee. Markov chains and mixingtimes. American Mathematical Society, Providence, RI, 2009.

[7] Norris, James R. Markov chains. Cambridge series in statistical and probabilistic mathematics,Cambridge, UK. Cambridge University Press, 1998.

[8] Varadhan, S. R. S. Probability theory. Courant Lecture Notes in Mathematics. American Mathe-matical Society, Providence, RI, 2001.

[9] Williams, David. Probability With Martingales. Cambridge Mathematical Textbooks. CambridgeUniversity Press, Cambridge, UK, 1991.

[10] Ουρανία Χρυσαφίνου. Εισαγωγή στις Στοχαστικές Ανελίξεις, β΄ έκδοση. Σοφία, Θεσσαλονίκη, 2012.

132

Ευρετήριο όρων

ακριβής ισορροπία, 80αλγόριθος Metropolis-Hastings, 110αλγόριθος Pagerank, 104ανάλυση πρώτου βήατος, 34αναλλοίωτη κατανοή, 68ανοιχτή κλάση, 18αντιστρέψιη διαδικασία, 80απεριοδική, 86αρχή του Rayleigh, 108γεννήτορας, 34γνησίως επαναληπτική κατάσταση, 71δειγατοληψία κατά σηαντικότητα, 49δεσευένη έση τιή, 51διαδικασία Poisson, 120εκλέπτυνση, 124επαναληπτική κατάσταση, 23επαναληπτική κλάση, 26εργοδικό θεώρηα, 97, 99εξισώσεις Chapman-Kolmogorov, 16θεώρηα επιλεκτικής διακοπής, 56θεώρηα συνέπειας, 6ιδιότητα της απώλειας νήης, 120ισχυρή αρκοβιανή ιδιότητα, 20, 22κίνηση Brown, 4κατανοές πεπερασένης διάστασης, 3κατανοή ισορροπίας, 68κατανοή Gibbs, 111κλάσεις επικοινωνίας, 18κλειστή κλάση, 18λήα του Scheffe, 67έτρο σύζευξης, 90αρκοβιανή αλυσίδα, 6αρκοβιανή ιδιότητα, 10ετασχηατισός martingale, 55η υποβιβάσιη αλυσίδα, 18οντέλο του Ising, 112παροδική κατάσταση, 23παροδική κλάση, 26περίοδος κατάστασης, 86πίνακας πιθανοτήτων ετάβασης, 7πιθανότητες απορρόφησης, 33πιθανότητες ετάβασης, 7πιθανότητες ετάβασης ανώτερης τάξης, 16πρόβληα του πλανόδιου πωλητή, 118πρόγραα ψύξης, 114

προσαροσένη διαδικασία, 54προσβάσιη κατάσταση, 18προσοοιωένη ανόπτηση, 113σύγκλιση κατανοών, 67σύζευξη, 89σταθερά του Kemeny, 83στοχαστική διαδικασία, 1στοχαστικός πίνακας, 7συνάρτηση δυναικού, 34συνάρτηση επιερισού, 111τύπος του Stirling, 28τυχαίος περίπατος, 27, 30τυχαίος περίπατος σε γράφο, 81τυχαίος περίπατος σε d διαστάσεις, 62χρόνος διακοπής, 21χρόνος πρώτης άφιξης, 21χωρητικότητα, 109χώρος καταστάσεων, 1Markov chain Monte Carlo, 103Monte Carlo, 31martingale, 54

133

Γλωσσάρι τεχνικών όρων

ακριβής ισορροπία detailed balanceαναλλοίωτη κατανοή invariant distribution

απεριοδική aperiodicγεννήτορας generator

γνησίως επαναληπτική positive recurrentδειγατοληψία κατά σηαντικότητα importance sampling

δεσευένη έση τιή conditional expectationδυναικό potential

εκλέπτυνση thinningεπαναληπτική recurrent

εργοδικό θεώρηα ergodic theoremθεώρηα επιλεκτικής διακοπής optional stopping theoremισχυρή αρκοβιανή ιδιότητα strong Markov property

κατανοές πεπερασένη διάστασης finite dimensional distributionsκλάσεις επικοινωνίας communication classesαρκοβιανή αλυσίδα Markov chainη υποβιβάσιη irreducible

παροδική transientπιθανότητα απορρόφησης absorption probabilityπιθανότητες ετάβασης transition probabilities

πίνακας πιθανοτήτων ετάβασης transition matrixπρόγραα ψύξης cooling schedule

προσαροσένη διαδικασία adapted processπροσοοιωένη ανόπτηση simulated annealingστοχαστική διαδικασία stochastic processσυνάρτηση επιερισού partition function

σύζευξη couplingτυχαίος περίπατος random walk

χρονικά αντιστρέψιη διαδικασία time reversible processχρόνος διακοπής stopping time

χρόνος πρώτης άφιξης hitting timeχωρητικότητα capacity

χώρος καταστάσεων state space

134

THE END

135

ΜΙΧΑΛΗΣ ΛΟΥΛΑΚΗΣ -...

Documents

Transcript of ΜΙΧΑΛΗΣ ΛΟΥΛΑΚΗΣ -...