Chaînes de Markov - iecl.univ-lorraine.frOlivier.Garet/livre-pps/extrait.pdf · Chapitre 6...

Chapitre 6

Chaînes de Markov

6.1 Définition et caractérisations

6.1.1 Définition

Soit S un ensemble fini ou dénombrable, ν une mesure de proba-bilité sur S et P = (pi,j)(i,j)∈S×S une matrice à coefficients positifs.Soit (Xn)n≥0 une suite de variables aléatoires définies sur un espace(Ω,F ,P). On dit que la suite (Xn)n≥0 est une chaîne de Markov de loiinitiale ν et de matrice de passage P si l’on a, pour tout entier n ≥ 1 ettoute suite x0, . . . xn d’éléments de S :

P(X0 = x0, X1 = x1, . . . Xn = xn) = ν(x0)n−1Yi=0

pxi,xi+1 .

Exemple: une suite (Xn)n≥0 de variables aléatoires indépendantes demême loi ν à valeurs dans S dénombrable est une chaîne de Markov.En effet, il suffit de poser pour (i, j) ∈ S × S pi,j = ν(j).

6.1.2 Caractérisation par l’espérance conditionnelle

Théorème 58. Soit (Xn)n≥0 une suite de variables aléatoires à valeursdans S. Les trois propriétés suivantes sont équivalentes :

143

CHAPITRE 6 : Chaînes de Markov

1. (Xn)n≥0 est une chaîne de Markov de matrice de passage P à va-leurs dans S.

2. Quels que soient x0, . . . , xn−1 dans S tels que

P(X0 = x0, X1 = x1, . . . Xn−1 = xn−1) > 0,

alors

P(Xn = xn|X0 = x0, X1 = x1, . . . , Xn−1 = xn−1) = pxn−1,xn .

3.

P(Xn = xn|X0, . . . , Xn−1) = pXn−1,xn . (6.1)

(Rappelons que P(Xn = xn|X0, . . . , Xn−1) est une abréviation pourE[1Xn=xn|X0, . . . , Xn−1) = E[1Xn=xn|σ(X0, . . . , Xn−1)].)

Cela signifie que toute l’information queX0, . . . , Xn−1 peuvent nousapporter sur Xn est comprise dans Xn.

Démonstration. L’équivalence entre (1) et (2) est immédiate. Pour lereste, on pourra se reporter aux techniques développées dans le corol-laire 2. X

Remarque: L’équation (6.1) implique que P(Xn = xn|Xn−1) = pXn−1,xn .

6.1.3 Dynamique markovienne

Qu’est ce, concrètement, qu’une chaîne de Markov? On va voir quec’est une suite de réalisations, au cours du temps, des états d’un systèmesoumis à des transformations aléatoires, la suite des transformations estune suite de transformations indépendantes, de même loi. Évidemment,le résultat de la transformation dépend de la transformation choisie etde l’état du système avant la transformation.

Si (Ω,F) est un espace mesuré, on appelle “fonction aléatoire” touteapplication mesurable de (Ω,F) dans (SS ,B(SS)).

Comme B(SS) est engendrée par les projections sur les coordon-nées, f : Ω → SS = F(S, S) est une fonction aléatoire si et seulement

144


si pour tout i ∈ S, l’application ω 7→ f(ω)(i) est une variable aléatoire.La tribu engendrée par une fonction aléatoire f est la tribu engendréepar les variables f(·)(i), où i décrit S.

Si f est une fonction aléatoire et X une variable aléatoire, f(X) estune variable aléatoire car

f(X) ∈ B = ∪i∈SX = i ∩ f(i) ∈ B.

Lemme 10. Soit S un ensemble fini ou dénombrable, ν une loi sur S et χune mesure sur (SS ,B(SS)).

Soit (fn)n≥1 une suite de fonctions aléatoires indépendantes de loi χet X0 une variable aléatoire de loi µ indépendante de (fn)n≥1. On définit(Xn)n≥1 par

∀n ≥ 0 Xn+1 = fn+1(Xn).

Alors (Xn)n≥0 est une chaîne de Markov de loi initiale ν et de matrice detransition M , où M est définie par

∀(i, j) ∈ S × S mi,j = χ(f ∈ SS ; f(i) = j).

Démonstration. Soit A ⊂ S0,...,n.

P((X0, . . . , Xn) ∈ A ∩ Xn = i ∩ Xn+1 = j)= P((X0, . . . , Xn) ∈ A ∩ Xn = i ∩ fn+1(i) = j)= P((X0, . . . , Xn) ∈ A ∩ Xn = i)P(fn+1(i) = j)

= P((X0, . . . , Xn) ∈ A ∩ Xn = i)P(fn+1 ∈ S × . . . j × . . . S)

= P((X0, . . . , Xn) ∈ A ∩ Xn = i)χ(S × . . . j × . . . S)

= P((X0, . . . , Xn) ∈ A ∩ Xn = i)mi,j .

X

Exemple: la marche de l’ivrogne (ou marche aléatoire sur Z)Un ivrogne sort du café, passablement éméché. À chaque pas, il prendune décision (enfin, si tant est que cela lui soit possible...) : aller àgauche, ou aller à droite. Si on repère par Xn sa position dans la rue

145


au temps n, on a S = Z, Xn+1 = fn+1(Xn), où fn est une suite detranslations indépendantes :

P(fn = (x 7→ x+ 1)) = P(fn = (x 7→ x− 1)) = 1/2.

Comme on le verra un peu plus loin, ce procédé permet de fabriquertoutes les chaînes de Markov.

Pour l’heure, cette notion de fonction aléatoire peut sembler un peuabstraite. En fait, cette fonction aléatoire qui change l’état de la chaînede Markov est souvent obtenue à partir d’un aléa extérieur, modélisantpar exemple l’évolution de l’environnement, et d’un mécanisme déter-ministe décrivant comment l’état de la chaîne est modifié par l’aléa ex-térieur.

Corollaire 16. Soit S un ensemble dénombrable,T un ensemble non-vide.On suppose qu’on dispose d’une fonction F : S × T → T . Alors, si X0 estune variable aléatoire à valeurs dans S et (Yn)n≥1 une suite de variablesaléatoires i.i.d. à valeurs dans T indépendante de X0, la suite de variablesaléatoires (Xn)n≥0 définie par la récurrence

∀n ≥ 0 Xn+1 = F (Xn, Yn+1)

est une chaîne de Markov dont la dynamique est donnée par la matrice(pi,j)i,j∈S avec

pi,j = P(F (i, Y1) = j).

Démonstration. Il suffit d’appliquer le corollaire précédent avec la suitede fonctions aléatoires fn = F (·, Yn). X

Ce point de vue est particulièrement adapté à la simulation sur or-dinateur. On notera qu’on n’a pas besoin d’écrire la matrice de la chaînede Markov ; plus on colle de près à la dynamique, plus l’écriture duprogramme est facileExemple: On considère la marche aléatoires biaisée sur le tore Z/NZ :à chaque pas, on ajoute 1 avec probabilité p, et on enlève 1 avec proba-bilité 1− p.

146


On propose le code Julia suivant, qui retourne un vecteur repré-sentant une trajectoire entre les temps 0 et tmax, pour une chaîne deMarkov partant de x0, et suivant la dynamique déterminée par les pa-ramètres N et p.

function marche_tore(N,p,x0,tmax)x=x0 ; t=[x]for i=1:tmax

if (rand()<p)x=mod(x+1,N)

elsex=mod(x-1,N)

endt=[t x]

endreturn(t)

end

On notera que le code proposé n’accède pas au tableau via les indices,qui sont une source fréquente d’erreurs de programmation. On peutéviter l’emploi du if en notant que si U suit la loi uniforme sur [0, 1],a+ (b− a)1U≤p ∼ (1− p)δa + pδb. Cela donne l’écriture alternative :

function marche_tore_deux(N,p,x0,tmax)x=x0 ; t=[x]for i=1:tmax

x=mod(x+2*(rand()<p)-1,N)t=[t x]

endreturn(t)

end

ou encore

function marche_tore_trois(N,p,x0,tmax)a=cumsum([x0 2*(rand(1,tmax).<p)-1],2)return(mod(a,N))

end

147


Le tout est de trouver un compromis acceptable entre concision etlisibilité !

On peut alors afficher une simulation. 1

using PyPlottmax=50 ; N=11 ; p=3/4x=collect(0:tmax)t=marche_tore(N,p,0,tmax)plot(x,t’)

On choisit d’afficher les 50 premiers pas d’une marche sur Z/11Z par-tant de 0 et biaisée dans le sens positif (p = 3/4).

0 10 20 30 40 50

0

2

4

6

8

10

FIGURE 6.1 – Une trajectoire partant de 0 pour N = 11, p = 3/4. Onvoit que la courbe a tendance à monter.

1. Pour afficher des graphiques en Julia, il faut installer une bibliothèque appro-priée. J’ai choisi ici d’utiliser la librairie PyPlot, qui vient de Python. Pour l’installer,l’ordinateur étant connecté à Internet, il suffit de lancer Julia puis de saisir la com-mande Pkg.add("PyPlot").

148

6.2 La modélisation ou les mathématiques?

6.2 La modélisation ou les mathématiques ?

Le succès de la théorie des chaînes de Markov a évidemment étédéterminé par son efficacité dans la modélisation de phénomènes issusde la vie réelle.

Il faut noter que le choix du modèle n’est pas toujours évident. Enparticulier, deux modélisations raisonnables d’un même phénomène nemènent pas nécessairement aux mêmes problèmes mathématiques.

Considérons par exemple le problème suivant : on effectue une suitede lancers d’un dé à 6 faces, et on s’intéresse au nombre de faces diffé-rentes qui sont apparues parmi les n premiers lancers.

Une modélisation possible est la suivante : supposons qu’au tempsn, k faces différentes sont apparues ; alors parmi les 6 lancers possiblesau n+ 1-ème coup, il y en a k qui ne modifient pas le nombre de facesapparues, et 6 − k qui le font baisser de 1 ; ainsi on peut modéliser lenombre Fn de faces apparues au temps n par une chaîne de Markovdéterminée par les transitions

pi,j =

8><>: i6 si i = j

1− i6 si j = i+ 1

0 sinon

.

Ici, la modélisation est raisonnable, mais pas non plus complètementévidente. Le choix des coefficients n’est pas en cause, puisqu’il résulted’un dénombrement facile ; ce qui pose question, c’est le caractère mar-kovien de la suite (Fn), qui n’est pas évident. Ici, la markovianité estposée en hypothèse ; elle n’est pas démontrée par un raisonnement ma-thématique.

Une autre possibilité est de « remonter » la modélisation. On mo-délise la suite des lancers par une suite (Xn) de variables aléatoiresindépendantes suivant la loi uniforme sur 1, 2, 3, 4, 5, 6, puis, on posealors Fn = |X1, . . . , Xn|. La modélisation est ainsi plus proche dela réalité physique, et semble moins arbitraire. Ici, le caractère mar-kovien de (Fn) n’est pas une hypothèse : c’est une conjecture que l’onpeut démontrer – ce que nous ferons en exercice. On peut toutefoisdéjà remarquer que l’ensemble En = X1, . . . , Xn des faces qui sont

149


été observées au temps n est une chaîne de Markov. En effet, on a larécurrence En+1 = F (En, Xn+1) avec E0 = ∅ et

F (E, x) = E ∪ x,

ce qui permet d’appliquer le corollaire 16.Pour montrer que Yn = |En|, il faudra encore un peu travailler, car

l’image d’une chaîne de Markov n’est pas toujours une chaîne de Mar-kov (voir les exercices). En particulier, ici, la markovianité de la chaîneest dûe au fait que le dé est supposé équilibré. On verra que si le déest pipé, (En)n≥0 est toujours une chaîne de Markov, mais pas (Yn)n≥0,comme quoi l’hypothèse de markovianité faite dans la première modé-lisation n’était pas complètement évidente.

6.3 Matrice stochastique

Définition: Soit S un ensemble dénombrable et P = (pi,j)(i,j)∈S×S unematrice à coefficients positifs. On dit que P est une matrice stochastiquesi on a

∀i ∈ SXj∈S

pi,j = 1.

6.3.1 Existence des chaînes de Markov

Théorème 59. Soit S un ensemble dénombrable, P = (pi,j)(i,j)∈S×S unematrice stochastique et ν une mesure de probabilité sur S. Alors, on peutconstruire une chaîne de Markov de loi initiale ν et de matrice de pas-sage P .

Démonstration. Définissons une mesure χP sur SS par

χP = ⊗i∈S

µi,

où µi est la mesure sur S définie par µi(j) = pi,j . Alors χP vérifie

χP (S × . . . j × . . . S) = pi,j

et il suffit d’appliquer le lemme 10. X

150


Lorsque la matrice P est fixée, on note souvent Pν une probabilitésous laquelle (Xn)n≥0 est une chaîne de Markov de matrice de tran-sition P telle que la loi de X0 sous Pν est ν. 2 De même, on note Eνl’espérance correspondante. Dans le cas où la loi initiale est une massede Dirac, on écrit simplement Pi (resp. Ei) au lieu de Pδi (resp. Eδi).Remarque: on est souvent amené à réaliser une telle chaîne sur l’espacecanonique Ω = SN. Dans ce cas, les (Xk)k≥0 sont les opérateurs deprojection canonique : Xk(ω) = ωk et Pν est l’unique mesure sur Ω telleque pour tout entier n ≥ 1 et toute suite x0, . . . xn d’éléments de S :

Pν(X0 = x0, X1 = x1, . . . Xn = xn) = ν(x0)n−1Yi=0

pxi,xi+1 .

Corollaire 17. Soit P une matrice markovienne sur S. Pour tout ν, onnote P ν la mesure markovienne sur SN de loi initiale ν et de matricede passage P , ainsi que Pi = Pδi . Pour toute loi ν sur S, Pν admet ladésintégration

Pν =ZSPi dν(i) (6.2)

c’est à dire que pour tout borélien A de SN, on a

Pν(A) =ZSPi(A) dν(i) (6.3)

Démonstration. Les détails de la preuve ont été donnés dans l’exer-cice 50 du chapitre 5. On en rappelle les grandes lignes pour soutenirl’intuition : il suffit de définir une mesure µ par

µ(A) =ZSPi(A) dν(i)

et de vérifier que l’on a pour tout entier n ≥ 1 et toute suite x0, . . . xnd’éléments de S :

µ(X0 = x0, X1 = x1, . . . Xn = xn) = ν(x0)n−1Yi=0

pxi,xi+1 .

X

2. L’existence de la mesure Pν ou de la mesure χP relève de la théorie de la mesure.Elle a été établie au chapitre 5.

151


Remarque: On trouve parfois la notation Pi à la place de Pi. Dans cecas, il faut faire attention qu’il peut y avoir ambiguité sur le sens de lanotation PX .

6.3.2 Puissances des matrices stochastiques

Théorème 60. Soit (Xn) une chaîne de Markov de matrice de transitionP et de loi initiale PX0 = ν. Alors, la loi µn de la chaîne au temps n s’écritµn = νPn, où on a écrit ν et µn comme des vecteurs lignes.

Démonstration. Il suffit de montrer que µn+1 = µnP , puis procéder parrécurrence sur n. D’après le principe de partition, on a

µn+1(j) = Pν(Xn+1 = j)

=Xi∈S

Pν(Xn = i,Xn+1 = j)

=Xi∈S

Pν(Xn = i)pi,j

=Xi∈S

µn(i)pi,j

= (µnM)(j).

X

En particulier, en prenant ν = δi, on a le corollaire important :

Corollaire 18. Soit (Xn) une chaîne de Markov à valeur dans S, de ma-trice de transition P et de loi initiale δi, avec i ∈ S. Alors, pour tout j ∈ S,on a

Pi(Xn = j) = Pn(i, j).

6.3.3 Chaînes de Markov indépendantes

Le résultat qui suit montre comment fabriquer une chaîne de Mar-kov avec deux chaînes de Markov indépendantes. Il sera souvent utilisécomme brique de base pour montrer des résultats plus poussés.

152


Lemme 11. Soit (Xn)n≥0 une chaîne de Markov de matrice de transitionM et de loi initiale µ , (Yn)n≥0 une chaîne de Markov de matrice de tran-sition N et de loi initiale ν. On suppose en outre que les suites (Xn)n≥0

et (Yn)n≥0 sont indépendantes sous P. Alors la suite (Zn)n≥0 définie parZn = (Xn, Yn) est une chaîne de Markov de matrice de transition M ⊗N ,où M ⊗N est définie par

∀((i, j), (k, l)) ∈ S2 × S2 (M ⊗N)(i, j), (k, l) = M(i, k)N(j, l).

Démonstration. Soient (x0, . . . , xn) ∈ Sn+1 et (y0, . . . , yn) ∈ Sn+1.

P(∀i ∈ 0, n(Xi, Yi) = (xi, yi))

= P(∀i ∈ 0, nXi = xi ∩ ∀i ∈ 0, nYi = yi)= P(∀i ∈ 0, nXi = xi)P(∀i ∈ 0, nYi = yi)

= µ(x0)n−1Yi=0

mxi,xi+1 × ν(y0)n−1Yi=0

nyi,yi+1

= µ(x0)ν(y0)n−1Yi=0

mxi,xi+1nyi,yi+1

= (µ⊗ ν)(x0, y0)n−1Yi=0

(M ⊗N)((xi, yi), (xi+1, yi+1)).

X

6.3.4 Graphe associé à une matrice stochastique

Soit P = (pi,j)(i,j)∈S×S une matrice stochastique. On peut associerà la matrice P (où aux chaînes de Markov correspondantes) un grapheorienté G = (S,A) avec

A = (x, y) ∈ S × S; pi,j > 0.

Considérons une chaîne de Markov associée à la matrice stochastiqueP avec la condition initiale déterministe x0, autrement dit ν = δx0 etnotons Px0 la mesure de probabilité correspondante Alors, comme

Px0(X0 = x0, X1 = x1, . . . , Xn = xn) =n−1Yi=0

pxi,xi+1 ,

153


il est clair que Px0(X0 = x0, X1 = x1, . . . , Xn = xn) est non nul si etseulement si (x0, x1, . . . , xn) constitue un chemin dans le graphe G.

D’après le principe de partition, on a pour une chaîne de Markovavec une loi initiale δi :

Pi(Xn = xn)

=X

(x0,...xn−1)∈SnPi(X0 = x0, X1 = x1, . . . Xn−1 = xn−1, Xn = xn).

En particulier, si l’on pose p(n)i,j = Pi(Xn = j), on a

p(n)i,j =

Xx∈Sn−1

Pi(X1 = x1, X2 = X2, . . . Xn−1 = xn−1, Xn = j).

Donc p(n)i,j > 0, autrement dit il est possible d’aller en n étapes de l’état i

à l’état j si et seulement si on peut trouver dans le graphe G un cheminde longueur n allant de i à j.

On en déduit que

Pi(∃n > 0; Xn = j) = Pi( ∪n≥1Xn = j),

qui représente la probabilité que, partant de i, on puisse arriver à j, estnon nulle si et seulement si il existe dans le graphe G un chemin allantde i à j. Dans ce cas, on dit que j est accessible à partir de i et on écriti→ j.

Si il y a à la fois un chemin de i vers j et un chemin de j vers i, ondit que les états i et j communiquent et on écrit i↔ j.

Si tous les états communiquent, on dit que la chaîne de Markov estirréductible.

On appelle période d’un état x d’une chaîne de Markov et on noted(x) le pgcd (plus grand commun diviseur) des longueurs des circuitsdu graphe G contenant x. Lorsque la période est 1, on dit que l’état xest apériodique.

Lemme 12. Si deux états communiquent, alors ils ont même période.

154


Démonstration. Soient i, j avec i ↔ j. Soit γ un chemin de i à j, γ′

un chemin de j à i. Soit C un circuit quelconque (éventuellement vide)contenant j . γ − γ′ et γ − C − γ′ sont deux circuits contenant i. Doncd(i) divise leurs longueurs ainsi que la différence de leurs longueurs,soit la longueur de C. Ainsi d(i) divise les longueurs de tous les circuitscontenant j, donc divise leur pgcd, soit d(j). De la même manière, onmontre que d(j) divise d(i), d’où d(i) = d(j). X

Définition: Si une chaîne irréductible a ses états de période 1, on ditqu’elle est apériodique.

Le lemme suivant et ses corollaires se révéleront très utiles par lasuite.

Lemme 13. Soit x un état de période 1. Il existe un entier N(x) tel quepour tout n ≥ N(x) le graphe associé à la chaîne de Markov possède uncircuit de longueur n contenant x

Soit A l’ensemble des valeurs de n telles que le graphe associé àla chaîne de Markov possède un circuit de longueur n contenant x.Il est clair que A est stable par addition (concaténation des circuits).Il existe p ≥ 1 et n1, n2, . . . , np tels que le pgcd de n1, n2, . . . , np soit1. D’après le lemme de Bezout, il existe des relatifs a1, . . . ap tels que1 =

Ppk=1 aknk. Posons P =

Pp:ap>0 apnp et N =

Pp:ap<0(−ap)np.

On a P ∈ A,N ∈ A et 1 = P − N . Soit n ≥ N(N − 1). On peutécrire n = bN + r, avec b ≥ N − 1 et r ∈ 0, 1, . . . N − 1. On an = bN + r = bN + r(P −N) = rP + (b− r)N ∈ A car b− r ∈ N et Aest stable par addition.

Corollaire 19. Soit x est un état de période 1. On suppose qu’il existe unchemin de longueur d(x, y) allant de x à y. Alors pour tout entier n tel que

n ≥ N(x, y) = N(x) + d(x, y),

il existe un chemin de longueur n allant de x à y. Ainsi, si P est la matriceassociée, Pn(x, y) > 0.

Démonstration. Il suffit de concaténer le chemin allant de x à x avec unchemin allant de x à y. X

155


Corollaire 20. Si une chaîne de Markov est irréductible, apériodique, àvaleurs dans un ensemble fini S, alors il existe un entier N tel que pourtout n ≥ N et tout couple (i, j), il existe un chemin de longueur n allantde i à j. Ainsi, si P est la matrice associée, Pn est à coefficients strictementpositifs.

Démonstration. Il suffit de prendre N = max(N(x), x ∈ S) + diam(G).X

La définition suivante est très simple, mais sera abondamment utili-sée dans les exercices.Définition: On appelle point absorbant (ou état absorbant) d’une chaînetout point x tel que Px(X1 = x) = 1.

6.3.5 Point de vue fonctionnel (*)

Une matrice stochastique indexée par S peut assez naturellementêtre vue comme un opérateur sur l’espace des fonctions bornées sur S.Rappelons que l’espace des fonctions bornées, que l’on note `∞(S), estl’ensemble des fonctions f telles que

‖f‖∞ = sup|f(i)|; i ∈ S < +∞,

et que ‖ · ‖∞ est une norme sur `∞(S).Maintenant, si f ∈ `∞(S), la fonction Pf définie par

∀i ∈ S (Pf)(i) =Xj∈S

pi,jf(j)

est une fonction bornée. En effet, la majorationXj∈S|pi,jf(j)| ≤

Xj∈S

pi,j‖f‖∞ = ‖f‖∞

montre que la série converge absolument. De plus, comme pour touti ∈ S, |Pf(i)| ≤ ‖f‖∞, on a ‖Pf‖∞ ≤ ‖f‖∞ : P est une contraction del’espace des fonctions bornées.

Théorème 61. Soit (Xn)n≥0 une suite de variables aléatoires à valeursdans S. On a équivalence entre :

156


1. (Xn)n≥0 est une chaîne de Markov de matrice de passage P à va-leurs dans S.

2. Pour toute fonction f ∈ `∞(S) et pour tout entier n ≥ 0

E[f(Xn+1)|X0, . . . , Xn] = (Pf)(Xn).

Démonstration. Pour le sens direct, il suffit de prendre f = δi et d’ap-pliquer la caractérisation vue en début de chapitre. Regardons la réci-proque. Si f = δi, l’identité découle encore de la caractérisation vue endébut de chapitre. Par linéarité, l’identité s’étend au cas des fonctionsà support fini. Passons au cas dénombrable. Il existe une suite crois-sante d’ensembles finis (Sp)p≥1 avec S = ∪p≥1Sp. f1Sp est une fonctionbornée, donc

E[(f1Sp)(Xn+1)|X0, . . . , Xn] = (P (f1Sp)(Xn).

Le théorème de convergence dominée pour l’espérance conditionnellenous dit que

limp→+∞

E[(f1Sp)(Xn+1)|X0, . . . , Xn] = E[f(Xn+1)|X0, . . . , Xn].

Pour conclure, il suffit de montrer que pour tout i ∈ S

limp→+∞

P (f1Sp)(i) = P (f)(i).

Mais pour toute fonction bornée, le théorème de transfert donne

(Pg)(i) = Eig(X1). (6.4)

L’identité voulue découle alors immédiatement du théorème de conver-gence dominée. X

Remarque: La quantité (Pf)(i) est l’intégrale de la fonction f par rap-port à la mesure de probabilité sur S qui affecte à j la probabilité pi,j .Cette propriété pourra, à l’occasion, être utile. Il en est de même del’identité (6.4).

On déduit du théorème 61 une autre remarque très simple, maistrès puissante :

157


Corollaire 21. Soit (Xn)n≥0 est une chaîne de Markov de matrice depassage P à valeurs dans S, f ∈ `∞(S). Si l’on pose Fn = σ(X0, . . . , Xn),alors la suite (Yn)n≥1 définie par

∀n ≥ 0 Yn+1 = f(Xn+1)− (Pf)(Xn)

est une suite de différences de martingales adaptée à la filtration (Fn)n≥0.

Démonstration. Yn+1 est Fn+1-mesurable et

E[Yn+1|Fn] = E[f(Xn+1)|Fn]− E[(Pf)(Xn)|Fn]

= (Pf)(Xn)− (Pf)(Xn) = 0.

X

Cette différence de martingale sera utilisée plusieurs fois dans lecours pour démontrer des résultats un peu avancés (voir notamment lethéorème 85, ainsi que le théorème central limite proposé en problèmecorrigé).

Pour en voir un peu plus sur l’aspect fonctionnel, on pourra regarderle problème déjà cité ainsi que l’exercice 94.

6.4 Propriété de Markov

La propriété de Markov, que nous allons étudier maintenant, est,comme son nom l’indique, une propriété importante des chaînes deMarkov. Elle exprime le fait que le comportement aléatoire d’une chaînede Markov à partir d’un certain instant n’est pas influencé par le passéautrement que par l’état présent de la chaîne, que la valeur des étatspassés à contribué à déterminer. Cette propriété est très naturelle sil’on pense à la représentation d’une chaîne de Markov comme systèmedynamique aléatoire que l’on a rencontrée au corollaire 16. De fait, lapreuve que l’on en propose ici va s’appuyer sur cette représentation.

158


6.4.1 Le théorème

Théorème 62. Soit (Xk)k≥0 une chaîne de Markov de matrice de passageP . Soit p un entier naturel. La suite (Xk+p)k≥0 est une chaîne de Markovde matrice de passage P et de loi initiale la loi de Xp. De plus, pour toutA Fp-mesurable et tout i ∈ S, on a

P(A,Xp = i,Xp+. ∈ B) = P(A,Xp = i)Pi(X ∈ B).

De manière équivalente, on a P-presque sûrement :

P(Xp+. ∈ B|Fp) = fB(Xp), avec fB(x) = Px(X ∈ B).

Démonstration. Comme être une chaîne de Markov est une propriétéde la loi, on peut supposer que (Xn)n≥0 est obtenue par le procédé dé-crit plus haut : Xn+1 = fn+1(Xn) où (fn)n≥1 est une suite de variablesaléatoires indépendantes de loi χM ,(fn)n≥1 étant de plus supposée in-dépendante de X0. Posons Yn = Xn+p Si l’on pose encore gn = fn+p,on a la récurrence Yn+1 = gn+1(Yn). Mais la loi de (gn)≥1 est χ⊗MN∗ ,ce qui montre bien que (Yn)≥0 est une chaîne de Markov de matrice depassage P et de loi initiale la loi de Xp. Maintenant, soit B un boréliende SN. On pose

Gi((hn)n≥1) = (i, h1(i), h2 h1(i), h3 h2 h1(i), . . . ).

On a alors

P(A,Xp = i,Xp+. ∈ B) = P(A,Xp = i, Gi(g) ∈ B).

A∩Xp = i est σ(X0, f1, . . . , fp)-mesurable tandis que Gi(g) ∈ Best σ(fk; k > p)-mesurable, donc

P(A,Xp = i, Gi(g) ∈ B) = P(A,Xp = i)P(Gi(g) ∈ B)

= P(A,Xp = i)Pi(X ∈ B).

Pour la deuxième forme, il est clair que fB(Xp) est Fp-mesurable ; ilsuffit donc de vérifier donc que pour tout A ∈ Fp, on a

E(1A1Xp+.∈B) = E(1AfB(Xp)).

159


Comme tout est positif, le théorème de Tonelli s’applique et on a

E(1AfB(Xp)) =Xi∈S

E(1A1Xp=i1Xp+.∈B).

Par ailleurs, pour tout i ∈ S, on a

E(1A1Xp=i1Xp+.∈B) = P(A,Xp = i,Xp+. ∈ B)

= P(A,Xp = i)Pi(X ∈ B)

= E[1A∩Xp=iPi(X ∈ B)]

= E[1A∩Xp=ifB(Xp)],

ce qui donne en resommant

E(1A1Xp+.∈B) = E[1AfB(Xp)].

X

Remarque: on peut trouver dans la littérature l’écriture

P(Xp+. ∈ B|Fp) = PXp(X ∈ B).

Je mets le lecteur en garde contre le fait que PXp ne signifie pas lamême chose que PPXp .

La propriété de Markov est souvent utilisée sous la forme simplesuivant : si A est un borélien de Rn, B un borélien de Rp, alors

P((X0, . . . Xn−1) ∈ A,Xn = i, (Xn+1, . . . , Xn+p) ∈ B)

= P((X0, . . . Xn−1) ∈ A,Xn = i)Pi((X1, . . . , Xp ∈ B)).

6.4.2 Analyse au premier pas

On va maintenant décrire quelques variations autour d’une tech-nique, dite de l’analyse au premier pas. Il s’agit essentiellement dedécouper l’événement que l’on veut analyser suivant la position de lachaîne au temps un, et d’appliquer la propriété de Markov. Malgré sasimplicité, la technique est redoutablement efficace, particulièrementdans l’étude d’événements de la tribu de queue de la chaîne.

160


Corollaire 22. Soit (Xn)n≥0 une chaîne de Markov de matrice de pas-sage (pi,j), B un borélien de RN. On note θ l’opérateur de translation :θ((xn)n≥0) = ((xn+1)n≥0).

Alors

P(θ(X) ∈ B) = PPX1 (X ∈ B)

=P

j:P(X1=j)>0P(X1 = j)Pj(X ∈ B).

En particulier, si B est invariant par l’opérateur de translation (c’est àdire que θ−1(B) = B) , alors on a le système d’équations :

Pi(X ∈ B) =P

j:pi,j>0pi,jPj(X ∈ B).

Démonstration. La première égalité traduit exactement la propriété deMarkov : une chaîne de Markov observée à partir du temps 1 a la mêmeloi qu’une chaîne de Markov de même dynamique commençant aveccomme valeur initiale celle que prend la chaîne de Markov non déca-lée au temps 1. La deuxième égalité correspond à une décompositionsuivant les valeurs que peut prendre X1.

Passons au cas où B est invariant :

Pi(X ∈ B) = Pi(X ∈ θ−1(B))

= Pi(θ(X) ∈ B)

=P

i:P i(X1=j)>0Pi(X1 = j)Pj(X ∈ B)

=P

i:pi,j>0pi,jPj(X ∈ B).

X

Le corollaire précédent prend une forme particulièrement intéres-sante lorsque la chaîne de Markov est réalisée sur l’espace canonique.

Corollaire 23. Une dynamique markovienne sur D dénombrable étantfixée, on note Pi la mesure markovienne associée sur DN partant de l’état

161


i ∈ D. Soit P une mesure markovienne quelconque associée à la dyna-mique. Alors, si θ désigne l’opérateur de translation sur DN, on a

Pθ =Xi∈D

P(X1 = i)Pi.

En particulier, si (Xn)n≥0 est la suite des projections canoniques, on a pourtout i ∈ D, P(·|X0 = i) = Pi.Démonstration. La première identité est un cas particulier du théorèmeprécédent. En appliquant cette égalité à l’événement B ∩ X0 = k, ona Pθ(B,X0 = k) = P(X1 = k)Pk(B,X0 = k) (les autres termes de lasomme sont nuls). Comme X1 = X0 θ, Pθ(X0 = k) = P(X1 = k), d’oùle résultat voulu.

X

Remarque : on peut également démontrer ce dernier corollaire di-rectement, en procédant comme dans l’exercice 50.

Corollaire 24. Une dynamique markovienne sur D dénombrable étantfixée, on note Pi la mesure markovienne associée sur DN partant de i ∈D. Soit P une mesure markovienne quelconque associée à la dynamique.Alors, si θ désigne l’opérateur de translation sur DN, on a pour toute fonc-tion F mesurable de DN dans [0,+∞] et pour tout i ∈ D :

E(1X1=i(F θ)) = P(X1 = i)Ei(F ).

Démonstration. Posons G = 1X0=i × F . On a 1X1=i(F θ) = G θ,donc

E(1X1=iF θ)) = E(G θ)

=ZG dPθ

=Xj∈D

P(X1 = j)Ej(G),

où la dernière égalité vient du corollaire 23 et de la formule d’intégra-tion par rapport à une mesure qui s’écrit comme une série de mesures.

Pour j = i, on a G = F Pj-presque partout, donc Ej(G) = Ei(F ),et pour j 6= i, G = 0 Pj-presque partout, donc Ej(G) = 0. La formuleannoncée en découle immédiatement. X

162

6.5 L’analyse au premier pas en action (*)


Cette section peut être omise en première lecture.

Dans cette section, on étudie le temps d’entrée dans un ensemble Ad’une chaîne de Markov (Xn)n≥0 à valeurs dansD fini. Afin de simplifierles écritures, on suppose que (Xn)n≥0 est défini sur l’espace canonique ;on dispose ainsi de l’opérateur de translation θ.

On rappelle que si A est une partie de S, le temps d’entrée dans A,noté TA, est défini par

TA = infn ≥ 0;Xn ∈ A.

A priori, TA prend ses valeurs dans N ∪ +∞. Notons que si le pointde départ de la chaîne n’est pas dans A, TA coïncide avec

infn ≥ 1;Xn ∈ A= 1 + infn ≥ 0;Xn+1 ∈ A= 1 + TA θ.

6.5.1 Analyse au premier pas et fonction de répartition

Pour i ∈ S\A, on a Pi presque sûrement TA = TA θ + 1. On endéduit

Pi(TA ≤ n+ 1) = Pi(TA θ ≤ n)

= Piθ(TA ≤ n)

=Xj∈S

Pi(X1 = j)Pj(TA ≤ n)

=X

j∈S\Api,jPj(TA ≤ n) +

Xj∈A

pi,j . (6.5)

163


Si l’on note (pi,j) =

M N* ∗

en notant à la fin les éléments de A et

Fn = (Pi(TA ≤ n))i∈S\A, on a alors

Fn+1 = MFn +N

1...1

|A|

, (6.6)

De même,

Fn+2 = MFn+1 +N

1...1

|A|

,

et en faisant la différence, (Fn+1 − Fn+2) = M(Fn − Fn+1), soit

(P(TA = n+ 1))i∈S\A) = M(P(TA = n))i∈S\A),

d’où l’on déduit aisément que pour tout n ≥ 1,

(P(TA = n))i∈S\A) = Mn−1N

1...1

|A|

(6.7)

6.5.2 Analyse au premier pas et probabilité des issues pos-sibles

Soit i ∈ S\A. En faisant tendre n vers l’infini, l’équation (6.5) et lethéorème de continuité séquentielle croissante donnent

On a

Pi(TA < +∞) =X

j∈S\Api,jPj(TA < +∞) +

Xj∈A

pi,j ,

Posant F = (Pi(TA < +∞))i∈S\A, on a alors

F = MF +N

1...1

|A|

, (6.8)

164


Comme la matrice est stochastique, on a

M

1...1

|S\A|

+N

1...1

|A|

=

1...1

|S\A|

,

On peut noter l’identité

N

1...1

|A|

= (I −M)

1...1

|S\A|

, (6.9)

qui nous sera encore utile. On obtient ainsi

(I −M)F = (I −M)

1...1

|S\A|

. (6.10)

Si I −M est inversible, on obtient ainsi Pi(TA < +∞) = 1 pour touti ∈ S\A. 3 Sinon, des équations supplémentaires sont requises pourdéterminer le système. C’est typiquement ce qui arrive lorsque S\Acontient un ensemble absorbant, disons B. Dans ce cas, les équationsFi = 0 pour i ∈ B peuvent parfois suffire à déterminer le système.

Supposons par exemple que les matrices M et N s’écrivent

M =

M1 M2

0 S

et N =

N1

0

,

où S est une matrice stochastique correspondant aux entrées de l’en-semble B. Alors, B est absorbant et une chaîne de Markov partant d’unpoint de B reste toujours dans B, ce qui entraîne que pour i ∈ B

Pi(TA < +∞) = 0 : si l’on pose F1 =

F1

F2

, avec F2 correspondant

3. Il faut être conscient que tester l’inversibilité de I −M n’est pas une méthodeefficace pour déterminer si Pi(TA < +∞) = 1. Ce type de problème se résout par laclassification des états de la chaîne, qui sera abordée dans le chapitre suivant.

165


aux entrées de B, on a F2 = 0. Ainsi, comme

MF +N

1...1

|A|

=

M1F1 +N1

1...1

|A|

0

,

F1 = M1F1 +N1

1...1

|A|

, (6.11)

Ainsi, si I − F1 est inversible, on a

F1 = (I −M1)−1N1

1...1

|A|

.

On peut toutefois faire une remarque théorique, valable en toute géné-ralité : Si f0 est une solution à coefficients positifs de l’équation (6.8),on voit facilement que l’ensemble

Uf0 = x ∈ RS\A+ ; ∀i ∈ S\Axi ≤ f0i

est stable par l’application x 7→Mx+N

1...1

|A|

.

Comme F0 = 0 ∈ Uf0 , avec (6.6), on obtient Fn ∈ Uf0 pour tout n,d’où à la limite F ∈ Uf0 . Il s’ensuit que F est la plus petite solution del’équation (6.8) à coefficients positifs.

166


6.5.3 Analyse au premier pas et temps moyen d’atteinte

Pour i ∈ S\A, on a Pi presque sûrement

1TA<+∞TA = 1TA<+∞(1 + TA θ)= 1TA<+∞ + 1TA<+∞(TA θ)= 1TA<+∞ + 1TAθ<+∞(TA θ)= 1TA<+∞ + (1TA<+∞TA) θ,

d’où

Ei(1TA<+∞TA) = Ei(1TA<+∞) + EPiθ(1TA<+∞TA)

= Pi(TA < +∞) +Xj∈S

pi,jEj(1TA<+∞TA)

= Pi(TA < +∞) +X

j∈S\Api,jEj(1TA<+∞TA).

Si l’on note E = (Ej(1TA<+∞TA))j∈S\A, on a alors

E = F +ME, (6.12)

soit si I −M inversible

E = (I −M)−1F = (I −M)−2N

1...1

|A|

. (6.13)

En procédant comme précédemment, l’identité

Ei(1TA≤n+1TA) = Pi(TA < +∞) +X

j∈S\Api,jEj(1TA≤nTA)

permet de montrer qu’en toute généralité, E est la plus petite solutionà coefficients positifs de l’équation e = F +Me.

167


6.5.4 Passage aux fonctions génératrices

Rappelons que la fonction génératrice d’une variable aléatoire en-tière X est définie sur [−1, 1] par

ϕX(t) = E(tX) =+∞Xk=0

P(X = k)tk.

Il s’agit d’une série entière, de rayon de convergence supérieur ou égalà 1 donc les valeurs de fonction permettent de retrouver les coefficientspuisque l’on a

ϕ(n)X (0)

n!= P(X = n).

On a toujours ϕX(1) = 1. Si le rayon de convergence est supérieurà un, il est facile de voir qu’on a l’expression des moments factoriels 4 :

ϕ(n)X (1) = EX(X − 1) . . . (X − n+ 1).

Voyons comment appliquer ça aux chaînes de Markov.

Maintenant, pour tout i ∈ S, on pose ϕi(x) =P+∞n=0 Pi(TA = n)xn.

ϕi est la fonction génératrice de TA1TA<+∞, et permet ainsi de retrou-ver la loi de TA1TA<+∞ sous Pi.

En particulier ϕi(1) = Pi(TA < +∞) et (ϕi)′(1) = Ei(TA1TA<+∞).

Calculons-la encore par une nouvelle analyse au premier pas.

4. De manière générale, il est encore vrai que X admet un moment d’ordre n si etseulement si ϕX est n fois dérivable à gauche en 1, et l’identité des moments factorielsest encore vérifiée. Pour une preuve, on peut s’inspirer des calculs qui seront développéspage 205.

168


Pour i ∈ A, ϕi(x) = 1, tandis que pour i ∈ S\A, on a

ϕi(x) = Ei(xTA(x))

= Pi(TA = 0) ++∞Xn=0

Pi(TA = n+ 1)xn+1

= x+∞Xn=0

Xj∈S

Pi(X1 = j, TA θ = n)xn

= x+∞Xn=0

Xj∈S

pi,jPj(TA = n)xn

= xXj∈S

pi,jϕj(x)

= xX

j∈S\Api,jϕ

j(x) + xXj∈A

pi,j .

Si l’on note ϕ = (ϕi)i∈S\A, on a alors

ϕ(x) = xMϕ(x) + xN

1...1

,

En évaluant ϕ au moint x = 1, on retrouve la formule (6.8) SiI − xM est inversible, on a alors

ϕ(x) = x(1− xM)−1N

1...1

|A|

.

Posons, pour x tel que I−xM est inversible, ψ(x) = (1−xM)−1. Alors,pour h suffisamment petit, on a

ψ(x+ h) = (1− xM)−1 = ((I − xM)− hM)−1

= (1− xM)−1(I − h(I − xM)−1M)−1

= (1− xM)−1(I + h(I − xM)−1M + o(h)).

169


On a donc ψ′(x) = ψ(x)2M ; cela permettra de calculer les dérivéessuccessives. On peut noter que

(xψ)′(x) = xψ′(x) + ψ(x)

= ψ(x)2Mx+ ψ(x)

= ψ(x)2 + ψ(x)2(Mx− I) + ψ(x)

= ψ(x)2,

d’où ϕ′(x) = ψ(x)2N

1...1

|A|

. Par récurrence, il vient aisément

ϕ(n)(x) = n!ψ(x)n+1Mn−1N

1...1

|A|

.

Supposons maintenant que I −M est inversible : en évaluant au point1, on obtient les moments factoriels :Si En = (EiTA(TA − 1) . . . (TA − n+ 1)1TA<+∞)i∈S\A, alors

En = ϕ(n)(1) = n!(I −M)−(n+1)Mn−1N

1...1

|A|

.

En particulier

E = E1 = ϕ′(1) = (1−M)−2N

1...1

|A|

,

et on retrouve ainsi la formule (6.13).On a enfin accès aux probabilités des différentes valeurs pour le

temps d’atteinte :

(Pi(TA = n))i∈S\A =

ϕ

(n)i (0)

n!

!i∈S\A

= Mn−1N

1...1

|A|

170


et on retrouve ainsi la formule (6.7).

6.5.5 Quelques exemples

Temps d’absorption et probabilités des issues : calculs avec Sage

A et B se confrontent dans un jeu, la probabilité que A gagne unemanche est a, que B gagne une manche est b et qu’ils fassent manchenulle est c = 1 − a − b. Est déclaré gagnant celui qui gagne 2 manchesconsécutives pour la première fois. Calculer la probabilité que A gagne.

Soit (Yn)n≥1 une suite de variables aléatoires indépendantes avecP(Y1 = 2) = a,P(Y1 = 3) = b,P(Y1 = 1) = c = 1− a− b. On note

H1n = la partie est en cours temps n, manche n sans gagnant

H2n = la partie est en cours au temps n, A a gagné la manche n

H3n = la partie est en cours au temps n, B a gagné la manche n

H4n = la partie est terminée au temps n et B a gagné

H5n = la partie est terminée au temps n et A a gagné

Si je pose Xn =P5k=1 k1Hk

n, on a la récurrence Xn+1 = F (Xn, Yn+1),avec F (x, y) = x pour x ∈ 4, 5, F (1, y) = y, F (x, x) = 7 − x pourx ∈ 2, 3, F (x, y) = y pour x ∈ 2, 3 et x 6= y. La chaîne de Markovadmet la matrice de passage

1− a− b a b 0 01− a− b 0 b 0 a1− a− b a 0 b 0

0 0 0 1 00 0 0 0 1

.

La probabilité que A gagne est P1(TA < +∞), avec A = 5. Si on poseB = 4, B est un ensemble absorbant, on a ici

M1 =

1− a− b a b1− a− b 0 b1− a− b a 0

et N1 =

0a0

.

171


Ainsi, en admettant que I −M1 est inversible, on aP1(A gagne )P2(A gagne )P3(A gagne )

= (I −M1)−1N1.

Confions le calcul à Sage.

sage: a=var(’a’)sage: b=var(’b’)sage: M1=matrix([[1-a-b,a,b],[1-a-b,0,b],[1-a-b,a,0]])sage: factor(det(1-M1))a^2*b + a*b^2 + a^2 + b^2sage: # donc la matrice est inversible si a>0 ou b>0sage: N1=matrix([[0],[a],[0]])sage: P=(1-M1)^(-1)*N1sage: factor(P)[ a^2*(b + 1)/(a^2*b + a*b^2 + a^2 + b^2)][(a*b + b^2 + a)*a/(a^2*b + a*b^2 + a^2 + b^2)][ a^2/(a^2*b + a*b^2 + a^2 + b^2)]

Ce qui nous donne la probabilité de gain cherchée :

a2(b+ 1)

a2b+ ab2 + a2 + b2

Passons au calcul de la durée de la moyenne de la partie. On prendcette foisA = 4, 5 et c’est la matriceM1 qui joue le rôle deM . Comme

I −M1 est inversible, on a F =

111

et

E1(T )E2(T )E3(T )

= (I −M1)−1F .

Confions le calcul à Sage.

sage: E=(1-M1)^(-1)*matrix([[1],[1],[1]])sage: factor(E)[(a + 1)*(b + 1)/(a^2*b + a*b^2 + a^2 + b^2)][ (b + 1)/(a^2*b + a*b^2 + a^2 + b^2)][ (a + 1)/(a^2*b + a*b^2 + a^2 + b^2)]

172


D’où le temps moyen cherché :

(a+ 1)(b+ 1)

a2b+ ab2 + a2 + b2

On va enfin calculer la fonction caractéristique de T dans deux cas par-ticuliers :

– Lorsque a = b = p :

sage: x=var(’x’)sage: p=var(’p’)sage: a=psage: b=psage: M1=matrix([[1-a-b,a,b],[1-a-b,0,b],[1-a-b,a,0]])sage: r=x*(1-M1*x)^(-1)*(1-M1)*matrix([[1],[1],[1]])sage: factor(r)[ 2*p^2*x^2/(2*p^2*x^2 - p*x^2 + p*x - x + 1)][(2*p*x - x + 1)*p*x/(2*p^2*x^2 - p*x^2 + p*x - x + 1)][(2*p*x - x + 1)*p*x/(2*p^2*x^2 - p*x^2 + p*x - x + 1)]

D’où la fonction génératrice : ϕ1(x) = 2p2x2

(2p2−p)x2+(p−1)x+1.

– Lorsque a = p et b = 0. Cela correspond au cas où on attendla première fois où on a deux réussites consécutives dans une suited’expériences aléatoires indépendantes de même probabilité.

sage: x=var(’x’)sage: p=var(’p’)sage: a=psage: b=0sage: M1=matrix([[1-a-b,a,b],[1-a-b,0,b],[1-a-b,a,0]])sage: r=x*(1-M1*x)^(-1)*(1-M1)*matrix([[1],[1],[1]])sage: factor(r)[ p^2*x^2/(p^2*x^2 - p*x^2 + p*x - x + 1)][(p*x - x + 1)*p*x/(p^2*x^2 - p*x^2 + p*x - x + 1)][ p^2*x^2/(p^2*x^2 - p*x^2 + p*x - x + 1)]

D’où la fonction génératrice : ϕ1(x) = p2x2

1−(1−p)x−p(1−p)x2 .

173


6.5.6 Un calcul de fonction génératrice

Voyons comment on peut calculer la fonction génératrice. On saitque

ϕ(x) = x(1− xM)−1N

1...1

|A|

=x

det(1− xM)tCom(1− xM)N

1...1

|A|

,

Ainsi, il existe un polynôme Qi de degré inférieur ou égal à |S\A|, nulen 0 et tel que

ϕi(x) =Qi(x)

det(1− xM)=

Qi(x)

PM (x),

où PM est le polynôme réciproque du polynôme caractéristique

PM (X) = det(XId−M).

Si on pose n = |S\A|, on a

det(1− xM) = xn det(1/x−M) = xnPM (1/x) = PM (x).

Comme ϕi(x) =P|S\A|i=1 P(TA = i)xi + o(x|S\A|), on a

Qi(x) =

|S\A|Xi=1

P(TA = i)xi

PM (x) + o(x|S\A|),

ce qui peut permettre parfois d’identifier les coefficients de Qi.Un cas particulièrement favorable pour le calcul de la fonction géné-

ratrice de TA est celui où l’on part d’un site i tel que Pi(TA < |S\A|) = 0et Pi(TA = |S\A|) > 0.

En 0, on a alors l’équivalent ϕi(x) ∼ Qi(x).

174


Comme Pi(TA < |S\A|) = 0 et Pi(TA = |S\A|) > 0, on a aussiϕi(x) ∼ P(TA = |S\A|)x|S\A|, d’où Qi(x) = P(TA = |S\A|)x|S\A| vu ledegré de Qi, ce qui nous donne

ϕi(x) =xnPi(TA = n)

PM (x).

On va appliquer cette formule au calcul de la fonction génératricede la première séquence de r réussites dans une suite d’expériencesaléatoires indépendantes de même paramètre.

On pose Y0 = 0, puis, pour n ≥ 1, (Yn)n≥1 est une suite de variablesindépendantes suivant la loi de Bernoulli de paramètre p. On pose en-suite X0 = 0, et pour tout n ≥ 1 :

Xn = maxk : Yn = Yn−1 = . . . Yn−k+1 = 1 ∧ 0.

Si on pose F (x, y) = (x + 1)y, on a la relation Xn+1 = F (Xn, Yn+1),donc (Xn)n≥1 est une chaîne de Markov. On arrête la chaîne dès qu’elletouche le point r.

La chaîne arrêtée, notée (X ′n)n≥0, est encore une chaîne de Mar-kov 5, avec la relation X ′n+1 = G(X ′n, Yn+1) où G(x, y) = F (x, y) six ∈ 0, 1, . . . , r − 1 et G(r, y) = r. Partant de 0, le premier temps oùXn touche r coïncide avec le premier temps oùX ′n touche r. La fonctiongénératrice de

infn ≥ 1;Yn = Yn−1 = · · · = Yn−(r−1) = 1

coïncide donc avec E0(xTr), où

Tr = infn ≥ 1;X ′n = r.

5. Ceci est un fait général, voir l’exercice 62.

175


La chaîne (X ′n) a comme espace d’états S = 0, . . . , r et sa matrice est

0BBBBBBBBBBBBB@1− p p 0 . . . . . . 0 0

... 0. . . . . .

......

......

. . . . . . . . ....

......

.... . . . . . 0

......

.... . . p 0

1− p 0 . . . . . . . . . 0 p0 0 . . . . . . . . . 0 1

1CCCCCCCCCCCCCA .

En prenant A = r, avec les notations précédentes, on a

PM (X) =

0BBBBBBBBBBB@X − (1− p) −p 0 . . . . . . 0

−(1− p) X. . . . . .

...... 0

. . . . . . . . ....

......

. . . . . . . . . 0... 0 . . . 0 X −p

−(1− p) 0 . . . . . . 0 X

1CCCCCCCCCCCA .

Pour calculer le déterminant, on fait l’opération

C1 ← C1 +p− 1

p−X(C2 + . . . Cr),

176


puis on développe suivant la première colonne : on obtient

PM (X) =

X − (1− p) +

p(1− p)p−X

Xr−1

+

p− 1 +

p− 1

p−XX

(−p)r−1(−1)r−1

=

X − (1− p) +

p(1− p)p−X

Xr−1

+

p− 1 +

p− 1

p−XX

pr−1

= (X − (1− p))Xr−1 + (p− 1)pr−1 +1− pp−X

(pXr−1 −Xpr−1)

= (X − (1− p))Xr−1

+1− pp−X

(pXr−1 −Xpr−1 + (X − p)pr−1)

= (X − (1− p))Xr−1 +p(1− p)p−X

(Xr−1 − pr−1)

= (X − (1− p))Xr−1 − p(1− p)Xr−1 − pr−1

X − p.

D’où

XrPM (1/X) = (1− (1− p)X)− p(1− p)X2 − pr−1Xr+1

1− pX

= (1− (1− p)X)− p(1− p)X2 1− (pX)r−1

1− pX,

et finalement

ϕ(x) =prxr

1− (1− p)x− p(1− p)x2 1−(px)r−1

1−px

.

Pour r = 2, on retrouve le résultat de la section précédente.

177


6.6 Exercices sur les chaînes de Markov

6.6.1 Exercices corrigés

Exercice 62. Chaîne de Markov arrêtée.Soit (Xn) une chaîne de Markov sur un ensemble dénombrable E,

de matrice de transition Q. Étant donné un ensemble B ⊂ E, on note

TB = infn ≥ 0;Xn ∈ B

le temps d’entrée dans B et on pose Yn = Xn∧TB . Montrer que (Yn)n≥0

est une chaîne de Markov sur E dont on précisera la matrice de transi-tion.

Exercice 63. La ruine du joueur ou marche aléatoire avec barrière.Un joueur possédant une fortune de a unités joue à pile ou face jusqu’àce qu’il ait fait sauter la banque ou qu’il soit ruiné. Les réserves de labanque sont de b unités. Chaque victoire rapporte une unité et chaquedéfaite en coûte une. On suppose que les lancers sont indépendants etque la probabilité de gain de la banque est p = 1−q. On veut déterminerla probabilité pg que la banque résiste.

On note (Xn)n≥1 une suite de v.a.i.i.d. de loi pδ1 + qδ−1, puisSn =

Pnk=1Xk et T = infn ≥ 0;Sn = −b ou Sn = a. Si l’on pose

S′n = Sn∧T , il est aisé de constater que S′n représente la suite des gainsrelatifs de la banque.

1. Montrer que S′n est une chaîne de Markov homogène à espaced’états E = −b, . . . , a dont on déterminera la loi initiale et lamatrice de transition.

2. Considérons les chaînes de Markov ayant la même matrice detransition que (S′n)n≥0 Montrer que la suite (un)−b≤n≤a définiepar

un = Pn(la banque résiste)

vérifie la récurrence linéaire

pun+1 − un + qun−1 = 0.

Que valent ua et u−b ?

178


3. Résoudre l’équation de récurrence et en déduire

pg =

8<: ( qp

)b−1

( qp

)a+b−1si p 6= q

ba+b si p = q = 1

2 .(6.14)

4. Dans cette question, p = q = 1/2. On note vn = En[T ]. Montrerque si −b < n < a, on a

vn = 1 +1

2(vn+1 + vn−1),

puis exprimer vn en fonction de n.

Exercice 64. On lance un dé équilibré à 6 faces jusqu’à obtenir deux sixconsécutifs. Le but de l’exercice est de calculer l’espérance du nombrede lancers nécessaires. On choisit de modéliser les lancers par une suite(Xn)n≥1 de variables aléatoires indépendantes suivant la loi uniformesur l’ensemble 1, . . . , 6.

1. On pose Z0 = 0, puis Zn+1 = (Zn + 1)1Xn+1=6. Montrer que(Z0)n≥2 est une chaîne de Markov.

2. On pose T = infn ≥ 0;Zn = 2. Calculer E(T ) par la méthodede l’analyse au premier pas. Conclure.

Exercice 65. Soit (Xn)n≥0 une chaîne de Markov irréductible à valeursdans un espace d’états fini ou dénombrable S. Soit A ⊂ S, avec A fini etA 6= S. On pose τ = infn ≥ 0;Xn 6∈ A. Montrer que τ < +∞ presquesûrement, et même qu’il existe β > 0 tel que P(τ > k) = O(e−βk).

Exercice 66. L’image d’une chaîne de Markov n’est pas (toujours) unechaîne de Markov.On considère la chaîne de Markov (Xn) sur E = 0, 1, 2 de matrice de

transition

0 0 10 1 01 0 0

et de loi initiale π0 = (1

3 ,13 ,

13).

Soit f : E → 0, 1 telle que f(0) = f(1) = 0, f(2) = 1. Pourn ≥ 0, on pose Yn = f(Xn). Montrer que (Yn)n≥1 n’est pas une chaînede Markov.

179


Exercice 67. Un collecteur de coupons biaisés. 6

Soit ν une probabilité sur 1, . . . , n, où n est un entier avec n ≥ 2.Soit (Xk)n≥1 une suite de variables aléatoires indépendantes de loi ν.On pose E0 = ∅, Y0 = 0, puis pour k ≥ 1, Ek = X1, . . . , Xk etYk = |Ek|. On peut imaginer que lesXk représentent la suite des lancersd’un dé à n faces, le dé n’étant pas nécessairement équilibré. Alors Ekest l’ensemble des faces qui sont sorties dans les k premiers coups, etYk le nombre de faces différentes apparues.

1. Montrer que (Ek) est une chaîne de Markov.

2. On suppose ici que ν est la loi uniforme sur 1, . . . , n, c’est àdire que le dé est équilibré. Calculer E(Yk+1 − Yk|E1, . . . , Ek),puis E(Yk+1 − Yk|Y1, . . . , Yk). Montrer alors que (Yk)k≥0 est unechaîne de Markov.

3. On suppose que (Yk)k≥0 est une chaîne de Markov. ExprimerP(Y1 = 1, Y2 = 1) et P(Y1 = 1, Y2 = 1, Y3 = 1) en fonctiondes ν(k). En déduire que ν suit la loi uniforme sur un ensembleJ ⊂ 1, . . . , n.

Exercice 68. L’image d’une chaîne de Markov peut être une chaîne deMarkov. 7

Soit (Xn) une chaîne de Markov sur un ensemble dénombrable E dematrice de transition P . Soit ψ une application surjective de E dans unensemble F telle que

∀z ∈ F ∀x, y ∈ E ψ(x) = ψ(y)⇒ Px(ψ(X1) = z) = Py(ψ(X1) = z).

1. Montrer que la suite (Yn) définie par Yn = ψ(Xn) est une chaînede Markov et déterminer sa matrice de transition.

2. On dit que µ est une probabilité stationnaire pour la dynamiquede (Xn)n≥0 réalisée sur (Ω,F ,P) si on a PX0 = PX1 = µ. Mon-trer que si µ est une probabilité stationnaire pour la dynamiquede la chaîne (Xn) alors l’image de µ par ψ est une probabilitéstationnaire pour la dynamique de la chaîne (Yn).

6. Le titre est un clin d’œil à un modèle classique, le collecteur de coupons – nonbiaisé, celui là, qui sera étudié plus longuement dans l’exercice 100.

7. Ce résultat est parfois mentionné sous le nom de critère de Dynkin.

180


Exercice 69. Urne avec remplacement, extrait de Master Orléans 2005.Soit N un entier naturel non nul. Soient (Un)n≥1 et (Vn)n≥1 deux suitesde variables aléatoires indépendantes suivant la loi uniforme sur l’en-semble fini à N éléments 1, . . . , N. On suppose également que lessuites (Un)n≥1 et (Vn)n≥1 sont indépendantes l’une de l’autre.

Pour tout a ∈ 0, . . . , N, on peut définir par récurrence une suite(Xn)n≥0 par (

X0 = a

Xn+1 = Xn + 1Vn+1≤Xn − 1Un+1≤Xn.

1. Montrer que (Xn)n≥0 est une chaîne de Markov à valeurs dans0, . . . , N dont la matrice de passage P = (pi,j)0≤i,j≤N vérifiepour tout i dans 0, . . . , N :

pi,i+1 = pi,i−1 =i(N − i)N2

et pi,i = 1− 2i(N − i)N2

.

(Par convention p0,−1 = pN,N+1 = 0).

On note désormais Pa la probabilité correspondante.

2. Pour N = 5, dessiner le graphe associé à cette chaîne de Markov.

3. Pour i ∈ 1, . . . , N − 1 et n ∈ N, on pose

Ain = Vn+1 ≤ i∆Un+1 ≤ i.

Montrer queP(limn→+∞(Ain)) = 1.

4. Soit i ∈ 1, . . . , N − 1. Montrer que P( limn→+∞

Xn = i) = 0.

5. Montrer que (Xn)n≥0 est une martingale.

6. Montrer que Xn converge presque sûrement vers une variablealéatoire X∞ qui prend ses valeurs dans 0, N.

7. Déterminer la loi de X∞. Indication : déterminer son espérance.

181


8. Une urne contient 20 boules noires et 10 boules blanches.On tire deux boules de l’urne, l’une après l’autre. On peint ladeuxième des deux boules tirées avec la couleur de la premièredes deux boules tirées, puis on remet les deux boules dans l’urne.On répète alors sans cesse le même procédé. Quelle est la pro-babilité qu’au bout d’un certain moment, on ne tire plus que desboules noires ?Ce modèle est étudié en génétique sous le nom de modèle deMoran.

Exercice 70. Chaîne de Bessel, d’après Cachan 2007.Soit Ω = ZN et F = B(Ω). On note (Xi)i≥0 les projections canoniques :pour ω ∈ Ω, on a Xi(ω) = ωi. On peut alors définir une filtration(Fn)n≥0 en posant Fn = σ(X0, X1, . . . , Xn) pour tout n ≥ 0.

Pour x ∈ N, on note Px la loi sous laquelle (Xn)n≥0 est une chaînede Markov de matrice de passage P = (pi,j)i,j≥0 vérifiant8>><>>: pk,k+1 = k+2

2k+2 si k ≥ 1

pk,k−1 = k2k+2 si k ≥ 1

p0,0 = 1pi,j = 0 dans tous les autres cas.

et commençant au point x (c’est à dire que Px(X0 = x) = 1). Poura ≥ 0, on pose τa = infk ≥ 0;Xk = a.

1. Soit f une fonction de N dans R. Montrer que

Ex[f(Xn+1)|Fn] = Ψf (Xn),

où

Ψf (i) =+∞Xj=0

pi,jf(j).

2. On pose Yn = 11+Xn

. Montrer que (Yn)n≥0 est une martingalebornée.

3. Soient a, b, x des entiers avec 0 ≤ a < x < b. On pose τ = τa∧τb.Montrer que τ est un temps d’arrêt adapté à la filtration (Fn)n≥0.Dans la suite, on admettra que Px(τ < +∞) = 1 8.

8. C’est une conséquence du résultat de l’exercice 65.

182


4. On pose Zn = Yn∧τ . Montrer que (Zn)n≥0 est une martingale,puis, à l’aide du théorème de convergence dominée, montrer que

Px(τa < τb) = Px(Yτ =1

1 + a) =

1b+1 −

1x+1

1b+1 −

1a+1

.

5. Montrer que limn→+∞

τn = +∞ Px presque sûrement.

6. En déduire que Px(τa < +∞) = a+1x+1 .

7. On poseI = infXn;n ≥ 0.

Montrer que sous Px, I suit la loi uniforme sur 0, . . . , x.

Exercice 71. Une marche aléatoire sur le groupe affine Aff(F5). 9

Le groupe des affinités sur F5 est formé des bijections de F5 dans lui-même qui s’écrivent f(z) = az + b, avec (a, b) ∈ F×5 × F5. C’est unsous-groupe de S(F5). On définit une suite d’affinités aléatoires parr0 = Id(F5), puis rn+1 = fn+1 rn, où (fn)n≥1 est une suite d’affinitésaléatoires indépendantes de même loi, avec

P(f1 = g) = P(f1 = h) =1

2, avec g(z) = 2z et h(z) = 3z + 1.

1. Montrer que (rn)n≥0 est une chaîne de Markov. Est-elle irréduc-tible, apériodique?

2. On cherche à calculer P(r2n = Id) par une méthode matricielle.

(a) On ordonne les états dans l’ordre

z 7→ z, z 7→ z + 1, . . . , z 7→ z + 4,z 7→ 2z, z 7→ 2z + 1, . . . , z 7→ 2z + 4,z 7→ 3z, z 7→ 3z + 1, . . . , z 7→ 3z + 4,z 7→ 4z, z 7→ 4z + 1, . . . , 7→ 4z + 4.

9. Pour d’autres résultats sur les marches aléatoires sur les groupesaffines Aff(Fp), on pourra se rapporter à l’ouvrage de Diaconis [13],exemple 4 page 34. Cet ouvrage est librement téléchargeable à l’adressehttps ://projecteuclid.org/euclid.lnms/1215467407

183


Vérifier que la matrice de la chaîne (rn) est

M =1

2

26664 0 A B 0B 0 0 AA 0 0 B0 B A 0

37775 ,avec

A =

26666641 0 0 0 00 0 1 0 00 0 0 0 10 1 0 0 00 0 0 1 0

3777775 et B =

26666640 1 0 0 00 0 0 0 10 0 1 0 01 0 0 0 00 0 0 1 0

3777775 .L’usage d’un outil numérique de calcul peut simplifier le tra-vail.

(b) Montrer que (r2n) est une chaîne de Markov. La représenterà l’aide de la matrice

N ′ =

A′ B′

B′ A′

,

où A′ = AB +BA et B′ = A2 +B2.(c) On admet que N ′2 +N ′ = 2J10, où J10 est la matrice 10× 10

dont toutes les entrées sont égales à 1. Montrer qu’il existeune suite (λn)n≥1 telle que pour tout n ≥ 1,

N ′n = λnJ10 − (−1)nN ′.

(d) En déduire la valeur de P(r2n = Id)

3. On cherche toujours à calculer P(r2n = Id), mais cette fois, on vautiliser des outils d’algèbre plus sophistiqués. On note G le sous-groupe de S(F5) engendré par t : z 7→ z + 1 et s : z 7→ −z. Gest le groupe diédral d’ordre 10. On admet les résultats d’algèbresuivants que l’on ne demande pas de redémontrer 10 :

∀g ∈ G δId(g) =1

|G|X

ρ∈Irr(G)

dim(ρ)Tr ρ(g), (6.15)

10. Voir par exemple [32], corollaire 4.6 p 211 pour la formule (6.15) et la section1.3 page 227 pour les résultats sur les groupes diédraux.

184


où Irr(G) désigne un système de représentants des représenta-tions irréductibles de G. Lorsque G = F5, il y a 4 représentationsirréductibles :— 2 représentations de degré 1 : le caractère constant égal à 1

et le caractère envoyant t sur 1 et s sur −1.— 2 représentations de degré 2 : si l’on pose ω = exp(2iπ

5 ), on

peut prendre les représentations qui envoient s sur

0 11 0

et t respectivement sur

ω 00 ω−1

etω2 00 ω−2

.

On rappelle qu’une représentation de degré k sur le groupe Gest un morphisme de G dans Glk(C).

(a) On pose xn = r2n. Montrer que (xn)n≥0 prend ses valeursdans G et que

P(x1 = s) = P(x1 = t−1s) = P(x1 = t) = P(x1 = t2) =1

4.

(b) Montrer que pour tout n ≥ 0,

P(xn = Id) =1

|G|X

ρ∈Irr(G)

dim(ρ)Tr ((E(ρ(x1))n) .

Conclure.

Exercice 72. On pose Y0 = 0, puis, pour n ≥ 1, Yn est une suite devariables indépendantes suivant la loi de Bernoulli de paramètre p. Onpose ensuite X0 = 0, et pour tout n ≥ 1 :

Xn = maxk : Yn = Yn−1 = . . . Yn−k+1 = 1 ∧ 0.

1. Montrer que (Xn)n≥0 est une chaîne de Markov.

2. Dans la suite, on note Pi la loi d’une chaîne de Markov avec lamême dynamique partant de n, Ei l’espérance correspondante.On note Tn = infn ≥ 0;Xi = n. Montrer que pour i < n, on a

Ei[Tn] = 1 + pEi+1[Tn] + (1− p)E0Tn.

185


3. En déduire la valeur de E0Tn.

4. Application : Une pièce de monnaie a pour probabilité p, de tom-ber sur face. On la lance indéfiniment. Calculer l’espérance dunombre de jets qu’il faudra jusqu’à ce qu’une chaîne de r résul-tats consécutifs de type face apparaisse.

Exercice 73. Too big to fail.Le problème est le même que dans l’exercice 63, à ceci près que l’onsuppose maintenant que la banque est infiniment riche 11. On cherchela probabilité que le joueur soit ruiné.

Intuitivement, il suffit de faire tendre b vers +∞ dans la formule(6.14), le tout étant de le justifier. . .

On suggère de poser pour tout k, Tk = infn ≥ 0;Sn = k. Il s’agitdonc de déterminer P(Ta < +∞).

6.6.2 Exercices non corrigés

Exercice 74. Chaîne à deux états.Soit Xn : n ≥ 0 une chaîne de Markov à valeurs dans 0, 1 et deprobabilité de transition :

P =

1− α αβ 1− β

, 0 ≤ α, β ≤ 1.

1. Montrer que pour (α, β) 6= (0, 0) :

Pn =1

α+ β

β αβ α

+

(1− α− β)n

α+ β

α −α−β β

.

Que se passe-t-il lorsque α = 0 ou β = 0 ou α = β = 0?On supposera pour la suite de l’exercice que (α, β) 6= (0, 0).

2. Vérifier que pour toute loi initiale µ, on a

Pµ(Xn = 0) =β

α+ β+ (1− α− β)n

µ(0)− β

α+ β

.

11. En cas de banqueroute, c’est le contribuable qui paye.

186


3. Si (α, β) 6= (1, 1), montrer que (Xn)n≥0 converge en loi versune loi ν que l’on déterminera. On supposera pour la suite del’exercice que (α, β) 6= (1, 1).

4. (Mesure stationnaire) Prouver que, pour tout n ∈ N,

Pν(Xn ∈ A) = ν(A).

Exercice 75. Représentation canonique et simulation des chaînes de Mar-kov.

1. Soit (Zn)n≥1 une suite de vaiid à valeurs dans F , soit g : E ×F → E et soit X0 une variable aléatoire à valeurs dans E in-dépendante de (Zn)n≥1. Montrer que la suite (Xn)n≥0 définiepar Xn+1 = g(Xn, Zn+1) est une chaîne de Markov homogène.Donner sa matrice de transition.

2. On suppose qu’on dispose d’un générateur de nombres aléatoirespour la loi uniforme sur [0, 1], noté ’rand’. Soit µ une mesurede probabilité sur N. Donner un algorithme pour générer desnombres aléatoires suivant la loi µ.

3. Soit P = (pi,j) une matrice de transition sur N.On note si,k =

Pkj=0 pi,j . Soit (Zn)n≥1 une suite de variables

aléatoires indépendantes suivant la loi uniforme sur [0, 1], etX0 une variable aléatoire à valeurs dans N indépendante de(Zn)n≥1. On construit la suite (Xn)n≥0 par récurrence de la fa-çon suivante :

si Xn(ω) = i et Zn+1(ω) ∈]si,j−1, si,j ] alors Xn+1 = j.

Montrer que la suite (Xn)n≥0 ainsi définie est une chaîne deMarkov homogène. Donner sa matrice de transition.

4. Application. Comment simuler une chaîne de Markov homogènede matrice de transition P = (pi,j) ? Écrire un algorithme expli-cite si

P =

0.25 0.5 0.250.5 0 0.50.5 0.5 0

.

187


Exercice 76. Temps d’atteinte d’un état absorbant.Soit (Xn) une chaîne de Markov sur un ensemble dénombrable E

et a ∈ E un état absorbant. On pose T = infn ≥ 0;Xn = a. Montrerque P(Xn = a) = P(T ≤ n).

Exercice 77. Temps d’entrée : une propriété d’invariance.Soit (Xn) une chaîne de Markov sur un ensemble dénombrable E

de matrice de transitionQ. Pour f : E → R+, soitQf la fonction définiepar

Qf(x) =Xy∈E

Q(x, y)f(y).

Pour A ⊂ E on note TA = infn ≥ 0;Xn ∈ A le temps d’entrée dansA. Montrer que la fonction f définie sur E par f(x) = Px(TA < +∞)vérifie

f(x) = 1 pour x ∈ A et f(x) = (Qf)(x) pour x 6∈ A.

Exercice 78. Soit (Xn)n≥0 une chaîne de Markov à valeurs dans N. Onnote A l’ensemble des points absorbant de la chaîne. Montrer que (Xn)ne peut converger que vers un élément de A.Plus précisément : si il existe un événement B et une variable aléatoireY telle que

∀ω ∈ B limn→+∞

Xn(ω) = Y (ω),

alors P(B ∩ Y 6∈ A) = 0.

Exercice 79. Madame Brisby dans le labyrinthe. 12

Madame Brisby s’est perdue dans le labyrinthe que forment les ga-leries où vivent les rats de Nimh. Quelle est la probabilité qu’elle ren-contre le sage Nicodémus avant de croiser le belliqueux Jenner?

12. Madame Brisby et le secret de Nimh est un long métrage d’animation américainréalisé par Don Bluth. Sorti en 1982, il est basé sur le roman de Robert C. O’Brien,Madame Frisby et les Rats de Nimh.

188


1

2

3

4 (Jenner)

5 (Nicodémus)

Exercice 80. Soit M la matrice d’une chaîne de Markov. Montrer que simi,i > 0, alors l’état i est apériodique. Qu’en déduire pour une chaîneirréductible ?

Exercice 81. Soit a et b des entiers supérieurs ou égaux à 2, (Dn)n≥1

une suite de variables aléatoires i.i.d. à valeurs dans Z/aZ×Z/bZ véri-fiant

P (D1 = (0, 1)) = P (D1 = (1, 0)) =1

2.

Soit (Dn)n≥1 une suite de variables aléatoires et S0 une variable aléa-toire à valeurs dans Z/aZ×Z/bZ indépendante de (Dn)n≥1 Pour n ≥ 1,on pose

Sn = S0 +nXk=1

Dk.

Montrer que (Sn) est une chaîne de Markov . Est-elle irréductible, apé-riodique?

Exercice 82. Propriété de Markov fonctionnelle.Soit (Xn)n≥1 une chaîne de Markov, F une application mesurable deRN∗ dans [0,+∞[.Montrer que pour tout entier p ≥ 1, et tout A ∈ Fp = σ(X1, . . . , Xp),on a

E[1AF ((Xn+p)n≥1)] = P(A)g(Xp),

189


avec g(x) = ExF ((Xn)n≥1).On rappelle que pour toute variable aléatoire Y positive et toute

probabilité P, on a EY =R+∞

0 P(Y > t) dt.

Exercice 83. Madame Brisby II.On reprend la chaîne de Markov des aventures de madame Brisby. Onnote l’espace d’états E = 1, 2, 3, 4, 5 et l’on pose A = 4, 5 Soit f :E → C telle que ∀x ∈ A f(x) = 0.

On pose F =P+∞k=1 f(Xk).

Montrer que E|F | ≤ (ET − 1)‖f‖∞.Montrer l’identité

(I −N)

E1FE2FE3F

=

E1f(X1)E2f(X1)E3f(X1)

,

où N est la matrice 3 × 3 telle que la matrice de la chaîne de Markovadmette une écriture par blocs sous la forme

N ∗0 I2

.

En déduire E1T,E2T,E3T .

Exercice 84. Évolution d’un génotype avec fixation : le modèle de Wright–Fisher.Nous travaillons ici sur une population de taille fixe formée de 2Ngènes. Il y a deux types de gènes possibles : le type “a” et le type “A”.Chacun des gènes au temps n+ 1 est engendré par deux des 2N gènesprésents au temps N . Son type est celui d’un de ses deux parents (choisiau hasard).

On considère la variable aléatoire Xn égale au nombre d’individusde type “A” dans la population à l’étape n.

On admettra qu’on peut modéliser l’évolution par la récurrence sui-vante :

Xn+1 =2NXk=1

1Yn+1,k≤Xn,

190


où (Yn,k)n≥1,k∈1,...,2N est une suite de variables aléatoires indé-pendantes suivant la loi uniforme sur l’ensemble fini 1, . . . , 2N. X0

est indépendante des (Yn,k).

1. Montrer que Xn est une chaîne de Markov à valeurs dans l’en-semble E = 0, . . . , 2N.

2. Montrer que la loi de Xn+1 sachant Xn = k est une loi binomialede paramètre 2N et (k/2N). Identifier les éventuels points ab-sorbants.

3. Montrer que (Xn)n≥0 converge presque sûrement vers une va-riable aléatoire X∞.

4. Déterminer la loi de X∞ en fonction de la loi de X0.

Exercice 85. Soit ν, µ deux lois sur N. ν est appelée loi de reproductionet µ est la loi de la taille de la population initiale.

On appelle chaîne de Galton–Waltson de loi initiale µ et de loi dereproduction ν la chaîne de Markov de loi initiale µ et de matrice detransition

pi,j =

(ν∗i(j) si i 6= 0

δ0(j) si i = 0.

Montrer que si (Xn)n≥0 et (Yn)n≥0 sont deux chaînes de Markov indé-pendantes, (Xn)n≥0 étant une chaîne de Galton–Waltson de loi initialeµ1 et de loi de reproduction ν, et (Yn)n≥0 étant une chaîne de Galton-Waltson de loi initiale µ2 et de loi de reproduction ν, alors (Xn+Yn)n≥0

est une chaîne de Galton–Waltson de loi initiale µ1 ∗ µ2 et de loi de re-production ν.

191

Chaînes de Markov - iecl.univ-lorraine.frOlivier.Garet/livre-pps/extrait.pdf · Chapitre 6...

Documents

Transcript of Chaînes de Markov - iecl.univ-lorraine.frOlivier.Garet/livre-pps/extrait.pdf · Chapitre 6...