Chapitre 3 Mesures stationnaires et théorèmes de...

Chapitre 3

Mesures stationnaires

et théorèmes de convergence

Christiane Cocozza-Thivent, Universite de Marne-la-Vallee – p.1

I. Mesures stationnaires



Définition : Une probabilité π sur E est invariante ou stationnaire pourla chaine de Markov (Xn)n≥0 si, pour tout n ≥ 0 :

(∀x ∈ E, P(Xn = x) = π(x)) =⇒ (∀x ∈ E, P(Xn+1 = x) = π(x)).





Proposition 1 : La probabilité π est stationnaire si et seulement si :

∀ y ∈ E,∑

x∈E

π(x)p(x, y) = π(y).





Proposition 1 : La probabilité π est stationnaire si et seulement si :

∀ y ∈ E,∑

x∈E

π(x)p(x, y) = π(y).

En fait π est stationnaire si et seulement si, lorsque la loi initiale de lachaine est π (c’est-à-dire si P(X0 = x) = π(x) pour tout x) alors, pourtout instant n, la loi de Xn est également π (c’est-à-direP(Xn = x) = π(x) pour tout x).


Exemple : Dans le cas d’une chaine pour laquelle E = {0, 1} et

p =

1 − a a

b 1 − b

,

nous avons montré que

P(Xn = 0) =b

a + b+ (1 − a − b)n(µ(0) −

b

a + b)

etP(Xn = 1) =

a

a + b+ (1 − a − b)n(µ(1) −

a

a + b)



p =

1 − a a

b 1 − b

,


P(Xn = 0) =b

a + b+ (1 − a − b)n(µ(0) −

b

a + b)

etP(Xn = 1) =

a

a + b+ (1 − a − b)n(µ(1) −

a

a + b)

Par conséquent la probabilité π définie par π(0) = b

a+b, π(1) = a

a+best

stationnaire et c’est la seule.



p =

1 − a a

b 1 − b

,


P(Xn = 0) =b

a + b+ (1 − a − b)n(µ(0) −

b

a + b)

etP(Xn = 1) =

a

a + b+ (1 − a − b)n(µ(1) −

a

a + b)


a+b, π(1) = a

a+best


On retrouve ce résultat en appliquant la proposition 1.



p =

1 − a a

b 1 − b

,


P(Xn = 0) =b

a + b+ (1 − a − b)n(µ(0) −

b

a + b)

etP(Xn = 1) =

a

a + b+ (1 − a − b)n(µ(1) −

a

a + b)


a+b, π(1) = a

a+best


On retrouve ce résultat en appliquant la proposition 1.

En outrelim

n→+∞

P(Xn = 0) =b

a + b= π(0), lim

n→+∞

P(Xn = 1) =a

a + b= π(1).


En fait, si π est stationnaire et si la loi de X0 est π, alors pour tout n,(Xk+n)k≥0 a même loi que (Xp)p≥0 au sens où : pour tout m ≥ 0, levecteur (Xn, Xn+1, . . . , Xn+m) a même loi que le vecteur(X0, X1, . . . , Xm).


En fait, si π est stationnaire et si la loi de X0 est π, alors pour tout n,(Xk+n)k≥0 a même loi que (Xp)p≥0 au sens où : pour tout m ≥ 0, levecteur (Xn, Xn+1, . . . , Xn+m) a même loi que le vecteur(X0, X1, . . . , Xm).Cela signifie que la chaine de Markov regardée depuis l’instant initial amême loi que la chaine de Markov regardée à partir de tout instant n.



Il est commode d’étendre la notion d’invariance aux mesures sur E etde ne pas la réserver aux probabilités sur E.



Il est commode d’étendre la notion d’invariance aux mesures sur E etde ne pas la réserver aux probabilités sur E.

Définition : Une mesure m sur E (c’est à dire une famille (m(x))x∈E deréels positifs ou nuls) est dite invariante (ou stationnaire) si la mesurem n’est pas la mesure identiquement nulle et si :

∀ y ∈ E∑

x∈E

m(x) p(x, y) = m(y).


Une probabilité invariante est évidemment une mesure invariante.



Si m est une mesure invariante et si λ > 0, alors λm est unemesure invariante.




Si m est une mesure invariante et si m(E) < +∞, alors m/m(E) estune probabilité invariante.





En pratique, on cherche des mesures stationnaires et on lesrenormalise éventuellement pour avoir des probabilités stationnaires.






Si E est fini et comprend d éléments, m peut être représentée par unvecteur colonne de d composantes et les équations de stationnarités’écrivent :

mtp = mt.






Si E est fini et comprend d éléments, m peut être représentée par unvecteur colonne de d composantes et les équations de stationnarités’écrivent :

mtp = mt.

Cela revient à chercher les vecteurs propres à gauche de p (c’est-à-direles vecteurs propres de pt associés à la valeur propre 1). On voit que 1est valeur propre de p donc de pt, mais il n’est pas évident qu’il existe unvecteur propre dont toutes les composantes soient positives ou nulles.


Exemple : Prenons le modèle d’Ehrenfest avec d = 3. La matrice detransition p est :

0 1 0 0

1/3 0 2/3 0

0 2/3 0 1/3

0 0 1 0

.



0 1 0 0

1/3 0 2/3 0

0 2/3 0 1/3

0 0 1 0

.

On trouve :

π(0) =1

8, π(1) =

3

8, π(2) =

3

8, π(3) =

1

8.



0 1 0 0

1/3 0 2/3 0

0 2/3 0 1/3

0 0 1 0

.

On trouve :

π(0) =1

8, π(1) =

3

8, π(2) =

3

8, π(3) =

1

8.

Pour cette chaine, nous n’avons pas limn→+∞ P(Xn = i) = π(i) car si nest impair Px(Xn = x) = 0.



0 1 0 0

1/3 0 2/3 0

0 2/3 0 1/3

0 0 1 0

.

On trouve :

π(0) =1

8, π(1) =

3

8, π(2) =

3

8, π(3) =

1

8.

Pour cette chaine, nous n’avons pas limn→+∞ P(Xn = i) = π(i) car si nest impair Px(Xn = x) = 0.Cette chaine a un comportement “périodique", nous y reviendrons à lafin du chapitre.


Il peut être lourd de chercher les mesures stationnaires à l’aide de ladéfinition, la notion de réversibilité est plus restrictive mais plus facile àmanipuler.



Définition : La mesure m sur E est réversible pour la chaine deMarkov de fonction de transition p si :

m(x) p(x, y) = m(y) p(y, x),∀x; y ∈ E.



Définition : La mesure m sur E est réversible pour la chaine deMarkov de fonction de transition p si :

m(x) p(x, y) = m(y) p(y, x),∀x; y ∈ E.

Proposition 2 : Toute mesure réversible est stationnaire.


Exemple d’une chaine de naissance et mort :


Exemple d’une chaine de naissance et mort :On suppose que qx > 0 pour tout x ≥ 1.


Exemple d’une chaine de naissance et mort :On suppose que qx > 0 pour tout x ≥ 1.On vérifie que la mesure m est réversible si et seulement si elle s’écrit pourx ≥ 1, x ∈ E :

m(x) =p0....px−1

q1......qx

m(0).



m(x) =p0....px−1

q1......qx

m(0).

Si E = {0, 1, ...d}, la probabilité π donnée par :

π(x) =m(x)

∑d

y=0m(y)

=

p0....px−1

q1......qx

∑d

y=0

p0....py−1

q1......qy

pour 0 ≤ x ≤ d,

est réversible donc stationnaire.



m(x) =p0....px−1

q1......qx

m(0).


π(x) =m(x)

∑d

y=0m(y)

=

p0....px−1

q1......qx

∑d

y=0

p0....py−1

q1......qy

pour 0 ≤ x ≤ d,

est réversible donc stationnaire.Si E = N, et si

∑

y≥0m(y) =< +∞, c’est-à-dire si

∑

y≥0

p0....py−1

q1......qy

< +∞, il existe une etune seule probabilité réversible π donnée par :

π(x) =m(x)

∑

y≥0m(y)

=

p0....px−1

q1......qx∑

y≥0

p0....py−1

q1......qy

pour x ∈ N.



m(x) =p0....px−1

q1......qx

m(0).


π(x) =m(x)

∑d

y=0m(y)

=

p0....px−1

q1......qx

∑d

y=0

p0....py−1

q1......qy

pour 0 ≤ x ≤ d,

est réversible donc stationnaire.Si E = N, et si

∑

y≥0m(y) =< +∞, c’est-à-dire si

∑

y≥0

p0....py−1

q1......qy

< +∞, il existe une etune seule probabilité réversible π donnée par :

π(x) =m(x)

∑

y≥0m(y)

=

p0....px−1

q1......qx∑

y≥0

p0....py−1

q1......qy

pour x ∈ N.

Si E = N, et si∑

y≥0

p0....py−1

q1......qy

= +∞, il n’existe pas de probabilité réversible.


Proposition 3 : Soit π une probabilité stationnaire. Si y est un étattransient ou récurrent nul, alors π(y) = 0.


Proposition 3 : Soit π une probabilité stationnaire. Si y est un étattransient ou récurrent nul, alors π(y) = 0.

car si y est transient ou récurrent nul, alors pour tout x

1

nEx

(

n∑

k=1

1{Xk=y}

)

−−−−−→n→+∞

0.


II. Cas d’une chaine r ecurrente irr eductible



Lemme 5 : Soit m une mesure invariante (donc non identiquementnulle) d’une chaine de Markov irréductible. Alors, pour tout y ∈ E, on am(y) > 0.



Lemme 5 : Soit m une mesure invariante (donc non identiquementnulle) d’une chaine de Markov irréductible. Alors, pour tout y ∈ E, on am(y) > 0.

Théorème 5 : Une chaine de Markov récurrente irréductible possèdeune mesure invariante m. Cette mesure stationnaire est strictementpositive en tout point et unique à une constante multiplicative près. Enoutre pour tout x0 ∈ E on a :

∀ y ∈ E, m(y) = c(x0) Ex0

Tx0∑

k=1

1{Xk=y}

(c(x0) > 0).

Par suite la chaine est récurrente positive si et seulement si sesmesures stationaires sont de masse totale finie.


On fixe x0 ∈ E et on pose

λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.

Etape 1 : λx0est une mesure invariante strictement positive



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,

- pour tout z ∈ E,∑

y∈E λx0(y) p(y, z) = λx0

(z),



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,



(z),

- pour tout y0 ∈ E, λx0(y0) < +∞.



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,



(z),

- pour tout y0 ∈ E, λx0(y0) < +∞.

Etape 2 : toutes les mesures invariantes sont proportionnelles à λx0.



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,



(z),

- pour tout y0 ∈ E, λx0(y0) < +∞.


Soit m une mesure invariante



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,



(z),

- pour tout y0 ∈ E, λx0(y0) < +∞.


Soit m une mesure invariante- pour tout z ∈ E, m(z) ≥ m(x0)

∑nk=1 Px0

(Tx0≥ k,Xk = z),



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,



(z),

- pour tout y0 ∈ E, λx0(y0) < +∞.



∑nk=1 Px0

(Tx0≥ k,Xk = z),

- pour tout z ∈ E, m(z) ≥ m(x0) λx0(z),



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,



(z),

- pour tout y0 ∈ E, λx0(y0) < +∞.



∑nk=1 Px0

(Tx0≥ k,Xk = z),


- m1 = m − m(x0) λx0est une mesure (positive) qui vérifie, pour tout

y ∈ E, m1(y) =∑

x∈E m1(x) p(x, y).



λx0(y) = Ex0

Tx0∑

k=1

1{Xk=y}

=∑

k≥1

Px0(Tx0

≥ k,Xk = y) ∈ R+.


- λx0(x0) = 1,



(z),

- pour tout y0 ∈ E, λx0(y0) < +∞.



∑nk=1 Px0

(Tx0≥ k,Xk = z),


- m1 = m − m(x0) λx0est une mesure (positive) qui vérifie, pour tout

y ∈ E, m1(y) =∑

x∈E m1(x) p(x, y).

- m1(x0) = 0, donc m1 = 0 (lemme 4).


Théorème 6 : Une chaine de Markov irréductible et récurrentepositive possède une et une seule probabilité stationnaire π. Cetteprobabilité stationnaire π vérifie :

∀x0 ∈ E,∀ y ∈ E, π(y) =Ex0

(∑Tx0

k=1 1{Xk=y})

Ex0(Tx0

)=

1

Ey(Ty).

En outre, pour tout y ∈ E :

1

n

n∑

k=1

1{Xk=y}p.s.

−−−→n→+∞

π(y).

Plus généralement, pour toute fonction f positive ou π-intégrable :

1

n

n∑

k=1

f(Xk)p.s.

−−−→n→+∞

∑

y∈E

f(y) π(y) =

∫

fdπ.


Remarque : :

limn→+∞

1

n

n∑

k=1

1{Xk=y} = limn→+∞

1

n

n∑

k=0


1

n

n−1∑

k=0

1{Xk=y},

et de meme :

limn→+∞

1

n

n∑

k=1

f(Xk) = limn→+∞

1

n

n∑

k=0

f(Xk) = limn→+∞

1

n

n−1∑

k=0

f(Xk).


Remarque : :

limn→+∞

1

n

n∑

k=1


1

n

n∑

k=0


1

n

n−1∑

k=0

1{Xk=y},

et de meme :

limn→+∞

1

n

n∑

k=1

f(Xk) = limn→+∞

1

n

n∑

k=0

f(Xk) = limn→+∞

1

n

n−1∑

k=0

f(Xk).

Corollaire 8 : Une chaine irréductible est récurrente positive si etseulement si elle possède une probabilité stationnaire (et celle-ci estalors unique).


Remarque : :

limn→+∞

1

n

n∑

k=1


1

n

n∑

k=0


1

n

n−1∑

k=0

1{Xk=y},

et de meme :

limn→+∞

1

n

n∑

k=1

f(Xk) = limn→+∞

1

n

n∑

k=0

f(Xk) = limn→+∞

1

n

n−1∑

k=0

f(Xk).

Corollaire 8 : Une chaine irréductible est récurrente positive si etseulement si elle possède une probabilité stationnaire (et celle-ci estalors unique).

Corollaire 8 : Une chaine irréductible sur un espace d’états finipossède une et une seule probabilité stationnaire π et tous ses étatssont récurrents positifs.


En pratique, pour trouver la probabilité invariante éventuelle d’unechaine irréductible, on peut

commencer par chercher des mesures réversibles γ,




si on en trouve une, alors la mesure m = γ est invariante,





si on n’en trouve pas, on ne peut conclure et il faut revenir à larecherche directe de mesures invariantes,






si on ne trouve pas de mesure invariante non identiquement nulle,alors la chaine est transiente.







si on a trouvé une mesure invariante m non identiquement nulle :








- ou bien∑

x m(x) < +∞, la chaine est alors récurrente positiveet la probabilité invariante est π(x) = m(x)/

∑

y m(y),








- ou bien∑

x m(x) < +∞, la chaine est alors récurrente positiveet la probabilité invariante est π(x) = m(x)/

∑

y m(y),- ou bien

∑

x m(x) = +∞, la chaine est alors récurrente nulle outransiente.


III. Cas d’une chaine non irr eductible



Lemme 10 : Soit C une classe fermée et m une mesure portée par C(c’est-à-dire telle que m(Cc) = 0). Alors m est invariante pour la chainede Markov initiale si et seulement si elle est invariante pour la chainede Markov restreinte à C.



Lemme 10 : Soit C une classe fermée et m une mesure portée par C(c’est-à-dire telle que m(Cc) = 0). Alors m est invariante pour la chainede Markov initiale si et seulement si elle est invariante pour la chainede Markov restreinte à C.

Théorème 10 : Soit C une classe fermée irréductible formée d’étatsrécurrents positifs, alors la chaine possède une et une seule probabilitéstationnaire π concentrée sur C. Elle est donnée par :

π(x) =

{

1Ex(Tx) si x ∈ C,

0 sinon.


Théorème 11 : Soit (Ck)k∈K (K fini ou dénombrable) l’ensemble desclasses récurrentes irréductibles qui sont récurrentes positives(c’est-à-dire formées d’états récurrents positifs). Notons πk (k ∈ K)l’unique probabilité stationnaire concentrée sur Ck. Alors lesprobabilités stationnaires de la chaine sont les mesures de la forme :

π =∑

k∈K

ck πk, avec ck ≥ 0,∑

k∈K

ck = 1.


IV. Convergence en loi vers la loi stationnaire



Tous les résultats suivants sont admis.




Définition : Etant donné x ∈ E pour lequel Px(Tx < +∞) > 0(c’est-à-dire il existe n ≥ 1 tel que pn(x, x) > 0), sa période dx est lep.g.c.d. de {n : n ≥ 1, pn(x, x) > 0}.





Remarque :1 ≤ dx ≤ min{n ≥ 1 : pn(x, x) > 0},

en particulier s’il existe x tel que p(x, x) > 0, alors dx = 1.







Proposition 12 : Si x conduit à y alors dx = dy Par conséquent, tous leséléments d’une chaine de Markov irréductible ont même période.







Proposition 12 : Si x conduit à y alors dx = dy Par conséquent, tous leséléments d’une chaine de Markov irréductible ont même période.

On dit que la chaine est périodique de période d si d > 1 et apériodiquesi d = 1.


Théorème 13 :Soit (Xn)n∈N une chaine de Markov récurrente irréductible.

Si elle est récurrente nulle, alors :

limn→+∞

pn(x, y) = limn→+∞

Px(Xn = y) = 0.

Si elle est récurrente positive de loi stationnaire π :soit elle est apériodique, et alors :

limn→+∞

pn(x, y) = limn→+∞

Px(Xn = y) = π(y).

soit elle est périodique de période d, et alors pour tout couplex, y d’états de E, il existe un entier r (0 ≤ r < d) dépendant de xet y, tel que :

Px(Xn = y) = 0 si n n′est pas de la forme md + r avec m ∈ N

limm→+∞

Px(Xmd+r = y) = d π(y).


Application : algorithme de M etropolis



But : simuler une v.a. Z à valeurs dans E fini, de loi π(> 0) donnée,mais π n’est connue qu’à un coefficient multiplicatif près qu’on ne peutcalculer car E est trop grand.




En fait on simule une chaine de Markov récurrente, irréductible etapériodique (Xn)n≥0 de loi stationnaire π.





On se donne une fonction de transition q symétrique(q(x, y) ≥ 0,

∑

y q(x, y) = 1, q(x, y) = q(y, x)) et irréductible.






∑


On suppose que Xk = x,- on tire y avec la probabilité q(x, ·)

- on prend Xk+1 = y avec probabilité min(π(y)π(x) , 1) et Xn+1 = x avec

probabilité 1 − min(π(y)π(x) , 1).






∑


On suppose que Xk = x,- on tire y avec la probabilité q(x, ·)

- on prend Xk+1 = y avec probabilité min(π(y)π(x) , 1) et Xn+1 = x avec

probabilité 1 − min(π(y)π(x) , 1).

Alors la probabilité π est réversible pour la chaine de Markov (Xn)n≥0.La chaine est irréductible, récurrente positive et apériodique. On prendZ = Xn pour n "grand".


Application : recuit simul e

But : minimiser une fonction U définie sur un espace fini mais trèsgrand.




Soit T > 0 (la température). On pose

πT (x) =e−

1

TU(x)

ZT

,

ZT constante de normalisation (inconnue).





πT (x) =e−

1

TU(x)

ZT

,


Lorsque T tend vers 0, πT converge vers la loi uniforme sur l’ensembledes points où U est minimum (minimum global).





πT (x) =e−

1

TU(x)

ZT

,



On simule πT tout en faisant tendre la température vers 0 :





πT (x) =e−

1

TU(x)

ZT

,



On simule πT tout en faisant tendre la température vers 0 :

on construit une chaine de Markov inhomogène en temps, telle que laloi de Xn tende vers la loi uniforme sur l’ensemble des points où U estminimum (minimum global).


On utilise l’algorithme de Métropolis mais en faisant varier latempérature.



On suppose que Xk = x,pour construire Xk+1 :- on tire y avec la probabilité q(x, ·),- si U(y) ≤ U(x) on prend Xk+1 = y,

- si U(y) > U(x) on prend Xk+1 = y avec probabilité e− 1

Tk(U(y)−U(x)) et

Xk+1 = x avec probabilité 1 − e− 1

Tk(U(y)−U(x)).



On suppose que Xk = x,pour construire Xk+1 :- on tire y avec la probabilité q(x, ·),- si U(y) ≤ U(x) on prend Xk+1 = y,

- si U(y) > U(x) on prend Xk+1 = y avec probabilité e− 1

Tk(U(y)−U(x)) et

Xk+1 = x avec probabilité 1 − e− 1

Tk(U(y)−U(x)).

Le fait de se laisser la possibilité de prendre Xk+1 = y même siU(y) > U(x) évite de rester piégé dans des points correspondant à desminima locaux . . . mais il faut que la température Tk ne décroisse pastrop vite vers 0.


Chapitre 3 Mesures stationnaires et théorèmes de...

Documents

Transcript of Chapitre 3 Mesures stationnaires et théorèmes de...