Introducción a las cadenas de Markov: I Tiempo discretorivero/vrivero/Material_para... · 2012. 9....

1/ 55

Introduccion a las cadenas de Markov: I Tiempo discreto

Introduccion a las cadenas de Markov: ITiempo discreto

Vıctor RIVERO

Centro de Investigacion en Matematicas A. C.

XI Escuela de Probabilidad y Estadıstica, 29 de Febrero a 2 de Marzo,2012, CIMAT

2/ 55


Introduccion

Preliminares

Preliminares(Ω,F ,P) un espacio de probabilidad

• Probabilidad condicional A,B ∈ F , tal que P(B) > 0, laprobabilidad del evento A dado B

P(A|B) =P(A ∩ B)

P(B).

• Formula de probabilidad total Sean B1, . . . ,Bn , . . . ∈ Ω, tales que∪∞k=1Bk = Ω entonces ∀A ∈ F

P(A) =∞∑

k=1

P(A ∩ Bk ) =∞∑

k=1

P(A|Bk ) P(Bk ).

• Formula de Bayes Sean A,B ,B1, . . . ,Bn ∈ F , tales que P(B) > 0 yΩ = ∪n

k=1Bk se tiene que

P(A|B) =P(B |A) P(A)∑nk=1 P(B ∩ Bk )

=P(B |A) P(A)∑n

k=1 P(B |Bk ) P(Bk ).

2/ 55


Introduccion

Preliminares

Preliminares(Ω,F ,P) un espacio de probabilidad

• Probabilidad condicional A,B ∈ F , tal que P(B) > 0, laprobabilidad del evento A dado B

P(A|B) =P(A ∩ B)

P(B).

• Formula de probabilidad total Sean B1, . . . ,Bn , . . . ∈ Ω, tales que∪∞k=1Bk = Ω entonces ∀A ∈ F

P(A) =∞∑

k=1

P(A ∩ Bk ) =∞∑

k=1

P(A|Bk ) P(Bk ).

• Formula de Bayes Sean A,B ,B1, . . . ,Bn ∈ F , tales que P(B) > 0y Ω = ∪n

k=1Bk se tiene que

P(A|B) =P(B |A) P(A)∑nk=1 P(B ∩ Bk )

=P(B |A) P(A)∑n

k=1 P(B |Bk ) P(Bk ).

3/ 55


Introduccion

Preliminares

• A,B ∈ F son independientes si

P(A ∩ B) = P(A) P(B)

• A,B ⊆ F son independientes si

P(A ∩ B) = P(A) P(B), ∀A ∈ A y ∀B ∈ B.

• X : Ω→ E es una variable aleatoria si para todo A ⊂ E ,B := X ∈ A := ω ∈ Ω|X (ω) ∈ A ∈ F .

Traduccion: ω ∈ Ω un experimento, X (ω) una caracterıstica delexperimento; B es el evento “los experimentos son tales que lacaracterıstica de interes toma un valor en A” y le podemos calcularprobabilidad ya que B ∈ F .

• X ,Y variables aleatorias son independientes si para todo A,B ⊂ E ,los eventos X ∈ A y Y ∈ B son independientes.

3/ 55


Introduccion

Preliminares

• A,B ∈ F son independientes si

P(A ∩ B) = P(A) P(B)

• A,B ⊆ F son independientes si

P(A ∩ B) = P(A) P(B), ∀A ∈ A y ∀B ∈ B.

• X : Ω→ E es una variable aleatoria si para todo A ⊂ E ,B := X ∈ A := ω ∈ Ω|X (ω) ∈ A ∈ F .Traduccion: ω ∈ Ω un experimento, X (ω) una caracterıstica delexperimento; B es el evento “los experimentos son tales que lacaracterıstica de interes toma un valor en A” y le podemos calcularprobabilidad ya que B ∈ F .

• X ,Y variables aleatorias son independientes si para todo A,B ⊂ E ,los eventos X ∈ A y Y ∈ B son independientes.

4/ 55


Introduccion

Procesos Estocasticos


DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo. Unproceso estocastico es una coleccion de variables aleatorias,Xt : Ω→ E , t ∈ T, indexadas por algun conjunto T .

Usualmente,

T =

0, 1, 2, . . . proceso estocastico a tiempo discreto,

R o R+ proceso estocastico a tiempo continuo.

El conjunto E es el espacio de estados. Si E es numerable se dice que elproceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.

Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.

4/ 55


Introduccion



DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo. Unproceso estocastico es una coleccion de variables aleatorias,Xt : Ω→ E , t ∈ T, indexadas por algun conjunto T . Usualmente,

T =





4/ 55


Introduccion




T =



El conjunto E es el espacio de estados. Si E es numerable se dice queel proceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.


4/ 55


Introduccion




T =





5/ 55


Introduccion


Ejemplos de proceso estocastico

Ejemplo

Lanzamiento de una moneda, E = aguila, sol = 0, 1.

Xn =

aguila psol 1− p

, p ∈ [0, 1], n ∈ Z+ .

Ejemplo (Pacientes)

Sea Xn el numero de pacientes graves que solicitan tratamiento el dıa nen la sala de emergencias del hospital la Raza en Mexico D.F.E = 0, 1, . . . ,K donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por dıa.

En ambos ejemplos las variables aleatorias son independientesentre si.

6/ 55


Introduccion


Ejemplo (Ajedrez)

Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.

Ejemplo

Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.

Claramente, Xn+1 = Xn + Y (X0)n+1 donde Y (X0)

n+1 denota la distanciarecorrida en el periodo [n,n + 1[ y esta depende del punto inicial.

En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn−1.

Ejemplo (El merenguero)

Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n ∈ 0, 1, 2, . . .. El espacio deestados es E = 0, 1, . . . ,N + M , donde N =nuestra fortuna yM =fortuna del merenguero.

7/ 55


Introduccion


Ejemplo (Evolucion de una epidemia en una poblacion)

Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m).

Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:

sano —>

contagiado (contagioso)

no contagiado (sano)

contagiado (contagioso)—>

enfermo

sano inmune

enfermo —>

sano inmune

muerto

sano inmune —> sano inmune,

muerto —> muerto.

7/ 55


Introduccion


Ejemplo (Evolucion de una epidemia en una poblacion)

Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m). Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:

sano —>

contagiado (contagioso)

no contagiado (sano)

contagiado (contagioso)—>

enfermo

sano inmune

enfermo —>

sano inmune

muerto

sano inmune —> sano inmune,

muerto —> muerto.

8/ 55


Introduccion


Ejemplo (Procesos de Ramificacion)

Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X .

Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+, yel numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zn∑i=1

X (n)i ,

donde X (n)i el numero de descendientes del i -esimo individuo presente en

la poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

8/ 55


Introduccion



Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion.

Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+, yel numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zn∑i=1

X (n)i ,



8/ 55


Introduccion



Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion.

E = Z+,y el numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zn∑i=1

X (n)i ,



8/ 55


Introduccion



Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zn∑i=1

X (n)i ,


la poblacion en la n-esima generacion.

Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

8/ 55


Introduccion



Al tiempo inicial n = 0 hay una partıcula. Al tiempo n = 1 esta partıculamuere y da nacimiento a X partıculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partıculaexistente muere y da nacimiento a un numero aleatorio de partıculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n ≥ 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partıculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zn∑i=1

X (n)i ,



9/ 55


Introduccion


Ejemplo (Inventarios)

Una tienda de aparatos electronicos vende televisiones y opera bajo elsiguiente esquema. Si al final del dıa el numero de unidades disponibles es1 o 0, se ordenan nuevas unidades para llevar el total a 5. Supondremosque la mercancıa llega antes de que la tienda abra al dıa siguiente. SeaXn el numero de unidades disponibles en la tienda al final del n-esimodıa y supongamos que diariamente el numero de clientes que compran unipod es 0, 1, 2 o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.

Xn+1 =

(Xn −Dn+1)+ si Xn > 1(5−Dn+1)+ si Xn ≤ 1

Con Dn+1 la demanda el dıa n + 1.

10/ 55


Nociones basicas de cadenas de Markov

Definicion de Cadena de Markov

En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto.

Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,

P (Evento del pasado ∩ Evento del futuro|Evento del presente)= P (Evento del pasado|Evento del presente)× P (Evento del futuro|Evento del presente) .

10/ 55




En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de Markov

Dicho de otro, dado el presente, el futuro es independientemente delpasado,


10/ 55




En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,


11/ 55




Cadenas de Markov

DefinicionSea (Ω,F ,P) un espacio de probabilidad y E un conjunto no vacıo, finitoo numerable. Un proceso estocastico o sucesion de variables aleatorias

Xn : Ω→ E ,n ∈ N,

se llama cadena de Markov con espacio de estados E si satisface lacondicion de Markov, es decir, si para todo n ≥ 1 y toda sucesionx0, x1, . . . , xn−1, xn , xn+1 ∈ E , se cumple:

P (Xn+1 = xn+1|Xn = xn ,Xn−1 = xn−1, . . . ,X0 = x0)= P (Xn+1 = xn+1|Xn = xn) .

(1)

La distribucion de X0 se llama distribucion inicial de la cadena y enmuchos casos la denotaremos por π(x ) = P(X0 = x ), x ∈ E .

12/ 55



Algunas precisiones

• Supondremos que E ⊆ Z, y en consecuencia E es ordenado.

• La familia

P (Xn+1 = y |Xn = x ) ,n ∈ N, x , y ∈ E,

se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.

• Para todo n ∈ N y x ∈ E se tiene que

1 = P (Xn+1 ∈ E |Xn = x )= P (∪y∈EXn+1 = y|Xn = x )

=∑y∈E

P (Xn+1 = y |Xn = x ) .

13/ 55



Algunas precisiones

• Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si

P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, ∀x , y ∈ E ,

diremos que la cadena es homogenea con respecto al tiempo.

• En este curso solo nos interesaremos por las cadenas de Markovhomogeneas en el tiempo y en la mayorıa de los casos con espacio deestados E finito.

• La familia de probabilidades de transicion

P = Px ,y , (x , y) ∈ E × E,

sera llamada matriz de transicion de la cadena. P cumple que∑y∈E

Px ,y =∑y∈E

P (Xn+1 = y |Xn = x ) = 1, x ∈ E .

Se dice que P , es una matriz estocastica o de Markov.• Diremos que el proceso estocastico Xn ,n ∈ N es una cadena de

Markov (π,P), donde π es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

13/ 55



Algunas precisiones



diremos que la cadena es homogenea con respecto al tiempo.• En este curso solo nos interesaremos por las cadenas de Markov

homogeneas en el tiempo y en la mayorıa de los casos conespacio de estados E finito.


P = Px ,y , (x , y) ∈ E × E,


Px ,y =∑y∈E

P (Xn+1 = y |Xn = x ) = 1, x ∈ E .



13/ 55



Algunas precisiones




homogeneas en el tiempo y en la mayorıa de los casos con espacio deestados E finito.


P = Px ,y , (x , y) ∈ E × E,


Px ,y =∑y∈E

P (Xn+1 = y |Xn = x ) = 1, x ∈ E .

Se dice que P , es una matriz estocastica o de Markov.

• Diremos que el proceso estocastico Xn ,n ∈ N es una cadena deMarkov (π,P), donde π es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

13/ 55



Algunas precisiones




homogeneas en el tiempo y en la mayorıa de los casos con espacio deestados E finito.


P = Px ,y , (x , y) ∈ E × E,


Px ,y =∑y∈E

P (Xn+1 = y |Xn = x ) = 1, x ∈ E .



14/ 55



Ejemplos de matrices de transicion

El sistema Bonus-Malus en el seguro de automoviles

En Hong Kong y en otros lugares del mundo, se usa un sistema para fijarlas primas de seguro de automovil conocido como Bonus-Malus queconsiste de 6 clases de tarificacion, de 1 fort bonus a 6 fort malus, que serige por las siguientes reglas:

si un asegurado no tuvo siniestros durante el periodo, entonces pasade la categorıa i a la categorıa max1, i − 1,si el asegurado tiene al menos un siniestro entonces pasa de lacategorıa i a la 6.

Si Xn denota la categorıa en cual se encuentra un individuo al n-esimoperiodo entonces Xn ,n ≥ 0 es una cadena de Markov con espacio deestados 1, 2, . . . , 6. Un asegurado tiene un siniestro con probabilidad1− p en un periodo.

15/ 55




La matriz de transicion asociada esta dada por

P =

p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p

.

¿Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n−1N j

n , dado que X0 = j ?¿Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categorıa. c es unafuncion definida en 1, 2, . . . , 6 no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

1n

n∑j=1

c(Xj ),=6∑

j=1

c(j )N (n)

j

n

15/ 55





P =

p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p

.

¿Cual es la proporcion de tiempo que un cliente pasa en el estadoj despues de n pasos, n−1N j

n , dado que X0 = j?

¿Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categorıa. c es unafuncion definida en 1, 2, . . . , 6 no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

1n

n∑j=1

c(Xj ),=6∑

j=1

c(j )N (n)

j

n

15/ 55





P =

p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p

.


n , dado que X0 = j ?¿Cual es la prima promedio que paga un asegurado?

Sea c unafuncion que determina la prima a pagar en funcion de la categorıa. c esuna funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

n∑j=1

c(Xj ),=6∑

j=1

c(j )N (n)

j

n

15/ 55





P =

p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p

.


n , dado que X0 = j ?¿Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categorıa. c es unafuncion definida en 1, 2, . . . , 6 no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

1n

n∑j=1

c(Xj ),=6∑

j=1

c(j )N (n)

j

n

16/ 55




Ejemplo (Merenguero)

En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n ≥ 0. Sn ,n ≥ 0 es unacadena de Markov con matriz de transicion

P(Sn+1 = j |Sn = i) = Pi,j =

1, si i , j = 0p si 0 < i < N + M , j = i + 11− p si 0 < i < N + M , j = i − 11 si i , j = N + M0 en otro caso

y ley inicial P(S0 = M ) = 1. ¿Cuando retirarse del juego? ¿Cual es laprobabilidad de que el merenguero pierda todo su capıtal?¿Cual esel tiempo promedio que durara el juego?

16/ 55






P(Sn+1 = j |Sn = i) = Pi,j =


y ley inicial P(S0 = M ) = 1.

¿Cuando retirarse del juego? ¿Cual es laprobabilidad de que el merenguero pierda todo su capıtal?¿Cual esel tiempo promedio que durara el juego?

16/ 55






P(Sn+1 = j |Sn = i) = Pi,j =


y ley inicial P(S0 = M ) = 1. ¿Cuando retirarse del juego? ¿Cual es laprobabilidad de que el merenguero pierda todo su capıtal?¿Cual esel tiempo promedio que durara el juego?

17/ 55




LemaSea Sn ,n ≥ 0 una caminata aleatoria simple en 0, 1, . . . ,N , conbarreras absorbentes en 0 y N ; Pi,i+1 = p y q = Pi,i−1 = 1− p,0 < i < N , P0,0 = 1 = PN ,N . Se tiene que

P(Caminata absorbida en 0|S0 = j ) =

( q

p )j−( qp )N

1−( qp )N , si p 6= q

N−jN , si p = q = 1/2.

Si T es el tiempo de absorcion en 0,N , T = infn ≥ 0 : Sn ∈ 0,N entonces

E (T |S0 = j ) =

jq−p −

Nq−p

1−( qp )j

1−( qp )N , si p 6= q

j (N − j ), si p = q = 1/2.

18/ 55




Demostracion: Tecnica del primer paso

h(j ) = P(Caminata absorbida en 0|S0 = j ) es solucion al sistema deecuaciones lineales

h(j ) = ph(j + 1) + qh(j − 1), 0 < j < N , h(0) = 1, h(N ) = 0.

L(j ) = E (T |S0 = j ) , es solucion al sistema de ecuaciones lineales

L(0) = 0 = L(N ), L(j ) = 1 +pL(j + 1) + qL(j −1), 0 < j < N .

19/ 55




Caminatas aleatorias en Zd

S0 ∈ Zd , (Yi , i ≥ 1) v.a.i.i.d. toman en Zd , y son independientes de S0.Al proceso estocastico (Sn ,n ≥ 0)

Sn+1 = Sn + Yn+1, n ≥ 0,

se le llama caminata aleatoria.

En Z2 se ve

19/ 55




Caminatas aleatorias en Zd

S0 ∈ Zd , (Yi , i ≥ 1) v.a.i.i.d. toman en Zd , y son independientes de S0.Al proceso estocastico (Sn ,n ≥ 0)

Sn+1 = Sn + Yn+1, n ≥ 0,

se le llama caminata aleatoria. En Z2 se ve

20/ 55




En Z3,

mientras que en Londres se ve como

20/ 55




En Z3, mientras que en Londres se ve como

21/ 55




Ejemplo (La cadena de Ehrenfest)

T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocasticoXn ,n ∈ N definido por

Xn = #moleculas presentes en la urna A al instante n, n ∈ N,

es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .¿Cuales son las probabilidades de transicion? Se tiene que

P0,j =

1 si j = 1,0 en otro caso

PN ,j =

1 j = N − 1,0 en otro caso,

Pi,j =

0, si|i − j | > 1,iN si j = i − 1,N−iN si j = i + 1,

0 si i = j .

, para i ∈ 1, 2, . . . ,N − 1.

21/ 55







es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .

¿Cuales son las probabilidades de transicion? Se tiene que

P0,j =


PN ,j =


Pi,j =


0 si i = j .

, para i ∈ 1, 2, . . . ,N − 1.

21/ 55







es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .¿Cuales son las probabilidades de transicion?

Se tiene que

P0,j =


PN ,j =


Pi,j =


0 si i = j .

, para i ∈ 1, 2, . . . ,N − 1.

21/ 55







es una cadena de Markov y su espacio de estados 0, 1, 2, . . . ,N .¿Cuales son las probabilidades de transicion? Se tiene que

P0,j =


PN ,j =


Pi,j =


0 si i = j .

, para i ∈ 1, 2, . . . ,N − 1.

22/ 55



Recurrencia aleatoria y simulacion


Sean X0 es una variable aleatoria que toma valores en E ,Yn : Ω→ S ,n ∈ N, una sucesion de variables aleatoriasindependientes entre si y de X0 y F : E × S → E . En general, cualquierfenomeno descrito por una relacion en recurrencia aleatoria de la forma

Xn+1 = F (Xn ,Yn+1), n ∈ N,

es una cadena de Markov.

23/ 55




Toda cadena de Markov con espacio de estados finito se puede simularusando esto. Sea Xn ,n ≥ 0 una cadena de Markov (π,P) y

E = 0, 1, . . . ,M . El proceso estocastico definido mediante X0 ∼ X0,

Xn+1 = F (Xn ,Yn+1),

para n ≥ 0,

con F : E × [0, 1]→ E , definida como x ∈ E , z ∈ [0, 1],

F (x , z ) = mini ∈ E :i∑

j=0

Px ,j > z,

y Yi ∼ Uniforme[0, 1], tiene la misma distribucion que

X = (Xn ,n ≥ 0)

.

Las probabilidades de transicion de X estan dadas por

P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

= P

(l−1∑j=0

Px ,j ≤ Yn+1 <

l∑j=0

Px ,j

)= Px ,l .

23/ 55






Xn+1 = F (Xn ,Yn+1),

para n ≥ 0, con F : E × [0, 1]→ E , definida como x ∈ E , z ∈ [0, 1],

F (x , z ) = mini ∈ E :i∑

j=0

Px ,j > z,


X = (Xn ,n ≥ 0).

Las probabilidades de transicion de X estan dadas por

P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

= P

(l−1∑j=0

Px ,j ≤ Yn+1 <

l∑j=0

Px ,j

)= Px ,l .

23/ 55






Xn+1 = F (Xn ,Yn+1),

para n ≥ 0, con F : E × [0, 1]→ E , definida como x ∈ E , z ∈ [0, 1],

F (x , z ) = mini ∈ E :i∑

j=0

Px ,j > z,


X = (Xn ,n ≥ 0). Las probabilidades de transicion de X estan dadas por

P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

= P

(l−1∑j=0

Px ,j ≤ Yn+1 <

l∑j=0

Px ,j

)= Px ,l .

24/ 55



Probabilidades de Trayectorias

• La probabilidad de que una cadena de Markov siga la trayectoriax0, x1, . . . , xn esta dada por

P(X0 = x0,X1 = x1, . . . ,Xn = xn)= P(X0 = x0) Px0,x1 Px1,x2 · · ·Pxn−1,xn

.

¿Como se justifica esta identidad?

• Si A ⊆ En+1 es tal que

A = ∪(x0,x1,...,xn)∈Ax0, x1, . . . , xn

entonces

P ((X0,X1, . . . ,Xn) ∈ A)

=∑

(x0,x1,...,xn)∈A

P(X0 = x0) Px0,x1 Px1,x2 · · ·Pxn−1,xn.

25/ 55



Inferencia para matrices de transicion

¿Como se estima la matriz de transicion?Usando verosimilitud.

P(X0 = x0,X1 = x1,X2 = x2, . . . ,Xn = xn)

= P(X0 = x0)Px0,x1Px1,x2 · · ·Pxn−1,xn = P(X0 = x0)∏

i,j∈E

Pn∗i,ji,j ,

donde n∗i,j = #transiciones de i a j en la sucesion x0, x1, x2, . . . , xn.

Se debe maximizar en (Pi,j , i , j ∈ E , λa , a ∈ E ), la funcion∑i,j∈E

n∗i,j log Pi,j +∑i∈E

λi(1−∑j∈E

Pi,j ).

Derivando e igualando a ceron∗a,bPa,b

− λa = 0 ⇐⇒ Pa,b =n∗a,bλa

, a, b ∈ E . Usando la restriccion∑j∈E Pa,j = 1 y definiendo n∗a :=

∑j∈E n∗a,j , se ve que el EMV es

Pa,b =n∗a,bn∗a

, a, b ∈ E .

25/ 55




¿Como se estima la matriz de transicion?Usando verosimilitud.

P(X0 = x0,X1 = x1,X2 = x2, . . . ,Xn = xn)

= P(X0 = x0)Px0,x1Px1,x2 · · ·Pxn−1,xn = P(X0 = x0)∏

i,j∈E

Pn∗i,ji,j ,

donde n∗i,j = #transiciones de i a j en la sucesion x0, x1, x2, . . . , xn.Se debe maximizar en (Pi,j , i , j ∈ E , λa , a ∈ E ), la funcion∑

i,j∈E

n∗i,j log Pi,j +∑i∈E

λi(1−∑j∈E

Pi,j ).

Derivando e igualando a ceron∗a,bPa,b

− λa = 0 ⇐⇒ Pa,b =n∗a,bλa

, a, b ∈ E . Usando la restriccion∑j∈E Pa,j = 1 y definiendo n∗a :=

∑j∈E n∗a,j , se ve que el EMV es

Pa,b =n∗a,bn∗a

, a, b ∈ E .

26/ 55




Ejemplo (Pesquerıas)

En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.

Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo

P =

A B C D

A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0

.

Solamente puede ser usado para estudiar lo ocurrido en el periodomuestreado mas no para predecir.

26/ 55





En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.

Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo

P =

A B C D

A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0

.


26/ 55





En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.

Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo

P =

A B C D

A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0

.


26/ 55





En Karnataka, costa oeste de India, se pesca principalmente lo que seencuentra en las capas superiores del mar abierto: Sardina (A), Mackerel(B), Carangids (C), Whitebaits (D). Trimestralmente se mide cual es laespecie dominante.Se tiene evidencia estadıstica de que la predominancia de especies en untrimestre solo depende del trimestre anterior.Xn =especie dominante el trimestre n, Xn ∈ A,B ,C ,D. Xn ,n ≥ 0es una cadena de Markov.Usando muestreos realizados entre 1961 y 2003 y el EMV de lasprobabilidades de transicion se obtuvo

P =

A B C D

A 0.6786 0.22619 0.0238 0.0714B 0.2879 0.5606 0.1212 0.0303C 0.3333 0.3889 0.2778 0D 0.25 0.375 0.375 0

.


27/ 55


Ecuaciones de Chapman-Kolmogorov

• Para x , y ∈ E se define a P(0)x ,y como

P(0)x ,y = δx ,y =

1 si x = y0 si x 6= y

.

A la funcion δ·,· se le conoce como la delta de Kronecker. A lamatriz cuyas entradas estan dadas por δx ,y , x , y ∈ E se ledenotara por I .

• Para m ≥ 1 y para x , y ∈ E denotaremos por P(m)x ,y a la probabilidad

de ir del estado x al estado y en m pasos, es decir

P(m)x ,y = P (Xn+m = y |Xn = x ) , para n ≥ 0.

28/ 55



Se dice que un vector λi , i ∈ E, es un vector de probabilidad si∑i∈E λi = 1. El producto de dos matrices estocasticas se define como

ABx ,y =∑z∈E

Ax ,zBz ,y ,

y la de una matriz estocastica A y un vector de probabilidad λ como

λAy =∑x∈E

λxAx ,y .

El producto de dos matrices estocasticas es una matriz estocasticay el producto por la izquierda de un vector de probabilidad con unamatriz estocastica es un vector de probabilidad

29/ 55



Proposicion (Ecuaciones de Chapman-Kolmogorov)

Sea Xn ,n ∈ N una cadena de Markov con matriz de transicion P yvector de probabilidad inicial π(x ) = P(X0 = x ), x ∈ E . Se tiene que

P(Xn = y |X0 = x ) = P(n)x ,y =

∑z∈E

P(s)x ,z P(r)

z ,y , ∀n ∈ N ∀x , y ∈ E ,

donde r , s son cualesquiera dos enteros tales que r + s = n. En

particular, la matriz P (n)x ,y , (x , y) ∈ E × E es la n-esima potencia de la

matriz P . Ademas,P(Xn = y) = πP(n)

y .

30/ 55



La probabilidad de que en el intervalo [m,m + n] la cadena realice latrayectoria xm , xm+1, . . . , xm+n esta dada por

P(Xm = xm ,Xm+1 = xm+1, . . . ,Xm+n = xm+n)= P(Xm+1 = xm+1, . . . ,Xm+n = xm+n |Xm = xm) P(Xm = xm)= P(Xm = xm) Pxm ,xm+1 Pxm+1,xm+2 · · ·Pxm+n−1,xm+n

= πP(m)xm︸︷︷︸

ir del estado inicial a xm

Pxm ,xm+1 Pxm+1,xm+2 · · ·Pxm+n−1,xm+n︸︷︷︸realizar la trayectoria xm , xm+1, . . . xm+n

31/ 55



Un ejemplo menos simple pero mas interesante es: la probabilidad delevento “X visita el estado x en el instante k por la primera vez” estadada por

P (X visita el estado x en el instante k por la primera vez)

=∑

x0,x1,...,xk−1∈E\x

P(X0 = x0,X1 = x1, . . . ,Xk−1 = xk−1,Xk = x )

=∑

x0,x1,...,xk−1∈E\x

π(x0) Px0,x1 Px1,x2 · · ·Pxk−1,x .

32/ 55



Cadena con dos estados


Sea Xn ,n ≥ 0 una cadena de Markov con dos estados E = 0, 1, ymatriz de transicion dada por(

1− α αβ 1− β

),

para algunos α, β ∈ [0, 1], tales que 0 < α+ β < 2.

¿Cual es el valor dela probabilidad de ir de un estado a otro en n-pasos? La ecuacion deChapman-Kolmogorov implica

P(Xn = 0|X0 = 0) = P(n)0,0 , n ≥ 1.

32/ 55






1− α αβ 1− β

),

para algunos α, β ∈ [0, 1], tales que 0 < α+ β < 2. ¿Cual es el valor dela probabilidad de ir de un estado a otro en n-pasos?

La ecuacion deChapman-Kolmogorov implica

P(Xn = 0|X0 = 0) = P(n)0,0 , n ≥ 1.

32/ 55






1− α αβ 1− β

),

para algunos α, β ∈ [0, 1], tales que 0 < α+ β < 2. ¿Cual es el valor dela probabilidad de ir de un estado a otro en n-pasos? La ecuacion deChapman-Kolmogorov implica

P(Xn = 0|X0 = 0) = P(n)0,0 , n ≥ 1.

33/ 55




Se tiene que P(0)(0,0) = 1, y para n ≥ 0,

P(n+1)(0,0) =

(P(n)×P

)(0,0)

= (1− α) P(n)(0,0) +βP(n)

(0,1) condicionando % posicion al tiempo n,

= (1− α) P(n)(0,0) +β(1−P(n)

(0,0)) P(n)(0,0) + P(n)

(0,1) = 1

= (1− α− β) P(n)(0,0) +β;

Se verifica mediante induccion que

P(n)(0,0) =

β

α+ β+

α

α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .

Y por lo tanto

P(n)(0,1) =

α

α+ β− α

α+ β(1− α− β)n , n ∈ 1, 2, 3, . . .

34/ 55




Por simetrıa,

P(n)(1,1) =

α

α+ β+

β

α+ β(1− α− β)n ,

P(n)(1,0) =

β

α+ β− β

α+ β(1− α− β)n , n ∈ 2, 3, . . .

En resumen,

P(n) =1

α+ β

(β αβ α

)+

(1− α− β)n

α+ β

(α −α−β β

).

Se tiene que −1 < 1− α− β < 1, y por lo tanto para n suficientementegrande

P(n) ∼

(β

α+βα

α+ββ

α+βα

α+β

).

Es decir que para i = 0, 1

limn→∞

P(Xn = 0|X0 = i) =β

α+ β, lim

n→∞P(Xn = 1|X0 = i) =

α

α+ β

35/ 55




El lımite de P(n) es una matriz de transicion cuyos renglones son igualesal vector el vector λ := (λ0, λ1) definido por

λ0 =β

α+ β, λ1 =

α

α+ β.

Ademas, λ satisface el sistema de ecuaciones λP = λ,

(λ0, λ1)(

1− α αβ 1− β

)= (λ0, λ1)

y λ0 + λ1 = 1. Se dice que λ es un vector de probabilidad invariante.Teorema En general, si E es finito y ∃x ∈ E para el cual

limn→∞

P(n)x ,y := λ(y), ∀y ∈ E ,

entonces λ = (λ(z ))z∈E es un vector de probabilidad tal que λP = λ.

35/ 55





λ0 =β

α+ β, λ1 =

α

α+ β.


(λ0, λ1)(

1− α αβ 1− β

)= (λ0, λ1)

y λ0 + λ1 = 1. Se dice que λ es un vector de probabilidad invariante.

Teorema En general, si E es finito y ∃x ∈ E para el cual

limn→∞

P(n)x ,y := λ(y), ∀y ∈ E ,


35/ 55





λ0 =β

α+ β, λ1 =

α

α+ β.


(λ0, λ1)(

1− α αβ 1− β

)= (λ0, λ1)

y λ0 + λ1 = 1. Se dice que λ es un vector de probabilidad invariante.Teorema En general, si E es finito y ∃x ∈ E para el cual

limn→∞

P(n)x ,y := λ(y), ∀y ∈ E ,


36/ 55



La cadena de Ehrenfest


Supongamos que en el modelo de Ehrenfest se tienen 4 partıculas, esto esN = 4 y se tiene que P esta dada por

P =

0 1 0 0 014 0 3

4 0 00 2

4 0 24 0

0 0 34 0 1

40 0 0 1 0

.

En un numero par (respectivamente, impar) de pasos solo podemosmovernos entre estados que se encuentran a distancia par(respectivamente, impar), por ejemplo, sı empezamos en 2 en un numeropar de pasos solo podemos movernos a los estados 0, 2, y 4.

37/ 55




Se intuye un comportamiento periodico

P(2) =

0.25 0 0.75 0 0

0 0.625 0 0.375 00.125 0 0.75 0 0.125

0 0.375 0 0.625 00 0 0.75 0 0.250

En general, para k ≥ 1,

P(2k) =

+ 0 + 0 +0 + 0 + 0+ 0 + 0 +0 + 0 + 0+ 0 + 0 +

P(2k+1) =

0 + 0 + 0+ 0 + 0 +0 + 0 + 0+ 0 + 0 +0 + 0 + 0

38/ 55




P(128) =

0.06666667 0 0.6666667 0 0.2666667

0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667

0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667

P(129) =

0 0.4 0 0.6 0

0.08333333 0 0.75 0 0.16666670 0.4 0 0.6 0

0.08333333 0.0 0.75 0 0.16666670 0.4 0 0.6 0

.

Las potencias pares de P mayores de 128 son iguales a P(128) y lasimpares a P(129).No puede haber un lımite de la matriz de transicion.

38/ 55




P(128) =

0.06666667 0 0.6666667 0 0.2666667

0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667

0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667

P(129) =

0 0.4 0 0.6 0

0.08333333 0 0.75 0 0.16666670 0.4 0 0.6 0

0.08333333 0.0 0.75 0 0.16666670 0.4 0 0.6 0

.

Las potencias pares de P mayores de 128 son iguales a P(128) y lasimpares a P(129).

No puede haber un lımite de la matriz de transicion.

38/ 55




P(128) =

0.06666667 0 0.6666667 0 0.2666667

0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667

0 0.3333333 0 0.6666667 00.06666667 0 0.6666667 0 0.2666667

P(129) =

0 0.4 0 0.6 0

0.08333333 0 0.75 0 0.16666670 0.4 0 0.6 0

0.08333333 0.0 0.75 0 0.16666670 0.4 0 0.6 0

.

Las potencias pares de P mayores de 128 son iguales a P(128) y lasimpares a P(129).No puede haber un lımite de la matriz de transicion.

39/ 55


Comunicacion

TeoremaPara cualesquiera x , y ∈ E , se tiene que las siguientes afirmaciones sonequivalentes:

(i) Del estado x se puede acceder al estado y , x → y , i.e. ∃n ≥ 0,P (n)

x ,y > 0,(ii) Px ,x1 Px1,x2 ·Pxn−2,xn−1 Pxn−1,y > 0, para algunos

x1, . . . , xn−1 ∈ E ; o dicho de otro modo, con probabilidad positivaexiste una trayectoria que lleva de x a y .

(iii) P(Xn = y para algun n ≥ 1|X0 = x ) > 0.

40/ 55


Recurrencia y Transitoriedad

DefinicionPara x ∈ E , definimos Tx = infn ≥ 1 : Xn = x, el primer tiempo deentrada a x .

Diremos que un estado x ∈ E es recurrente si

P(Tx <∞|X0 = x ) = P(Xn = x para algun n ≥ 1|X0 = x ) = 1.

Diremos que un estado x ∈ E es transitorio si

P(Tx <∞|X0 = x ) = P(Xn = x para algun n ≥ 1|X0 = x ) < 1.

41/ 55


Recurrencia y Transitoriedad

Proposicion

Si x es recurrente

P(Xn = x para una infinidad de n’s |X0 = x ) = 1

Si x es transitorio

P(Xn = x para una infinidad de n’s |X0 = x ) = 0.

Sean ρx = P(Tx <∞|X0 = x ) y Nx la variable aleatoria que cuentael numero total de visitas al estado x . Se tiene que Nx sigue una leygeometrica, es decir que

P(Nx = k |X0 = x ) = (ρx )k−1 (1− ρx ), k ≥ 1.

42/ 55


Ley fuerte

Sea N yn el numero de visitas al estado y en n pasos.

Teorema (Ley fuerte)

Para y ∈ E estado transitorio N yn <∞ con probabilidad 1.

Para y ∈ E estado recurrente,

limn→∞

1n

N yn =

1Ty<∞

E(Ty |X0 = y), con probabilidad 1.

y

limn→∞

1n

E (N yn |X0 = x ) =

P(Ty <∞|X0 = x )E(Ty |X0 = y)

, ∀x ∈ E .

Si E es finito e irreducible entonces el vector

π(y) =1

E(Ty |X0 = y), x ∈ E ,

es el unico vector de probabilidad invariante.

43/ 55


Ley fuerte

El sistema Bonus-Malus en el seguro de automoviles

En Hong Kong y en otros lugares del mundo, se usa un sistema para fijarlas primas de seguro de automovil conocido como Bonus-Malus queconsiste de 6 clases de tarificacion, de 1 fort bonus a 6 fort malus, que serige por las siguientes reglas:

si un asegurado no tuvo siniestros durante el periodo, entonces pasade la categorıa i a la categorıa max1, i − 1,si el asegurado tiene al menos un siniestro entonces pasa de lacategorıa i a la 6.

Si Xn denota la categorıa en cual se encuentra un individuo al n-esimoperiodo entonces Xn ,n ≥ 0 es una cadena de Markov con espacio deestados 1, 2, . . . , 6

44/ 55


Ley fuerte


P =

p 0 0 0 0 1− pp 0 0 0 0 1− p0 p 0 0 0 1− p0 0 p 0 0 1− p0 0 0 p 0 1− p0 0 0 0 p 1− p

.

Si p ∈ (0, 1) el unico vector π = (π(1), π(2), . . . , π(6)) que es invariantepara la matriz P, es decir πP = π, y que satisface queπ(1) + π(2) + · · ·+ π(6) = 1, es el vector dado por

π(1) = p5, π(2) = p4(1− p), π(3) = p3(1− p),

π(4) = p2(1− p), π(5) = p(1− p), π(6) = (1− p).

45/ 55


Ley fuerte

¿Cual es la proporcion de tiempo que un cliente pasa en el estadoj despues de n pasos, n−1N j

n , dado que X0 = j?

Dado que la cadenaes irreducible y con espacio de estados finito

1n

N jn ∼ π(j ) =

1E(Tj |X0 = j )

,

con probabilidad 1.¿Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categorıa. ces una funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

n∑j=1

c(Xj ),=6∑

j=1

c(j )N (n)

j

n∼

6∑j=1

π(j )c(j ),

con probabilidad 1.

45/ 55


Ley fuerte


n , dado que X0 = j ? Dado que la cadena esirreducible y con espacio de estados finito

1n

N jn ∼ π(j ) =

1E(Tj |X0 = j )

,

con probabilidad 1.

¿Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categorıa. ces una funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

n∑j=1

c(Xj ),=6∑

j=1

c(j )N (n)

j

n∼

6∑j=1

π(j )c(j ),

con probabilidad 1.

45/ 55


Ley fuerte



1n

N jn ∼ π(j ) =

1E(Tj |X0 = j )

,

con probabilidad 1.¿Cual es la prima promedio que paga un asegurado?

Denotemos porc una funcion que determina la prima a pagar en funcion de la categorıa.c es una funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

n∑j=1

c(Xj ),=6∑

j=1

c(j )N (n)

j

n∼

6∑j=1

π(j )c(j ),

con probabilidad 1.

45/ 55


Ley fuerte



1n

N jn ∼ π(j ) =

1E(Tj |X0 = j )

,

con probabilidad 1.¿Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categorıa. ces una funcion definida en 1, 2, . . . , 6 no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

n∑j=1

c(Xj ),=6∑

j=1

c(j )N (n)

j

n∼

6∑j=1

π(j )c(j ),

con probabilidad 1.

46/ 55


Ley fuerte

Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es

Pi,j =#transiciones de i a j en n pasos

#transiciones que parten de i en n pasos=∑n

k=1 1(Xk−1,Xk )=(i,j )∑nk=0 1Xk=i

El proceso Yk = (Xk ,Xk+1), k ≥ 0 es tambien una cadena de Markovcon espacio de estados E ×E , y es recurrente si la cadena (Xk , k ≥ 0) loes.Si (π(x ), x ∈ E ) es vector de probabilidad invariante para Xk , k ≥ 0entonces π(x ,y) := π(x )Px ,y , con (x , y) ∈ E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k ≥ 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1∑n

k=1 1(Xk−1,Xk )=(i,j )

n−−−−→n→∞

πiPi,j , (i , j ) ∈ E 2.

Mas aun con probabilidad 1∑nk=0 1Xk=i

n + 1−−−−→n→∞

πi , i ∈ E .

46/ 55


Ley fuerte




k=1 1(Xk−1,Xk )=(i,j )∑nk=0 1Xk=i

El proceso Yk = (Xk ,Xk+1), k ≥ 0 es tambien una cadena de Markovcon espacio de estados E ×E , y es recurrente si la cadena (Xk , k ≥ 0) loes.

Si (π(x ), x ∈ E ) es vector de probabilidad invariante para Xk , k ≥ 0entonces π(x ,y) := π(x )Px ,y , con (x , y) ∈ E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k ≥ 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1∑n

k=1 1(Xk−1,Xk )=(i,j )

n−−−−→n→∞

πiPi,j , (i , j ) ∈ E 2.


n + 1−−−−→n→∞

πi , i ∈ E .

46/ 55


Ley fuerte




k=1 1(Xk−1,Xk )=(i,j )∑nk=0 1Xk=i

El proceso Yk = (Xk ,Xk+1), k ≥ 0 es tambien una cadena de Markovcon espacio de estados E ×E , y es recurrente si la cadena (Xk , k ≥ 0) loes.Si (π(x ), x ∈ E ) es vector de probabilidad invariante para Xk , k ≥ 0entonces π(x ,y) := π(x )Px ,y , con (x , y) ∈ E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k ≥ 0).

Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1∑n

k=1 1(Xk−1,Xk )=(i,j )

n−−−−→n→∞

πiPi,j , (i , j ) ∈ E 2.


n + 1−−−−→n→∞

πi , i ∈ E .

46/ 55


Ley fuerte




k=1 1(Xk−1,Xk )=(i,j )∑nk=0 1Xk=i

El proceso Yk = (Xk ,Xk+1), k ≥ 0 es tambien una cadena de Markovcon espacio de estados E ×E , y es recurrente si la cadena (Xk , k ≥ 0) loes.Si (π(x ), x ∈ E ) es vector de probabilidad invariante para Xk , k ≥ 0entonces π(x ,y) := π(x )Px ,y , con (x , y) ∈ E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k ≥ 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1∑n

k=1 1(Xk−1,Xk )=(i,j )

n−−−−→n→∞

πiPi,j , (i , j ) ∈ E 2.


n + 1−−−−→n→∞

πi , i ∈ E .

47/ 55


Ley fuerte

Por lo anterior, se tiene que el EMV de la probabilidad de transicion esfuertemente consistente, es decir que con probabilidad 1


#transiciones que parten de i en n pasos−−−−→n→∞

Pi,j .

Es posible ver que el estimador es tambien asintoticamente normal y esposible construir intervalos de confianza.

48/ 55


Ley fuerte

Teorema (Estacionaria)

Sea X = Xn ,n ≥ 0 una cadena de Markov con caracterısticas (λ,P) ysupongamos que λ es invariante para P . Entonces,

• para todo m ∈ N se tiene λP (m) = λ, es decir que

P(Xm = y) = λ(y), ∀y ∈ E ;

• la cadena de Markov X es estacionaria, es decir que para todom,n ∈ N se cumple que el vector (Xm+1, . . . ,Xm+n) tiene lamisma ley que (X1, . . . ,Xn) , esto es

P (Xm+1 = x1, . . . ,Xm+n = xn) = P (X1 = x1, . . . ,Xn = xn) ,

para todo x1, . . . , xn ∈ E .

49/ 55


Ley fuerte

Es inmediato que 0 ≤ π(y) ≤ 1, para todo y ∈ E pues esto se vale para

las potencia de la matriz de transicion P , 0 ≤ P (n)x ,y ≤ 1, para todo n ≥ 1

y x , y ∈ E .

Es un vector de probabilidad:∑y∈E

π(y) =∑y∈E

limn→∞

P (n)x ,y = lim

n→∞

∑y∈E

P (n)x ,y = 1.

Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y ∈ E .

π(y) = limn→∞

P (n+1)x ,y = lim

n→∞

∑z∈E

P (n)x ,z Pz ,y

=∑z∈E

limn→∞

P (n)x ,z Pz ,y =

∑z∈E

π(z )Pz ,y

49/ 55


Ley fuerte

Es inmediato que 0 ≤ π(y) ≤ 1, para todo y ∈ E pues esto se vale para

las potencia de la matriz de transicion P , 0 ≤ P (n)x ,y ≤ 1, para todo n ≥ 1

y x , y ∈ E . Es un vector de probabilidad:∑y∈E

π(y) =∑y∈E

limn→∞

P (n)x ,y = lim

n→∞

∑y∈E

P (n)x ,y = 1.

Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y ∈ E .

π(y) = limn→∞

P (n+1)x ,y = lim

n→∞

∑z∈E

P (n)x ,z Pz ,y

=∑z∈E

limn→∞

P (n)x ,z Pz ,y =

∑z∈E

π(z )Pz ,y

50/ 55


Ley fuerte

Sea X = Xn ,n ≥ 0 una cadena de Markov con matriz de transicion

P =

0 1 00 1/2 1/2

1/2 0 1/2

.

Encontrar una ley invariante para X .

Debemos resolver el sistema

(π1, π2, π3)P =

0 1 00 1/2 1/2

1/2 0 1/2

=

π1

π2

π3

,

50/ 55


Ley fuerte

Sea X = Xn ,n ≥ 0 una cadena de Markov con matriz de transicion

P =

0 1 00 1/2 1/2

1/2 0 1/2

.

Encontrar una ley invariante para X . Debemos resolver el sistema

(π1, π2, π3)P =

0 1 00 1/2 1/2

1/2 0 1/2

=

π1

π2

π3

,

51/ 55


Ley fuerte

Equivalentemente, resolver el sistemas de ecuaciones

π1 =12π3, π1 +

12π2 = π2,

12π2 +

12π3 = π3.

Su solucion queda determinada en terminos de π3 pues

π1 =12π3, π2 = π3.

Para determinar el valor de π3 se utiliza la condicion,

π1 + π2 + π3 = 1.

Despues de algunos calculos elementales se llega a la solucion:π =

(15 ,

25 ,

25

).

52/ 55


Ley fuerte

La n-esima potencia de la matriz de transicion esta dada por

P(n)1,1 =

15

+(

12

)n (45

cos(nπ

2

)− 2

5sin(nπ

2

)).

Por lo tanto,

limn→∞

P(n)1,1 =

15

= π(1).

53/ 55


Ley fuerte

TeoremaEn el caso en que el espacio de estados E es finito siempre existe una leyinvariante

54/ 55


Ley fuerte

TeoremaSea P una matriz estocastica asociada a una cadena de MarkovXn ,n ∈ N con espacio de estados E finito y supongamos que existe un

entero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.

• Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz π tal que todos sus renglones son iguales a un mismo vectorde probabilidad π cuyas entradas son estrictamente positivas.

• El vector π es el unico vector de probabilidad invariante para P, esoes πP = π; cualquier otro vector v tal que v P = v es un multiplode π;

• Se tienen las siguientes convergencias:

limn→∞

P(Xn = x ) = π(x ), x ∈ E ,

ylim

n→∞Py(Xn = x ) = π(x ), x , y ∈ E ,

con π(x ) la componente x del vector π.

Introducción a las cadenas de Markov: I Tiempo discretorivero/vrivero/Material_para... · 2012. 9....

Documents

Transcript of Introducción a las cadenas de Markov: I Tiempo discretorivero/vrivero/Material_para... · 2012. 9....