estocasticos procesos

1/ 55

Introduccion a las cadenas de Markov: I Tiempo discreto

Introduccion a las cadenas de Markov: ITiempo discreto

Vctor RIVERO

Centro de Investigacion en Matematicas A. C.

XI Escuela de Probabilidad y Estadstica, 29 de Febrero a 2 de Marzo,2012, CIMAT

2/ 55


Introduccion

Preliminares

Preliminares(,F ,P) un espacio de probabilidad Probabilidad condicional A,B F , tal que P(B) > 0, la

probabilidad del evento A dado B

P(A|B) = P(A B)P(B)

.

Formula de probabilidad total Sean B1, . . . ,Bn , . . . , tales quek=1Bk = entonces A F

P(A) =k=1

P(A Bk ) =k=1

P(A|Bk )P(Bk ).

Formula de Bayes Sean A,B ,B1, . . . ,Bn F , tales que P(B) > 0 y = nk=1Bk se tiene que

P(A|B) = P(B |A)P(A)nk=1 P(B Bk )

=P(B |A)P(A)n

k=1 P(B |Bk )P(Bk ).

2/ 55


Introduccion

Preliminares

Preliminares(,F ,P) un espacio de probabilidad Probabilidad condicional A,B F , tal que P(B) > 0, la

probabilidad del evento A dado B

P(A|B) = P(A B)P(B)

.

Formula de probabilidad total Sean B1, . . . ,Bn , . . . , tales quek=1Bk = entonces A F

P(A) =k=1

P(A Bk ) =k=1

P(A|Bk )P(Bk ).

Formula de Bayes Sean A,B ,B1, . . . ,Bn F , tales que P(B) > 0y = nk=1Bk se tiene que

P(A|B) = P(B |A)P(A)nk=1 P(B Bk )

=P(B |A)P(A)n

k=1 P(B |Bk )P(Bk ).

3/ 55


Introduccion

Preliminares

A,B F son independientes si

P(A B) = P(A)P(B)


P(A B) = P(A)P(B), A A y B B.

X : E es una variable aleatoria si para todo A E ,B := {X A} := { |X () A} F .

Traduccion: un experimento, X () una caracterstica delexperimento; B es el evento los experimentos son tales que lacaracterstica de interes toma un valor en A y le podemos calcularprobabilidad ya que B F .

X ,Y variables aleatorias son independientes si para todo A,B E ,los eventos {X A} y {Y B} son independientes.

3/ 55


Introduccion

Preliminares


P(A B) = P(A)P(B)


P(A B) = P(A)P(B), A A y B B.

X : E es una variable aleatoria si para todo A E ,B := {X A} := { |X () A} F .Traduccion: un experimento, X () una caracterstica delexperimento; B es el evento los experimentos son tales que lacaracterstica de interes toma un valor en A y le podemos calcularprobabilidad ya que B F .

X ,Y variables aleatorias son independientes si para todo A,B E ,los eventos {X A} y {Y B} son independientes.

4/ 55


Introduccion

Procesos Estocasticos


DefinicionSea (,F ,P) un espacio de probabilidad y E un conjunto no vaco. Unproceso estocastico es una coleccion de variables aleatorias,{Xt : E , t T}, indexadas por algun conjunto T .

Usualmente,

T =

{{0, 1, 2, . . .} proceso estocastico a tiempo discreto,R o R+ proceso estocastico a tiempo continuo.

El conjunto E es el espacio de estados. Si E es numerable se dice que elproceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.

Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.

4/ 55


Introduccion



DefinicionSea (,F ,P) un espacio de probabilidad y E un conjunto no vaco. Unproceso estocastico es una coleccion de variables aleatorias,{Xt : E , t T}, indexadas por algun conjunto T . Usualmente,

T =




4/ 55


Introduccion




T =


El conjunto E es el espacio de estados. Si E es numerable se dice queel proceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.


4/ 55


Introduccion




T =




5/ 55


Introduccion


Ejemplos de proceso estocastico

Ejemplo

Lanzamiento de una moneda, E = {aguila, sol} = {0, 1}.

Xn =

{aguila psol 1 p , p [0, 1], n Z

+ .

Ejemplo (Pacientes)

Sea Xn el numero de pacientes graves que solicitan tratamiento el da nen la sala de emergencias del hospital la Raza en Mexico D.F.E = {0, 1, . . . ,K} donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por da.

En ambos ejemplos las variables aleatorias son independientesentre si.

6/ 55


Introduccion


Ejemplo (Ajedrez)

Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.

Ejemplo

Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.Claramente, Xn+1 = Xn + Y

(X0)n+1 donde Y

(X0)n+1 denota la distancia

recorrida en el periodo [n,n + 1[ y esta depende del punto inicial.En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn1.

Ejemplo (El merenguero)

Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n {0, 1, 2, . . .}. El espacio deestados es E = {0, 1, . . . ,N + M }, donde N=nuestra fortuna yM=fortuna del merenguero.

6/ 55


Introduccion


Ejemplo (Ajedrez)


Ejemplo


(X0)n+1 donde Y


recorrida en el periodo [n,n + 1[ y esta depende del punto inicial.

En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn1.



6/ 55


Introduccion


Ejemplo (Ajedrez)


Ejemplo


(X0)n+1 donde Y


recorrida en el periodo [n,n + 1[ y esta depende del punto inicial.En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn1.



7/ 55


Introduccion


Ejemplo (Evolucion de una epidemia en una poblacion)

Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m).

Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:

sano >

{contagiado (contagioso)

no contagiado (sano)

contagiado (contagioso)>

{enfermo

sano inmune

enfermo >

{sano inmune

muerto

sano inmune > sano inmune,

muerto > muerto.

7/ 55


Introduccion


Ejemplo (Evolucion de una epidemia en una poblacion)

Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m). Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:

sano >

{contagiado (contagioso)

no contagiado (sano)

contagiado (contagioso)>

{enfermo

sano inmune

enfermo >

{sano inmune

muerto

sano inmune > sano inmune,

muerto > muerto.

8/ 55


Introduccion


Ejemplo (Procesos de Ramificacion)

Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X .

Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+, yel numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zni=1

X (n)i ,

donde X (n)i el numero de descendientes del i -esimo individuo presente enla poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

8/ 55


Introduccion



Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion.

Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+, yel numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zni=1

X (n)i ,


8/ 55


Introduccion



Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion.

E = Z+,y el numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zni=1

X (n)i ,


8/ 55


Introduccion



Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zni=1

X (n)i ,

donde X (n)i el numero de descendientes del i -esimo individuo presente enla poblacion en la n-esima generacion.

Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

8/ 55


Introduccion



Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

Zn+1 =Zni=1

X (n)i ,


9/ 55


Introduccion


Ejemplo (Inventarios)

Una tienda de aparatos electronicos vende televisiones y opera bajo elsiguiente esquema. Si al final del da el numero de unidades disponibles es1 o 0, se ordenan nuevas unidades para llevar el total a 5. Supondremosque la mercanca llega antes de que la tienda abra al da siguiente. SeaXn el numero de unidades disponibles en la tienda al final del n-esimoda y supongamos que diariamente el numero de clientes que compran unipod es 0, 1, 2 o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.

Xn+1 =

{(Xn Dn+1)+ si Xn > 1(5Dn+1)+ si Xn 1

Con Dn+1 la demanda el da n + 1.

10/ 55


Nociones basicas de cadenas de Markov

Definicion de Cadena de Markov

En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto.

Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,

P ({Evento del pasado} {Evento del futuro}|Evento del presente)= P ({Evento del pasado}|Evento del presente) P ({Evento del futuro}|Evento del presente) .

10/ 55




En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de Markov

Dicho de otro, dado el presente, el futuro es independientemente delpasado,


10/ 55




En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,


11/ 55




Cadenas de Markov

DefinicionSea (,F ,P) un espacio de probabilidad y E un conjunto no vaco, finitoo numerable. Un proceso estocastico o sucesion de variables aleatorias

{Xn : E ,n N},

se llama cadena de Markov con espacio de estados E si satisface lacondicion de Markov, es decir, si para todo n 1 y toda sucesionx0, x1, . . . , xn1, xn , xn+1 E , se cumple:

P (Xn+1 = xn+1|Xn = xn ,Xn1 = xn1, . . . ,X0 = x0)= P (Xn+1 = xn+1|Xn = xn) .

(1)

La distribucion de X0 se llama distribucion inicial de la cadena y enmuchos casos la denotaremos por pi(x ) = P(X0 = x ), x E .

12/ 55



Algunas precisiones

Supondremos que E Z, y en consecuencia E es ordenado.

La familia

{P (Xn+1 = y |Xn = x ) ,n N, x , y E},

se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.

Para todo n N y x E se tiene que1 = P (Xn+1 E |Xn = x )

= P (yE{Xn+1 = y}|Xn = x )=yE

P (Xn+1 = y |Xn = x ) .

12/ 55



Algunas precisiones

Supondremos que E Z, y en consecuencia E es ordenado. La familia

{P (Xn+1 = y |Xn = x ) ,n N, x , y E},

se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.

Para todo n N y x E se tiene que1 = P (Xn+1 E |Xn = x )

= P (yE{Xn+1 = y}|Xn = x )=yE

P (Xn+1 = y |Xn = x ) .

13/ 55



Algunas precisiones

Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si

P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, x , y E ,diremos que la cadena es homogenea con respecto al tiempo.

En este curso solo nos interesaremos por las cadenas de Markovhomogeneas en el tiempo y en la mayora de los casos con espacio deestados E finito.

La familia de probabilidades de transicionP = {Px ,y , (x , y) E E},

sera llamada matriz de transicion de la cadena. P cumple queyE

Px ,y =yE

P (Xn+1 = y |Xn = x ) = 1, x E .

Se dice que P , es una matriz estocastica o de Markov. Diremos que el proceso estocastico {Xn ,n N} es una cadena de

Markov (pi,P), donde pi es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

13/ 55



Algunas precisiones



En este curso solo nos interesaremos por las cadenas de Markovhomogeneas en el tiempo y en la mayora de los casos conespacio de estados E finito.



Px ,y =yE

P (Xn+1 = y |Xn = x ) = 1, x E .



13/ 55



Algunas precisiones






Px ,y =yE

P (Xn+1 = y |Xn = x ) = 1, x E .

Se dice que P , es una matriz estocastica o de Markov.

Diremos que el proceso estocastico {Xn ,n N} es una cadena deMarkov (pi,P), donde pi es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

13/ 55



Algunas precisiones






Px ,y =yE

P (Xn+1 = y |Xn = x ) = 1, x E .



14/ 55



Ejemplos de matrices de transicion

El sistema Bonus-Malus en el seguro de automoviles

En Hong Kong y en otros lugares del mundo, se usa un sistema para fijarlas primas de seguro de automovil conocido como Bonus-Malus queconsiste de 6 clases de tarificacion, de 1 fort bonus a 6 fort malus, que serige por las siguientes reglas:

si un asegurado no tuvo siniestros durante el periodo, entonces pasade la categora i a la categora max{1, i 1},si el asegurado tiene al menos un siniestro entonces pasa de lacategora i a la 6.

Si Xn denota la categora en cual se encuentra un individuo al n-esimoperiodo entonces {Xn ,n 0} es una cadena de Markov con espacio deestados {1, 2, . . . , 6}. Un asegurado tiene un siniestro con probabilidad1 p en un periodo.

15/ 55




La matriz de transicion asociada esta dada por

P =

p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

.

Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ?Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categora. c es unafuncion definida en {1, 2, . . . , 6} no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

1n

nj=1

c(Xj ),=6

j=1

c(j )N (n)jn

15/ 55





P =

p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

.

Cual es la proporcion de tiempo que un cliente pasa en el estadoj despues de n pasos, n1N jn , dado que X0 = j?

Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categora. c es unafuncion definida en {1, 2, . . . , 6} no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

1n

nj=1

c(Xj ),=6

j=1

c(j )N (n)jn

15/ 55





P =

p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

.

Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ?Cual es la prima promedio que paga un asegurado?

Sea c unafuncion que determina la prima a pagar en funcion de la categora. c esuna funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

nj=1

c(Xj ),=6

j=1

c(j )N (n)jn

15/ 55





P =

p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

.

Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ?Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categora. c es unafuncion definida en {1, 2, . . . , 6} no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

1n

nj=1

c(Xj ),=6

j=1

c(j )N (n)jn

16/ 55




Ejemplo (Merenguero)

En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n 0. {Sn ,n 0} es unacadena de Markov con matriz de transicion

P(Sn+1 = j |Sn = i) = Pi,j =

1, si i , j = 0p si 0 < i < N + M , j = i + 11 p si 0 < i < N + M , j = i 11 si i , j = N + M0 en otro caso

y ley inicial P(S0 = M ) = 1. Cuando retirarse del juego? Cual es laprobabilidad de que el merenguero pierda todo su captal?Cual esel tiempo promedio que durara el juego?

16/ 55






P(Sn+1 = j |Sn = i) = Pi,j =


y ley inicial P(S0 = M ) = 1.

Cuando retirarse del juego? Cual es laprobabilidad de que el merenguero pierda todo su captal?Cual esel tiempo promedio que durara el juego?

16/ 55






P(Sn+1 = j |Sn = i) = Pi,j =


y ley inicial P(S0 = M ) = 1. Cuando retirarse del juego? Cual es laprobabilidad de que el merenguero pierda todo su captal?Cual esel tiempo promedio que durara el juego?

17/ 55




LemaSea {Sn ,n 0} una caminata aleatoria simple en {0, 1, . . . ,N }, conbarreras absorbentes en 0 y N ; Pi,i+1 = p y q = Pi,i1 = 1 p,0 < i < N , P0,0 = 1 = PN ,N . Se tiene que

P(Caminata absorbida en 0|S0 = j ) =

( qp )j( qp )

N

1( qp )N , si p 6= q

NjN , si p = q = 1/2.

Si T es el tiempo de absorcion en {0,N }, T = inf{n 0 : Sn {0,N }}entonces

E (T |S0 = j ) = jqp Nqp

1( qp )j

1( qp )N , si p 6= q

j (N j ), si p = q = 1/2.

18/ 55




Demostracion: Tecnica del primer paso

h(j ) = P(Caminata absorbida en 0|S0 = j ) es solucion al sistema deecuaciones lineales

h(j ) = ph(j + 1) + qh(j 1), 0 < j < N , h(0) = 1, h(N ) = 0.

L(j ) = E (T |S0 = j ) , es solucion al sistema de ecuaciones lineales

L(0) = 0 = L(N ), L(j ) = 1 +pL(j + 1) + qL(j 1), 0 < j < N .

19/ 55




Caminatas aleatorias en ZdS0 Zd , (Yi , i 1) v.a.i.i.d. toman en Zd , y son independientes de S0.Al proceso estocastico (Sn ,n 0)

Sn+1 = Sn + Yn+1, n 0,se le llama caminata aleatoria.

En Z2 se ve

19/ 55




Caminatas aleatorias en ZdS0 Zd , (Yi , i 1) v.a.i.i.d. toman en Zd , y son independientes de S0.Al proceso estocastico (Sn ,n 0)

Sn+1 = Sn + Yn+1, n 0,se le llama caminata aleatoria. En Z2 se ve

20/ 55




En Z3,

mientras que en Londres se ve como

20/ 55




En Z3, mientras que en Londres se ve como

21/ 55




Ejemplo (La cadena de Ehrenfest)

T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocastico{Xn ,n N} definido por

Xn = #moleculas presentes en la urna A al instante n, n N,

es una cadena de Markov y su espacio de estados {0, 1, 2, . . . ,N }.Cuales son las probabilidades de transicion? Se tiene que

P0,j =

{1 si j = 1,0 en otro caso

PN ,j =

{1 j = N 1,0 en otro caso,

Pi,j =

0, si|i j | > 1,iN si j = i 1,NiN si j = i + 1,

0 si i = j .

, para i {1, 2, . . . ,N 1}.

21/ 55







es una cadena de Markov y su espacio de estados {0, 1, 2, . . . ,N }.

Cuales son las probabilidades de transicion? Se tiene que

P0,j =


PN ,j =


Pi,j =


0 si i = j .

, para i {1, 2, . . . ,N 1}.

21/ 55







es una cadena de Markov y su espacio de estados {0, 1, 2, . . . ,N }.Cuales son las probabilidades de transicion?

Se tiene que

P0,j =


PN ,j =


Pi,j =


0 si i = j .

, para i {1, 2, . . . ,N 1}.

21/ 55







es una cadena de Markov y su espacio de estados {0, 1, 2, . . . ,N }.Cuales son las probabilidades de transicion? Se tiene que

P0,j =


PN ,j =


Pi,j =


0 si i = j .

, para i {1, 2, . . . ,N 1}.

22/ 55



Recurrencia aleatoria y simulacion


Sean X0 es una variable aleatoria que toma valores en E ,{Yn : S ,n N}, una sucesion de variables aleatoriasindependientes entre si y de X0 y F : E S E . En general, cualquierfenomeno descrito por una relacion en recurrencia aleatoria de la forma

Xn+1 = F (Xn ,Yn+1), n N,

es una cadena de Markov.

23/ 55




Toda cadena de Markov con espacio de estados finito se puede simularusando esto. Sea {Xn ,n 0} una cadena de Markov (pi,P) yE = {0, 1, . . . ,M }. El proceso estocastico definido mediante X0 X0,

Xn+1 = F (Xn ,Yn+1),

para n 0,

con F : E [0, 1] E , definida como x E , z [0, 1],

F (x , z ) = min{i E :i

j=0

Px ,j > z},

y Yi Uniforme[0, 1], tiene la misma distribucion queX = (Xn ,n 0)

.

Las probabilidades de transicion de X estan dadas por

P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

= P

(l1j=0

Px ,j Yn+1 z},

y Yi Uniforme[0, 1], tiene la misma distribucion queX = (Xn ,n 0).

Las probabilidades de transicion de X estan dadas por

P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

= P

(l1j=0

Px ,j Yn+1 z},

y Yi Uniforme[0, 1], tiene la misma distribucion queX = (Xn ,n 0). Las probabilidades de transicion de X estan dadas por

P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

= P

(l1j=0

Px ,j Yn+1 0,

(ii) Px ,x1 Px1,x2 Pxn2,xn1 Pxn1,y > 0, para algunosx1, . . . , xn1 E ; o dicho de otro modo, con probabilidad positivaexiste una trayectoria que lleva de x a y .

(iii) P(Xn = y para algun n 1|X0 = x ) > 0.

40/ 55


Recurrencia y Transitoriedad

DefinicionPara x E , definimos Tx = inf{n 1 : Xn = x}, el primer tiempo deentrada a x .

Diremos que un estado x E es recurrente si

P(Tx

41/ 55


Recurrencia y Transitoriedad

Proposicion

Si x es recurrente

P(Xn = x para una infinidad de ns |X0 = x ) = 1

Si x es transitorio

P(Xn = x para una infinidad de ns |X0 = x ) = 0.

Sean x = P(Tx

42/ 55


Ley fuerte

Sea N yn el numero de visitas al estado y en n pasos.

Teorema (Ley fuerte)

Para y E estado transitorio N yn

43/ 55


Ley fuerte

El sistema Bonus-Malus en el seguro de automoviles

En Hong Kong y en otros lugares del mundo, se usa un sistema para fijarlas primas de seguro de automovil conocido como Bonus-Malus queconsiste de 6 clases de tarificacion, de 1 fort bonus a 6 fort malus, que serige por las siguientes reglas:

si un asegurado no tuvo siniestros durante el periodo, entonces pasade la categora i a la categora max{1, i 1},si el asegurado tiene al menos un siniestro entonces pasa de lacategora i a la 6.

Si Xn denota la categora en cual se encuentra un individuo al n-esimoperiodo entonces {Xn ,n 0} es una cadena de Markov con espacio deestados {1, 2, . . . , 6}

44/ 55


Ley fuerte


P =

p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

.

Si p (0, 1) el unico vector pi = (pi(1), pi(2), . . . , pi(6)) que es invariantepara la matriz P, es decir piP = pi, y que satisface quepi(1) + pi(2) + + pi(6) = 1, es el vector dado por

pi(1) = p5, pi(2) = p4(1 p), pi(3) = p3(1 p),

pi(4) = p2(1 p), pi(5) = p(1 p), pi(6) = (1 p).

45/ 55


Ley fuerte

Cual es la proporcion de tiempo que un cliente pasa en el estadoj despues de n pasos, n1N jn , dado que X0 = j?

Dado que la cadenaes irreducible y con espacio de estados finito

1nN jn pi(j ) =

1E(Tj |X0 = j ) ,

con probabilidad 1.Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categora. ces una funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

nj=1

c(Xj ),=6

j=1

c(j )N (n)jn

6j=1

pi(j )c(j ),

con probabilidad 1.

45/ 55


Ley fuerte

Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ? Dado que la cadena esirreducible y con espacio de estados finito

1nN jn pi(j ) =

1E(Tj |X0 = j ) ,

con probabilidad 1.

Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categora. ces una funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

nj=1

c(Xj ),=6

j=1

c(j )N (n)jn

6j=1

pi(j )c(j ),

con probabilidad 1.

45/ 55


Ley fuerte


1nN jn pi(j ) =

1E(Tj |X0 = j ) ,

con probabilidad 1.Cual es la prima promedio que paga un asegurado?

Denotemos porc una funcion que determina la prima a pagar en funcion de la categora.c es una funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

nj=1

c(Xj ),=6

j=1

c(j )N (n)jn

6j=1

pi(j )c(j ),

con probabilidad 1.

45/ 55


Ley fuerte


1nN jn pi(j ) =

1E(Tj |X0 = j ) ,

con probabilidad 1.Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categora. ces una funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

1n

nj=1

c(Xj ),=6

j=1

c(j )N (n)jn

6j=1

pi(j )c(j ),

con probabilidad 1.

46/ 55


Ley fuerte

Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es

Pi,j =#transiciones de i a j en n pasos

#transiciones que parten de i en n pasos=n

k=1 1{(Xk1,Xk )=(i,j )}nk=0 1{Xk=i}

El proceso Yk = (Xk ,Xk+1), k 0 es tambien una cadena de Markovcon espacio de estados E E , y es recurrente si la cadena (Xk , k 0) loes.Si (pi(x ), x E ) es vector de probabilidad invariante para {Xk , k 0}entonces pi(x ,y) := pi(x )Px ,y , con (x , y) E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1n

k=1 1{(Xk1,Xk )=(i,j )}n

n piiPi,j , (i , j ) E

2.

Mas aun con probabilidad 1nk=0 1{Xk=i}n + 1

n pii , i E .

46/ 55


Ley fuerte




k=1 1{(Xk1,Xk )=(i,j )}nk=0 1{Xk=i}

El proceso Yk = (Xk ,Xk+1), k 0 es tambien una cadena de Markovcon espacio de estados E E , y es recurrente si la cadena (Xk , k 0) loes.

Si (pi(x ), x E ) es vector de probabilidad invariante para {Xk , k 0}entonces pi(x ,y) := pi(x )Px ,y , con (x , y) E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1n

k=1 1{(Xk1,Xk )=(i,j )}n


2.


n pii , i E .

46/ 55


Ley fuerte




k=1 1{(Xk1,Xk )=(i,j )}nk=0 1{Xk=i}

El proceso Yk = (Xk ,Xk+1), k 0 es tambien una cadena de Markovcon espacio de estados E E , y es recurrente si la cadena (Xk , k 0) loes.Si (pi(x ), x E ) es vector de probabilidad invariante para {Xk , k 0}entonces pi(x ,y) := pi(x )Px ,y , con (x , y) E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k 0).

Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1n

k=1 1{(Xk1,Xk )=(i,j )}n


2.


n pii , i E .

46/ 55


Ley fuerte




k=1 1{(Xk1,Xk )=(i,j )}nk=0 1{Xk=i}

El proceso Yk = (Xk ,Xk+1), k 0 es tambien una cadena de Markovcon espacio de estados E E , y es recurrente si la cadena (Xk , k 0) loes.Si (pi(x ), x E ) es vector de probabilidad invariante para {Xk , k 0}entonces pi(x ,y) := pi(x )Px ,y , con (x , y) E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1n

k=1 1{(Xk1,Xk )=(i,j )}n


2.


n pii , i E .

47/ 55


Ley fuerte

Por lo anterior, se tiene que el EMV de la probabilidad de transicion esfuertemente consistente, es decir que con probabilidad 1


#transiciones que parten de i en n pasosn Pi,j .

Es posible ver que el estimador es tambien asintoticamente normal y esposible construir intervalos de confianza.

48/ 55


Ley fuerte

Teorema (Estacionaria)

Sea X = {Xn ,n 0} una cadena de Markov con caractersticas (,P) ysupongamos que es invariante para P . Entonces, para todo m N se tiene P (m) = , es decir que

P(Xm = y) = (y), y E ;

la cadena de Markov X es estacionaria, es decir que para todom,n N se cumple que el vector (Xm+1, . . . ,Xm+n) tiene lamisma ley que (X1, . . . ,Xn) , esto es

P (Xm+1 = x1, . . . ,Xm+n = xn) = P (X1 = x1, . . . ,Xn = xn) ,

para todo x1, . . . , xn E .

49/ 55


Ley fuerte

Es inmediato que 0 pi(y) 1, para todo y E pues esto se vale paralas potencia de la matriz de transicion P , 0 P (n)x ,y 1, para todo n 1y x , y E .

Es un vector de probabilidad:yE

pi(y) =yE

limnP

(n)x ,y = lim

n

yE

P (n)x ,y = 1.

Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y E .

pi(y) = limnP

(n+1)x ,y = lim

n

zE

P (n)x ,z Pz ,y

=zE

limnP

(n)x ,z Pz ,y =

zE

pi(z )Pz ,y

49/ 55


Ley fuerte

Es inmediato que 0 pi(y) 1, para todo y E pues esto se vale paralas potencia de la matriz de transicion P , 0 P (n)x ,y 1, para todo n 1y x , y E . Es un vector de probabilidad:

yEpi(y) =

yE

limnP

(n)x ,y = lim

n

yE

P (n)x ,y = 1.

Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y E .

pi(y) = limnP

(n+1)x ,y = lim

n

zE

P (n)x ,z Pz ,y

=zE

limnP

(n)x ,z Pz ,y =

zE

pi(z )Pz ,y

50/ 55


Ley fuerte

Sea X = {Xn ,n 0} una cadena de Markov con matriz de transicion

P =

0 1 00 1/2 1/21/2 0 1/2

.Encontrar una ley invariante para X .

Debemos resolver el sistema

(pi1, pi2, pi3)P =

0 1 00 1/2 1/21/2 0 1/2

= pi1pi2

pi3

,

50/ 55


Ley fuerte

Sea X = {Xn ,n 0} una cadena de Markov con matriz de transicion

P =

0 1 00 1/2 1/21/2 0 1/2

.Encontrar una ley invariante para X . Debemos resolver el sistema

(pi1, pi2, pi3)P =

0 1 00 1/2 1/21/2 0 1/2

= pi1pi2

pi3

,

51/ 55


Ley fuerte

Equivalentemente, resolver el sistemas de ecuaciones

pi1 =12pi3, pi1 +

12pi2 = pi2,

12pi2 +

12pi3 = pi3.

Su solucion queda determinada en terminos de pi3 pues

pi1 =12pi3, pi2 = pi3.

Para determinar el valor de pi3 se utiliza la condicion,

pi1 + pi2 + pi3 = 1.

Despues de algunos calculos elementales se llega a la solucion:pi =

(15 ,

25 ,

25

).

52/ 55


Ley fuerte

La n-esima potencia de la matriz de transicion esta dada por

P(n)1,1 =15

+(

12

)n (45

cos(npi

2

) 2

5sin(npi

2

)).

Por lo tanto,

limnP

(n)1,1 =

15

= pi(1).

53/ 55


Ley fuerte

TeoremaEn el caso en que el espacio de estados E es finito siempre existe una leyinvariante

54/ 55


Ley fuerte

TeoremaSea P una matriz estocastica asociada a una cadena de Markov{Xn ,n N} con espacio de estados E finito y supongamos que existe unentero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.

Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz pi tal que todos sus renglones son iguales a un mismo vectorde probabilidad pi cuyas entradas son estrictamente positivas.

El vector pi es el unico vector de probabilidad invariante para P, esoes piP = pi; cualquier otro vector v tal que v P = v es un multiplode pi;

Se tienen las siguientes convergencias:

limnP(Xn = x ) = pi(x ), x E ,

ylimnPy(Xn = x ) = pi(x ), x , y E ,

con pi(x ) la componente x del vector pi.

54/ 55


Ley fuerte

TeoremaSea P una matriz estocastica asociada a una cadena de Markov{Xn ,n N} con espacio de estados E finito y supongamos que existe unentero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.

Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz pi tal que todos sus renglones son iguales a un mismo vectorde probabilidad pi cuyas entradas son estrictamente positivas.

El vector pi es el unico vector de probabilidad invariante para P, esoes piP = pi; cualquier otro vector v tal que v P = v es un multiplode pi;

Se tienen las siguientes convergencias:

limnP(Xn = x ) = pi(x ), x E ,

ylimnPy(Xn = x ) = pi(x ), x , y E ,

con pi(x ) la componente x del vector pi.

IntroduccinPreliminaresProcesos Estocsticos

Nociones bsicas de cadenas de MarkovDefinicin de Cadena de MarkovAlgunas precisionesEjemplos de matrices de transicinRecurrencia aleatoria y simulacinProbabilidades de TrayectoriasInferencia para matrices de transicin

Ecuaciones de Chapman-KolmogorovCadena con dos estadosLa cadena de Ehrenfest

ComunicacinRecurrencia y TransitoriedadLey fuerte

estocasticos procesos

Documents

Transcript of estocasticos procesos