Introducción a las cadenas de Markov: I Tiempo discreto · Introduccion a las cadenas de Markov: I...

of 130/130
1/ 55 Introducci´ on a las cadenas de Markov: I Tiempo discreto Introducci´ on a las cadenas de Markov: I Tiempo discreto ıctor RIVERO Centro de Investigaci´on en Matem´ aticas A. C. XI Escuela de Probabilidad y Estad´ ıstica, 29 de Febrero a 2 de Marzo, 2012, CIMAT
  • date post

    20-Sep-2018
  • Category

    Documents

  • view

    216
  • download

    0

Embed Size (px)

Transcript of Introducción a las cadenas de Markov: I Tiempo discreto · Introduccion a las cadenas de Markov: I...

  • 1/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion a las cadenas de Markov: ITiempo discreto

    Vctor RIVERO

    Centro de Investigacion en Matematicas A. C.

    XI Escuela de Probabilidad y Estadstica, 29 de Febrero a 2 de Marzo,2012, CIMAT

  • 2/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Preliminares

    Preliminares(,F ,P) un espacio de probabilidad Probabilidad condicional A,B F , tal que P(B) > 0, la

    probabilidad del evento A dado B

    P(A|B) = P(A B)P(B)

    .

    Formula de probabilidad total Sean B1, . . . ,Bn , . . . , tales quek=1Bk = entonces A F

    P(A) =

    k=1

    P(A Bk ) =

    k=1

    P(A|Bk ) P(Bk ).

    Formula de Bayes Sean A,B ,B1, . . . ,Bn F , tales que P(B) > 0 y = nk=1Bk se tiene que

    P(A|B) = P(B |A) P(A)nk=1 P(B Bk )

    =P(B |A) P(A)n

    k=1 P(B |Bk ) P(Bk ).

  • 2/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Preliminares

    Preliminares(,F ,P) un espacio de probabilidad Probabilidad condicional A,B F , tal que P(B) > 0, la

    probabilidad del evento A dado B

    P(A|B) = P(A B)P(B)

    .

    Formula de probabilidad total Sean B1, . . . ,Bn , . . . , tales quek=1Bk = entonces A F

    P(A) =

    k=1

    P(A Bk ) =

    k=1

    P(A|Bk ) P(Bk ).

    Formula de Bayes Sean A,B ,B1, . . . ,Bn F , tales que P(B) > 0 y = nk=1Bk se tiene que

    P(A|B) = P(B |A) P(A)nk=1 P(B Bk )

    =P(B |A) P(A)n

    k=1 P(B |Bk ) P(Bk ).

  • 2/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Preliminares

    Preliminares(,F ,P) un espacio de probabilidad Probabilidad condicional A,B F , tal que P(B) > 0, la

    probabilidad del evento A dado B

    P(A|B) = P(A B)P(B)

    .

    Formula de probabilidad total Sean B1, . . . ,Bn , . . . , tales quek=1Bk = entonces A F

    P(A) =

    k=1

    P(A Bk ) =

    k=1

    P(A|Bk ) P(Bk ).

    Formula de Bayes Sean A,B ,B1, . . . ,Bn F , tales que P(B) > 0y = nk=1Bk se tiene que

    P(A|B) = P(B |A) P(A)nk=1 P(B Bk )

    =P(B |A) P(A)n

    k=1 P(B |Bk ) P(Bk ).

  • 3/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Preliminares

    A,B F son independientes si

    P(A B) = P(A) P(B)

    A,B F son independientes si

    P(A B) = P(A) P(B), A A y B B.

    X : E es una variable aleatoria si para todo A E ,B := {X A} := { |X () A} F .

    Traduccion: un experimento, X () una caracterstica delexperimento; B es el evento los experimentos son tales que lacaracterstica de interes toma un valor en A y le podemos calcularprobabilidad ya que B F .

    X ,Y variables aleatorias son independientes si para todo A,B E ,los eventos {X A} y {Y B} son independientes.

  • 3/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Preliminares

    A,B F son independientes si

    P(A B) = P(A) P(B)

    A,B F son independientes si

    P(A B) = P(A) P(B), A A y B B.

    X : E es una variable aleatoria si para todo A E ,B := {X A} := { |X () A} F .

    Traduccion: un experimento, X () una caracterstica delexperimento; B es el evento los experimentos son tales que lacaracterstica de interes toma un valor en A y le podemos calcularprobabilidad ya que B F .

    X ,Y variables aleatorias son independientes si para todo A,B E ,los eventos {X A} y {Y B} son independientes.

  • 3/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Preliminares

    A,B F son independientes si

    P(A B) = P(A) P(B)

    A,B F son independientes si

    P(A B) = P(A) P(B), A A y B B.

    X : E es una variable aleatoria si para todo A E ,B := {X A} := { |X () A} F .

    Traduccion: un experimento, X () una caracterstica delexperimento; B es el evento los experimentos son tales que lacaracterstica de interes toma un valor en A y le podemos calcularprobabilidad ya que B F .

    X ,Y variables aleatorias son independientes si para todo A,B E ,los eventos {X A} y {Y B} son independientes.

  • 3/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Preliminares

    A,B F son independientes si

    P(A B) = P(A) P(B)

    A,B F son independientes si

    P(A B) = P(A) P(B), A A y B B.

    X : E es una variable aleatoria si para todo A E ,B := {X A} := { |X () A} F .Traduccion: un experimento, X () una caracterstica delexperimento; B es el evento los experimentos son tales que lacaracterstica de interes toma un valor en A y le podemos calcularprobabilidad ya que B F .

    X ,Y variables aleatorias son independientes si para todo A,B E ,los eventos {X A} y {Y B} son independientes.

  • 3/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Preliminares

    A,B F son independientes si

    P(A B) = P(A) P(B)

    A,B F son independientes si

    P(A B) = P(A) P(B), A A y B B.

    X : E es una variable aleatoria si para todo A E ,B := {X A} := { |X () A} F .Traduccion: un experimento, X () una caracterstica delexperimento; B es el evento los experimentos son tales que lacaracterstica de interes toma un valor en A y le podemos calcularprobabilidad ya que B F .

    X ,Y variables aleatorias son independientes si para todo A,B E ,los eventos {X A} y {Y B} son independientes.

  • 4/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Procesos Estocasticos

    DefinicionSea (,F ,P) un espacio de probabilidad y E un conjunto no vaco. Unproceso estocastico es una coleccion de variables aleatorias,{Xt : E , t T}, indexadas por algun conjunto T .

    Usualmente,

    T =

    {{0, 1, 2, . . .} proceso estocastico a tiempo discreto,R o R+ proceso estocastico a tiempo continuo.

    El conjunto E es el espacio de estados. Si E es numerable se dice que elproceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.

    Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.

  • 4/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Procesos Estocasticos

    DefinicionSea (,F ,P) un espacio de probabilidad y E un conjunto no vaco. Unproceso estocastico es una coleccion de variables aleatorias,{Xt : E , t T}, indexadas por algun conjunto T . Usualmente,

    T =

    {{0, 1, 2, . . .} proceso estocastico a tiempo discreto,R o R+ proceso estocastico a tiempo continuo.

    El conjunto E es el espacio de estados. Si E es numerable se dice que elproceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.

    Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.

  • 4/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Procesos Estocasticos

    DefinicionSea (,F ,P) un espacio de probabilidad y E un conjunto no vaco. Unproceso estocastico es una coleccion de variables aleatorias,{Xt : E , t T}, indexadas por algun conjunto T . Usualmente,

    T =

    {{0, 1, 2, . . .} proceso estocastico a tiempo discreto,R o R+ proceso estocastico a tiempo continuo.

    El conjunto E es el espacio de estados. Si E es numerable se dice queel proceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.

    Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.

  • 4/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Procesos Estocasticos

    DefinicionSea (,F ,P) un espacio de probabilidad y E un conjunto no vaco. Unproceso estocastico es una coleccion de variables aleatorias,{Xt : E , t T}, indexadas por algun conjunto T . Usualmente,

    T =

    {{0, 1, 2, . . .} proceso estocastico a tiempo discreto,R o R+ proceso estocastico a tiempo continuo.

    El conjunto E es el espacio de estados. Si E es numerable se dice que elproceso tiene espacio de estados discreto mientras que si E es continuodecimos que tiene espacio de estados continuo.

    Estudiaremos solamente procesos estocasticos con espacio deestados y tiempo discreto.

  • 5/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplos de proceso estocastico

    Ejemplo

    Lanzamiento de una moneda, E = {aguila, sol} = {0, 1}.

    Xn =

    {aguila psol 1 p

    , p [0, 1], n Z+ .

    Ejemplo (Pacientes)

    Sea Xn el numero de pacientes graves que solicitan tratamiento el da nen la sala de emergencias del hospital la Raza en Mexico D.F.E = {0, 1, . . . ,K} donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por da.

    En ambos ejemplos las variables aleatorias son independientesentre si.

  • 5/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplos de proceso estocastico

    Ejemplo

    Lanzamiento de una moneda, E = {aguila, sol} = {0, 1}.

    Xn =

    {aguila psol 1 p

    , p [0, 1], n Z+ .

    Ejemplo (Pacientes)

    Sea Xn el numero de pacientes graves que solicitan tratamiento el da nen la sala de emergencias del hospital la Raza en Mexico D.F.E = {0, 1, . . . ,K} donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por da.

    En ambos ejemplos las variables aleatorias son independientesentre si.

  • 5/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplos de proceso estocastico

    Ejemplo

    Lanzamiento de una moneda, E = {aguila, sol} = {0, 1}.

    Xn =

    {aguila psol 1 p

    , p [0, 1], n Z+ .

    Ejemplo (Pacientes)

    Sea Xn el numero de pacientes graves que solicitan tratamiento el da nen la sala de emergencias del hospital la Raza en Mexico D.F.E = {0, 1, . . . ,K} donde K es el numero maximo de pacientes quepuede ser recibido en la recepcion de emergencias por da.

    En ambos ejemplos las variables aleatorias son independientesentre si.

  • 6/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Ajedrez)

    Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.

    Ejemplo

    Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.Claramente, Xn+1 = Xn + Y

    (X0)n+1 donde Y

    (X0)n+1 denota la distancia

    recorrida en el periodo [n,n + 1[ y esta depende del punto inicial.En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn1.

    Ejemplo (El merenguero)

    Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n {0, 1, 2, . . .}. El espacio deestados es E = {0, 1, . . . ,N + M }, donde N =nuestra fortuna yM =fortuna del merenguero.

  • 6/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Ajedrez)

    Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.

    Ejemplo

    Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.Claramente, Xn+1 = Xn + Y

    (X0)n+1 donde Y

    (X0)n+1 denota la distancia

    recorrida en el periodo [n,n + 1[ y esta depende del punto inicial.

    En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn1.

    Ejemplo (El merenguero)

    Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n {0, 1, 2, . . .}. El espacio deestados es E = {0, 1, . . . ,N + M }, donde N =nuestra fortuna yM =fortuna del merenguero.

  • 6/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Ajedrez)

    Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.

    Ejemplo

    Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.Claramente, Xn+1 = Xn + Y

    (X0)n+1 donde Y

    (X0)n+1 denota la distancia

    recorrida en el periodo [n,n + 1[ y esta depende del punto inicial.En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn1.

    Ejemplo (El merenguero)

    Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n {0, 1, 2, . . .}. El espacio deestados es E = {0, 1, . . . ,N + M }, donde N =nuestra fortuna yM =fortuna del merenguero.

  • 6/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Ajedrez)

    Sea Xn la posicion de un caballo en un tablero de ajedrez despues de nmovimientos.

    Ejemplo

    Para ir de Mexico D.F. a Guanajuato se puede ir por la carretera libre ola autopista de cuota. Sea Xn la distancia recorrida despues den-minutos por un automovil que se dirige a Guanajuato desde el D.F.Claramente, Xn+1 = Xn + Y

    (X0)n+1 donde Y

    (X0)n+1 denota la distancia

    recorrida en el periodo [n,n + 1[ y esta depende del punto inicial.En ambos ejemplos el valor de Xn depende de X0,X1, . . . ,Xn1.

    Ejemplo (El merenguero)

    Si el resultado de un volado es aguila el merenguero gana un peso y encaso contrario nosotros ganamos un peso. Sea Sn la fortuna delmerenguero despues de n-lanzamientos y n {0, 1, 2, . . .}. El espacio deestados es E = {0, 1, . . . ,N + M }, donde N =nuestra fortuna yM =fortuna del merenguero.

  • 7/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Evolucion de una epidemia en una poblacion)

    Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m).

    Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:

    sano >

    {contagiado (contagioso)

    no contagiado (sano)

    contagiado (contagioso)>

    {enfermo

    sano inmune

    enfermo >

    {sano inmune

    muerto

    sano inmune > sano inmune,

    muerto > muerto.

  • 7/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Evolucion de una epidemia en una poblacion)

    Un individuo de la poblacion puede estar en los siguientes estados:enfermo(e), contagiado y por lo tanto contagioso (c), inmune a laenfermedad (i), sano pero no inmune (s), muerto (m). Segun lainformacion dada por el sistema de salud de la poblacion se tienen lassiguientes transiciones:

    sano >

    {contagiado (contagioso)

    no contagiado (sano)

    contagiado (contagioso)>

    {enfermo

    sano inmune

    enfermo >

    {sano inmune

    muerto

    sano inmune > sano inmune,

    muerto > muerto.

  • 8/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Procesos de Ramificacion)

    Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X .

    Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+, yel numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

    Zn+1 =Zni=1

    X (n)i ,

    donde X (n)i el numero de descendientes del i -esimo individuo presente enla poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

  • 8/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Procesos de Ramificacion)

    Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion.

    Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+, yel numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

    Zn+1 =Zni=1

    X (n)i ,

    donde X (n)i el numero de descendientes del i -esimo individuo presente enla poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

  • 8/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Procesos de Ramificacion)

    Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion.

    E = Z+,y el numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

    Zn+1 =Zni=1

    X (n)i ,

    donde X (n)i el numero de descendientes del i -esimo individuo presente enla poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

  • 8/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Procesos de Ramificacion)

    Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

    Zn+1 =Zni=1

    X (n)i ,

    donde X (n)i el numero de descendientes del i -esimo individuo presente enla poblacion en la n-esima generacion.

    Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

  • 8/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Procesos de Ramificacion)

    Al tiempo inicial n = 0 hay una partcula. Al tiempo n = 1 esta partculamuere y da nacimiento a X partculas identicas (entre si y a suprogenitor). A cada generacion subsecuente n = 2, 3, . . . cada partculaexistente muere y da nacimiento a un numero aleatorio de partculasidenticas, sus descendientes. Supondremos que todos los tamanos de lasfamilias son independientes y que todos tiene la misma ley que X . Sea(Zn ,n 0) los tamanos de las poblacion en la n-esima generacion. Estees un proceso estocastico llamado Proceso de Ramificacion. E = Z+,y el numero de partculas al tiempo n + 1 depende solamente de aquellaspresentes al tiempo n y no de las generaciones anteriores. De hecho

    Zn+1 =Zni=1

    X (n)i ,

    donde X (n)i el numero de descendientes del i -esimo individuo presente enla poblacion en la n-esima generacion. Modelo introducido por Galton yWatson para estudio de la desaparicion de familias.

  • 9/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Inventarios)

    Una tienda de aparatos electronicos vende televisiones y opera bajo elsiguiente esquema. Si al final del da el numero de unidades disponibles es1 o 0, se ordenan nuevas unidades para llevar el total a 5. Supondremosque la mercanca llega antes de que la tienda abra al da siguiente. SeaXn el numero de unidades disponibles en la tienda al final del n-esimoda y supongamos que diariamente el numero de clientes que compran unipod es 0, 1, 2 o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.

    Xn+1 =

    {(Xn Dn+1)+ si Xn > 1(5Dn+1)+ si Xn 1

    Con Dn+1 la demanda el da n + 1.

  • 9/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Introduccion

    Procesos Estocasticos

    Ejemplo (Inventarios)

    Una tienda de aparatos electronicos vende televisiones y opera bajo elsiguiente esquema. Si al final del da el numero de unidades disponibles es1 o 0, se ordenan nuevas unidades para llevar el total a 5. Supondremosque la mercanca llega antes de que la tienda abra al da siguiente. SeaXn el numero de unidades disponibles en la tienda al final del n-esimoda y supongamos que diariamente el numero de clientes que compran unipod es 0, 1, 2 o 3 con probabilidad 0.3; 0.4; 0.2; y 0.1 respectivamente.

    Xn+1 =

    {(Xn Dn+1)+ si Xn > 1(5Dn+1)+ si Xn 1

    Con Dn+1 la demanda el da n + 1.

  • 10/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Definicion de Cadena de Markov

    En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto.

    Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,

    P ({Evento del pasado} {Evento del futuro}|Evento del presente)= P ({Evento del pasado}|Evento del presente) P ({Evento del futuro}|Evento del presente) .

  • 10/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Definicion de Cadena de Markov

    En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de Markov

    Dicho de otro, dado el presente, el futuro es independientemente delpasado,

    P ({Evento del pasado} {Evento del futuro}|Evento del presente)= P ({Evento del pasado}|Evento del presente) P ({Evento del futuro}|Evento del presente) .

  • 10/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Definicion de Cadena de Markov

    En los ejemplos del merenguero, la epidemia, el proceso de ramificacion ylos inventarios se tiene que el proceso estocastico subyacente es tal que elfuturo depende solamente del presente y no del pasado estricto. Esto eslo que se llama la propiedad de MarkovDicho de otro, dado el presente, el futuro es independientemente delpasado,

    P ({Evento del pasado} {Evento del futuro}|Evento del presente)= P ({Evento del pasado}|Evento del presente) P ({Evento del futuro}|Evento del presente) .

  • 11/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Definicion de Cadena de Markov

    Cadenas de Markov

    DefinicionSea (,F ,P) un espacio de probabilidad y E un conjunto no vaco, finitoo numerable. Un proceso estocastico o sucesion de variables aleatorias

    {Xn : E ,n N},

    se llama cadena de Markov con espacio de estados E si satisface lacondicion de Markov, es decir, si para todo n 1 y toda sucesionx0, x1, . . . , xn1, xn , xn+1 E , se cumple:

    P (Xn+1 = xn+1|Xn = xn ,Xn1 = xn1, . . . ,X0 = x0)= P (Xn+1 = xn+1|Xn = xn) .

    (1)

    La distribucion de X0 se llama distribucion inicial de la cadena y enmuchos casos la denotaremos por (x ) = P(X0 = x ), x E .

  • 12/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Algunas precisiones

    Supondremos que E Z, y en consecuencia E es ordenado.

    La familia

    {P (Xn+1 = y |Xn = x ) ,n N, x , y E},

    se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.

    Para todo n N y x E se tiene que

    1 = P (Xn+1 E |Xn = x )= P (yE{Xn+1 = y}|Xn = x )

    =yE

    P (Xn+1 = y |Xn = x ) .

  • 12/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Algunas precisiones

    Supondremos que E Z, y en consecuencia E es ordenado. La familia

    {P (Xn+1 = y |Xn = x ) ,n N, x , y E},

    se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.

    Para todo n N y x E se tiene que

    1 = P (Xn+1 E |Xn = x )= P (yE{Xn+1 = y}|Xn = x )

    =yE

    P (Xn+1 = y |Xn = x ) .

  • 12/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Algunas precisiones

    Supondremos que E Z, y en consecuencia E es ordenado. La familia

    {P (Xn+1 = y |Xn = x ) ,n N, x , y E},

    se le llama familia de probabilidades de transicion de la cadena.Estas describen la evolucion de la cadena en el tiempo.

    Para todo n N y x E se tiene que

    1 = P (Xn+1 E |Xn = x )= P (yE{Xn+1 = y}|Xn = x )

    =yE

    P (Xn+1 = y |Xn = x ) .

  • 13/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Algunas precisiones

    Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si

    P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, x , y E ,

    diremos que la cadena es homogenea con respecto al tiempo.

    En este curso solo nos interesaremos por las cadenas de Markovhomogeneas en el tiempo y en la mayora de los casos con espacio deestados E finito.

    La familia de probabilidades de transicion

    P = {Px ,y , (x , y) E E},

    sera llamada matriz de transicion de la cadena. P cumple queyE

    Px ,y =yE

    P (Xn+1 = y |Xn = x ) = 1, x E .

    Se dice que P , es una matriz estocastica o de Markov. Diremos que el proceso estocastico {Xn ,n N} es una cadena de

    Markov (,P), donde es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

  • 13/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Algunas precisiones

    Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si

    P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, x , y E ,

    diremos que la cadena es homogenea con respecto al tiempo. En este curso solo nos interesaremos por las cadenas de Markov

    homogeneas en el tiempo y en la mayora de los casos conespacio de estados E finito.

    La familia de probabilidades de transicion

    P = {Px ,y , (x , y) E E},

    sera llamada matriz de transicion de la cadena. P cumple queyE

    Px ,y =yE

    P (Xn+1 = y |Xn = x ) = 1, x E .

    Se dice que P , es una matriz estocastica o de Markov. Diremos que el proceso estocastico {Xn ,n N} es una cadena de

    Markov (,P), donde es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

  • 13/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Algunas precisiones

    Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si

    P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, x , y E ,

    diremos que la cadena es homogenea con respecto al tiempo. En este curso solo nos interesaremos por las cadenas de Markov

    homogeneas en el tiempo y en la mayora de los casos con espacio deestados E finito.

    La familia de probabilidades de transicion

    P = {Px ,y , (x , y) E E},

    sera llamada matriz de transicion de la cadena. P cumple queyE

    Px ,y =yE

    P (Xn+1 = y |Xn = x ) = 1, x E .

    Se dice que P , es una matriz estocastica o de Markov.

    Diremos que el proceso estocastico {Xn ,n N} es una cadena deMarkov (,P), donde es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

  • 13/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Algunas precisiones

    Si las probabilidades de ir de un estado a otro en una unidad detiempo no depende del instante de tiempo en el cual se inicia, esdecir si

    P (Xn+1 = y |Xn = x ) = Px ,y no depende de n, x , y E ,

    diremos que la cadena es homogenea con respecto al tiempo. En este curso solo nos interesaremos por las cadenas de Markov

    homogeneas en el tiempo y en la mayora de los casos con espacio deestados E finito.

    La familia de probabilidades de transicion

    P = {Px ,y , (x , y) E E},

    sera llamada matriz de transicion de la cadena. P cumple queyE

    Px ,y =yE

    P (Xn+1 = y |Xn = x ) = 1, x E .

    Se dice que P , es una matriz estocastica o de Markov. Diremos que el proceso estocastico {Xn ,n N} es una cadena de

    Markov (,P), donde es la distribucion de X0 y P es la matriz deprobabilidades de transicion.

  • 14/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    El sistema Bonus-Malus en el seguro de automoviles

    En Hong Kong y en otros lugares del mundo, se usa un sistema para fijarlas primas de seguro de automovil conocido como Bonus-Malus queconsiste de 6 clases de tarificacion, de 1 fort bonus a 6 fort malus, que serige por las siguientes reglas:

    si un asegurado no tuvo siniestros durante el periodo, entonces pasade la categora i a la categora max{1, i 1},si el asegurado tiene al menos un siniestro entonces pasa de lacategora i a la 6.

    Si Xn denota la categora en cual se encuentra un individuo al n-esimoperiodo entonces {Xn ,n 0} es una cadena de Markov con espacio deestados {1, 2, . . . , 6}. Un asegurado tiene un siniestro con probabilidad1 p en un periodo.

  • 15/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    La matriz de transicion asociada esta dada por

    P =

    p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

    .

    Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ?Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categora. c es unafuncion definida en {1, 2, . . . , 6} no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

    1n

    nj=1

    c(Xj ),=6

    j=1

    c(j )N (n)j

    n

  • 15/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    La matriz de transicion asociada esta dada por

    P =

    p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

    .

    Cual es la proporcion de tiempo que un cliente pasa en el estadoj despues de n pasos, n1N jn , dado que X0 = j?

    Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categora. c es unafuncion definida en {1, 2, . . . , 6} no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

    1n

    nj=1

    c(Xj ),=6

    j=1

    c(j )N (n)j

    n

  • 15/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    La matriz de transicion asociada esta dada por

    P =

    p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

    .

    Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ?Cual es la prima promedio que paga un asegurado?

    Sea c unafuncion que determina la prima a pagar en funcion de la categora. c esuna funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

    1n

    nj=1

    c(Xj ),=6

    j=1

    c(j )N (n)j

    n

  • 15/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    La matriz de transicion asociada esta dada por

    P =

    p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

    .

    Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ?Cual es la prima promedio que paga un asegurado? Sea c una funcionque determina la prima a pagar en funcion de la categora. c es unafuncion definida en {1, 2, . . . , 6} no-decreciente que toma solo valorespositivos. La prima promedio que pagara un individuo en n periodos seraentonces:

    1n

    nj=1

    c(Xj ),=6

    j=1

    c(j )N (n)j

    n

  • 16/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Ejemplo (Merenguero)

    En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n 0. {Sn ,n 0} es unacadena de Markov con matriz de transicion

    P(Sn+1 = j |Sn = i) = Pi,j =

    1, si i , j = 0p si 0 < i < N + M , j = i + 11 p si 0 < i < N + M , j = i 11 si i , j = N + M0 en otro caso

    y ley inicial P(S0 = M ) = 1. Cuando retirarse del juego? Cual es laprobabilidad de que el merenguero pierda todo su captal?Cual esel tiempo promedio que durara el juego?

  • 16/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Ejemplo (Merenguero)

    En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n 0. {Sn ,n 0} es unacadena de Markov con matriz de transicion

    P(Sn+1 = j |Sn = i) = Pi,j =

    1, si i , j = 0p si 0 < i < N + M , j = i + 11 p si 0 < i < N + M , j = i 11 si i , j = N + M0 en otro caso

    y ley inicial P(S0 = M ) = 1.

    Cuando retirarse del juego? Cual es laprobabilidad de que el merenguero pierda todo su captal?Cual esel tiempo promedio que durara el juego?

  • 16/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Ejemplo (Merenguero)

    En este ejemplo, M la fortuna del merenguero, N nuestra fortuna, p laprobabilidad de aguila, y de que el merenguero gane un peso, y Sn =lafortuna del merenguero despues de n volados, n 0. {Sn ,n 0} es unacadena de Markov con matriz de transicion

    P(Sn+1 = j |Sn = i) = Pi,j =

    1, si i , j = 0p si 0 < i < N + M , j = i + 11 p si 0 < i < N + M , j = i 11 si i , j = N + M0 en otro caso

    y ley inicial P(S0 = M ) = 1. Cuando retirarse del juego? Cual es laprobabilidad de que el merenguero pierda todo su captal?Cual esel tiempo promedio que durara el juego?

  • 17/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    LemaSea {Sn ,n 0} una caminata aleatoria simple en {0, 1, . . . ,N }, conbarreras absorbentes en 0 y N ; Pi,i+1 = p y q = Pi,i1 = 1 p,0 < i < N , P0,0 = 1 = PN ,N . Se tiene que

    P(Caminata absorbida en 0|S0 = j ) =

    ( qp )

    j( qp )N

    1( qp )N , si p 6= q

    NjN , si p = q = 1/2.

    Si T es el tiempo de absorcion en {0,N }, T = inf{n 0 : Sn {0,N }}entonces

    E (T |S0 = j ) =

    jqp Nqp1( qp )

    j

    1( qp )N , si p 6= q

    j (N j ), si p = q = 1/2.

  • 18/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Demostracion: Tecnica del primer paso

    h(j ) = P(Caminata absorbida en 0|S0 = j ) es solucion al sistema deecuaciones lineales

    h(j ) = ph(j + 1) + qh(j 1), 0 < j < N , h(0) = 1, h(N ) = 0.

    L(j ) = E (T |S0 = j ) , es solucion al sistema de ecuaciones lineales

    L(0) = 0 = L(N ), L(j ) = 1 +pL(j + 1) + qL(j 1), 0 < j < N .

  • 19/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Caminatas aleatorias en ZdS0 Zd , (Yi , i 1) v.a.i.i.d. toman en Zd , y son independientes de S0.Al proceso estocastico (Sn ,n 0)

    Sn+1 = Sn + Yn+1, n 0,

    se le llama caminata aleatoria.

    En Z2 se ve

  • 19/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Caminatas aleatorias en ZdS0 Zd , (Yi , i 1) v.a.i.i.d. toman en Zd , y son independientes de S0.Al proceso estocastico (Sn ,n 0)

    Sn+1 = Sn + Yn+1, n 0,

    se le llama caminata aleatoria. En Z2 se ve

  • 20/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    En Z3,

    mientras que en Londres se ve como

  • 20/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    En Z3, mientras que en Londres se ve como

  • 21/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Ejemplo (La cadena de Ehrenfest)

    T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocastico{Xn ,n N} definido por

    Xn = #moleculas presentes en la urna A al instante n, n N,

    es una cadena de Markov y su espacio de estados {0, 1, 2, . . . ,N }.Cuales son las probabilidades de transicion? Se tiene que

    P0,j =

    {1 si j = 1,0 en otro caso

    PN ,j =

    {1 j = N 1,0 en otro caso,

    Pi,j =

    0, si|i j | > 1,iN si j = i 1,NiN si j = i + 1,

    0 si i = j .

    , para i {1, 2, . . . ,N 1}.

  • 21/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Ejemplo (La cadena de Ehrenfest)

    T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocastico{Xn ,n N} definido por

    Xn = #moleculas presentes en la urna A al instante n, n N,

    es una cadena de Markov y su espacio de estados {0, 1, 2, . . . ,N }.

    Cuales son las probabilidades de transicion? Se tiene que

    P0,j =

    {1 si j = 1,0 en otro caso

    PN ,j =

    {1 j = N 1,0 en otro caso,

    Pi,j =

    0, si|i j | > 1,iN si j = i 1,NiN si j = i + 1,

    0 si i = j .

    , para i {1, 2, . . . ,N 1}.

  • 21/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Ejemplo (La cadena de Ehrenfest)

    T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocastico{Xn ,n N} definido por

    Xn = #moleculas presentes en la urna A al instante n, n N,

    es una cadena de Markov y su espacio de estados {0, 1, 2, . . . ,N }.Cuales son las probabilidades de transicion?

    Se tiene que

    P0,j =

    {1 si j = 1,0 en otro caso

    PN ,j =

    {1 j = N 1,0 en otro caso,

    Pi,j =

    0, si|i j | > 1,iN si j = i 1,NiN si j = i + 1,

    0 si i = j .

    , para i {1, 2, . . . ,N 1}.

  • 21/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Ejemplos de matrices de transicion

    Ejemplo (La cadena de Ehrenfest)

    T. Ehrenfest describio un experimento con 2 urnas, A y B , dentro de lascuales estan distribuidas N moleculas. En cada paso del experimento, seescoge al azar una y solo una molecula, esta es removida de la urna en lacual se encuentra y es colocada en la otra urna. El proceso estocastico{Xn ,n N} definido por

    Xn = #moleculas presentes en la urna A al instante n, n N,

    es una cadena de Markov y su espacio de estados {0, 1, 2, . . . ,N }.Cuales son las probabilidades de transicion? Se tiene que

    P0,j =

    {1 si j = 1,0 en otro caso

    PN ,j =

    {1 j = N 1,0 en otro caso,

    Pi,j =

    0, si|i j | > 1,iN si j = i 1,NiN si j = i + 1,

    0 si i = j .

    , para i {1, 2, . . . ,N 1}.

  • 22/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Recurrencia aleatoria y simulacion

    Recurrencia aleatoria y simulacion

    Sean X0 es una variable aleatoria que toma valores en E ,{Yn : S ,n N}, una sucesion de variables aleatoriasindependientes entre si y de X0 y F : E S E . En general, cualquierfenomeno descrito por una relacion en recurrencia aleatoria de la forma

    Xn+1 = F (Xn ,Yn+1), n N,

    es una cadena de Markov.

  • 23/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Nociones basicas de cadenas de Markov

    Recurrencia aleatoria y simulacion

    Toda cadena de Markov con espacio de estados finito se puede simularusando esto. Sea {Xn ,n 0} una cadena de Markov (,P) yE = {0, 1, . . . ,M }. El proceso estocastico definido mediante X0 X0,

    Xn+1 = F (Xn ,Yn+1),

    para n 0,

    con F : E [0, 1] E , definida como x E , z [0, 1],

    F (x , z ) = min{i E :i

    j=0

    Px ,j > z},

    y Yi Uniforme[0, 1], tiene la misma distribucion queX = (Xn ,n 0)

    .

    Las probabilidades de transicion de X estan dadas por

    P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

    = P

    (l1j=0

    Px ,j Yn+1 z},

    y Yi Uniforme[0, 1], tiene la misma distribucion queX = (Xn ,n 0).

    Las probabilidades de transicion de X estan dadas por

    P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

    = P

    (l1j=0

    Px ,j Yn+1 z},

    y Yi Uniforme[0, 1], tiene la misma distribucion queX = (Xn ,n 0). Las probabilidades de transicion de X estan dadas por

    P(Xn+1 = l |Xn = x ) = P (F (x ,Yn+1) = l)

    = P

    (l1j=0

    Px ,j Yn+1 0,

    (ii) Px ,x1 Px1,x2 Pxn2,xn1 Pxn1,y > 0, para algunosx1, . . . , xn1 E ; o dicho de otro modo, con probabilidad positivaexiste una trayectoria que lleva de x a y .

    (iii) P(Xn = y para algun n 1|X0 = x ) > 0.

  • 40/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Recurrencia y Transitoriedad

    DefinicionPara x E , definimos Tx = inf{n 1 : Xn = x}, el primer tiempo deentrada a x .

    Diremos que un estado x E es recurrente si

    P(Tx

  • 41/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Recurrencia y Transitoriedad

    Proposicion

    Si x es recurrente

    P(Xn = x para una infinidad de ns |X0 = x ) = 1

    Si x es transitorio

    P(Xn = x para una infinidad de ns |X0 = x ) = 0.

    Sean x = P(Tx

  • 42/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Sea N yn el numero de visitas al estado y en n pasos.

    Teorema (Ley fuerte)

    Para y E estado transitorio N yn

  • 42/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Sea N yn el numero de visitas al estado y en n pasos.

    Teorema (Ley fuerte)

    Para y E estado transitorio N yn

  • 42/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Sea N yn el numero de visitas al estado y en n pasos.

    Teorema (Ley fuerte)

    Para y E estado transitorio N yn

  • 43/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    El sistema Bonus-Malus en el seguro de automoviles

    En Hong Kong y en otros lugares del mundo, se usa un sistema para fijarlas primas de seguro de automovil conocido como Bonus-Malus queconsiste de 6 clases de tarificacion, de 1 fort bonus a 6 fort malus, que serige por las siguientes reglas:

    si un asegurado no tuvo siniestros durante el periodo, entonces pasade la categora i a la categora max{1, i 1},si el asegurado tiene al menos un siniestro entonces pasa de lacategora i a la 6.

    Si Xn denota la categora en cual se encuentra un individuo al n-esimoperiodo entonces {Xn ,n 0} es una cadena de Markov con espacio deestados {1, 2, . . . , 6}

  • 44/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    La matriz de transicion asociada esta dada por

    P =

    p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

    .

    Si p (0, 1) el unico vector = ((1), (2), . . . , (6)) que es invariantepara la matriz P, es decir P = , y que satisface que(1) + (2) + + (6) = 1, es el vector dado por

    (1) = p5, (2) = p4(1 p), (3) = p3(1 p),

    (4) = p2(1 p), (5) = p(1 p), (6) = (1 p).

  • 44/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    La matriz de transicion asociada esta dada por

    P =

    p 0 0 0 0 1 pp 0 0 0 0 1 p0 p 0 0 0 1 p0 0 p 0 0 1 p0 0 0 p 0 1 p0 0 0 0 p 1 p

    .

    Si p (0, 1) el unico vector = ((1), (2), . . . , (6)) que es invariantepara la matriz P, es decir P = , y que satisface que(1) + (2) + + (6) = 1, es el vector dado por

    (1) = p5, (2) = p4(1 p), (3) = p3(1 p),

    (4) = p2(1 p), (5) = p(1 p), (6) = (1 p).

  • 45/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Cual es la proporcion de tiempo que un cliente pasa en el estadoj despues de n pasos, n1N jn , dado que X0 = j?

    Dado que la cadenaes irreducible y con espacio de estados finito

    1n

    N jn (j ) =1

    E(Tj |X0 = j ),

    con probabilidad 1.Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categora. ces una funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

    1n

    nj=1

    c(Xj ),=6

    j=1

    c(j )N (n)j

    n

    6j=1

    (j )c(j ),

    con probabilidad 1.

  • 45/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ? Dado que la cadena esirreducible y con espacio de estados finito

    1n

    N jn (j ) =1

    E(Tj |X0 = j ),

    con probabilidad 1.

    Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categora. ces una funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

    1n

    nj=1

    c(Xj ),=6

    j=1

    c(j )N (n)j

    n

    6j=1

    (j )c(j ),

    con probabilidad 1.

  • 45/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ? Dado que la cadena esirreducible y con espacio de estados finito

    1n

    N jn (j ) =1

    E(Tj |X0 = j ),

    con probabilidad 1.Cual es la prima promedio que paga un asegurado?

    Denotemos porc una funcion que determina la prima a pagar en funcion de la categora.c es una funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

    1n

    nj=1

    c(Xj ),=6

    j=1

    c(j )N (n)j

    n

    6j=1

    (j )c(j ),

    con probabilidad 1.

  • 45/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Cual es la proporcion de tiempo que un cliente pasa en el estado jdespues de n pasos, n1N jn , dado que X0 = j ? Dado que la cadena esirreducible y con espacio de estados finito

    1n

    N jn (j ) =1

    E(Tj |X0 = j ),

    con probabilidad 1.Cual es la prima promedio que paga un asegurado? Denotemos por cuna funcion que determina la prima a pagar en funcion de la categora. ces una funcion definida en {1, 2, . . . , 6} no-decreciente que toma solovalores positivos. La prima promedio que pagara un individuo en nperiodos sera entonces:

    1n

    nj=1

    c(Xj ),=6

    j=1

    c(j )N (n)j

    n

    6j=1

    (j )c(j ),

    con probabilidad 1.

  • 46/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es

    Pi,j =#transiciones de i a j en n pasos

    #transiciones que parten de i en n pasos=n

    k=1 1{(Xk1,Xk )=(i,j )}nk=0 1{Xk=i}

    El proceso Yk = (Xk ,Xk+1), k 0 es tambien una cadena de Markovcon espacio de estados E E , y es recurrente si la cadena (Xk , k 0) loes.Si ((x ), x E ) es vector de probabilidad invariante para {Xk , k 0}entonces (x ,y) := (x )Px ,y , con (x , y) E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1n

    k=1 1{(Xk1,Xk )=(i,j )}n

    n

    iPi,j , (i , j ) E 2.

    Mas aun con probabilidad 1nk=0 1{Xk=i}

    n + 1n

    i , i E .

  • 46/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es

    Pi,j =#transiciones de i a j en n pasos

    #transiciones que parten de i en n pasos=n

    k=1 1{(Xk1,Xk )=(i,j )}nk=0 1{Xk=i}

    El proceso Yk = (Xk ,Xk+1), k 0 es tambien una cadena de Markovcon espacio de estados E E , y es recurrente si la cadena (Xk , k 0) loes.

    Si ((x ), x E ) es vector de probabilidad invariante para {Xk , k 0}entonces (x ,y) := (x )Px ,y , con (x , y) E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1n

    k=1 1{(Xk1,Xk )=(i,j )}n

    n

    iPi,j , (i , j ) E 2.

    Mas aun con probabilidad 1nk=0 1{Xk=i}

    n + 1n

    i , i E .

  • 46/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es

    Pi,j =#transiciones de i a j en n pasos

    #transiciones que parten de i en n pasos=n

    k=1 1{(Xk1,Xk )=(i,j )}nk=0 1{Xk=i}

    El proceso Yk = (Xk ,Xk+1), k 0 es tambien una cadena de Markovcon espacio de estados E E , y es recurrente si la cadena (Xk , k 0) loes.Si ((x ), x E ) es vector de probabilidad invariante para {Xk , k 0}entonces (x ,y) := (x )Px ,y , con (x , y) E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k 0).

    Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1n

    k=1 1{(Xk1,Xk )=(i,j )}n

    n

    iPi,j , (i , j ) E 2.

    Mas aun con probabilidad 1nk=0 1{Xk=i}

    n + 1n

    i , i E .

  • 46/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Aplicacion a la Inferencia de matrices de transicion.Vimos que un EMV de la matriz de transicion es

    Pi,j =#transiciones de i a j en n pasos

    #transiciones que parten de i en n pasos=n

    k=1 1{(Xk1,Xk )=(i,j )}nk=0 1{Xk=i}

    El proceso Yk = (Xk ,Xk+1), k 0 es tambien una cadena de Markovcon espacio de estados E E , y es recurrente si la cadena (Xk , k 0) loes.Si ((x ), x E ) es vector de probabilidad invariante para {Xk , k 0}entonces (x ,y) := (x )Px ,y , con (x , y) E 2 es un vector deprobabilidad invariante para la matriz de transicion de la cadena(Yk , k 0). Si X es una cadena recurrente, irreducible y E es finito.Entonces Y tambien lo es y por el teorema anterior, con probabilidad 1n

    k=1 1{(Xk1,Xk )=(i,j )}n

    n

    iPi,j , (i , j ) E 2.

    Mas aun con probabilidad 1nk=0 1{Xk=i}

    n + 1n

    i , i E .

  • 47/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Por lo anterior, se tiene que el EMV de la probabilidad de transicion esfuertemente consistente, es decir que con probabilidad 1

    Pi,j =#transiciones de i a j en n pasos

    #transiciones que parten de i en n pasosn

    Pi,j .

    Es posible ver que el estimador es tambien asintoticamente normal y esposible construir intervalos de confianza.

  • 47/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Por lo anterior, se tiene que el EMV de la probabilidad de transicion esfuertemente consistente, es decir que con probabilidad 1

    Pi,j =#transiciones de i a j en n pasos

    #transiciones que parten de i en n pasosn

    Pi,j .

    Es posible ver que el estimador es tambien asintoticamente normal y esposible construir intervalos de confianza.

  • 48/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Teorema (Estacionaria)

    Sea X = {Xn ,n 0} una cadena de Markov con caractersticas (,P) ysupongamos que es invariante para P . Entonces, para todo m N se tiene P (m) = , es decir que

    P(Xm = y) = (y), y E ;

    la cadena de Markov X es estacionaria, es decir que para todom,n N se cumple que el vector (Xm+1, . . . ,Xm+n) tiene lamisma ley que (X1, . . . ,Xn) , esto es

    P (Xm+1 = x1, . . . ,Xm+n = xn) = P (X1 = x1, . . . ,Xn = xn) ,

    para todo x1, . . . , xn E .

  • 48/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Teorema (Estacionaria)

    Sea X = {Xn ,n 0} una cadena de Markov con caractersticas (,P) ysupongamos que es invariante para P . Entonces, para todo m N se tiene P (m) = , es decir que

    P(Xm = y) = (y), y E ;

    la cadena de Markov X es estacionaria, es decir que para todom,n N se cumple que el vector (Xm+1, . . . ,Xm+n) tiene lamisma ley que (X1, . . . ,Xn) , esto es

    P (Xm+1 = x1, . . . ,Xm+n = xn) = P (X1 = x1, . . . ,Xn = xn) ,

    para todo x1, . . . , xn E .

  • 49/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Es inmediato que 0 (y) 1, para todo y E pues esto se vale paralas potencia de la matriz de transicion P , 0 P (n)x ,y 1, para todo n 1y x , y E .

    Es un vector de probabilidad:yE

    (y) =yE

    limn

    P (n)x ,y = limn

    yE

    P (n)x ,y = 1.

    Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y E .

    (y) = limn

    P (n+1)x ,y = limn

    zE

    P (n)x ,z Pz ,y

    =zE

    limn

    P (n)x ,z Pz ,y =zE

    (z )Pz ,y

  • 49/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Es inmediato que 0 (y) 1, para todo y E pues esto se vale paralas potencia de la matriz de transicion P , 0 P (n)x ,y 1, para todo n 1y x , y E . Es un vector de probabilidad:

    yE

    (y) =yE

    limn

    P (n)x ,y = limn

    yE

    P (n)x ,y = 1.

    Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y E .

    (y) = limn

    P (n+1)x ,y = limn

    zE

    P (n)x ,z Pz ,y

    =zE

    limn

    P (n)x ,z Pz ,y =zE

    (z )Pz ,y

  • 49/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Es inmediato que 0 (y) 1, para todo y E pues esto se vale paralas potencia de la matriz de transicion P , 0 P (n)x ,y 1, para todo n 1y x , y E . Es un vector de probabilidad:

    yE

    (y) =yE

    limn

    P (n)x ,y = limn

    yE

    P (n)x ,y = 1.

    Es invariante: por las ecuaciones de Chapman-Kolmogorov tenemos quepara todo y E .

    (y) = limn

    P (n+1)x ,y = limn

    zE

    P (n)x ,z Pz ,y

    =zE

    limn

    P (n)x ,z Pz ,y =zE

    (z )Pz ,y

  • 50/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Sea X = {Xn ,n 0} una cadena de Markov con matriz de transicion

    P =

    0 1 00 1/2 1/21/2 0 1/2

    .Encontrar una ley invariante para X .

    Debemos resolver el sistema

    (1, 2, 3)P =

    0 1 00 1/2 1/21/2 0 1/2

    = 12

    3

    ,

  • 50/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Sea X = {Xn ,n 0} una cadena de Markov con matriz de transicion

    P =

    0 1 00 1/2 1/21/2 0 1/2

    .Encontrar una ley invariante para X . Debemos resolver el sistema

    (1, 2, 3)P =

    0 1 00 1/2 1/21/2 0 1/2

    = 12

    3

    ,

  • 51/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    Equivalentemente, resolver el sistemas de ecuaciones

    1 =123, 1 +

    122 = 2,

    122 +

    123 = 3.

    Su solucion queda determinada en terminos de 3 pues

    1 =123, 2 = 3.

    Para determinar el valor de 3 se utiliza la condicion,

    1 + 2 + 3 = 1.

    Despues de algunos calculos elementales se llega a la solucion: =

    (15 ,

    25 ,

    25

    ).

  • 52/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    La n-esima potencia de la matriz de transicion esta dada por

    P(n)1,1 =15

    +(

    12

    )n (45

    cos(n

    2

    ) 2

    5sin(n

    2

    )).

    Por lo tanto,

    limn

    P(n)1,1 =15

    = (1).

  • 53/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    TeoremaEn el caso en que el espacio de estados E es finito siempre existe una leyinvariante

  • 54/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    TeoremaSea P una matriz estocastica asociada a una cadena de Markov{Xn ,n N} con espacio de estados E finito y supongamos que existe unentero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.

    Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz tal que todos sus renglones son iguales a un mismo vectorde probabilidad cuyas entradas son estrictamente positivas.

    El vector es el unico vector de probabilidad invariante para P, esoes P = ; cualquier otro vector v tal que v P = v es un multiplode ;

    Se tienen las siguientes convergencias:

    limn

    P(Xn = x ) = (x ), x E ,

    ylim

    nPy(Xn = x ) = (x ), x , y E ,

    con (x ) la componente x del vector .

  • 54/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    TeoremaSea P una matriz estocastica asociada a una cadena de Markov{Xn ,n N} con espacio de estados E finito y supongamos que existe unentero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.

    Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz tal que todos sus renglones son iguales a un mismo vectorde probabilidad cuyas entradas son estrictamente positivas.

    El vector es el unico vector de probabilidad invariante para P, esoes P = ; cualquier otro vector v tal que v P = v es un multiplode ;

    Se tienen las siguientes convergencias:

    limn

    P(Xn = x ) = (x ), x E ,

    ylim

    nPy(Xn = x ) = (x ), x , y E ,

    con (x ) la componente x del vector .

  • 54/ 55

    Introduccion a las cadenas de Markov: I Tiempo discreto

    Ley fuerte

    TeoremaSea P una matriz estocastica asociada a una cadena de Markov{Xn ,n N} con espacio de estados E finito y supongamos que existe unentero n tal que P(n) tiene todas sus entradas estrictamente positivas.Se tienen las siguientes propiedades.

    Cuando n tiende a infinito, P(n) converge entrada por entrada a unamatriz tal que todos sus renglones son iguales a un mismo vectorde probabilidad cuyas entradas son estrictamente positivas.

    El vector es el unico vector de probabilidad invariante para P, esoes P = ; cualquier otro vector v tal que v P = v es un multiplode ;

    Se tienen las siguientes convergencias:

    limn

    P(Xn = x ) = (x ), x E ,

    ylim

    nPy(Xn = x ) = (x ), x , y E ,

    con (x ) la componente x del vector .

    IntroduccinPreliminaresProcesos Estocsticos

    Nociones bsicas de cadenas de MarkovDefinicin de Cadena de MarkovAlgunas precisionesEjemplos de matrices de transicinRecurrencia aleatoria y simulacinProbabilidades de TrayectoriasInferencia para matrices de transicin

    Ecuaciones de Chapman-KolmogorovCadena con dos estadosLa cadena de Ehrenfest

    ComunicacinRecurrencia y TransitoriedadLey fuerte