Procesos de Markov de saltos - dpye.iimas.unam.mx · Los eigenvalores de una matríz de...
35
Procesos de Markov de saltos Mogens Bladt 26 de septiembre de 2017 IIMAS-UNAM
Transcript of Procesos de Markov de saltos - dpye.iimas.unam.mx · Los eigenvalores de una matríz de...
Procesos de Markov de saltos
Mogens Bladt26 de septiembre de 2017
IIMAS-UNAM
Probabilidades de transición
TeoremaSea P t = {ptij} la matríz de transición de paso t para elproceso de Markov de saltos {Xt}t≥0, i.e.
ptij = Pi(Xt = j) = P(Xs+t = j | Xs = i).
Entoncesd
dtP t = ΛP t = P tΛ.
1
Demostración
Asumimos que el espacio de estado es finito. Condicionando enT0,
ptij = P(Xt = j | X0 = i)
= Pi(T0 > t)δij +∫ t
0λie−λis
∑k 6=i
qikpt−skj ds
= e−λitδij +∫ t
0λie−λi(t−u)∑
k 6=iqikp
ukjdu
= e−λit
δij +∫ t
0eλiu
∑k 6=i
λikpukjdu
.Entonces: t→ ptij es diferenciable.
2
Demostración
Tomando derivado,
d
dtptij = −λie−λit
δij +∫ t
0eλiu
∑k 6=i
λikpukjdu
+ e−λiteλit∑k 6=i
λikptkj
= −λiptij +∑k 6=i
λikptkj
=∑k
λikptkj ,
lo cual es lo mismo que
d
dtPt = ΛP t.
Segunda igualdad: deriva P s+t = P tP s c.r.a. s, usa la primeraparte y deja s ↓ 0.
3
Solución
En el caso de espacio de estado finito, las ecuacionesdiferenciales de Kolmogorov tiene solucion
P t = exp (Λt) =∞∑n=0
tn
n!Λn.
Como se calcula eΛx en practico?
Aquí destingimos entre calculo téorico y evalución númerico.
Téorico: diagonalización de Λ.
Númerico: Runge–Kutta, uniformización,....
4
Matríz exponencial
La matríz exponencial esta definido por la serie de Picard
eA =∞∑n=0
An
n! ,
donde A0 = I.
Se satisfaced
dxeAx = AeAx = eAxA.
Si A is nosingular, tenemos∫eAxdx = A−1eAx.
Tenemos quee(A+B)x = eAxeBx
si A y B comuten.
Por lo tanto, la inversa de eAx es e−Ax. 5
Uniformización
• Toma η ≥ maxi(−λii).• ηI + Λ ≥ 0.• Las filas de ηI + Λ suman a η (como las de Λ suman acero).• Entonces
P := I + η−1Λ
es una matríz de transción.• Equivalentmente,
Λ = η(P − I)
• y
eΛt = eη(P−I)t = e−ηteP ηt = e−ηt∞∑n=0
(ηt)n
n! P n.
6
Uniformización: interpretación
Sea {Xn}n≥0 una cadena de Markov con matríz de transición P .
Definimos {Zt}t≥0 como el proceso que resulta reemplazandolos tiempos entre Xn y Xn−1 por tiempos ∼ exp(η) (todosindependientes).
Cual es la probablidad que {Zt}t≥0 hace una transición de i aj 6= i durante [t, t+ dt)?
Es la probabilidad que hay un arrivo, lo cual tiene proba ηdt, yse hace la transición de i a j 6= i en {Xn}, lo cual tiene probapij :
ηdt · pij = ηdt · λijη
= λijdt.
7
Uniformización: interpretación
Xn puede hacer transiciones de i a i.
Cual la intensidad cuando Xn = i para saltar fuera de i?
Utilizar argumento de thinning.
Con proba pii se elimina el punto y con proba 1− pii se queda(sera un salto que deveras).
Entonces la tasa total con la cual se saltara a un estado 6= i esde (1− pii)η.
Pero1− pii = 1− (1 + λii
η) = λi
η
la tasa total es de η · (1− pii) = λi, lo cual coincide con elproceso original que tiene matríz de intensidad Λ.
8
Calculo y precisión
Hacemos la aproximación
eΛx =∞∑n=0
xn
n! Λn ≈m∑n=0
xn
n! Λn
para algún m. Para obtener una precisón de∣∣∣∣∣exp(Λt)−∑n=0
P n (ηt)n
n! e−ηt∣∣∣∣∣ < ε,
para algún norma de matríz | · |, se toma m tal que∑n=0
(ηt)n
n! e−ηt > 1− ε.
m puede ser muy grande, pero se puede controlar con “scalingand squaring”:
eΛx =(eΛx/2n
)2n
para un n tal que xΛ es “pequeño”. 9
Distribuciones tipo fase
Sea {Xt}t≥0 un proceso de Markov con espacio de estadosE = {1, 2...., p, p+ 1} donde
1. estados 1, ..., p son transitorios2. estado p+ 1 es absorbente
y matríz de transición
Λ =(T t
0 0
)=(T p×p tp×1
01×p 0
)
T es una matríz de subintensidad
t vector de (intesidades de) salida.
t = −Te.
10
Distribuciones tipo fase
Espeicificamos una distibución inicial:
πi = P(X0 = i), i = 1, ..., p, p+ 1
Suponemos que πp+1 = 0. De lo contrario tendriamos un átomoen cero.
Defina π = (π1, ...,πp). Ese sera la distribución inicial sobre losestados transitorios.
Como πe =∑pi=1 πi = 1, es una distribución propio.
DefiniciónSe dice que el tiempo hasta absorción
τ = ınf{t ≥ 0 : Xt = p+ 1}
tiene una distribución tipo fase con representación (π,T ) yescribimos τ ∼ PHp(π,T ). 11
Distribuciones tipo fase
t
Xt
12345
pp+ 1
τ
12
Ejemplo: Erlang
Si X1, ...Xp i.i.d. ∼ exp(λ) entonces τ = X1 + · · ·+Xp tiene unadistribucion tipo fase con parámetros
π = (1, 0, ..., 0), T =
−λ λ 0 0 · · · 0 00 −λ λ 0 · · · 0 00 0 −λ λ · · · 0 0...
......
......
......
0 0 0 0 · · · −λ λ
0 0 0 0 · · · 0 −λ
.
La densidad es tipo Gamma con
f(x) = λn
Γ(n)xp−1e−λx
Para ver que es tipo fase con la distribución arriba basta ver lasiguiente gráfica:
13
Ejemplo:Erlang
t
Xt
12345
pp+ 1 abs
S1 S2 S3 S4 τ
14
Erlang generalizada
Aquí Xi ∼ exp(λi) independientes y
τ = X1 + · · ·+Xp.
Entonces τ ∼ PHp(π,T ) donde
π = (1, 0, 0, . . . , 0), T =
−λ1 λ1 0 0 · · · 00 −λ2 λ2 0 · · · 00 0 −λ3 λ3 · · · 0...
......
......
...0 0 0 0 · · · −λp
.
La prueba es el mismo dibujo.
La prueba también revela el problema de falta unicidad en larepresentación.
15
Hiper–exponencial
Una mezcla de exponenciales independientes se llamahiper–exponencial:
f(x) =p∑i=1
πiλie−λix
donde π1 + · · ·+ πp = 1.
Entonces τ ∼ f es tipo fase con parámetros:
π = (π1, π2, . . . , πp), T =
−λ1 0 0 0 · · · 00 −λ2 0 0 · · · 00 0 −λ3 0 · · · 0...
......
............
...0 0 0 0 · · · −λp
.
La prueba as más dificil de dibujar, pero tratamos...16
Hiper–exponencial
t
Xt
12345
pp+ 1 abs
τ1τ2 τ3
17
Diagramas de flujo: convolucion y mezcla
inicio 1 2 3 p p+ 1λ1 λ2 λp
1
2
3
4
p
incio p+1
λ1λ2λ3λ4
λp
π1π2π3π4
πp
18
Representación matríz exponencial
Lema
exp((T t
0 0
)s
)=(
exp(T s) e− exp(T s)e0 1
).
Dem: Por definición,
Λ0 = Ip+1 =(Ip 00 1
).
Usando t = −Te, obtenemos que
Λn =(T n −T ne0 0
), n ∈ N.
19
Representación matríz exponencial
exp(Λs) =∞∑n=0
Λnsn
n!
= Ip+1 +∞∑n=1
Λnsn
n!
= Ip+1 +( ∑∞
n=1T n
sn
n! −∑∞n=1
T nsn
n! e
0 0
)
=(Ip +
∑∞n=1
T nsn
n! −∑∞n=1
T nsn
n! e
0 1
)
=(eT s e− eT se0 1
).
Para i, j ∈ {1, 2, ..., p} tenemos
P(Xs = j|X0 = i) =(eT s
)ij
20
Densidad
TeoremaSi τ ∼ PHp(π,T ) entonces tiene densidad
fτ (x) = πeT xt.
Dem: Usando la interpretación,
fτ (u)du = Fτ (u+ du)− Fτ (u) = P(τ ∈ (u, u+ du]),
condicionamos en el valor de Xu:
fτ (u)du =p∑j=1
P(τ ∈ (u, u+ du]|Xu = j)P(Xu = j).
Ahora P(τ ∈ (u, u+ du]|Xu = j) = tjdu y
P(Xu = j) =p∑i=1P(Xu = j|X0 = i)P(X0 = i) =
(πeT u
)j
21
Densidad
y se concluye que
fτ (u)du =p∑j=1
(πeT u
)jtjdu = πeT utdu.
Formalmente,fτ (u)h = πeT uth+ o(h)
así que dividiendo con h y dejandolo ir a cero, sigue que
fτ (u) = πeT ut.
22
Función de distribución
TeoremaSi τ ∼ PH(π,T ) entonces su función de distribución esta dadopor
F (u) = 1− πeT ue.
Dem: Nota que
P(τ > u) = P(Xu ∈ {1, 2, ..., p})
=p∑j=1
P(Xu = j)
=p∑j=1
(πeT u
)j
= πeT ue
23
Irreducibilidad
Si todos los estados transitorios son necessarios, y no existenestados inacanzables y inutiles en una representación, se diceque la representación es irreducible.
Formalmente:DefiniciónUna representación (α,S) es irreducible si(
αeSx)i> 0
para todo i = 1, . . . , p y todo x > 0.
Densidades para distribuciones tipo fase son estrictamentepositivias para todo x > 0.
Toma una representación irreducible y nota que t 6= 0 asi queexiste un j con tj > 0. 24
Matríz de subintensidad
TeoremaConsidere un proceso de Markov de saltos con espacio deestados {1, 2, . . . , p, p+ 1} y matríz de intensidad de la forma
Λ =(T t
0 0
),
donde T es la matríz de subintensidad p× p que corresponde alos estados 1, . . . , p.
Entonces T es invertible si y solo si los estados 1, 2, . . . , p sontransitorios.
25
Matríz de subintensidad
Supongamos que 1, ..., p son transitorios. Considere
νT = 0.
Esto esp∑j=1
νjtij = 0, i = 1, ..., p
o, usando λi = −tii,
νiλi =∑j 6=i
νjtji =∑j 6=i
νjλjqji.
Como qii = 0, también tenemos
νiλi =p∑j=1
νjλjqji.
Con uj = νjλj , u = (u1, ..., up) y Q = {qij}i,j=1,...,p esto es
u = uQ = ... = uQn. 26
Matríz de subintensidad
Como 1, ..., p son transitorios, Qn → 0 y conluimos que u = 0.
Entonces ν = 0 y las filas de T son linealmente independientes.
Al revez, supongamos que T es invertible.
Sea ai la proba de abs. eventual dado X0 = i.
Entoncesai = qi,p+1 +
∑j 6=i
qijaj .
oai = ti
−tii+∑j 6=i
tij−tii
aj
implicando
ti +p∑j=1
tijaj = 0
27
Matríz de subintensidad
Con a = (a1, ..., ap)′ esto es
t+ Ta = 0.
Ahora t = −Te asi que
Ta = Te
y como T es invertiblea = e,
i.e. la proba de abs. es uno desde cualquier estado 1, ..., p loimplica que son transitorios.
28
Matríz de Green
Consecuencia inmediato es que la matríz de subintensidad T enuna representación tipo fase PHp(π,T ) es invertible.
DefiniciónLa matríz U = (−T )−1 se llama la matríz de Green.
TeoremaSea τ ∼ PHp(π,T ) y sea {Xt}t≥0 el proceso que genera τ .Entonces las entradas uij de la matríz de Green tienen lasiguiente interpretación: uij es el tiempo esperado que elproceso {Xt}t≥0 estará en estado j antes que abs. dado queX0 = i.
29
Matríz de Green
Dem: DefinaZj =
∫ τ
01{Xu = j}du
Entonces para i, j = 1, ..., p,
Ei(Zj) = Ei
(∫ τ
01{Xu = j}du
)=
∫ ∞0Pi(Xu = j, τ ≥ u)du
=∫ ∞
0Pi(Xu = j)du
=∫ ∞
0
(eT u
)ijdt
1, ..., p transitorios =⇒ Pi(Xt = j, t < τ)→ 0 cuando t→∞ y
eT x → 0 as x→∞.
30
Matríz de Green
Entonces
{Ei(Zj)}i,j=1,...,p =∫ ∞
0eT udu =
[T−1eT u
]∞0
= (−T )−1.
Implicación casi inmediata:
E(τ) = πUe = π(−T )−1e.
Tambíen eT u → 0 indicaria que todos los eigenvalores de T sonestrictamente negativos.
31
CorolarioLos eigenvalores de una matríz de subintensidad tienen partesreales estrictamente negativos.
Sea θ = maxi(−tii) y defina K por la relación,
T = θ(K − I).
Entonces K es una matríz de subtransición de una distribucióntipo fase discreta.
Este tiene todas los eigenvalores dentro de circulo unitario.
Sea v un eigenvector de T con eigenvalor λ y sea el eigenvalorde correspondiente K, µ.
Entonces λ = θ(µ− 1), y su parte real es estrictamente negativo.
32
TeoremaE momento de orden n de una variable τ ∼ PH(π,T ) estadado por
E(τn) = n!π(−T )−ne.
Dem: Sea v(n)ij el volumen esperado generatedo por el proceso de
Markov mientras que este en estado j dado inicio en estado i.
Sea V (n) ={v
(n)ij
}i,j=1,...,p
. Entonces
v(n)ij = Ei
(∫ τ
0ntn−11{Xt = j}dt
)=
∫ ∞0
ntn−1Pi(Xt = j, τ ≥ t)dt
=∫ ∞
0ntn−1
(eT t
)ijdt,
i.e. V (n) = n!(−T )−n = n!Un. Entonces
E(τn) = πV (n)e = n!πUne. 33
t
t
t
Xt
b a
τ
t
Xt
ba
τ
34
