Procesos de Markov a tiempo discreto segun Norris

1. Definiciones y propiedades basicas

Sea I un conjunto contable (finito o a lo sumo numerable).

Cada i ∈ I se llama estado. El conjunto I es el conjunto de estados.

Una sucesion de numeros λ = (λi : i ∈ I) es una medida sobre I si 0 ≤ λi < ∞ para todo i ∈ I. Siademas

∑i λi = 1 entonces decimos que λ es una distribucion sobre I.

Sea (Ω,F ,P) un espacio de probabilidad y X : Ω→ I una v.a. discreta. Entonces

λi = P(X = i), para todo i ∈ I,

es la distribucion de la v.a. X.

Decimos que una matriz P = (pij)i,j∈I es una matriz estocastica si cada renglon (pij)j∈I es unadistribucion sobre I, es decir, si

∑j pij = 1 para todo i ∈ I.

Definicion 1. Sea I un conjunto contable, λ = (λi : i ∈ I) una distribucion sobre I y P = (pij)i,j∈Iuna matriz aleatoria. Sea X = (Xn)n≥0 una coleccion de variables aleatorias discretas definidas sobre unmismo espacio de probabilidad (Ω,F ,P) con valores en I. Decimos que X es una cadena de Markov condistribucion inicial λ y matriz de probabilidades de transicion (o simplemente matriz de transicion) P yespacio de estados I si

1. X0 tiene distribucion λ.

2. Para cada n ≥ 0 y para cada i ∈ I, condicionalmente sobre (Xn = i), la variable aleatoria Xn+1 tienedistribucion pi = (pij : j ∈ I), esto es P(Xn+1 = j | Xn = i) = pij, y es independiente de X0, ..., Xn−1.

Para abreviar, diremos que X es Markov(λ, P ). Si (Xn)Nn=1 es una coleccion finita de variables aleatoriasdiscretas definidas sobre un mismo espacio de probabilidad y satisfacen 1. y 2., tambipen diremos que (Xn)Nn=1

es Markov(λ, P ).

Observacion 1. Algunos autores refieren la anterior definicion como cadena de Markov con probabilidadesde transicion estacionarias, en el sentido de que la probabilidad P(Xn+1 = j | Xn = i) no depende de n.

Lema 1. Sea (Ω,F ,P) un espacio de probabilidad y A y B eventos en F tales que P(A ∩ B) > 0. SeaPA : F → [0, 1] la medida de probabilidad condicional PA(C) = P(C | A). Entonces, para todo C ∈ F ,

PA(C | B) = P(C | A ∩B).

En particular, dos eventos B y C son independientes condicionalmente sobre A si y solo si

P(C | A ∩B) = P(C | A).

Demostracion. Tenemos,

PA(C | B) =PA(B ∩ C)

PA(B)=

P(A ∩B ∩ C)/P(A)

P(A ∩B)/P(A)= P(C | A ∩B).

Por otro lado, B y C son independientes condicionalmente sobre A, si y solo si, PA(C | B) = PA(C), esto esP(C | A ∩B) = P(C | A).

1

Proposicion 1. Un proceso X = (Xn)n≥0 es Markov(λ, P ) si, y solo si,

1. P(X0 = i) = λi para todo i ∈ I,

2. Para cada n ≥ 0 y para cada coleccion i0, i1,...,in−1, in, in+1 en I,

P(Xn+1 = in+1 | X0 = i0, ..., Xn−1 = in−1, Xn = in) = pin in+1 .

Demostracion. Aquı va una prueba

Teorema 1. Un proceso estocastico discreto (Xn)Nn=1 es Markov(λ, P ) si y solo si para toda coleccion finitai0, i1,...,iN en I,

P(X0 = i0, X1 = i1, . . . , XN = iN ) = λi0pi0i1pi1i2 · · · piN−1iN .

Demostracion. Aquı va una prueba

Corolario 1. Sea (Xn)n≥0 un proceso Markov(λ, P ). Para cada n ≥ 0 y para toda coleccion finita i0,i1,...,in en I,

P(X0 = i0, X1 = i1, . . . , Xn = in) = λi0pi0i1pi1i2 · · · pin−1in .

El siguiente resultado refuerza la idea de que los procesos de Markov carecen de Memoria. Definimos lamasa unitaria en i como la medida δi = (δij : j ∈ I) sobre I tal que

δij =

1 si i = j,

0 si i 6= j.

Teorema 2 (Propiedad de Markov). Sea (Xn)n≥0 un proceso Markov(λ, P ). Entonces, condicionalmentesobre (Xm = i), el proceso (Xm+n)n≥0 es Markov(δi, P ) y es independiente de las variables aleatorias X0,X1,...,Xm.

Demostracion. Aqui va una prueba

Recordemos que el producto P 2 esta definido como la matriz (p(2)ik )i,k∈I , donde

p(2)ik =

∑j∈I

pijpjk.

Inductivamente, para todo n ≥ 0 el producto matricial Pn queda definido como la matriz (p(n)ik )i,k∈I , donde

p(n)ik =

∑j∈I

pijp(n−1)jk ,

con la convension de que P 0 es la matriz identidad Id = (δij)i,j∈I y P 1 = P .

Analogamente, recordemos que el producto del vector λ y la matriz Pn es el vector λP = (p(n)j )j∈I donde

p(n)j =

∑i∈I

λip(n)ij .

Teorema 3. Sea (Xn)n≥0 una cadena Markov(λ, P ). Entonces para todo n,m ≥ 0,

i) P(Xn = j) = p(n)j =

∑i∈I

λip(n)ij , para todo j ∈ I,

ii) P(Xn = j | X0 = i) = P(Xn+m = j | Xm = i) = p(n)ij , para todo n,m ≥ 0 y estados i, j ∈ I.

A la luz de este teorema podemos dar una definicion mas.

Definicion 2. Si (Xn)n≥0 es una cadena de Markov(λ, P ), entonces la matriz Pn, para n ≥ 0, cuyasentradas son las probabilidades P(Xn = j | X0 = i), es la matriz de probabilidades de transicion en n-pasos.

2

Teorema 4 (Ecuacion de Chapman-Kolmogorov). Sea (Xn)n≥0 una cadena de Markov(λ, P ) e i, j ∈ Iestados. Para todo n ≥ 0 y m ≥ 0,

p(n+m)ij =

∑k∈I

p(n)ik p

(m)kj .

Lo cual se puede escribir

P(Xn+m = j | X0 = j) =∑k∈I

P(Xn = k | X0 = i) · P(Xm = j | X0 = k).

Corolario 2. Sea (Xn)n≥0 una cadena de Markov(λ, P ) e i, j ∈ I estados. Si n > 0, entonces

p(n)ij =

∑i1,i2,...,in−1∈I

pii1pi1i2 · · · pin−1j .

2. Estructura de clase

Sea (Xn)n≥0 una cadena de Markov(λ, P ).

Definicion 3. Sean i, j ∈ I estados. Decimos que i accede a j, y escribimos i→ j, si

P(Xn = j para algun n ≥ 0 | X0 = i) > 0.

Definicion 4 (Estados comunicantes). Sean i, j ∈ I estados. Decimos que i comunica con j, si i → j yj → i. Escribimos i↔ j.

Teorema 5. Sean i, j ∈ I estados distintos (i 6= j). Los siguientes enunciados son equivalentes.

i) i→ j.

ii) Existe una coleccion finita de estados i0, i2,...,in en I, con i0 = i y in = j, tal que

pi0i1pi1i2 · · · pin−1in > 0.

iii) Para algun n ≥ 0, p(n)ij = P(Xn = j | X0 = i) > 0.

Teorema 6. La ralacion comunicativa ↔ es una relacion de equivalencia sobre I.

Definicion 5. Las clases de equivalencia de la relacion comunicativa se llaman clases comunicantes. Unacadena de Markov se dice que es irreducible si la unica clase de equivalencia es I mismo. Decimos que unaclase comunicante C es cerrada si

∀ i ∈ I ∧ ∀j ∈ I : i ∈ C ∧ i→ j ⇒ j ∈ C.

Es decir, una clase es cerrada si de ella no hay “escape”. Un estado i ∈ I es absorbente si el conjunto ies una clase cerrada.

3. Tiempos de arribo y probabilidades de absorcion

3