Probabilidades limites

Profa. Dra. Juliana Garcia Cespedes

Processos Estocásticos

Exemplo

• Suponha que a chance de chover amanhã depende das condições climáticas anteriores somente através da informação se está ou não chovendo hoje. Considere que:

– Se está chovendo hoje a probabilidade de chover amanhã é α; e,

– Se não está chovendo hoje, choverá amanhã com probabilidade β.

Se considerarmos que:

• O processo está no estado 0 quando chove; e,

• O processo está no estado 1 quando não chove.

Este procedimento é uma cadeia de Markov?

Def:

Seja {Xn, n=0, 1, ...} um processo estocástico que assumeum número finito ou enumerável de valores. O processoXn é uma cadeia de Markov se:

P{Xn+1=j|Xn = i, Xn-1 = in-1, ...., X0 = i0} = P{Xn+1=j|Xn = i} = Pij

• Este procedimento é uma cadeia de Markovcom dois estados {0; 1} e a matriz de transiçãoé dada por:

Considere que α = 0,7 e β = 0,4.

• Qual é a probabilidade de que choverá daqui aquatro dias dado que está chovendo hoje?

1

1

1

0P

10

Equações de Chapman-Kolmogorov• Probabilidade de transição em n-passos .

• Equações de Chapman-Kolmogorov são um método para calcular as probabilidades de transição desses n-passos.

ou seja

n

ijP

0,,0},|{ jiniXjXPP kkn

n

ij

jimnPPP m

kj

k

n

ik

mn

ij ,e0,todopara,0

mnmn PPP )(

Voltando ao exemplo

• Se α = 0,7 e β = 0,4, a matriz de transição do processo é definida por:

• Para calcular a probabilidade de que choverá daqui a quatro dias dado que está chovendo hoje, basta

6,04,0

3,07,0P

224 PPP

A probabilidade desejada então é:

4332,05668,0

4251,05749,0

48,052,0

39,061,0.

48,052,0

39,061,0

48,052,0

39,061,0

6,04,0

3,07,0.

6,04,0

3,07,0

4

2

P

P

5749,0

}0|0{

}0|0{

222

22

00

04

4

00

XXPP

XXPP

4286,05714,0

4285,05715,0

4332,05668,0

4251,05749,0.

4332,05668,0

4251,05749,08 P

• Segue que P(8) = P4.P4 é dado por:

• P(16)=P8.P8

Probabilidades limites

4285,05714,0

4285,05714,016 P

• Note que a matriz P(16) é quase idêntica a matriz P(8)

que, por sua vez, é muito parecida com a matriz P(4).E ainda, que cada uma das linhas da matriz sãoidênticas.

• Pode-se dizer que parece que converge para

algum valor quando n ∞, e que além disto, é o mesmo para todos os is

• Ou seja, parece existir uma probabilidade limite de que o processo estará no estado j após um grande número de transições, e este valor é independente do estado inicial.

n

ijP

Mas isso acontece sempre?

Vamos testar uma matriz de transição, qualquer, no R.

P<-matrix(c(0.7,0.4,0,0.2,0.6,0,0.1,0,1),3,3)P2<-P%*%PP2P4<-P2%*%P2P4P8<-P4%*%P4P8P16<-P8%*%P8P16P32<-P16%*%P16P32P64<-P32%*%P32P64P128<-P64%*%P64P128P256<-P128%*%P128P256

• Para fazer a heurística anterior mais precisa, algumas propriedades adicionais dos estados de uma cadeia de Markov precisam ser considerados:

• O estado i é dito ter período d se onde n nãoé divisível por d, e d é o mair inteiro com essapropriedade.

• Um estado com período 1 é dito ser aperiódico.

• Se o estado i tem período d, e os estados i e j sãocomunicantes, então o estado j também tem períodod.

0n

ijP

• Para qualquer estado i, seja fi a probabilidade que,partindo do estado i, o processo sempre voltará oestado i. O estado i é dito ser recorrente se fi=1 etransitório se fi<1.

• Se o estato i é recorrente, então ele é dito serrecorrente positivo se, iniciando em i, o tempoesperado até o processo retornar para o estado i éfinito.

• Obs: Estados recorrentes não positivos são chamados derecorrentes nulos, mas em cadeias de Markov de estado finito todosos estados recorrentes são recorrentes positivos.

• Estados aperiódicos, recorrentes positivos são chamados de ergódicos.

• A cadeia de Markov é dita ser irredutível se todos os estados se comunicam entre si.

Teorema 1:

Para uma cadeia de Markov ergódica irredutível, o limite abaixo existe e é independente de i:

Então πj é a única solução não negativa de

00

1com,0,j

jij

i

ij jP

0,lim

jPn

ijn

j

(1)

Distribuição estacionária• πj é a probabilidade limite que o processo estará no

estado j no tempo n.

Seja {Xn, n ≥ 0} uma cadeia de Markov com matriz detransição P. Se para cada j, πj são números reais nãonegativos e satisfaz a equação (1), então π édenominada uma distribuição estacionária para acadeia de Markov.

• Se π é uma distribuição estacionária, então

n

ij

i

ij P

0

Voltando ao exemplo

Se consideramos que:

• O processo está no estado 0 quando chove; e,

• O processo está no estado 1 quando não chove.

As probabilidade limites π0 e π1 são dadas por:

1

,)1(1

,

10

101

100

430,01

1

571,01

1

0

Exemplo 2

• Considere que uma pessoa pode se sentir alegre (A), mais ou menos (M) ou mal humorada (H) em um dia qualquer.

• Se a pessoa está alegre hoje, amanhã ela pode se sentir A, M ou H com probabilidades 0,5; 0,4 ou 0,1, respectivamente.

• Se está mais ou menos, amanhã pode se sentir A, M ou H com probabilidades 0,3; 0,4 ou 0,3.

• Se está mal humorada, amanhã pode se sentir A, M ou H com probabilidades 0,2; 0,3 ou 0,5.

• Se Xn representar o estado de humor de uma pessoa no n-ésimo dia, então {Xn, n≥0} é uma cadeia de Markov com três estados. {A=0, M=1, H=2}.

• A matriz de transição é dada por:

5,03,02,0

3,04,03,0

1,04,05,0

P

• No longo prazo, qual é a proporção de pessoas que está no processo em cada um dos três estados?

1

5,03,01,0

3,04,04,0

2,03,05,0

210

2102

2101

2100

62

18,

62

23,

62

22210

Mobilidade de classes

• Um problema de interesse para sociólogos édeterminar a proporção da sociedade que muda declasse social.

• Um possível modelo matemático seria assumir queas transições entre as classes de gerações sucessivasem uma família podem ser representadas comotransições de uma cadeia de Markov.

• Assume-se que a atividade profissional de umacriança depende somente da atividade profissionalde seus pais.

• Suponha que tal modelo é apropriado e que a matriz de probabilidades de transição é dada por:

• Ou seja, supõe-se que o filho de um trabalhador de classe média irá atingir uma ocupação de classe superior, média ou baixa, com respectivas probabilidades 0,05; 0,70 ou 0,25.

49,050,001,0

25,070,005,0

07,048,045,0

P

• As probabilidades limites πj são:

• Ou seja, a sociedade na qual a mobilidade social entre classes pode ser descrita por uma cadeia de Markov com essa matriz de transição tem, ao longo do tempo, 7% de pessoas em empregos de classe alta, 62% de empregos na classe média e 31% na classe baixa.

1

49,025,007,0

50,070,048,0

01,005,045,0

210

2102

2101

2100

31,0

,62,0

,07,0

2

1

0

Cadeia de Markov em Genética

• Considere uma grande população de indivíduos, onde cada um deles possui um determinado par de genes. Os genes de cada indivíduo é classificado como sendo do tipo A ou do tipo a.

• Assume-se que a proporção de indivíduos cujos pares de genes são AA, aa ou Aa são, respectivamente, p0, q0 e r0 (p0 + q0 + r0=1).

• Cada indivíduo contribui com um de seus genes, aleatoriamente, para a prole resultante.

• Supondo-se que o acasalamento ocorre ao acaso, e quecada indivíduo é igualmente provável de acasalar comqualquer outro indivíduo, estamos interessados emdeterminar a proporção de indivíduos na próximageração cujos genes serão AA, aa ou Aa (p, q e r).

• Facilmente obtém-se essas proporções concentrando aatenção em uma pessoa da próxima geração e, emseguida, determinando as probabilidades do par degenes desse indivíduo.

• Escolher aleatoriamente um pai e, em seguida, escolheraleatoriamente um dos seus genes é equivalente aapenas escolher aleatoriamente um gene da populaçãototal de genes.

• Observando os genes do pai, tem se que um geneescolhido ao acaso será do tipo A comprobabilidade:

P{A} = P{A|AA}p0 + P{A|aa}q0 + P{A|Aa}r0

= 1p0 + 0q0 + ½ r0

= p0 + ½ r0

• Similarmente, será do tipo a com probabilidade:

P{a} = P{a|AA}p0 + P{a|aa}q0 + P{a|Aa}r0

= 0p0 + 1q0 + ½ r0

= q0 + ½ r0

• Portanto, um membro escolhido aleatoriamente dapróxima geração será do tipo AA com probabilidade:

p = P{A}P{A} = (p0 + ½ r0)2,

• Será do tipo aa com probabilidade:

q = P{a}P{a} = (q0 + ½ r0)2,

• E será do tipo Aa com probabilidade:

r = 2P{A}P{a} = 2(p0 + ½ r0) (q0 + ½ r0)

• Se considerarmos o conjunto de genes total de próxima geração, a fração dos genes que são do tipo A, (p+ ½ r), não será alterada a partir da geração anterior.

Lei de Hardy - Weinberg

• Portanto, as frações do capital genético, que são A e a são as mesmas que na geração inicial.

• Esta é a lei de Hardy-Weinberg que diz que considerando o acasalamento ao acaso, em todas as sucessivas gerações após a inicial, as porcentagens da população com pares de genes AA, aa e Aa permanecerão fixas nos valores de p, q, e r.

• Suponha agora que os genes da população se estabilizaram nos percentuais p, q, r, e deseja-se acompanhar a história genética de um indivíduo e seus descendentes.

• (Para simplificar, suponha que cada indivíduo tem exatamente uma prole.)

• Então, para um determinado indivíduo, defina Xn como o estado genético de seu descendente na n-ésima geração.

• Determine a matriz de transição desta cadeia de Markov e determine as probabilidades limites:

• Respostas:

Resposta

2224242

220

20

2

rqprqrp

rp

rq

rq

rp

P

1

,2422

,2422

2

2

rqp

rq

rqr

rqqq

rp

rpr

rppp

• Suponha que o número de famílias que chegam em um hotelem dias sucessivos, são variáveis aleatórias independentesPoisson com média λ.

• Também suponha que o número de dias que uma famíliapermanece no hotel é uma variável aleatória geométrica comparâmetro p, 0 <p <1.

• Ou seja, uma família que passou a noite anterior no hotel,independentemente de quanto tempo já passou no hotel, faráo check-out no dia seguinte com probabilidade q.

• Suponha também que todas as famílias agem de formaindependente uma das outras.

• Considere Xn o número de famílias que chegam no hotel noinício do n-ésimo dia.

• Pede-se:– A matriz de transição da Cadeia de Markov;

– E[Xn|X0=i];

– A distribuição estacionária da cadeia de Markov.

Resposta

• Página 222 a 225 do livro: Introduction to Probability Models, 10 Ed. Sheldon M. Ross.