Lista 1

Introdução à Modelagem e aos Processos Estocásticos

1. Utilizando uma variável aleatória uniforme no intervalo [0, 1] construa uma versão de uma variável aleatóriaX onde X ∼ Binomial(n, p).

2. Utilizando uma variável aleatória uniforme no intervalo [0, 1] construa uma versão de uma variável aleatóriaX onde X ∼ Poisson(λ).

3. (a) Utilizando uma sequência de variáveis aleatórias uniformes e independentes no intervalo [0, 1] construauma versão de um passeio aleatório com probabilidade p de avançar um passo à direita e probabilidadeq de avançar um passo à esquerda, onde p + q = 1. Construa uma versão de um segundo passeioaleatório com probabilidade p̃ de avançar à direita e probabilidade q̃ de avançar à esquerda, ondep̃+ q̃ = 1.

(b) Assuma que p < p̃ e que, partindo da origem, o passeio aleatório com probabilidade p de avançar àdireita, atinge uma posição à direita de 10000. Podemos a�rmar que, com probabilidade 1, o passeioaleatório com probabilidade p̃ de avançar a direita também atinge uma posição à direita de 10000?Justi�que sua resposta.

4. Considere um passeio aleatório em {0, 1, 2, 3, 4, 5}. A partícula se move de acordo ao resultado do lança-mento de uma moeda honesta: se o lançamento da moeda resultar em cara a partícula salta à direita ese o lançamento da moeda resultar em corõa a partícula salta à esquerda. Por outro lado, se a partículaatingir um dos pontos 0 ou 5, então no seguinte passo ela salta a 1 ou 4 respectivamente. Escreva a matrizde transição para este passeio aleatório.

5. Uma cadeia de Markov (Xn)n≥0 com conjunto de estados {0, 1, 2} tem matriz de transição de probabilidades

P =

0.1 0.2 0.70.9 0.1 00.1 0.8 0.1

e distribuição inicial p0 = P (X0 = 0) = 0.3, p1 = P (X0 = 1) = 0.4 e p2 = P (X0 = 2) = 0.3. DetermineP (X0 = 0, X1 = 1, X2 = 0).

6. Uma cadeia de Markov (Xn)n≥0 com conjunto de estados {0, 1, 2} tem matriz de transição de probabilidades

P =

0.2 0.2 0.60.2 0.1 0.70.1 0.6 0

e distribuição inicial p0 = P (X0 = 0) = 0.1, p1 = P (X0 = 1) = 0.45 e p2 = P (X0 = 2) = 0.45. DetermineP (X0 = 1, X1 = 2, X2 = 1).

7. Uma cadeia de Markov (Xn)n≥0 com conjunto de estados {0, 1, 2} tem matriz de transição de probabilidades

P =

0.7 0.2 0.10 0.6 0.40.5 0 0.5

Determine as probabilidades P (X2 = 1, X3 = 1|X0 = 0) e P (X1 = 1, X2 = 1|X0 = 0).

8. Uma cadeia de Markov (Xn)n≥0 com conjunto de estados {0, 1, 2} tem matriz de transição de probabilidades

P =

0.1 0.1 0.80.2 0.2 0.60.3 0.3 0.4

Determine as probabilidades P (X1 = 1, X2 = 1|X0 = 0) e P (X2 = 1, X3 = 1|X0 = 0).

9. Uma cadeia de Markov (Xn)n≥0 com conjunto de estados {0, 1, 2} tem matriz de transição de probabilidades

P =

0.3 0.3 0.40.2 0.6 0.20 0 1

Determine as probabilidades P (X2 = 2, X3 = 1|X0 = 0) e P (X3 = 2|X0 = 0).

10. Apresente a representação grá�ca das cadeias de Markov dos exercícios anteriores.

11. Suponha que cada item produzido por uma fábrica é classi�cado como defeituoso ou perfeito. Se um item édefeituoso ou não, depende da qualidade do item previamente produzido. Suponha que um item defeituosoé seguido por outro item defeituoso com probabilidade 2/3, enquanto que um item perfeito é seguidode outro perfeito com probabilidade 3/4. Suponha que no instante zero, um item perfeito é produzido.Determine a probabilidade de que o terceiro item produzido é defeituoso.

12. Suponha que a possibilidade de chuva amanhã dependa somente do fato de estar chovendo ou não no diade hoje. Suponha também que, se hoje está chovendo, então amanhá choverá com probabilidade 0.2; sehoje não estiver chovendo, então amanhá choverá com probabilidade 0.7. Se há uma chance de 50% dechover hoje, calcule a probabilidade de que chova daqui a três dias.

13. Os físicos Paul e Tatyana Ehrenfest consideram um modelo conceitual para o movimento de moléculasno qual M moléculas estavam distribuídas entre 2 urnas. Em cada instante de tempo uma das moléculasera escolhida aleatóriamente, removida de sua urna e colocada na outra. Se Xn representa o númerode moléculas na primeira urna imediatamente após a n-ésima mudança então (Xn)n≥0 é uma cadeia deMarkov. Escreva as probabilidades de transição desta cadeia. Justi�que.

14. Considere o passeio aleatório em Z, o passeio aleatório no círculo e o processo de rami�cação. Qualdestascadeias é irredutível? Note que a resposta pode depender dos parâmetros p (passeio aleatório) ou pi(rami�cação).

15. Suponha que em um grupo de 6 pessoas está subdividido em ignorantes (pessoas que não sabem da infor-mação) e informantes (pessoas que sabem da informação). Suponha que em cada instante de tempo ocorreuma interação entre um par destas pessoas, e que cada par tem a mesma probabilidade de interagir. Seuma das pessoas do par é um informante e a outra é um ignorante, o informante conta a informação comprobabilidade p e neste caso o ignorante vira informante. Em qualquer outra situação nada acontece. SejaXn o número de informantes no grupo no n-ésimo instante de tempo. Determine a matriz de probabilidadesde transição da cadeia (Xn)n≥0.

16. Considere as seguintes cadeias de Markov:

(a) O passeio aleatório em Z;(b) o passeio aleatório no círculo (5 estados);

(c) as cadeias consideradas nos exercícios 2 a 4.

Encontre uma função f(x, u) tal que para todo n ≥ 1 podemos escrever Xn = f(Xn−1, Un) onde {Un}n≥1

é uma sequência i.i.d. com Ui ∼ U(0, 1).

17. Encontre os valores de p para os quais todos os estados do passeio aleatório em Z pertencem à mesmaclasse. Prove.

18. Considere a cadeia de Markov (Xn)n≥0 com conjunto de estados {0, 1, 2, 3, 4, 5} e matriz de transição

P =

1/6 5/6 0 0 0 01/3 2/3 0 0 0 00 0 1/2 0 1/2 01/4 1/4 0 0 1/4 1/40 0 1/2 0 1/2 00 1/6 0 1/6 1/6 1/2

Encontre todas as classes e determine quais são transientes e quais são recorrentes.

19. Considere a cadeia de Markov (Xn)n≥0 com conjunto de estados {0, 1, 2, 3, 4, 5} e matriz de transição

P =

1/3 1/3 0 1/3 0 00 2/3 0 1/3 0 00 0 1 0 0 01/4 1/4 0 0 1/2 01/2 0 0 1/2 0 00 1/4 0 1/4 0 1/2

Encontre todas as classes e determine quais são transientes e quais são recorrentes.

20. Considere o passeio aleatório no círculo. Encontre todas as classes e determine quais são recorrentes e quaissão transientes.

21. Considere uma cadeia de Markov em {0, 1, 2, . . .} para a qual 0 é uma armadilha, isto é, p(0, 0) = 1.Suponha que {1, 2, . . .} é outra classe e que p(i, 0) > 0 para algum i ≥ 1.

(a) O que pode dizer sobre a recorrência de cada classe?

(b) Você pode supor algo com relação da possível evolução desta cadeia?

22. De um exemplo de uma classe in�nita e fechada, que seja transiente.

23. Considere a cadeia de Markov com conjunto de estados {0, 1, 2, 3} e matriz de transição

P =

2/5 3/10 1/5 1/100 7/10 1/5 1/100 0 9/10 1/100 0 0 1

Encontre o tempo médio para o processo alcançar o estado 3 dado que começa no estado 0.

24. Considere a cadeia de Markov com conjunto de estados {0, 1, 2} e matriz de transição

P =

1 0 01/10 3/5 3/100 0 1

(a) Determine a probabilidade da cadeia terminar no estado 0 dado que começou no estado 1.

(b) Suponha que P (X0 = i) = 1/3, i=0,1,2. Determine o tempo médio de absorção do processo.

25. Considere o problema de difusão de uma informação do Exercício 15. Suponha agora que o grupo é de 5pessoas e que no tempo 0 somente um deles é um informante. Calcule o tempo médio até que todos sabemda informação.

26. Uma urna contem 5 bolas vermelhas e 3 bolas verdes. As bolas são escolhidas ao acaso, uma por uma,da urna. Se a bola escolhida for vermelha então ela é retirada da urna. As bolas verdes escolhidas sãodevolvidas à urna. O processo de seleção continua até que todas as bolas vermelhas são removidas da urna.Qual é o tempo médio de duração do jogo?

27. Considere o problema da ruina do jogador. Suponha que a probabilidade da moeda dar cara é 0 < p < 1e que inicialmente os jogadores A e B começam com os valores a e b, respectivamente. Se c = a + b,Xn representa a fortuna do jogador A no tempo n e T = inf{n > 0 : Xn = 0 ou Xn = c}, determineE[T |X0 = i] para i = 0, 1, . . . , c.