1 CADEIAS DE MARKOV LUCIANO C. SILVA 2 CADEIAS DE MARKOV 1. INTRODUO Def:Umprocessoestocsticoumafunoqueassocia,acadavalordeumparmetrotuma varivel aleatria Xt.: tX t a (1) Oparmetrot,quegeralmenterepresentaotempo,podeserdiscreto(assumeapenasvalores inteiros) ou contnuo (assume valores reais). O conjunto de valores que cada Xt pode assumir chamado de espao de estados do processo e tambm pode ser discreto ou contnuo. EXEMPLO1: Em processos decomunicao digital,os dadosso transmitidos como seqncias de0se1s.Podemosconsiderarasequnciade0se1scomoumprocessoestocsticocujo espaodeestadostemapenasdoisestados:={0,1}.Assim,aseqnciadebits01001 correspondeaX0=0,X1=1,X2=0,X3=0,X4=1.Istoumprocessoestocstico,pois impossvelpreveroprximovalordeXt.Nestecaso,oparmetrotdiscreto,assimcomoo espao de estados. EXEMPLO2:Opreodefechamentodeumaaoemcadadiadenegociaoumavarivel aleatria contnua. O processo que associa, a cada dia de negociao t, o preo de fechamento Xt um processo estocstico com parmetro discreto e espao de estados contnuo. EXEMPLO3:Otamanhodeumafilanotempotumprocessoestocsticocomparmetro contnuoeespaodeestadosdiscreto.Otamanhodafilaassumevaloresnoconjunto= {0,1,2,3,...} em cada tempoR t . UmacadeiadeMarkovumprocessoestocsticocomparmetrodiscretoeespaodeestados discreto, no qual: ) | ( ) ..., , , | (1 0 0 1 1 1i X j X P i X i X i X j X Pn n n n n n= = = = = = =+ +(2) Ou seja, apenas o ltimo estado importa para o clculo de probabilidades, no os anteriores. Seasprobabilidadesdetransionodependemdoparmetron,ouseja,novariamcomo tempo,dizemosqueacadeiaestacionriaouhomognea.Nestecaso,definimosas probabilidades de transio de um passo: ) | (1i X j X P pn n ij= = =+(3) Isto define uma matriz, chamada matriz de transio da cadeia. Alm desta, costume representar uma cadeia de Markov por meio de um grafo, como mostrado a seguir. EXEMPLO 4: No exemplo 1, suponhamos que cada 0 na seqncia transmitida tem probabilidade p de ser seguido por um 1 e cada 1 tem probabilidade de q de ser seguido por um zero, de modo que a matriz de transio da cadeia : 3 |||

\|=q qp pP11(4) E seu grafo : EXEMPLO5:Noexemplo2,seemvezdeconsiderarmosopreodaaocomocontnuoo consideramoscomodiscreto,podemossuporqueopreovariaemintervalosfixos,digamos,a cada10centavos.Suponhamosaindaqueopreosempretemprobabilidade55%desubir10 centavos e 45% de cair 10 centavos de um dia para o outro. Neste caso, o grafo da cadeia dado por:

Figura 1: Movimento do preo de uma ao. (Notequenoextremoinferiordenotamosasprobabilidadesapenascomope1p,poisestes valores dependero do contexto em que o modelo aplicado). A matriz de transio neste caso :

||||||

\|=O M M M MLLLL0 0,45 0 00,55 0 0,45 00 0,55 0 0,450 0 1 p pP (5) EXEMPLO6:Considereumafiladeclientes/tarefasparaumservidorouprocessador.Considere queotempoestdivididoemintervalosdetamanhotequeemcadaintervaloumnovocliente podeentrarnafila,comprobabilidade,oupodenochegarnenhumclientenovo,com probabilidade 1. Neste mesmointervalo detempo, o cliente sendo atendidopeloservidorpode finalizarseuatendimento,comprobabilidade,oucontinuarematendimento,comprobabilidade 1.Consideremosqueoprocessodeinteresseseja:Xn=nmerodeclientesnosistema, incluindo o que est sendo atendido, no tempo n. O tempo contado ao fim de cada intervalo t, de modo que n = 0, 1, 2,... correspondem aos instantes 0, t, 2t, etc. QueremosconstruirumgrficodoprocessoXn,comasprobabilidadesdetransioentrecada estado. Se Xn = 0, a probabilidade de o processo passar ao estado 1 . Ou seja: = =01 00, 1 p p(6) Seemcertomomentohi1clientesnosistema,nopassoseguinteelepodeteri1,i+1ou permaneceremi.Parapassarai1,necessrioqueoclienteematendimentocontinueem atendimento, o que tem probabilidade de acontecer,eno cheguenenhum clientenovo, oque tem probabilidade 1. Portanto: ) 11 , ( = i ip (7) 0,45 $0,1 0,55 0,45 $0,2 0,55 0,45 $0,3 0,55 0,45 $0,4 0,55 0,45 $0,0 p1-p p 1q 1p aa q 01 4 J para passar de i a i +1, necessrio que chegue um cliente novo e o cliente em atendimento no seja atendido, portanto: ) 1 (1 , =+ i ip (8) Pelo mesmo raciocnio: ) 1 )( 1 (, + =i ip (9) denotando 1 , =i ip q , 1 , +=i ip p , i ip r,= , temos a matriz de transio do processo: |||||||

\| =O M M M MLLLLr qp r qp r qP0 0000 0 1 (10) EXEMPLO7:Seumacadeiadependedoskltimosestados,emvezdedependerapenasdo ltimoestado,dizemosqueumacadeiadeMarkovdeordemk.Nestecaso,aindapossvel transformaroprocessoemumacadeiadeMarkovdeprimeiraordem,substituindoXnpor ( )n n k n nX X X Y , ,...,1 = .Por exemplo, suponhamosque um sistemadepreviso de chuvas dependedeter chovidonos 2 ltimos dias. Se choveu nos ltimos 2 dias, a probabilidade de chover no dia seguinte de 0,7; se choveuontem,masnoanteontem,aprobabilidadedechoverhojede0,5;senochoveu ontem,maschoveuanteontem,aprobabilidadedechoverhojede0,4;esenochoveunos ltimos 2 dias, a probabilidade de chover hoje de apenas 0,2. Assim, podemos definir Xn = 1, se chove no dia n e Xn = 0, se no chove no dia n. Xn no ser uma cadeia de Markov, pois depende de Xn-1 e de Xn-2: Contudo,podemosdefiniroutroprocesso( )n n nX X Y ,1 = ,queserumacadeiadeMarkovde primeira ordem. O grafo e a matriz de transio de Yn so mostrados abaixo: ) 0 , 0 () 1 , 0 () 0 , 1 () 1 , 1 (8 , 0 2 , 0 0 00 0 0,5 0,50,6 0,4 0 00 0,3 0 0,7 ) 0 , 0 ( ) 1 , 0 ( ) 0 , 1 ( ) 1 , 1 (||||||

\|= P0,6 0,3 0,4 0,5 0,5 0,8 0,2 ) 0 , 0 ( ) 1 , 0 () 0 , 1 ( ) 1 , 1 ( 5 2. EQUAO DE CHAPMANKOLMOGOROV Suponha uma cadeia de Markov estacionria. Denotemos por ) (nijpa probabilidade de o processo efetuar uma transio de i para j em n passos: ( ) i X j X P pnnij= = =0) (| (11) Comestasprobabilidadespodemosmontarumamatriz( )) ( ) ( nijnp P = ,chamadamatrizde transio em n passos. Temos ento o seguinte teorema bsico:

TEOREMA 1: (Equao de ChapmanKolmogorov) Em uma cadeia de Markov estacionria: . 0 , ,) ( ) ( ) ( =+n m P P Pm n m n(12) Prova: Condicionando em relao a Xm, usando a propriedade de Markov e a estacionaridade: ) | (0) (i X j X P pm nm nij= = =++ ) | ( ) , | (0 0i X k X P k X i X j X Pmkm m n= = = = = = + ) | ( ) | (0i X k X P k X j X Pmkm m n= = = = = + ) | ( ) | (0 0i X k X P k X j X Pmkn= = = = = + = kmkjnikm nijp p p) ( ) ( ) ( (13) Ou seja, ) ( ) ( ) ( m n m nP P P =+ TEOREMA 2: Em uma cadeia de Markov estacionria, n nP P =) (. Prova:PeloTeorema1,temosP P Pn n =+ ) ( ) 1 (.Iterandoestaidentidade,temos: ,2 ) 2 (P P P P = = ,3 2 ) 2 ( ) 3 (P P P P P P = = =etc. EXEMPLO 8: Suponhamos que, no exemplo 4, a matriz de transio : ||

\|=21214143P (14) A matriz de transio de 2 passos : 6 |||

\|= ||

\| ||

\|= =8385165161121214143212141432 ) 2 (P P (15) Ouseja,seumbitiguala0,aprobabilidadedetermosum0doisbitsdepoisde11/6ea probabilidade de termos um 1 5/16. Se um bit igual a1, a probabilidade de termos um 0 dois bits depois igual a 5/8. As matrizes de transio de 3, 5 e 10 passos so: ||

\|=|||

\|= = =0,6875 0,62500,3125 0,687564226442642164432 3 ) 3 (P P P P (16) ||

\|= =0,3340 0,66600,3330 0,66702 3 ) 5 (P P P (17) ||

\|= =0,3333 0,66660,3333 0,66665 5 ) 10 (P P P (18) 3. DISTRIBUIO LIMITE E DISTRIBUIO ESTACIONRIA Definimos a probabilidade incondicional de o processo visitar um estado no passo n: ) () (k X P pnnk= = (19) Podemos organizar estas probabilidades em um vetor: ) , , () (1) (0) (Kn n np p p = (20) Em particular, temos a distribuio inicial de probabilidades: ) , , () 0 (1) 0 (0) 0 (K p p p = (21) TEOREMA 3: Para todo n 1: (a) P p pn n ) ( ) 1 (=+(22) (a)n nP p p) 0 ( ) (= (23) Prova: Para provar (a), condicionamos em relao em relao a Xn: = = = = = =++jijnii ini ij n n nnjp p p p i X P i X j X P p) ( ) (1) 1 () ( ) | ( (24) O que implica P p pn n ) ( ) 1 (=+. A identidade (b) segue por recurso a partir de (a). 7 EXEMPLO9:Suponhaque,exemplo8,aprobabilidadedeoprimeirobitser0.Portanto, ( )2121) 0 (= p . As probabilidades de estado 3 bits depois so: ( ) ( ) ( ) 0,33590,664121 21 6422644264216443= =|||

\| = =12843128853 ) 0 ( ) 3 (P p p5 bits depois: ( ) ( ) 0,33350,66650,3340 0,66600,3330 0,667021 21=||

\| = =5 ) 0 ( ) 5 (P p p10 bits depois: ( ) ( ) 0,33330,66660,3333 0,66660,3333 0,666621 21=||

\| = =10 ) 0 ( ) 5 (P p p No exemplo acima, temos um exemplo de como as distribuies ) (npparecem convergir para um vetor limite . Se este limite realmente existe, chamamos de distribuio limite de probabilidades: ) (limnnp q = (25) Caso este limite exista, podemos deduzir uma equao para calcul-lo, usando o Teorema 3: P P p pnnnn = = = ) 1 ( ) (lim lim (26) Ou seja: P = (27) Ou ainda: =iij i jp (28) Umadistribuiodeprobabilidadessatisfazendoaequao(27)chamadaumadistribuio estacionria de probabilidades. A razo para esta terminologia est na equao (22): Uma vez que a cadeia atinge a distribuio estacionria, ela permanece com esta distribuio. Uma cadeia de Markov nem sempre possui uma distribuio limite. Contudo, se a distribuio limite existe, ela deveserigual distribuio estacionria, comomostra o clculo acima. Neste caso, a interpretao da distribuio limite que ela representa a proporo de tempo que a cadeia gasta em cada estado, ou, equivalentemente, a probabilidade de encontrar a cadeia em certo estado, no longo prazo. EXEMPLO 10: No exemplo 8, temos: P = ( ) ( )||

\| =2 / 1 2 / 14 / 1 4 / 31 0 1 0, , ( ) ( )1 210 411 210 431 0, , + + =

320 311 1 1 1 01 01 01 1 210 410 1 210 431 2 1 ,22= = = + = +=== += +

v. 8 Assim, a distribuio estacionria desta cadeia ( )3132, = . Veremosqueestacadeiapossuiumadistribuiolimite,quedadapelaprobabilidade estacionria( )3132, = . Isto significa que, no longo prazo, haver 32de 0s e 31de 1s. EXEMPLO11:(SistemaPageRank)NosistemadebuscasdoGoogle,aWorldWideWeb modelada como uma cadeia de Markov, onde os estados so as pginas. O rank de uma pgina j definido como sendo a probabilidade limite jde uma pgina ser visitada nesta cadeia. Quando umabuscaporumtermoefetuada,aspginascontendootermosoexibidasemordem decrescente segundo as probabilidades j . Veremosquetrscondiessosuficientesparaqueadistribuiolimiteexista:queexistauma distribuio estacionria,que a cadeia sejairredutvel e que seja aperidica. Vejamos estas duas ltimas propriedades. DEFINIO:Um estadojpode ser alcanado apartir doestadoi se0) (>nijp para algum1 n . Se i pode ser alcanado a partir de j e vice-versa, ento dizemos que i e j se comunicam. Se todos os estados de uma cadeiasecomunicam, dizemosque ela irredutvel. Caso contrrio, dizemos que redutvel. EXEMPLO 12: Considere as cadeias abaixo: Na cadeia 1, possvel ir de qualquer estado para qualquer estado, portanto, ela irredutvel. Na cadeia 2, no possvel ir do estado 3 para o 2 ou do 4 para o 1, portanto, ela redutvel. Em uma cadeia qualquer, um conjunto em que todos os estados se comunicam entre si chamado umaclassedecomunicao.Noexemplo12,acadeia2temduasclassesdecomunicao:C1= {1,2} e C2 = {3,4}. A classe C1 dita aberta, pois possvel sair dela. A classe C2 fechada, pois nopossvelsairdela.Acadeia1temapenasumaclassedecomunicao,queelaprpria. Podemos ento dizer que uma cadeia irredutvel se e somente se a nica classe de comunicao fechada ela mesma. Quando uma cadeia irredutvel, podemos ainda classific-la como peridica ou aperidica. EXEMPLO 13: Considere a cadeia abaixo Sua matriz de transio : 1 1 01 1 2 34 123 4 Cadeia 1: Irredutvel.Cadeia 2: Redutvel. 9 |||

\|=0 11 0P As matrizes de transio de n passos so: K,0 11 0,1 00 1,0 11 0,1 00 1) 5 ( ) 4 ( ) 3 ( 2 ) 2 (|||

\|=|||

\|=|||

\|=|||

\|= = P P P P P Ou seja, as potncias de P seguem um padro oscilatrio, sem convergir para um limite. Portanto,nnnnP p p) 0 ( ) (lim lim =no existe. Vejamos outro exemplo: EXEMPLO 14: Considere a cadeia de Markov dada na figura abaixo. Suponhamos que o processo inicia-se no estado 0. Ento a probabilidade) (0npde o processo se encontrar no estado 0 no passo n oscilar entre 0 e 1: K , 1 , 0 , 0 , 1 , 0 , 0 , 1) 6 (0) 5 (0) 4 (0) 3 (0) 2 (0) 1 (0) 0 (0= = = = = = = p p p p p p p Temos de novo um comportamento oscilatrio, e o limite ) (limnnp no existe. Isto acontece porque osestadosestodivididosemclassesdeperiodicidade.Apartirdeumestado,estamossempre obrigados a ir para os estados de um determinado grupo, como mostrado abaixo: Quando isto no ocorre, dizemos que a cadeia aperidica. Ou seja, uma cadeia aperidica uma cadeia para a qual existe n0 tal que1 , , , 0) ( > n j i pnij. Um critrio para identificar cadeias peridicas dado abaixo. DEF: Um circuito fechado uma seqncia de estados {i0, i1, ..., im} tal que a transies entre ik e ik+1sotodaspossveiseim=i0.Ocomprimentodocircuitofechadoigualam.Umcircuito fechado simples se nenhum estado se repete na seqncia, exceto os estados final e inicial. 1 5 1/3 2 0 1 61/3 3 1/3 1 4 1 {0} {1,2,3}{4,5,6} 10 TEOREMA4:Umacadeiaperidicaseesomentesetodososcircuitosfechadossimplesda cadeiatmcomprimentosmltiplosdeumnmerod>1.Nestecaso,dizemosqueoperododa cadeia d. Nacadeiadoexemplo14,todososcircuitosfechadossimplestmcomprimentosmltiplosde3, portanto, uma cadeia peridica de perodo 3. A cadeia do exemplo 13 peridica de perodo 2. Inversamente,seconseguirmosencontrardoiscircuitosfechadoscomcomprimentosaeb,tais quemdc(a,b)=1,entoacadeiaaperidica.Acadeiairredutveldoexemplo12aperidica, pois tem dois circuitos simples de comprimentos 2 e 3 e mdc(2,3)=1. Enunciaremos sem demonstrar o seguinte teorema clssico de cadeias de Markov: TEOREMA5:SeumacadeiadeMarkovirredutvel,aperidicaepossuiumadistribuio estacionria ,entoelapossuiumadistribuiolimitedeprobabilidadeseteremos ) (limnnp = . EXEMPLO15:NosistemaPageRankdoGoogle,inicialmente,sehklinksdapginaApara outraspginas,acadalinkassociadaumaprobabilidadedetransiode1/k.Paratornara cadeia irredutvel, j que h pginas sem links para outras pginas, so introduzidos links virtuais de uma pgina para qualquer outra na Web, com probabilidades q/N, onde N o nmero total de pginasindexadasequmaprobabilidadearbitrria,atualmentefixadaem0,15.Assim,a probabilidade de transio de uma pgina i para uma pgina j definida como: +=. ,,1j ij iNqNqkqpijpara de link um h no se. para de link um h se(29) Orankdeumapginajdefinidocomosendoaprobabilidadelimite j deumapginaser visitadasegundoesteprocesso.Quandoumabuscaporumtermoefetuada,aspginas contendo o termo so exibidas em ordem decrescente segundo as probabilidades j. 4. CADEIAS PERIDICAS E FREQUNCIAS DE VISITAO Quandoumacadeiaperidica,mesmoassimpossvelatribuirumsignificadodistribuio estacionria. DEFINIO: Seja ) (njNo nmero de vezes queoprocesso visita o estado jat o passo n, sem incluiroestadoinicial.Afrequnciadevisitasaoestadojatopassonn Nnjnj/) ( ) (= .A frequncia limite de visitas ) (limnjnj = , desde que este limite exista. Afrequncialimitepodeserinterpretadacomoaproporodetempoqueacadeiapassano estado j. Temos ento o seguinte teorema: 11 TEOREMA6:Seumacadeiairredutvelpossuiumadistribuioestacionria ,entoas freqncias limite existem e = . Note que se o Teorema 5 vlido, ento o Teorema 6 tambm . Portanto, teremos ) (limnnp = . EXEMPLO16:Noexemplo14,podemoscalcularadistribuioestacionria,encontrando ( )91919191919131, , , , , , = . Embora as probabilidadeslimites no existam, devidoao fato dea cadeia ser peridica, o Teorema 6 garante que, por ser a cadeia irredutvel, a freqncia de visitas a um estado j converge para j . Ou seja, no limite n , a cadeia passa 1/3 do tempo no estado 0 e 1/9 do tempo em cada um dos demais estados. 5. CADEIAS REDUTVEIS E PROBABILIDADES DE ABSORO Seumacadeiafinitaeredutvel,entooprocessocertamenteserabsorvidoporumadas classesdecomunicaofechada.Nestecaso,hduasquestesaresolver:Sehmaisdeuma classedecomunicaofechada,qualaprobabilidadedeoprocessoserabsorvidoporuma determinada classe C ? A segunda questo : Quantos passos, em mdia, sero necessrios at que o processo seja absorvido por uma das classes de comunicao fechada ? Inicialmente, definimos a probabilidade de alcanar um estado j a partir do estado i: ( ) i X n j X P an ij= = =0| 1 algum para (30) As probabilidades ijapodem ser calculadas com o seguinte resultado: TEOREMA 7: Se i e j so estados quaisquer de uma cadeia de Markov: + =j kkj ik ij ija p p a (31) Prova:SejaAjoevento{ } 1 = n j Xnalgum para .CondicionandoemrelaoaX1eusandoa propriedade de Markov: ( ) ( ) ( )( ) ( )( ) ( ) ( ) ( ) + = + == = = + = = = == = = == = = = = = =j kkj ik ijj kik kj ijj kj jjjjj j ija p p p a pi X k X P k X A P i X j X P j X A Pi X k X P k X A Pi X k X P k X i X A P i X A P a1| | | || || , | |0 1 1 0 1 10 1 10 1 1 0 0 12 EXEMPLO 17: Considere a seguinte cadeia: A probabilidade 11apode ser calculada facilmente aplicando (31): 21 31113121 31311141 14 31 13 21 12 01 10 11 110 0 0 0 0a aa aa p a p a p a p p a = + + + + =+ + + + =(32) E, por outro lado: 322121 41212121 22 21 21= + =+ =aa aa p p a(33) Portanto: 9211 = ae o estado 1 transiente. Aplicando o mesmo procedimento a todos os estados, encontraremos:100 = a , 9211 = a , 12522 = a , 133 = a ,144 = a . Portanto, os estados 1 e 2 so transientes e os estados 0, 3 e 4 so recorrentes. Quando tratamos de alcanar uma classe de comunicao a partir de um estado, podemos derivar umresultadoanlogoaousaraoTeorema7:aprobabilidadedeserabsorvidoporuma determinada classe C a partir do estado i : + =j kkc ik ij ica p p a (34) Por convenincia, entretanto, omitiremos o ndice c, de modo que temos: + =j kk ik ij ia p p a (35) Contudo, preciso ter sempre em mente a qual classe nos referimos ao aplicar a equao (35). EXEMPLO18:Noexemplo17,temosduasclassesdecomunicaofechadasquepodem absorver o processo: C1 = {0} e C2 = {3,4}. Se o processo inicia no estado 1, a probabilidade de o processo ser absorvido pela classe C2 : 81 41 11 81 31 21 31 31 013 24 1 13 ==+ + =+ =+ + =+ + =7527412 411 214122 313112 22 1 21) 1 (2 22 12 2 11) 1 (1 1

aaa a aa aa p a p a aa p a p a a(36) Assim, iniciando no estado 1, o processo tem probabilidade 4/7 de ser absorvido pela classe C2 e, portanto, 3/7de ser absorvido pela classe C1. Iniciandono estado 2, tem 5/7 deprobabilidade de ser absorvido pela classe C2 e 2/7 de ser absorvido pela classe C1. Passemosquestodonmeroesperadodepassosatoprocessoserabsorvido.Antes, deduzimos uma equao para as variveis ijmdefinidas na seo anterior: TEOREMA 8: Se i e j so estados quaisquer de uma cadeia: + =j kkj ik ijm p m 1(37) Prova: Seja iTo nmero de passos at que o processo visite o estado j, partindo do estado i, sem contar o estado inicial: } 1 , | min{ = = n j X n Tn i(38) Ento: ( ) ( ) ( )( ) ( ) ( ) ( )( ) ( ) ( )( ) + = = + + = = + + = = == = = = + = = = = == = = = = = =j kik kjj kik jj kik ijj kik kj kk jkj j ijp m p k X T E p pp k X T E i X j X Pk X j X P k X i X T E i X j X P j X i X T Ei X k X P k X i X T E i X T E m1 || 1 || , | | , || , | |00 0 10 1 1 0 0 1 1 00 1 1 0 0

Quando tratamos da absoro pelo conjunto C das classes de comunicao fechada, anotaremos apenas: ( ) i X T E mi= =0| (39) Onde T o tempo at a absoro: { } C X n n Tn = , 1 | min (40) Ento, pelas mesmas razes, imsatisfar uma equao anloga equao (37): + =T jk ij im p m 1(41) EXEMPLO 19: No exemplo 17: 14 p p p q q q p 0 1 2N1 N rrr1r + q ==+ + =+ =+ + =+ + =718271312 411 2122 3112 22 1 21 22 12 1 11 1

11

11mmm m mm mm p m p mm p m p m Portanto, iniciando no estado 1, a cadeia ser absorvida pela classe C1 ou pela C2 em 13/7 = 1,9 passos,emmdia.Einiciandonoestado2,serabsorvidaporumadasclassesem18/7=2,6 passos, em mdia. EXEMPLO20:Consideremosadistribuiogeomtrica.Nestadistribuio,umeventotem probabilidadepdeocorrererepetimosoexperimentoatqueeleocorra.Calculeamdia(valor esperado) de uma distribuio geomtrica. Res: A situao pode ser modelada como uma cadeia redutvel de 2 estados: Iniciamosoprocessonoestado0eoestado1significaqueoeventoocorreu.Nestecaso,o tempo mdio necessrio at o processo ser absorvido pelo estado 1 , segundo a equao (41): ( ) p m m p m / 1 1 10 0 0= + = . Ou seja, o valor esperado de uma distribuio geomtrica de parmetro p 1/p. EXEMPLO21:Suponhamosquecertoeventoocorrecomprobabilidadep.Podemosestar interessadosnonmeromdiodetentativasatconseguirumaseqnciadeNsucessos consecutivos. Neste caso, a cadeia seria a representada abaixo: A equao para o nmero mdio de passos para a absoro : N i m rm qm mi i i, ... , 1 , 0 , 11 0= + + + =+.(42) Ou: pm qmpqmi i0111+|||

\|+ =+(43) Em forma mais resumida: b am mi i+ =+1 (44) Esta equao pode ser resolvida por recurso: baam a miii110+ = (45) E usando0 =Nm : p 1 1p aa 01 15 0110=+ baam aNN(46) ( )( )qam m q a m qapm qp qam aNN NNN10 1 1 01/10 0 000= = + =|||

\| + (47) Portanto: (((

|||

\|+ = 1 110Npqqm (48) No caso especial em que r = 0: ((

= 11 10 Np qm (49) EXEMPLO22:Quantasvezes,emmdia,teremosdejogarumamoedaatobter5caras sucessivas ? Res: Segundo a equao (49), sero necessrios em mdia 2(251) = 62 lanamentos. No caso em que q = 0, ou seja, quando no h a possibilidade de retorno, a equao (44) fornece: pim mi =0(50) E usando a condio0 =Nm , obtemos: pNm=0(51) 6. CADEIAS DE NASCIMENTO E MORTE Umacadeiadenascimentoemorteumacadeiaunidimensionalondeastransiessso possveis entre os vizinhos mais prximos: = =+ ==casos. demaissesese

, 0, ,, 1 ,, 1 ,i j ri j qi j ppiiiij(52) Comi q r pi i i = + +, 1 . O grafo abaixo representa uma cadeia de nascimento e morte geral: 16 Umacadeiadenascimentoemortepodeserfinitaouinfinita,redutvelouirredutvel.Quando redutvel, pelo menos uma das extremidades ser um estado absorvente. TEOREMA 9: Se uma cadeia de nascimento e morte irredutvel, sua distribuio estacionria : =iii (53) Onde: . 1, , 12 11 1 00 = =iq q qp p piiiLL (54) Desde que: < i .(55) Prova: Segundo a equao (27): 1 1 1 1 + + + + = = = i i i i i i ijji j iq r p p P (56) Escrevendo esta equao parai = 0, 1, 2, etc, temos: 0101 1 1 0 0 0 qpq r = + = (57) 02 11 02 2 2 1 1 0 0 1 q qp pq r p = + + = (58) 03 2 12 1 03 3 3 2 2 1 1 2 q q qp p pq r p = + + = (59) Por induo: . 1, ,2 11 1 00 = =iq q qp p piii i iLL (60) E 0 encontrado pela condio de normalizao: = = = =ii i iiiiiii 1 10 0(61) EXEMPLO23:Consideremosafiladoexemplo6.Estemodelodefilaumprocessode nascimento e morte com: 1 , , , = = = i p p r r q qi i i.(62) 1 + irir1 ir2 ip1 + ipip1 ip i 1 + i 1 i1 iqiq1 + iq2 iq17 1/N 1 1 1/N 1-2/N

3/N 1-1/N 2/N 012N-1N = = =0 0 0, 1 , 0 p r q .(63) Portanto,2 , , , 112 11 1 0101 0|||

\|= = = = =iqpq q q qp p pq qpiiii LL.(64) p qp qq p q qpqiiii+ =+ =|||

\|+ = == / 111 1110 (65) Portanto: ( )( )1 , ,10|||

\|+ =+ =iqpq p qp qp qp qii .(66) Ouseja,adistribuiodonmerodeclientesnafila,nolongoprazo,sersemelhante distribuiogeomtrica,desdequep