StochProc_2014_04_answers (2)

7
Στοχαστικές Ανελίξεις - Απρίλιος 2014 ΠΡΟΒΛΗΜΑ 1. (25) ΄Εχουmε 3 νοmίσmατα όπου η πιθανότητα το i να φέρει κεφάλι είναι ίση mε p i ,i =1, 2, 3, και ακολουθούmε την εξής διαδικασία. Ξεκινάmε mε το νόmισmα 1 και το ρίχνουmε διαδοχικά mέχρι να φέρει κεφάλι. Τότε το αλλάζουmε mε το 2 και επαναλαmβάνουmε την ίδια διαδικασία. ΄Οταν το 2 φέρει κεφάλι το αλλάζουmε mε το 3 και όταν αυτό φέρει κεφάλι το αλλάζουmε mε το 1 και ούτω καθεξής. (α) Να ορίσετε mια Μαρκοβιανή διαδικασία διακριτού χρόνου που περιγράφει την εξέλιξη αυτού του παι- χνιδιού και να βρείτε το διάγραmmα και τον πίνακα πιθανοτήτων mετάβασης ενός βήmατος. (β) Να χαρακτηρίσετε αυτή τη διαδικασία και να βρείτε την οριακή κατανοmή. (γ) Αν κάθε φορά που φέρνουmε κεφάλι κερδίζουmε 1 ευρώ, ποιο είναι το αναmενόmενο mέσο κέρδος ανά mονάδα χρόνου σε άπειρο ορίζοντα; Απάντηση (α) Υποθέτουmε 0 <p i < 1,i =1, 2, 3. ΄Εστω n =1, 2, οι διαδοχιδές ρίψεις και X n το νόmισmα που ρίχνεται στη n-οστή ρίψη, mε X n ∈{1, 2, 3}. Αν X n = i, αυτό σηmαίνει ότι το νόmισmα i είναι σε χρήση και από την τελευταία φορά που χρησιmοποιήθηκε δεν έχει φέρει ακόmη κεφάλι. Επειδή οι διαδοχικές ρίψεις είναι ανεξάρτητες, η κατανοmή πιθανότητας της επόmενης κατάστασης εξαρτάται mόνο από το ποιο νόmισmα χρησιmοποιείται τώρα και όχι από την προηγούmενη ιστορία. Συγκεκριmένα αν το νόmισmα φέρει γράmmατα η κατάσταση θα παραmείνει η ίδια, ενώ αν φέρει κεφάλι η κατάσταση θα αλλάξει στο επόmενο νόmισmα. Εποmένως η διαδικασία X n ,n =1, 2,... είναι Μαρκοβιανή αλυσίδα διακριτού χρόνου mε πίνακα και διάγραmmα πιθανοτήτων mετάβασης ενός βήmατος που φαίνονται παρακάτω: P = 1 - p 1 p 1 0 0 1 - p 2 p 2 p 3 0 1 - p 3 3 2 1 1 - p 1 p 1 1 - p 2 p 2 1 - p 3 p 3 Σχήmα 1: Θέmα 1: Dιάγραmmα Πιθανοτήτων Μετάβασης Ενός Βήmατος (β) Η αλυσίδα είναι αδιαχώριστη και επειδή είναι και πεπερασmένη, είναι θετικά επαναληπτική. Επίσης επειδή για κάθε κατάσταση i, p ii > 0, είναι και απεριοδική. Εποmένως υπάρχει η οριακή κατανοmή π = (π 1 2 3 ) που είναι η mοναδική λύση του συστήmατος: π 1 = (1 - p 1 )π 1 + p 3 π 3 π 2 = (1 - p 2 )π 2 + p 1 π 1 π 1 + π 2 + π 3 =1 1

description

Stochastic proc

Transcript of StochProc_2014_04_answers (2)

  • - pi 2014

    1. (25) 3 pi pi i pi, i = 1, 2, 3, . 1 . 2 pi . 2 3 1 .() pi pi pi- pi pi .() .() pi 1 , pi pi ;

    pi() pi 0 < pi < 1, i = 1, 2, 3. n = 1, 2, Xn pi n- , Xn {1, 2, 3}. Xn = i, i pi pi pi . pi , pi pi pi pi pi pi pi . pi , pi. pi Xn, n = 1, 2, . . . pi pi pi pi:

    P =

    1 p1 p1 00 1 p2 p2p3 0 1 p3

    3

    21

    1 p1 p1 1 p2

    p2

    1 p3

    p3

    1: 1:

    () pi pipi, pipi. pipi i, pii > 0, pi. pi pi pi =(pi1, pi2, pi3) pi :

    pi1 = (1 p1)pi1 + p3pi3pi2 = (1 p2)pi2 + p1pi1

    pi1 + pi2 + pi3 = 1

    1

  • pi pi pipi

    pi1p1 = pi2p2 = pi3p3

    pi1 + pi2 + pi3 = 1.

    pi

    pi1 =

    1p1

    1p1

    + 1p2 +1p3

    , pi2 =

    1p2

    1p1

    + 1p2 +1p3

    , pi3 =

    1p3

    1p1

    + 1p2 +1p3

    .

    () 1 pi ( ) 0 pi , Xn = i,

    Rn(Xn, Xn+1) =

    {1, pi pi0, pi 1 pi

    pi pi i

    r(i) = E(Rn(Xn, Xn+1)|Xn = i) = pi. pi pi pi

    C =iS

    r(i)pii =3i=1

    pi

    1pi

    1p1

    + 1p2 +1p3

    =3

    1p1

    + 1p2 +1p3

    .

    2. (30) , pi pi. pi pi p pi 1 p. pi pi pi pi . pi pi pi .() pi pi;() pi pi ;() pi pi pi pi pi pi;

    pi: {Xn, n = 0, 1, . . .} pi X0 = 0 Xn n- pi.

    pi() Xn n- pi. Xn = 2 2, pi , . Xn = 1, 0, 1 pi pi 1 ( pi 1 p) 1 (pi p). pi, pi , Xn, Xn+1 pi . pi

    -2 -1 0 1 21

    p

    1 p

    p

    1 p

    p

    1 p1

    2

  • -2 2 pi -1, 0, 1 pi. - pi pi 0 pi -2 2. pi, fi pi i pi -2 2. f1, f0, f1 pi pi , pi pipi pi pi :

    f1 = 1 + pf0f0 = 1 + (1 p)f1 + pf1f1 = 1 + (1 p)f0.

    pi pi:

    f0 = 1 + (1 p) + (1 p)pf0 + p+ p(1 p)f0 = 2 + 2p(1 p)f0 pi

    f0 =2

    1 2p(1 p)pi pi pi.() pi pi pi pi 2 0. xi pi pi 2 X0 = i. x2 = 0, x2 = 1. x1, x0, x1 pi pi , pi pipipi pi :

    x1 = px0x0 = (1 p)x1 + px1x1 = p 1 + (1 p)x0.

    pi pi:

    x0 = (1 p)px0 + p2 + p(1 p)x0 = p2 + 2p(1 p)x0 pi

    x0 =p2

    1 2p(1 p)pi pi pi .() pi pi p pi.pi pi pipi pi x0 p. x0 pi:

    p2

    1 2p(1 p) pp

    1 2p(1 p) 1 p 1 2p(1 p) 1 3p+ 2p2 0.

    2p2 3p+ 1 1 12 . pi 12 p 1, pi pi pi ( pi pi ).

    3. (25) {Xn, n = 0, 1, . . .}

    3

  • S = {1, 2, . . . , 7} pi pi pi

    P =

    14

    34 0 0 0 0 0

    1 0 0 0 0 0 015

    15

    15

    15

    15 0 0

    0 1414 0 0

    14

    14

    0 0 0 0 1 0 00 0 0 0 0 0 10 0 0 0 0 1 0

    .

    () pi pi pipi pi.() pi pi :

    limn p

    (n)12 , limn p

    (n)32 , limn p

    (n)17 , limn p

    (n)45 , limn p

    (n)42 , limn p

    (n)34 .

    () X0 = 6, pi pi pi pi pi 7;() X0 = 1, pi pi pi pi pi 1;

    pi() pi pi pi pi pi:

    1

    2

    3

    4

    6

    5

    7

    14

    34 1

    151

    5

    15

    15

    1515

    14

    14

    14

    14

    1

    1 1

    pi pi pi:

    1. C1 = {1, 2} pipi pipi 2. C2 = {5} pi 3. C3 = {6, 7} pipi pipi 4. C = {3, 4} pi pi

    4

  • pi pipi, C1 pi pi p11 > 0 C3 pi pi 2.() pipi .

    pi C2 pi pi pi pi

    pi1 =1

    4pi1 + pi2

    pi1 + pi2 = 1

    pi pi pipi pi1 = 47 , pi2 =37 .

    C2 pi pi pi pi 5 pi pi pi5 = 1.

    C3 pi pi pi, pi pi pi :

    pi6 = pi7

    pi6 + pi7 = 1

    pi pi pipi pi6 = pi7 = 12 . pi pipi pi pi pi pi

    pi pi pi pipi . C1 pi pi x3,C1 , x4,C1 pi -

    x3,C1 = p31 1 + p32 1 + p33x3,C1 + p34x4,C1 + p35 0x4,C1 = p42 1 + p43x3,C1 + p46 0 + p47 0

    pi

    x3,C1 =2

    5+

    1

    5x3,C1 +

    1

    5x4,C1

    x4,C1 =1

    4+

    1

    4x3,C1

    pi pi pipi x3,C1 =35 , x4,C1 =

    25 .

    C2 pi pi x3,C2 , x4,C2 pi -

    x3,C2 = p34 1 + p33x3,C2 + p34x4,C2x4,C2 = p43x3,C2

    pi

    x3,C2 =1

    5+

    1

    5x3,C2 +

    1

    5x4,C2

    x4,C1 =1

    4x3,C2

    pi pi pipi x3,C2 =415 , x4,C2 =

    115 .

    C3 pi pi pipi pi :

    x3,C3 = 1 x3,C1 x3,C2 = 13

    5 4

    15=

    2

    15

    x4,C3 = 1 x4,C1 x4,C2 = 12

    5 1

    15=

    8

    15.

    5

  • pi pi.

    pi limn p(n)12 = pi1 =

    47 , C1 pipi pi

    pipi pi.

    pi limn p(n)32 = x3,C1pi2 =

    3537 =

    935 , pi pipi pi C1

    pi pi 2.

    pi limn p(n)17 = 0 1 pi

    pi C1. pi :

    limn p

    (n)45 = x4,C2pi5 =

    1

    15

    limn p

    (n)42 = x4,C1pi2 =

    1

    15

    limn p

    (n)34 = 0,

    pi 4 pi.() 6, pi pi pipi C3. pi , pi pi6, pi7 pi pi pi 6 7 , pi pi pi7 = 12 .() 1, pi pi pipi C1, pi pi pi1 = 47 .

    4. (30) pi pi pi pi Poisson(). pi pi pi - . X(t) pi t.() {X(t), t 0} .() pi pi Chapman-Kolmogorov pi - pij(t), i, j S.() pi pipi , . ;() 100 pi pi - 1 , pi pi pi pi ; (pi pi pi .)

    pi () pi pi pi . pi X(t), t 0 -.

    n = , n = 0, 1, . . .. pi n pi

    pi pi pi n pi. pi pi - n, n = n, n = 0, 1, 2, . . ..

    6

  • 0 1 2 n 1 n

    () pi Chapman-Kolmogorov :

    pi0(t) = pi0(t) + pi1(t), i 0,pij(t) = (+ j)pij(t) + pi,j1(t) + (j + 1)pi,j+1(t), i 0, j > 0

    () . pi pi, pi pi, pipi pipi. , pipipipi pi . pipi pi. pi pi {0, 1, . . . , n}, {n+ 1, . . .}, n = 0, 1, . . ., pi

    p0 = p1

    p1 = p22

    pn1 = pnn

    pi pi pipi

    p1 =

    p0, p2 =

    2p1 =

    2

    22p0, . . . , pn =

    n

    n!np0

    pi pn pi pin=0

    pn = p0

    n=0

    n

    n!n= 1.

    n=0

    n

    n!n=n=0

    (

    )nn!

    = e

    pipi , > 0, pi pi pi pipi

    p0 = e

    pn = e

    (

    )nn!

    > 0, n = 0, 1, 2, . . .

    pi pipi pi. , pi Poisson pi .() pi () pi X(t) t pi Poisson pi . pi

    limtE(X(t)) =

    .

    , = 100 60 = 6000, 1/ = 1, pilimtE(X(t)) = 6000.

    7