1

∆ευτέρα, 14 ∆εκεµβρίου 2009.

Απόδειξη

Αφού η ( )xδ δ= είναι αποτελεσµατική, από το προηγούµενο θεώρηµα, µπο-

ρούµε να γράψουµε: ( ) ( ) ( ) ( )1

log ; , 1v

i

i

f x k v xθ θ δ θθ=

∂= − ∂∑ .

Συνάρτηση Πιθανοφάνειας: ( ) ( )1

;v

i

i

L f xθ θ=

= ⇒∏

( ) ( ) ( )1

log log ;v

i

i

l L f xθ θ θ=

= = =∏ ( )1

log ;v

i

i

f x θ=

⇒∑

( ) ( )1

log ;v

i

i

lf x

θθ

θ θ =

∂ ∂= =

∂ ∂ ∑ ( )1

log ;v

i

i

f x θθ=

∂∂∑ και για να βρούµε τη ɵθ , θέτου-

µε: ( ) ( )

1

log ; 0v

i

i

lf x

θθ

θ θ=

∂ ∂= =

∂ ∂∑ , οπότε από την ( )1 ,

( ) ( ) ( )1

log ; , 0v

i

i

f x k v xθ θ δ θθ=

∂= − = ⇒ ∂∑ ( ) ( ), 0k v xθ δ θ− =

και, επειδή ( ), 0k v θ > , θα πρέπει να ισχύει: ( ) 0xδ θ− = ⇒ ( )xθ δ= , ό.έ.δ.

Έλεγχος ακρότατου:

( )

( )

( )

( )

2

2

x x

l l

θ δ θ δ

θ θθ θ θ

= =

∂ ∂ ∂ = = ∂ ∂ ∂

( ) ( ){ }( )

,x

k v xθ δ

θ δ θθ =

∂ − = ∂

( ) ( ) ( ) ( )( )

, ' , 'x

k v x k v xθ δ

θ δ θ θ δ θ=

− + − =

( ) ( ) ( )( )( )

, ' , 1x

k v x k vθ δ

θ δ θ θ=

− + − = ( ) ( ) ( ) ( ), ' ,k v x x k vθ δ δ θ− − =

ɵ( ), 0k v θ− < , άρα το ακρότατο είναι µέγιστο και συνεπώς: ɵ ( )xθ δ=

Προβλήµατα στην εύρεση Ε.Μ.Π.

Έστω ( )L θ της µορφής (πιο περίεργη, όσο αυξάνει η διάσταση του θ)

∆εν χρησιµοποιείται πάντοτε η µέθοδος της παραγωγίσεως. Υπάρχει περίπτω-

ση, µε τη µέθοδο της παραγωγίσεως, να πάρουµε είτε τοπικό µέγιστο είτε ελά-

χιστο. Γενικά, το καταλληλότερο θ είναι αυτό που µεγιστοποιεί την ( )L θ .

Θεώρηµα:

Εάν 1 2, , ,v

X X X… τ.δ. από µονοπαραµετρική κατανοµή µε σ.π. (ή σ.π.π.)

( ),f x θ , ɵθ είναι Ε.Μ.Π. του θ και ( )xδ δ= µια αποτελεσµατική εκτιµή-

τρια της παραµέτρου θ, τότε ɵθ δ= .

2

Παράδειγµα:

Έστω 1 2, , ,v

X X X… τ.δ. από οµοιόµορφη κατανοµή ( ),U a β . Να βρεθούν

Ε.Μ.Π. για τα α και β.

( ) ( )1; ,f x a I a x

aβ β

β= ≤ ≤

−

1ο βήµα

Πιθανοφάνεια:

( ) ( )1

, ; ,v

i

i

L a f x aβ β=

= =∏ ( )1

1v

i

I a xa

ββ=

≤ ≤ =−∏ ( )

1

1*

vv

i

I a xa

ββ =

≤ ≤ −

∏

! Αν υπολογίσουµε παραγώγους ως προς α,β, και τις εξισώσουµε µε το 0, θα

προκύψει ότι, τουλάχιστον ένα από τα α και β είναι άπειρο.

Παρατηρούµε ότι:

Το α πρέπει να είναι µικρότερο από όλες τις παρατηρήσεις ( )ia X< και κατά

συνέπεια και από το ελάχιστο δειγµατικό ( )( )1X , ενώ το β πρέπει να είναι µεγα-

λύτερο από όλες τις παρατηρήσεις ( )iXβ > και κατά συνέπεια και από το µέ-

γιστο δειγµατικό ( )( )vX

Άρα η πιθανοφάνεια µεγαλώνει, όσο µικραίνει το β-α, δηλαδή αν πάρουµε την

ελάχιστη δυνατή τιµή του β και τη µέγιστη δυνατή τιµή του α, δηλαδή �

( )vxβ = και ɵ ( )1

a x= . Μικρότερο διάστηµα ( ) ( )1va x xβ − = − , άρα µέγιστη

( )( ) ( )( )1

1,

v

v

L a

X X

β =−

.

Άρα οι ζητούµενες Ε.Μ.Π. είναι:

ɵ { } ( )

� { } ( )

1min

max

i

i v

a X X

X Xβ

= =

= =

Παρατήρηση

Οι Ε.Μ.Π. έχουν την ιδιότητα του Αναλλοίωτου (Invariance property).

Αν ɵθ είναι η Ε.Μ.Π. του θ, και ( )u θ είναι συνάρτηση του θ, µε µονότιµη αντί-

στροφή συνάρτηση, τότε η ɵ( )u θ είναι η Ε.Μ.Π. του ( )u θ .

π.χ. αν έχουν τ.δ. από κανονική κατανοµή (Ν(µ,σ2)) και ζητείται ο ( )2log σ ,

βρίσκουµε την Ε.Μ.Π. του 2σ , δηλαδή � ( )2

2

1

1 v

i

i

x xv

σ=

= −∑ και θέτουµε Ε.Μ.Π.

� ( )22

1

1log log

v

i

i

x xv

σ=

= −

∑

Παράδειγµα - Άσκηση:

Έστω 1 2, , , vX X X… τ.δ. από κατανοµή µε αθροιστική συνάρτηση κατανοµής:

3

( )3

3; 1 , 0F x x

x

θθ θ= − ≥ >

α) Να δειχθεί ότι: η ( )1min iX Xδ = = είναι Ε.Μ.Π. του θ και να βρεθεί η

κατανοµή της.

β) Να βρεθεί σταθερά a∈ℝ , τέτοια ώστε: η ( )1 1aXδ = να είναι αµερόληπτη

εκτιµήτρια του θ. Είναι η 1δ συνεπής;

Λύση:

α) ( ) ( ); ;d

f x F xdx

θ θ= = 3

31

d

dx x

θ − =

( )3 3d

xdx

θ −− = ( )( )3 3 13 xθ − −− − =

3

43 , 0x

x

θθ≥ > , και επειδή το στήριγµα εξαρτάται από το θ, επισυνάπτεται η

δείκτρια συνάρτηση:

( ) ( )3

4; 3f x I x

x

θθ θ= < < ∞ .

Πιθανοφάνεια:

( ) ( )1

,v

i

i

L f xθ θ=

= =∏ ( )3

41

3v

i i

I xx

θθ

=

< < ∞ =∏ ( )3

41

13

vv v

i i

I xx

θ θ=

< < ∞ =∏

( )3

4 1

1

13

vv v

iv

ii

i

I x

x

θ θ=

=

< < ∞∏∏

, η οποία µεγιστοποιείται, για αριθµητή µέγιστο,

δηλαδή για ( )1Xθ =

( ) ( )3

1

4

1

3max

v v

v

i

i

XL

x

θ

=

=

∏.

Κατανοµή της ( )1T X=

( ) ( )TF t P T t= ≤ = ( )( )1P X t≤ = ( )( )1

1 P X t− > = ( )1 21 , ,..., vP X X X t− > =

( ) ( ) ( )1 21 vP X t P X t P X t− > > ⋅ ⋅ ⋅ > = ( )1v

P X t− > = ( )1 1v

P X t− − ≤ =

( )1 1v

XF t− − =

3

31 1 1

v

t

θ − − − =

3

31

v

t

θ − =

3

31

v

vt

θ−

( ) ( )T T

df t F t

dt= =

3

31

v

v

d

dt t

θ − =

( ) ( )3 3v vd

tdt

θ −− = ( )( )( )3 3 13v vv tθ − −− − =

3

3 1

3,

v

v

vt

t

θθ

+≥ .

4

β) ( ) ( )( )1E T E X= = ( )T

tf t dtθ

∞

=∫ 3

3 13

v

vt v dt

tθ

θ∞

+ =∫ 3

3

13 v

vv dt

tθ

θ∞

=∫

3 3 113

3 1

v vv t

v θ

θ∞

− + = − +

3

3 1

3 1

3 1

v

v

v

v t θ

θ∞

−

= − +

3

3 1 3 1

3 1 1

3 1

v

v v

v

v

θθ− −

− = − + ∞

3

3 1

3 10

3 1

v

v

v

v

θθ −

− = − +

3

3 1

3 1

3 1

v

v

v

v

θθ −

− = − +

3

3 1

3

3 1

v

v

v

v

θθ −⋅ =

−

3

3 1

v

vθ⋅

−

Βλέπουµε ότι το επίπεδο της µεροληψίας είναι ελάχιστο, αν το ν είναι αξιοσέ-

βαστο, αλλά εξακολουθεί να υπάρχει.

Ζητάµε α: ( )1 1aXδ = αµερόληπτη εκτιµήτρια του θ.

( ) ( )1E E aTδ θ= = , δηλαδή: ( )aE T θ= ⇒ ( )

aE T

θ= =

3

3 1

v

v

θ

θ=

⋅−

3 1

3

v

v

−

Για τη συνέπεια:

Αφού έχουµε δείξει ότι ( )1E δ θ= , δηλαδή αµερόληπτη, αρκεί ν.δ.ό.

( )1lim 0v

V δ→∞

=

( ) ( )1V V aTδ = = ( )2a V T = ( )

23 1

3

vV T

v

−

(1)

( ) ( ) ( ) 22V T E T E T= − (2)

( ) ( )2 2

TE T t F t dt

θ

∞

= =∫ 3

2

3 1

3 v

v

vt dt

tθ

θ∞

+ =∫ 3

3 13 v

v

dtv

tθ

θ∞

− =∫ 3

3 2

1 13

3 1 1

v

vv

v t θ

θ∞

−

= − + +

3

3 2 3 2

1 1 13

3 2

v

v vv

v t t θ

θ∞

− −

− = − +

3

3 2 3 2

1 1 13

3 2

v

v vv

vθ

θ− −

− = − + ∞

3

3 2

1 13 0

3 2

v

vv

vθ

θ −

− = − + 3

3 2

1 13

3 2

v

vv

vθ

θ −=

−

3

3 2

3

3 2

v

v

v

v

θθ −⋅ =

− 23

3 2

v

vθ

−(3)

(1)(2)(3) ( ) ( )2

1

3 1

3

vV V T

vδ

− ⇒ = =

( ) ( ){ }2

223 1

3

vE T E T

v

− − =

2 2

23 1 3 3

3 3 2 3 1

v v v

v v vθ θ

− − ⋅ = − − ( )

( )

2 2 22

22

3 1 3 9

9 3 2 3 1

v v v

v v v

θθ

−− =

− −

( )( )

2 2 22

2 2

3 3 1 9

3 2 9 9

v v v

v v v

θθ

−− =

−

( )( )

2

2 23 1

3 2 3

v

v vθ θ

−− =

− ( ) ( )

( )

2 2 23 1 3 2 3

3 2 3

v v v

v v

θ θ− − −=

−

( ) ( )( )

2 23 1 3 2 3

3 2 3

v v v

v v

θ − − − =−

( )

2 2 29 6 1 9 6

3 2 3

v v v v

v v

θ − + − + =−

( )

2

3 2 3v v

θ⇒

−

( )( )

2

1lim lim 03 2 3v v

Vv v

θδ

→∞ →∞

= =

− ,

5

άρα η 1δ είναι συνεπής.

Παράδειγµα – Άσκηση (∆εν θεωρείται εύκολη άσκηση):

Έστω 1 2, , ,v

X X X… τ.δ. από κατανοµή µε

( )2 33

, exp , 0, 0x x

f x xθ θθ θ

= − ≥ >

.

Να δειχθεί ότι η εκτιµήτρια µέγιστης πιθανοφάνειας είναι αµερόληπτη και συ-

νεπής.

Λύση:

Πιθανοφάνεια: ( ) ( ),L f xθ θ= = ( )1

,v

i

i

f x θ=

=∏ 2 3

1

3exp

v

i i

i

x x

θ θ=

− =

∏

2 3

11

3 1exp

v v v

i ivii

x xθ θ ==

−

∑∏

( ) ( )logl Lθ θ= = 2 3

11

3 1log exp

v v v

i ivii

x xθ θ ==

− =

∑∏

2 3

11

3 1log log exp

v v v

i ivii

x xθ θ ==

+ − =

∑∏ 2 3

11

3 1log log

v v v

i ivii

x xθ θ ==

+ − =

∑∏

( )2 3

1 1

3 1log log

v v v

i ivi i

x xθ θ= =

+ − =

∑ ∑ ( )2 3

1 1

1log3 log log

v v

i i

i i

v v x xθθ= =

− + −∑ ∑

( ) ( )2 3

1 1

1log3 log log

v v

i i

i i

lv v x x

θθ

θ θ θ= =

∂ ∂ = − + − = ∂ ∂

∑ ∑ 3

21

10

v

i

i

vx

θ θ =

− + = ⇒∑

3

21

1 v

i

i

vx

θ θ=

= ⇒∑ 2

3

1

1 v

i

i

xv

θθ=

= ⇒∑ 3

1

1 v

i

i

xv

θ=

= ∑

Ελέγχουµε αν πρόκειται για µέγιστο µε το πρόσηµο της β΄ παραγώγου:

( )2

2

l θθ

∂=

∂

( )l θθ θ

∂ ∂= ∂ ∂

3

21

1 v

i

i

vx

θ θ θ =

∂ − + = ∂

∑ ( ) 3 3

21

2v

i

i

vxθ

θ−

=

+ − =∑

3

2 31

2 v

i

i

vx

θ θ =

− =∑ 3

3 31

2 v

i

i

vx

θθ θ =

− =∑

3

1

3

2v

i

i

v xθ

θ=

− ∑

( )ɵ

ɵ

ɵ

32

1

32

2v

i

i

v xl

θ θ

θθ

θ θ=

=

−∂

= =∂

∑

3 3

1 1

3

3

1

12

1

v v

i i

i i

v

i

i

v x xv

xv

= =

=

−

=

∑ ∑

∑

3 3

1 1

3

3

31

2

1

v v

i i

i i

v

i

i

x x

xv

= =

=

−=

∑ ∑

∑

6

3 3

1

3

3

1

v

i

i

v

i

i

v x

x

=

=

−=

∑

∑

3

2

3

1

0v

i

i

v

x=

−<

∑

. Άρα το ακρότατο που διαπιστώσαµε πριν, πρόκειται

για µέγιστο και εποµένως: ɵ3

1

1 v

i

i

xv

θ=

= ∑ .

ɵ( ) 3

1

1 v

i

i

E E xv

θ=

= =

∑ 3

1

1 v

i

i

E xv =

=

∑ ( )3

1

1 v

i

i

E xv =∑ (1)

( )3

23 3 3

x

i

xE x x e dxθ

θ

∞−

−∞

= ∫ , το οποίο δεν είναι εύκολο να λυθεί.

Υπάρχει άλλος τρόπος µε τον οποίον θα µπορούσαµε να το βρούµε.

Θέτουµε 3Y x= και προσπαθούµε να βρούµε την κατανοµή, τη µέση τιµή και

διασπορά της;

Κατανοµή του 3x .

Αρχικά βρίσκουµε την αθροιστική της 3Y x= στην αρχή:

( ) ( )YF y P Y y= ≤ = ( )3P x y≤ = ( )3P x y≤ = ( )3

XF y

( ) ( )Y

Y

dF yf y

dy= =

( )YdF y

dy= ( )3

X

dF y

dy=

1

3X

dF y

dy

=

1 2

3 31

3Xf y y

−

( )3

2 2 3

3 31 3

3

y

Yf y y y e θ

θ

− −= ⇒ ( ) 1

y

Yf y e θ

θ

−= ,

δηλαδή η 3Y x= ακολουθεί εκθετική κατανοµή µε παράµετρο θ (ή

1

θ),

3 1~i iY x Exp

θ =

.

Και εύκολα συµπεραίνουµε ότι:

[ ] ( )3E Y E xθ= =

ɵ ( )3

1

1 vn

i

E E xv

θ=

= = ∑ 1

vv

θ θ= , άρα αµερόληπτη.

Το άθροισµα 3

1

1~ ,

v

i

i

x Gamma vθ=

∑

όπου ν το πλήθος των εκθετικών που θα προσθέσουµε

1

v

i

i

E Y=

=

∑ 3

1

v

i

i

E x vθ=

=

∑ (µέση τιµή της γάµµα)

Συνέπεια:

ɵ( ) 3

1

1 v

i

i

Var Var xv

θ=

= =

∑ 3

21

1 v

i

i

Var xv =

=

∑ ( )2

1Var T

v

7

( ) 2

21

vVar T vθ

θ

= =

ɵ( )2

2

2

1Var v

v v

θθ θ= ⋅ =

ɵ( )2

lim lim 0v v

Varv

θθ

→∞ →∞= = , άρα είναι συνεπής.

8

Μέθοδος των Ροπών (Method of Moments)

Αν θέλουµε να εκτιµήσουµε s παραµέτρους, εξισώνουµε τις s πρώτες ροπές

(περί το 0) πληθυσµού – δείγµατος.

για 1s = , εξισώνουµε το την πρώτη δειγµατική ροπή (δειγµατικό µέσο) µε τη

ροπή του πληθυσµού, η οποία θα είναι συνάρτηση της παραµέτρου (ή και η ίδια

η παράµετρος), οπότε µε αντίστροφη συνάρτηση παίρνουµε την εκτιµήτρια της

παραµέτρου: ( )1

1 v

i

i

X gv

θ=

= ⇒∑ ( )1g Xθ −=

1

1

1'

v

i

i

M x xv =

= =∑

2

2

1

1'

v

i

i

M xv =

= ∑

.

.

1

1'

vs

s i

i

M xv =

= ∑

και από την άλλη τις θεωρητικές και έχουµε:

( )1' E Xµ =

( )2

2' E Xµ =

.

.

( )' s

s E Xµ =

∆ειγµατικές = θεωρητικές ροπές.

Αν είναι π.χ. διωνυµική ( )E X vp= (ν γνωστό) άρα εξετάζω το p.

Αν είναι περί το µ θα είναι ( )2

2

1

1'

v

i

i

M xv

µ=

= −∑ (η διασπορά)

Απλά παραδείγµατα

Άσκηση

Έστω 1 2, , , vX X X… τ.δ. από κατανοµή Bernoulli (p) ( )( )1,Bin p .

Να βρεθεί εκτιµήτρια του p, µε τη µέθοδο των ροπών.

Λύση:

( ) ( )1, 1 , 0,1.

xxf x p p p x

−= − =

( )( )

1

1

' ,

' ,

M x ή

p ή

δειγµατικ

µ θεωρητικ

=

= �p X= Η πρώτη δειγµατική µε θεωρητική είναι περί

την αρχή, ενώ τη δεύτερη µπορούµε να την πάρουµε περί το µέσο.

Άσκηση

Έστω 1 2, , , vX X X… τ.δ. από κατανοµή Poisson (λ).

9

Να βρεθεί εκτιµήτρια του λ, µε τη µέθοδο των ροπών.

Λύση:

( ) ( ), exp , 0,1,2,...!

x

f x xx

λλ λ= − =

1

1

'

'

M x

µ λ

=

= ɵ Xλ = .

Ροπές θεωρητικές, περί το µέσο είναι ( )k

k E xµ µ= −

και οι αντίστοιχες δειγµατικές είναι: ( )1

1 v k

k i

i

M x xv =

= −∑ .

Άσκηση

Έστω 1 2, , , vX X X… τ.δ. από ∆ιωνυµική κατανοµή ( )( ),Bin n p .

Να βρεθεί εκτιµήτρια του p, µε τη µέθοδο των ροπών.

Λύση:

( )E X xµ = = ⇒ np x= (1)

( )22 E xσ µ = − = ( )2

1

1 v

i

i

x xv =

− ⇒∑ ( ) ( ) ( )2

2

1

11 2

v

i

i

np p x x Mv =

− = − =∑

∆ιαιρούµε τη (2) διά της (1): ( ) 21

np x

np p M= ⇒

−( ) 21x p M− = ⇒

21M

px

− = ⇒ 21

Mp

x= −

(1) x

np

⇒ = = 21

x

M

x

=−

2

x

x M

x

=−

2

2

x

x M−.

Παρατηρήσεις:

α) Το n θα πρέπει να είναι ακέραιος. Άρα θα πάρουµε τον πλησιέστερο α-

κέραιο ή το ακέραιο µέρος της παράστασης

2

2

x

x M−.

β) Πρε΄πει να ισχύει 0 1p< < , άρα και 20 1 1M

x< − < ⇒ 2 1

M

x< ⇒ 2M x<

Αν αυτό δεν ισχύει τότε σηµαίνει ότι η διωνυµική κατανοµή δεν είναι καλό µο-

ντέλο για την περιγραφή των δεδοµένων µας.

Αν 2M X≈ η κατανοµή Poisson φαίνεται να είναι ένα κατάλληλο µοντέλο

( ) ( )E X V X λ= =

Αν 2M X> η αρνητική διωνυµική κατανοµή φαίνεται να είναι ένα κατάλληλο

µοντέλο ( ) ( )E X V X<

10

Αν 2M X>> (overdispersion) µία µικτή κατανοµή Poisson (π.χ. άλλη το πρωί,

άλλη το απόγευµα) φαίνεται να είναι ένα κατάλληλο µοντέλο.

Η µέθοδος των ροπών είναι σαφώς πιο εύκολη, αλλά πιο ποιοτική είναι η µέθο-

δος της πιθανοφάνειας.