1

Τρίτη, 1 ∆εκεµβρίου 2009.

ΕΚΤΙΜΗΤΙΚΗ

Μέθοδος Ευρέσεως Εκτιµητριών.

• Μέθοδος µέγιστης Πιθανοφάνειας

• Μέθοδος Ελαχίστων Τετραγώνων

• Μέθοδος των Ροπών

Οι προαναφερθείσες µέθοδοι ανήκουν στην Κλασική Στατιστική.

• Μπεϋζιανή Στατιστική (Στατιστική κατά Bayes)

Ορισµός:

Συνάρτηση Πιθανοφάνειας (Likelyhood function)

Είναι η από κοινού σ.π. (ή σ.π.π.) ενός τ.δ. 1 2, , ,v

X X X… , ως συνάρτηση της ά-

γνωστης παραµέτρου θ.

( ) ( )1 2, , ,..., vL L x x xθ θ= = ( )1 2, ,..., ,vf x x x θ = ( )1

,v

i

i

f x θ=∏

Για κάθε θ ∈Θ (µπορεί να είναι και διάνυσµα) και για συγκεκριµένο δείγµα,

µπορούµε να βρούµε την τιµή της συνάρτησης πιθανοφάνειας.

Εκτιµήτρια Μέγιστης Πιθανοφάνειας (Ε.Μ.Π.).

Εκτιµήτρια Μέγιστης Πιθανοφάνειας ɵ( )θ καλείται η σ.σ. που µεγιστοποιεί τη

συνάρτηση πιθανοφάνειας ( )L θ ως προς θ.

Για συγκεκριµένο δείγµα, η εκτιµήτρια συνάρτηση ɵθ θα παίρνει συγκεκριµένη

τιµή, την εκτίµηση (Εκτίµηση = η τιµή του θ, από την οποία είναι πιο πιθανό να

έχουν προέλθει τα δεδοµένα µου).

ɵ( ) ( )sup

/ max /L x L x

θ

θ θ∈Θ

=

Παράδειγµα:

Έστω 1 2, , , vX X X… τ.δ. από κατανοµή Bernoulli (θ). Να βρεθεί η ε.µ.π. του θ.

Λύση:

( ) ( )1, 1 , 0,1.xx

f x xθ θ θ −= − =

( ) ( )1 2, , ,..., vL L x x xθ θ= = ( )1

,v

i

i

f x θ=

=∏ ( )11

1v

xx

i

θ θ −

=

− =∏ ( )11

11

vv

iii

i

xxθ θ=

=

−∑ ∑− =

( )111

vv

iii

i

xv xθ θ=

=

−∑ ∑−

Παρατήρηση

Η τιµή της θ, που µεγιστοποιεί την ( )L θ , µεγιστοποιεί επίσης και τη συνάρτη-

ση ( ) ( )logl Lθ θ= (Λογαριθµική εκδοχή της πιθανοφάνειας – log likelihood)

Χρησιµποιούµε την ( )l θ για ευκολία!

2

( ) ( )lnl Lθ θ= = ( )11ln 1

vv

iii

i

xv xθ θ=

=

− ∑ ∑ − =

( )1 1

ln ln 1v v

i i

i i

x v xθ θ= =

+ − −

∑ ∑

Για να έχουµε µέγιστο, θα πρέπει ( ) 0l θθ∂

=∂

και ( )2

20l θ

θ∂

<∂

( )l θθ∂

=∂

( )1 1

ln ln 1v v

i i

i i

x v xθ θθ = =

∂ + − − = ∂

∑ ∑ ( )1

1

11

1

v

i v

ii

i

x

v xθ θ=

=

+ − − = −

∑∑

1 1

1 1

v v

i i

i i

x xv

θ θ θ= =− + =

− −

∑ ∑

( )

( )1 1

1

1

v v

i i

i i

x v xθ θ θ

θ θ= =

− − +=

−

∑ ∑

( )1 1 1

1

v v v

i i i

i i i

x x v xθ θ θ

θ θ= = =

− − +=

−

∑ ∑ ∑

( )1 0

1

v

i

i

x vθ

θ θ=

−= ⇒

−

∑

1

0v

i

i

x vθ=

− = ⇒∑ 1

v

i

i

x vθ=

= ⇒∑

ɵ 1

v

i

i

x

vθ ==

∑

Μέθοδος Εργασίας για την Εύρεση Ε.Μ.Π.

Αν 1 2, , , vX X X… είναι τ.δ. από κατανοµή µε σ.π.π. ( ),if x θ

i) Εύρεση συνάρτησης πιθανοφάνειας:

( ) ( )1 2, , ,..., vL L x x xθ θ= = ( )1

,v

i

i

f x θ=

=∏

ii) Μεγιστοποίηση της ( )L θ ως προς θ.

ɵθ είναι η τιµή για την οποία: ( )

0L θθ

∂=

∂ ή

( ) ( )ln 0l

Lθ

θθ θ

∂ ∂= = ∂ ∂

iii) Για να είναι µέγιστο, πρέπει ( )2

20

L θθ

∂<

∂ ή

( )2

20

l θθ

∂<

∂

(Ισχύει για τις γνωστές κατανοµές)

Άσκηση:

Έστω 1 2, , , vX X X… τ.δ. από κατανοµή Poisson (λ). Να βρεθεί ɵλ , δηλ. εκτιµη-

τής µέγιστης πιθανοφάνειας του λ.

Λύση:

( ),!

x

f x ex

λ λλ −=

3

( ) ( )1

,v

i

i

L f xλ λ=

= =∏ 1 !

ixv

i i

ex

λ λ−

=

=∏ 1

1

!

v

i

i

xv

v

i

i

e

x

λλ =−

=

∑

∏.

( ) ( )lnl Lλ λ= = 1

1

ln

!

v

i

i

xv

v

i

i

e

x

λλ =−

=

∑

=

∏ 1

1

ln ln ln !

v

i

i

vxv

i

i

e xλ λ =−

=

∑+ − =∏

1 1

ln ln !vv

i i

i i

v x xλ λ= =

− + −∑ ∏

( )l λλ

∂=

∂

1 1

ln ln !vv

i i

i i

v x xλ λλ = =

∂ − + − = ∂

∑ ∏ 1

10

v

i

i

v xλ =

− + = ⇒∑ 1

v

i

i

x

Xv

λ == =∑

.

( )ɵ

2

2

l

λ λ

λλ

=

∂=

∂

ɵ

1

1 v

i

i

v x

λ λ

λλ

=

=

∂ − + =

∂

∑

ɵ2

1

1 v

i

i

xλ λλ = =

− =∑ ɵ 2

1

10

v

i

i

xλ =

− <∑

άρα είναι µέγιστο και όντως η 1

v

i

i

x

Xv

λ == =∑

είναι η Ε.Μ.Π. για το λ.

Παράδειγµα:

Έστω 1 2, , ,v

X X X… τ.δ. από γεωµετρική κατανοµή (p), δηλαδή

( ) ( ), 1x

f x p p p= − , 1,2,...x = , 0 1p< < [ x είναι ο αριθµός των αποτυχιών µέ-

χρι την 1η επιτυχία]. Να βρεθεί �p , δηλ. ε.µ.π. για το p.

Λύση:

( ) ( )1

,v

i

i

L p f x λ=

= =∏ ( )1

1i

vx

i

p p=

− =∏ ( ) 11

v

i

i

xvp p =

∑− =

( ) ( )lnl p L p= = ( ) 1ln 1

v

i

i

xvp p =

∑− =

( )1

ln ln 1v

i

i

v p x p=

+ −∑

( )l λλ

∂=

∂ ( )

1

ln ln 1v

i

i

v p x pλ =

∂ + − = ∂ ∑ ( )

1

11

1

v

i

i

vx

p p=

+ − =−∑

1

10

1

v

i

i

vx

p p =

− = ⇒− ∑

1

1

1

v

i

i

vx

p p =

= ⇒− ∑

1

v

i

i

v vp p x=

− = ⇒∑ 1

v

i

i

p x vp v=

+ = ⇒∑

4

1

v

i

i

p v x v=

+ = ⇒

∑

1

v

i

i

vp

v x=

= ⇒+∑

1

1

1

v

i

i

p

x

v

=

= ⇒

+∑

1

1p

X=

+

( )ɵ

2

2

l p

λ λλ

=

∂=

∂

�

1

1

1

v

i

i

p p

vx

p p

p

=

=

∂ −

− =∂

∑

( )( ) �

221

1 1

1

v

i

ip p

vx

p p ==

− −− − =

−∑

( ) �

221

10

1

v

i

ip p

vx

p p ==

− − <−

∑ , εφ’ όσον 1

, 0v

i

i

v x=

< >∑ άρα είναι µέγιστο και

� 1

1p

X=

+.

Παρατήρηση:

Εάν η συνάρτηση πιθανοφάνειας έχει s άγνωστες παραµέτρους

( )1 2, ,..., sθ θ θ θ= , τότε η Ε.Μ.Π. του θ θα είναι το διάνυσµα των τ.µ.

ɵ � � �( )1 2, ,..., sθ θ θ θ= για το οποίο µεγιστοποιείται η συνάρτηση πιθανοφάνειας

( ) ( )1 2 1 2 1 2, ,..., , ,..., , , ,...,s v sL f x x xθ θ θ θ θ θ=

Κάτω από ορισµένες συνθήκες οµαλότητας, το σηµείο που πεγιστοποιείται η

( )L θ , είναι η λύση ενός συστήµατος εξισώσεων , όλων των µερικών παραγώ-

γων, αν αυτές τεθούν ίσες µε το µηδέν.

( )

( )

1

0

.................

0s

L

L

θθ

θθ

∂=

∂

∂=

∂

ισοδυναµεί µε

( )

( )

1

0

.................

0s

l

l

θθ

θθ

∂=

∂

∂=

∂

και, για να έχουµε µέγιστο, θα πρέπει

( )2

20, 1,2,...,

i

Li s

θθ

∂< =

∂.

Παράδειγµα - Άσκηση:

Έστω 1 2, , , vX X X… τ.δ. από ( )2

1 2,N µ θ σ θ= = .

Να βρεθεί η ΕΜΠ για το ( )1 2,θ θ θ= , 1 2 2, , 0θ θ θ∈ >ℝ .

Λύση:

( ){ }1 2 1 2 2, : , , 0θ θ θ θ θΘ = ∈ >ℝ

Πιθανοφάνεια:

5

( ) ( )1 2,L Lθ θ θ= = ( )1

,v

i

i

f x θ=

=∏ ( ) ( )21

12

2

1 2

2 exp2

vi

i

x θπθ

θ−

=

− − =

∏

( ) ( )222

2 1

12

12 exp

2

v vv

i

i

xπ θ θθ

−−

=

⋅ ⋅ − −

∑

( ) ( )1 2 1 2, ln ,l Lθ θ θ θ= = ( ) ( )222

2 1

12

1ln 2 exp

2

v vv

i

i

xπ θ θθ

−−

=

− − =

∑

( ) ( )2

2 1

12

1ln 2 ln

2 2 2

v

i

i

v vxπ θ θ

θ =

− − − −∑

( ) ( ) ( )2

1 2 2 1

11 1 2

1, ln 2 ln

2 2 2

v

i

i

v vl xθ θ π θ θ

θ θ θ =

∂ ∂= − − − − = ∂ ∂

∑

( )2

1

12 1

1

2

v

i

i

x θθ θ=

∂− − =

∂∑ ( )( )1

12

12 1

2

v

i

i

x θθ =

− − − =∑ ( )1

12

10

v

i

i

x θθ =

− = ⇒∑

( )1

1

0v

i

i

x θ=

− = ⇒∑ 1

1 1

0v v

i

i i

x θ= =

− = ⇒∑ ∑ 1 0vX vθ− = ⇒ �11

1 v

i

i

X xv

θ=

= = ∑ (1)

και ( ) ( ) ( )2

1 2 2 1

12 2 2

1, ln 2 ln

2 2 2

v

i

i

v vl xθ θ π θ θ

θ θ θ =

∂ ∂= − − − − = ∂ ∂

∑

( )2

1212 2

1 1

2 2

v

i

i

vx θ

θ θ =

− − − − =

∑ ( )2

1212 2

10

2 2

v

i

i

vx θ

θ θ =

− + − = ⇒∑

( )2

1212 2

1

2 2

v

i

i

vx θ

θ θ=

− = ⇒∑ ( )2

1

12

1 v

i

i

x vθθ =

− = ⇒∑ � ( )2

2

1

1 v

i

i

x Xv

θ=

= −∑ ,

Η �1θ είναι αµερόληπτη εκτιµήτρια του 1θ , ενώ η �2θ δεν είναι αµερόληπτη εκτι-

µήτρια του 2θ , καθ’ όσον αµερόληπτη εκτιµήτρια είναι η ( )2

2

1

1

1

v

i

i

x Xv

θ=

= −− ∑ .

Είναι: �( )1 1E θ θ µ= = και

�( )2E θ = ( )2

1

1 v

i

i

E x Xv =

− =

∑ 2

2

1 1v v

v vθ σ

− −=

��( ) � 2 2

2

1lim limv v

vE

vθ σ σ

→∞ →∞

−= = , δεν είναι αµερόληπτη εκτιµήτρια, αλλά ασυµπτω-

τικά αµερόληπτη και η εκτιµήτρια παραµένει συνεπής.

∆υσκολίες µε τη µέθοδο µέγιστης πιθανοφάνειας

Υπάρχει περίπτωση η παραγώγιση να δώσει ακρότατο το οποίο δεν είναι ολικό

µέγιστο.

∆εν χρησιµοποιούµε πάντα τη µέθοδο παραγώγισης

Ειδικά για πολυπαραµετρικά προβλήµατα αριθµητικές ή αλγοριθµικές µεθό-

δους.