1

∆ευτέρα, 23 Νοεµβρίου 2009.

Λήµµα

Έστω U, Y τ.µ., τέτοιες ώστε: [ ]E U θ= , ( ) 0V θ ≥ , πεπερασµένη και

[ ] ( )|E U Y y W y= = , Υ επαρκής σ.σ. για το θ

Τότε η ( )W W y= είναι τέτοια ώστε: ( )E W θ= και ( ) ( )V W V U≤

Απόδειξη: (για συνεχείς τ.µ.)

Έστω U, Y τ.µ. και ( ),g u y η από κοινού σ.π.π. τους. Επίσης ( )1g y η περιθώ-

ρια της Υ και ( )2g y η περιθώρια της U, ( )|h u y δεσµευµένη σ.π.π. της

|U Y y=

( ) ( ) ( ) ( )| | 1W W y E U Y y uh u y du

∞

−∞

= = = = ∫

[ ] ( )E W E W y= = ( ) ( )( )1

1w y g y dy

∞

−∞

=∫ ( ) ( )1|uh u y du g y dy

∞ ∞

−∞ −∞

=

∫ ∫

( ) ( )1|uh u y g y dudy =∫∫

( )( )

( )1

1

,g u yu g y dudy

g y=∫∫ ( ),ug u y dydu =∫∫

( ),u g u y dy du

∞ ∞

−∞ −∞

=

∫ ∫ ( )2

ug u du

∞

−∞

=∫ [ ]E U θ= , άρα η W είναι αµερόληπτη

εκτιµήτρια του θ.

( ) ( ){ }2

V U E U E U= − = ( )2E U θ − = ( )2

E U W W θ − + − =

( ) ( ) ( )( )2 22E U W W U W Wθ θ − + − + − − =

( ) ( ) ( )( )2 22E U W E W E U W Wθ θ − + − + − − =

( ) ( ) ( )( )22E U W V W E U W W θ − + + − − ⇒

( ) ( ) ( ) ( )( ) ( )22 2V U E U W V W E U W W θ = − + + − −

όµως ( )( ) ( )( ) ( ),E U W W u W W g u y dudyθ θ− − = − − = ∫∫

( )( ) ( )( ) ( ) ( )1|u W y W y h u y g y dudyθ− − =∫∫ ∗

∗ Επειδή ( ) ( )

( )1

||

h u yg u y

g y= ⇒ ( ) ( ) ( )

1| |h u y g u y g y=

2

( )( ) ( )( ) ( ) ( )1|W y u W y h u y du g y dyθ

∞ ∞

−∞ −∞

− − ⇒

∫ ∫

( )( ) ( )( ) ( )( ) ( ) ( ) ( )1| 3E U W W W y u W y h u y du g y dyθ θ

∞ ∞

−∞ −∞

− − = − −

∫ ∫ .

Αλλά ( )( ) ( )|u W y h u y du

∞

−∞

− =∫ ( ) ( ) ( )| |uh u y du W y h u y du

∞ ∞

−∞ −∞

− =∫ ∫

( ) ( ) ( )| |uh u y du W y h u y du

∞ ∞

−∞ −∞

− =∫ ∫ ( ) ( )| 1E U Y y W y= − ⋅ =

( ) ( ) 0W y W y− = , άρα η (3) γίνεται: ( )( ) 0E U W W θ− − = και η (2):

( ) ( ) ( )2V U E U W V W = − + ⇒ ( ) ( )V W V U≤ .

Θεώρηµα Rao – Blackwell

Παράδειγµα:

1 2, ,...,

vX X X τ.δ. από Bernoulli(θ)

( ) ( )1; 1 , 0,1

xxf x xθ θ θ −

= − = , 0 1θ< <

Λύση:

( )iE X θ= και ( ) ( )1 , 1iV X i vθ θ= − ∀ ≤ ≤ , εποµένως η 1

X είναι αµερόληπτη

εκτιµήτρια ( )( )1E X θ= .

Έστω ( )1|W E X T t= = .

Η 1

v

i

i

T X=

=∑ είναι επαρκής σ.σ. για τη θ και, κατά τα γνωστά, ( )~ ,T Bin v θ ,

εποµένως:

α) Για 1 t v≤ ≤ : ( ) ( )1

1

1 1 1 1

0

| |x

E X T t x P X x T t=

= = = = =∑

( ) ( )1 10 0 | 1 1|P X T t P X T t⋅ = = + ⋅ = = = ( )1

1|P X T t= = = * ( )( )

11,P X T t

P T t

= ==

=

* µε βάση τη δεσµευµένη πιθανότητα

Έστω 1 2, ,..., vX X X τ.δ. από κάποια κατανοµή µε σ.π. (ή σ.π.π.) ( );f x θ . Ε-

πίσης: έστω ( )1 2, ,..., vY Y X X X= σ.σ. επαρκής για τη θ και

( )1 2, ,..., vU U X X X= αµερόληπτη εκτιµήτρια της θ. Τότε η

( ) ( )|W W y E U Y y= = = είναι αµερόληπτη εκτιµήτρια της θ: ( )E W θ= και

( ) ( )V W V U≤

3

( )

1

1

1,v

i

i

P X X t

P T t

=

= =

==

∑ (

1)

( )

1

2

1, 1v

i

i

P X X t

P T t

=

= = −

==

∑

( )1

2

1

1 1v

i

i

v

i

i

P X P X t

P X t

=

=

= = −

=

=

∑

∑ (

2)

( )( ) ( )

( )( )

1 111

11

1

v tt

v tt

v

t

v

t

θ θ θ

θ θ

− − −−

−

− ⋅ − − =

−

( )( ) ( )

( )

( )( )

1 !1

1 ! 1 1 !

!1

! !

v t

v t

v

t v t

v

t v t

θ

θ

−

−

−−

− − − +=

−−

( ) ( )

( ) ( )1 ! ! !

! 1 ! !

v t v t

v t v t

− −=

− − t

v

Άρα ( ) 1

1|

v

i

i

Xt

E X T t Xv v

== = = =∑

( )1 t v≤ ≤

β) Για 0t = , ( ) ( )1

1

1 1 1 1

0

| 0 | 0x

E X T x P X x T=

= = = = =∑

( ) ( )1 10 0 | 0 1 1| 0P X T P X T⋅ = = + ⋅ = = = 10 0 0

v

i

i

Xt T

Xv v v

=+ = = = = =∑

.

Άρα, σε κάθε περίπτωση, ισχύει: ( ) 1

1| ,0

v

i

i

X

E X T t X t vv

== = = ≤ ≤∑

.

( ) 1

v

i

i

X

V W Vv

=

= =

∑ ( )

21

1 v

i

i

V Xv =

=∑ ( )2

1i

vV Xv

= ( ) ( ) ( )1

1 iV Xv

θ θθ θ

−≤ − =

Άρα ( ) ( )1V W V X≤

Παρατήρηση:

Αν λάβουµε αντί 1

v

i

i

T X=

=∑ την 1

1

1

,v

v i

i

T X X−

=

=

∑ , η οποία είναι επίσης επαρκής

σ.σ. για το θ, έχουµε:

1

1 1

1 2 2

1

v v v

i i i

i i i

X t X X t X t X t= = =

= ⇒ + = ⇒ = − = −∑ ∑ ∑ . Ο λόγος που κάνουµε αυτή την αντικα-

τάσταση είναι να «βγάλουµε» το 1

X από το άθροισµα και έτσι να έχουµε δύο ανεξάρτητες

σ.σ.

2 Η

2

1v

i

i

P X t=

= −

∑ είναι σ.π. διωνυµικής κατανοµής ( )1,v θ− .

4

( ) ( )1

1

1 1 1 1 1 1 1

0

| |x

E X T t x P X T t=

= = = =∑ ( )1 1 11|P X T t= = =

1

1 0

1

1

0

1

1, ,

,

v

v v i

i

v

v v i

i

P X X x X t

P X x X t

−

=−

=

= = =

=

= =

∑

∑

1

1 0

2

1

0

1

1, , 1

,

v

v v i

i

v

v v i

i

P X X x X t

P X x X t

−

=−

=

= = = −

=

= =

∑

∑

( ) ( )

( )

1

1 0

2

1

0

1

1 1v

v v i

i

v

v v i

i

P X P X x P X t

P X x P X t

−

=−

=

= = = −

=

= =

∑

∑

( )1

1 0

2

1

0

1

1 1v

i

i

v

i

i

P X P X t

P X t

−

=−

=

= = −

=

=

∑

∑

( )( ) ( )

( )

00

00

2 11

0

1

0

21

1

11

v tt

v tt

v

t

v

t

θ θ θ

θ θ

− − −−

− −

− − − =

− −

0

0

2

1

1

v

t

v

t

− − =

−

( ) ( )

( ) ( ) ( )0 0

0 0

2 ! ! 1 !

1 ! 2 1 ! 1 !

v t v t

t v t v

− − −=

− − − + − 0

1

t

v −

( )1 1 1 1|W E X T t= = = 0

1

t

v=

−

1

1

1

v

i

i

X

v

−

=

−

∑

( )1E W =

1

1

1

v

i

i

X

Ev

−

=

=

−

∑ ( )1

1

v

v

θθ

−=

−

( )1V W =

1

1

1

v

i

i

X

Vv

−

=

=

−

∑ ( )

( ) ( )2

11 1

1v

vθ θ− − =

−

( )1

1v

θ θ−⇒

− ( ) ( )1 1

V W W X< ⇒

Αλλά, ( ) ( ) ( ) ( )1

1 1

1V W V W

v v

θ θ θ θ− −= > = ⇒

− ( ) ( )1V W V W<

Παράδειγµα - Άσκηση

Έστω 1 2, ,..., vX X X τ.δ. από κανονική κατανοµή ( )2

,N µ σ , 2

,µ σ άγνωστα και,

έστω ( )22

1

1

1

v

i

i

s X Xv =

= −− ∑ αµερόληπτη εκτιµήτρια του σ

2.

Να βρεθεί η τιµή της σταθεράς c , έτσι ώστε η 2

cs να είναι εκτιµήτρια ελαχί-

στου µέσου τετραγωνικού σφάλµατος.

5

Λύση:

( )22 2

MSE E cs σ = − = ( ) ( )

22 2 2 2

V cs E csσ σ − + − =

( ) ( ) ( )2

2 2 2V cs E cs E σ + − = ( ) ( )

22 2 2 2

c V s cE s σ + − =

( ) 22 2 2 2

c V s cσ σ + − = ( ) ( )2

2 2 21c V s cσ + − = ( ) ( )22 2 4

1 *c V s cσ+ −

Γνωρίζουµε ότι ( ) 2

2

12

1~

v

v s

σ −

−⇒X

( ) ( )2

2

12 1

v sV v

σ

−= − ⇒

( ) ( )2

2

4

12 1

vV s v

σ−

= − ⇒ 4

2 2

1V s

v

σ = −

,

άρα * ( )4

22 421

1MSE c c

v

σσ= + −

−

Πρέπει ( ) ' 0MSE = ⇒ ( )4

22 421

1

dc c

dc v

σσ

+ − = −

( )4

422 2 1 0

1c c

v

σσ+ − = ⇒

−

44 42

01

c cv

σσ σ+ − = ⇒

−

4

442

1

c

v

σσ

σ= ⇒

+−

1

21

1

c

v

= =+

−

1

2 1

v

v

−=

+ −

1

1

v

v

−+

,

οπότε: ( )22

1

1 1

1 1

v

i

i

vcs X X

v v =

−= − =

+ − ∑ ( )2

1

1

1

v

i

i

X Xv =

−+ ∑ είναι εκτιµήτρια ελα-

χίστου µέσου τετραγωνικού σφάλµατος.

Θεώρηµα Lehman – Scheffe: Έχουµε τις προϋποθέσεις του Θεωρήµατος Rao – Blackwell και επί πλέον: η

σ.σ. Τ είναι επαρκής και πλήρης.

Τότε η σ.σ. ( ) ( ) [ ]|x T X E U Tδ = Ψ = είναι η α.ε.ε.δ. της ( )g θ , δηλαδή Έ-

στω ( )0T XΨ και ( )1

T XΨ : ( ){ } ( ){ } ( )0 1E T X E T X g θΨ = Ψ = .

Άρα ( ) ( ){ }0 10, .E T X T X θΨ − Ψ = ∀

Μικρή Γενίκευση του Θεωρήµατος Rao – Blackwell

Έστω 1 2, ,..., vX X X τ.δ. από κάποια κατανοµή µε σ.π. ( );f x θ . Αν η

( )1 2, ,..., vU U X X X= είναι αµερόληπτη εκτιµήτρια της ( )g θ και ( )T T X=

επαρκής σ.σ. του θ,

τότε η σ.σ. ( ) ( ) [ ]|x T X E U Tδ = Ψ = είναι αµερόληπτη εκτιµήτρια της

( )g θ και ( ) ( )V x V U Xδ ≤ .

6

Άρα, λόγω πληρότητος: ( ) ( )0 10T X T XΨ − Ψ = ⇒

( ) ( )0 1, .T X T X θΨ = Ψ ∀ άρα µοναδική.

Παράδειγµα - Άσκηση:

Έστω 1 2, , , vX X X… τ.δ. από ( ),1N θ . Να βρεθεί η α.ε.ε.δ. του θ.

Λύση:

Κατά τα γνωστά, η 1

v

i

i

T X=

=∑ είναι επαρκής και πλήρης σ.σ. για το θ.

Επίσης: ( )E X θ=

και ( ) 1

v

i

i

X

E X Ev

=

= =

∑

TE

vθ =

, άρα

η X είναι η α.ε.ε.δ. του θ.

Αντίστοιχα, µπορούµε να αποδείξουµε ότι ο X είναι η α.ε.ε.δ. για τις κατανο-

µές: ∆ιωνυµική, Benoulli, Poisson,… κ.λ.π.

Πρόταση (Πόρισµα): Αν Τ επαρκής και πλήρης σ.σ. για τη θ και ( )1TΨ α-

µερόληπτη εκτιµήτρια του ( )g θ , τότε η ( )1TΨ είναι η α.ε.ε.δ. της ( )g θ .