Limite Inferior de Cramér-Rao

Concurseiro EstatísticoAnselmo Alves de Sousa

[email protected]

[email protected]

Limite Inferior de Cramér-Rao (Preliminares)

Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),onde θ é um parâmetro a ser estimado. Logo ∀i ∈ 1, . . . , n⇒ f(xi, θ).

I

∫ ∞−∞

f(x, θ) dx = 1

I f(x1, x2, θ) = f(x1, θ) · f(x2, θ)I f(x1, x2, . . . , xn, θ) = f(x1, θ) · f(x2, θ) · . . . · f(xn, θ)

I E[X] =

∫ ∞−∞

x · f(x, θ) dx

I E[g(X)] =

∫ ∞−∞

g(x) · f(x, θ) dx

I E[g(X1, X2)] =

∫ ∞−∞

∫ ∞−∞

g(x1, x2) · f(x1, x2, θ) dx1 dx2 =∫ ∞−∞

∫ ∞−∞

g(x1, x2) · f(x1, θ) · f(x2, θ)︸︷︷︸f(x1,x2,θ)

dx1 dx2


Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),onde θ é um parâmetro a ser estimad. Logo ∀i ∈ 1, . . . , n⇒ f(xi, θ).

I E[g(X1, . . . Xn)] =∫ ∞−∞

. . .

∫ ∞−∞︸︷︷︸

n

g(x1, x2, . . . , xn) · f(x1, x2, . . . , xn, θ) dx1 dx2 . . . dxn

=

∫ ∞−∞

. . .

∫ ∞−∞

g(x1, x2, . . . , xn) · f(x1, θ) · f(x2, θ) · . . . f(xn, θ)︸︷︷︸f(x1,x2,...,xnθ)

dx1 dx2 . . . dxn

X = g(X1, . . . Xn)) =1

n

n∑i=1

Xi

Não depende de θ só da amostra!


Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),onde θ é um parâmetro a ser estimad. Logo ∀i ∈ 1, . . . , n⇒ f(xi, θ).

I E[g(X1, . . . Xn)] =∫ ∞−∞

. . .

∫ ∞−∞︸︷︷︸

n

g(x1, x2, . . . , xn) · f(x1, x2, . . . , xn, θ) dx1 dx2 . . . dxn =

∫ ∞−∞

. . .

∫ ∞−∞

g(x1, x2, . . . , xn) · f(x1, θ) · f(x2, θ) · . . . f(xn, θ)︸︷︷︸f(x1,x2,...,xnθ)

dx1 dx2 . . . dxn

X = g(X1, . . . Xn)) =1

n

n∑i=1

Xi

Não depende de θ só da amostra!

Limite Inferior de Cramér-Rao (Preliminares )

Sejam X, Y e Z = X + Y variáveis aleatórias.

I V ar[Z] = V ar[X + Y ] = V ar[X] + V ar[Y ] + 2Cov[X,Y ]

I Cov[X,Y ] = E[XY ]− E[X]E[Y ]

I X ⊥ Y ⇒ Cov[X,Y ] = 0

I Se E[X] = 0 e E[Y ] = 0⇒ Cov[X,Y ] = E[XY ]

I ρ =Cov[X,Y ]

σXσY⇒ Cov[X,Y ] = ρσXσY

I −1 ≤ ρ ≤ 1 ou ρ2 ≤ 1

Limite Inferior de Cramér-Rao (Preliminares - Cálculo)Seja g(x) e h(x) funções reais bem comportadas (na reta R).

I f(x) = g(x) + h(x)⇒

f ′(x) = g′(x) + h′(x)I f(x) = g(x) · h(x)⇒ f ′(x) = g′(x) · h(x) + g(x) · h′(x)

I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral

∫é uma soma!Um somatório é uma integral:

∑Se tivermos: h(x) = f1(x, θ) + f2(x, θ) =

2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)


I f(x) = g(x) + h(x)⇒ f ′(x) = g′(x) + h′(x)

I f(x) = g(x) · h(x)⇒ f ′(x) = g′(x) · h(x) + g(x) · h′(x)

I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)


I f(x) = g(x) + h(x)⇒ f ′(x) = g′(x) + h′(x)I f(x) = g(x) · h(x)⇒

f ′(x) = g′(x) · h(x) + g(x) · h′(x)

I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)


I f(x) = g(x) + h(x)⇒ f ′(x) = g′(x) + h′(x)I f(x) = g(x) · h(x)⇒ f ′(x) = g′(x) · h(x) + g(x) · h′(x)

I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒

f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)

I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =

f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)·

f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)

⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral

∫é uma soma!

Um somatório é uma integral:∑

Se tivermos: h(x) = f1(x, θ) + f2(x, θ) =2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral


∑

Se tivermos: h(x) = f1(x, θ) + f2(x, θ) =2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ)

+d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ)

=d

dθ

2∑i=1

fi(x, θ) =2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ)

=2∑i=1

d

dθfi(x, θ)



I Se f(x) = ln[g(x)]⇒ f ′(x) =g′(x)

g(x)I Se f(x) = θ, θ ∈ R⇒ f ′(x) = 0

I Se f ′(x) =f ′(x)

f(x)· f(x)⇒ f ′(x) = f ′ [ln f(x)] · f(x)

I Uma integral



2∑i=1

fi(x, θ)

d

dθh(x, θ) =

d

dθf1(x, θ) +

d

dθf2(x, θ) =

d

dθ

2∑i=1

fi(x, θ) =

2∑i=1

d

dθfi(x, θ)

Limite Inferior de Cramér-Rao

Seja uma amostra aleatória: X1, X2, i.i.d, da função de densidade f(x, θ), onde θ é

um parâmetro a ser estimado. E seja T = g(X1, X2) um estimador de θ, tal que Té um estimador não viciado: E[T ] = θ.

∫ ∞−∞

f(x, θ) dx = 1 (1)

E[T ] =

∫ ∞−∞

∫ ∞−∞

g(x1, x2)︸︷︷︸T

f(x1, x2, θ) dx1 dx2 = θ (2)

Neste último resultado

E[T ] =

∫ ∞−∞

∫ ∞−∞

g(x1, x2) · f(x1, θ) · f(x2, θ) dx1 dx2 = θ


Seja uma amostra aleatória: X1, X2, i.i.d, da função de densidade f(x, θ), onde θ é

um parâmetro a ser estimado. E seja T = g(X1, X2) um estimador de θ, tal que Té um estimador não viciado: E[T ] = θ.∫ ∞

−∞f(x, θ) dx = 1 (1)

E[T ] =

∫ ∞−∞

∫ ∞−∞

g(x1, x2)︸︷︷︸T

f(x1, x2, θ) dx1 dx2 = θ (2)

Neste último resultado

E[T ] =

∫ ∞−∞

∫ ∞−∞

g(x1, x2) · f(x1, θ) · f(x2, θ) dx1 dx2 = θ


Derivando em relação a θ Eq. 1:

I

∫ ∞−∞

f(x, θ) dx = 1⇒ d

dθ

∫ ∞−∞

f(x, θ) dx = 0 ⇒∫ ∞−∞

d

dθf(x, θ) dx = 0

I

∫ ∞−∞

d

dθf(x, θ) · 1

f(x, θ)· f(x, θ)dx = 0

I

∫ ∞−∞

d

dθln f(x, θ)︸︷︷︸H

·f(x, θ)dx = 0⇒ d

dθln f(X, θ) é uma v.a.

I E[H] = 0⇒ E

[d

dθln f(X, θ)

]= 0

I de V ar[H] = E[H2] + E[H]2 ⇒

V ar

{d

dθln f(X, θ)

}= E

{[d

dθln f(X, θ)

]2}(3)



I

∫ ∞−∞

f(x, θ) dx = 1⇒ d

dθ

∫ ∞−∞

f(x, θ) dx = 0 ⇒∫ ∞−∞

d

dθf(x, θ) dx = 0

I

∫ ∞−∞

d

dθf(x, θ) · 1

f(x, θ)· f(x, θ)dx = 0

I

∫ ∞−∞

d


·f(x, θ)dx = 0⇒

d


I E[H] = 0⇒ E

[d

dθln f(X, θ)

]= 0

I de V ar[H] = E[H2] + E[H]2 ⇒

V ar

{d

dθln f(X, θ)

}= E

{[d

dθln f(X, θ)

]2}(3)



I

∫ ∞−∞

f(x, θ) dx = 1⇒ d

dθ

∫ ∞−∞

f(x, θ) dx = 0 ⇒∫ ∞−∞

d

dθf(x, θ) dx = 0

I

∫ ∞−∞

d

dθf(x, θ) · 1

f(x, θ)· f(x, θ)dx = 0

I

∫ ∞−∞

d


·f(x, θ)dx = 0⇒ d


I E[H] = 0⇒ E

[d

dθln f(X, θ)

]= 0

I de V ar[H] = E[H2] + E[H]2 ⇒

V ar

{d

dθln f(X, θ)

}= E

{[d

dθln f(X, θ)

]2}(3)


De (3):

Se Y =

n∑i=1

d

dθln f(X, θ)︸︷︷︸

H

⇒ E [Y ] = 0

V ar[Y ] = nE

{[d

dθln f(X, θ)

]2}(4)


Da Eq. (2):

I E[T ] =

∫ ∞−∞

∫ ∞−∞

g(x1, x2) · f(x1, θ) · f(x2, θ) dx1 dx2 = θ

Id

dθ

∫ ∞−∞

∫ ∞−∞

g(x1, x2) · f(x1, θ) · f(x2, θ) dx1 dx2 =d

dθθ

I

∫ ∞−∞

∫ ∞−∞

g(x1, x2) ·d

dθ

[f(x1, θ) · f(x2, θ)

]︸︷︷︸

produto

dx1 dx2 = 1

Limite Inferior de Cramér-Rao∫ ∞−∞

∫ ∞−∞

g(x1, x2) ·[d

dθf(x1, θ) · f(x2, θ) + f(x1, θ)

d

dθf(x2, θ)

]︸︷︷︸ dx1 dx2 = 1

1

f(x1, θ)· ddθf(x1, θ)︸︷︷︸

ln[f(x1,θ)]

·f(x1, θ) · f(x2, θ) + f(x1, θ) · f(x2, θ)1

f(x2, θ)· ddθ· f(x2, θ)︸︷︷︸

ln[f(x2,θ)]

[d

dθln f(x1, θ) · f(x1, θ) · f(x2, θ) +

d

dθln f(x2, θ) · f(x1, θ)f(x2, θ)

]∫ ∞−∞

∫ ∞−∞

g(x1, x2)

[2∑i=1

d

dθln f(xi, θ)

]· f(x1, x2, θ) dx1 dx2 = 1


∫ ∞−∞

g(x1, x2) ·[d

dθf(x1, θ) · f(x2, θ) + f(x1, θ)

d

dθf(x2, θ)

]︸︷︷︸ dx1 dx2 = 1

1

f(x1, θ)· ddθf(x1, θ)︸︷︷︸

ln[f(x1,θ)]

·f(x1, θ) · f(x2, θ) + f(x1, θ) · f(x2, θ)1

f(x2, θ)· ddθ· f(x2, θ)︸︷︷︸

ln[f(x2,θ)]

[d

dθln f(x1, θ) · f(x1, θ) · f(x2, θ) +

d


]

∫ ∞−∞

∫ ∞−∞

g(x1, x2)

[2∑i=1

d

dθln f(xi, θ)

]· f(x1, x2, θ) dx1 dx2 = 1


∫ ∞−∞

g(x1, x2) ·[d

dθf(x1, θ) · f(x2, θ) + f(x1, θ)

d

dθf(x2, θ)

]︸︷︷︸ dx1 dx2 = 1

1

f(x1, θ)· ddθf(x1, θ)︸︷︷︸

ln[f(x1,θ)]

·f(x1, θ) · f(x2, θ) + f(x1, θ) · f(x2, θ)1

f(x2, θ)· ddθ· f(x2, θ)︸︷︷︸

ln[f(x2,θ)]

[d

dθln f(x1, θ) · f(x1, θ) · f(x2, θ) +

d


]∫ ∞−∞

∫ ∞−∞

g(x1, x2)

[2∑i=1

d

dθln f(xi, θ)

]· f(x1, x2, θ) dx1 dx2 = 1


Se a amostra é de tamanho n,∫ ∞−∞

. . .

∫ ∞−∞

g(x1, . . . , xn)︸︷︷︸T

[n∑i=1

d

dθln f(xi, θ)

]︸︷︷︸

Y

·f(x1, . . . , xn, θ) dx1 . . . dxn = 1 (5)

E[T · Y ] = 1

Lembre-se Cov[X,Y ] = E[XY ]− E[X]E[Y ] e Cov[X,Y ] = ρσXσY

E[T · Y ] = Cov[T, Y ] + E[T ] · E[Y ]

Mas E[Y ] = 0, logo1 = Cov[T, Y ] = ρT,Y · σT · σY


1 = ρT,Y · σT · σY (6)

ρ =1

σT · σYDe ρ2 ≤ 1

1

σ2T · σ2Y≤ 1 e �nalmente σ2T ≥

1

σ2Y

Lembrando da eq. (4): V ar[Y ] = nE

{[d

dθln f(X, θ)

]2}

σ2T ≥

{nE

{[d

dθln f(X, θ)

]2}}−1


1 = ρT,Y · σT · σY (6)

ρ =1


1

σ2T · σ2Y≤ 1 e �nalmente

σ2T ≥1

σ2Y


{[d

dθln f(X, θ)

]2}

σ2T ≥

{nE

{[d

dθln f(X, θ)

]2}}−1


1 = ρT,Y · σT · σY (6)

ρ =1


1

σ2T · σ2Y≤ 1 e �nalmente σ2T ≥

1

σ2Y


{[d

dθln f(X, θ)

]2}

σ2T ≥

{nE

{[d

dθln f(X, θ)

]2}}−1

[email protected]

[email protected]

Limite Inferior de Cramér-Rao

Education

Transcript of Limite Inferior de Cramér-Rao