Ubungsblatt 9 zur Vorlesung

”Statistische Methoden”

Schatztheorie und Konfidenzintervalle

Herausgabe des Ubungsblattes: Woche 18, Abgabe der Losungen: Woche 19 (bis Freitag, 1615 Uhr), Be-sprechung: Woche 20

Must

Aufgabe 37 [Eigenschaften von Schatzern]

Sei x1, . . . , xn eine Stichprobe aus einer N (µ, σ2)-Verteilung. Geben Sie einfache Beispiele fur:

a) einen Schatzer fur µ, der zwar erwartungstreu, aber nicht konsistent ist.

b) einen Schatzer fur µ, der zwar konsistent, aber nicht erwartungstreu ist.

Aufgabe 38 [MSE = V + b2, Lemma 5.6]

Zeigen Sie: Mit den Bezeichnungen aus 5.1.3 gilt:

MSE(µn, µ) = V [µn] + b2.

Aufgabe 39 [Eindeutigkeit von KI’s]

Konfidenzintervalle sind nicht eindeutig (zB gibt es immer das vollrandomisierte KI). Geben Sie eine (ein-fache, bekannte) Situation an, in der Sie dann 2 nichttriviale KI’s angeben.

Aufgabe 40 [Konfidenzintervalle]

Der Durchmesser der von einer bestimmten Maschine gefertigten Stahlkugeln fur Kugellager seien ungefahrnormalverteilt. Bei einer Stichprobe vom Umfang n = 30 erhalt man einen mittleren Durchmesser x = 10.2mm und eine Streuung √√√√ 1

n− 1

30∑

i=1

(xi − x)2 = 0.62 mm.

Bestimmen Sie hieraus Konfidenzintervalle fur den Erwartungswert µ und die Varianz σ2 zum Niveau 1−α =0.95.

Aufgabe 41 [Konfidenzintervalle]

Es wird angenommen, dass die Durchmesser der auf einer bestimmten Anlage hergestellten Stahlkugelndurch die Realisationen einer normalverteilten Zufallsgrosse mit σ = 1.04 mm beschrieben werden konnen.Aus einer Stichprobe vom Umfang n = 300 ergab sich x = 12.14 mm. Bestimmen Sie fur die Ver-trauenswahrscheinlichkeit von 0.99 die Grenzen des KI fur den mittleren Durchmesser dieser Kugeln.

Dr. Christof Luchsinger

Frühjahrsemester 2011 Olivier Warin Seite 1 von 8

Standard

Aufgabe 42 [MLE bei der Poissonverteilung] [2 Punkte]

Berechnen Sie den MLE, wenn die Daten x1, . . . , xn aus einer Poissonverteilung mit Parameter λ > 0stammen. Macht das Resultat Sinn? Tipp: Benutzen Sie unbedingt den Logarithmus an geeigneter Stelle.

Aufgabe 43 [MLE bei der Exponentialverteilung] [2 Punkte]

Berechnen Sie den MLE, wenn die Daten x1, . . . , xn aus einer Exponentialverteilung mit Parameter λ > 0stammen. Macht das Resultat Sinn? Tipp: Benutzen Sie unbedingt den Logarithmus an geeigneter Stelle.

Aufgabe 44 [Erwartungstreuer Schatzer der Varianz] [3 Punkte]

Sei (Xi)ni=1 eine Folge von iid-Zufallsgrossen mit E[X21 ] <∞. Zeigen Sie:

1n− 1

n∑

j=1

(Xj −X)2

ist ein erwartungstreuer Schatzer der Varianz. Dieses Resultat gilt ubrigens fur beliebige Verteilungen!”Tipp”: einfach drauflosrechnen.

Aufgabe 45 [Momentenmethode] [2 Punkte]

Sei x1, . . . , xk eine Stichprobe aus einer Gamma(n, λ)-Verteilung, n ∈ N, λ > 0. Schatzen Sie mit Hilfe derMomentenmethode n und λ.

Aufgabe 46 [Cramer-Rao-Schranke im diskreten Fall] [2+2 Punkte]

Formulieren Sie die Cramer-Rao-Schranke fur diskrete Zufallsgrossen und berechnen Sie die Schranke im Fallder Poisson-Verteilung.

Honours

Aufgabe 47 [Uniformverteilung und MLE] [1+1+1 Punkte]

a) Sei x1, . . . , xn eine Stichprobe aus einer U [0, θ]-Zufallsgrosse. Geben Sie den MLE fur diese Verteilungs-familie an. Schreiben Sie dazu die gemeinsame Dichtefunktion exakt auf und maximieren Sie diese ohneabzuleiten.

b) Suchen Sie eine reelle Zahl a, damit der MLE-Schatzer aus a) mit a multipliziert erwartungstreu ist (mitBeweis).

c) Sei x1, . . . , xn eine Stichprobe aus einer U [θ, θ + 1]-Verteilung. Geben Sie einen sinnvollen Schatzer fur θan, welcher X(1) und X(n) benutzt/kombiniert. Uberprufen Sie diesen Schatzer auf Erwartungstreue.

Aufgabe 48 [Vervollstandigung des Beweises der Cramer-Rao-Schranke] [6 Punkte]

Vervollstandigen Sie den Beweis der Cramer-Rao-Schranke (Ableitungen unter dem Integral) mit Hilfe desSatzes der majorisierten Konvergenz von Lebesgue im stetigen Fall.

Dr. Christof Luchsinger

Frühjahrsemester 2011 Olivier Warin Seite 2 von 8

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 3 von 8

Übungsblatt 9 zur Vorlesung “Statistische Methoden”

Olivier Warin

15. Mai 2011

Aufgabe 37 [Eigenschaften von Schätzern]Sei x1, . . . , xn eine Stichprobe aus einer N (µ, σ2)-Verteilung.

a) Definiere µn(x1, . . . , xn) := x1.

Behauptung: Der Schätzer µn von µ ist erwartungstreu aber nicht konsistent.

Beweis: Es gilt:Eµ[µn] = Eµ[X1] = µ,

also ist µn (nach Definition 5.2) erwartungstreu. Weiter gilt für ε > 0:

limn→∞

Pµ[|µn − µ| > ε] = Pµ[|X1 − µ| > ε] = P [|N (0, σ2)| > ε] 6= 0,

also ist µn (nach Definition 5.3) kein konsistenter Schätzer für µ.

b) Definiere µn(x1, . . . , xn) := x+ 1/n.

Behauptung: Der Schätzer µn von µ ist konsistent aber nicht erwartungstreu.

Beweis: Sei ε ∈ R mit ε > 0. Sei weiter n ∈ N mit n > 2/ε, also 1/n < ε/2. Nun gilt:

Pµ[|µn − µ| > ε] = Pµ[|X − µ+ 1/n| > ε] 6 Pµ[|X − µ|+ 1/n > ε]6 Pµ[|X − µ| > ε− 1/n] 6 Pµ[|X − µ| > ε/2] n → ∞−→

LLN0,

wobei wir hier am Schluss das Gesetz der grossen Zahlen benutzt haben. Wir schliessen:

limn→∞

Pµ[|µn − µ| > ε] = 0,

also ist µn (nach Definition 5.3) ein konsistenter Schätzer für µ.

Weiter gilt:Eµ[µn] = Eµ[X + 1/n] Lem=

3.4b)Eµ[X] + 1/n = µ+ 1/n 6= µ,

also ist µn (nach Definition 5.2) kein erwartungstreuer Schätzer für µ.

Bemerkung: Man sagt, dass der Schätzer µn asymptotisch erwartungstreu ist, da limn→∞

Eµ[µn] = µ.

Aufgabe 38 [MSE = V + b2, Lemma 5.6]Es sei µn ein Schätzer für µ mit Bias b.

Behauptung: Dann gilt:MSE(µn, µ) = Vµ[µn] + b2.

Frühjahrsemester 2011 Olivier Warin Seite 3 von 8

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 4 von 8

Beweis: Es gilt:

Vµ[µn] Lem=3.7a)

Vµ[µn − µ] Lem=3.7b)

Eµ[(µn − µ)2]− (Eµ[µn − µ])2 = MSE(µn, µ)− b2,

wobei wir beim letzten Gleichheitszeichen die Definitionen 5.2 und 5.5 eingesetzt haben. Somit folgt dieBehauptung sofort.

Aufgabe 39 [Eindeutigkeit von KI’s]Gegeben sei eine Stichprobe x1, · · · , xn aus einer N (µ, 1)-Verteilung. Nun werden wir zwei verschiedene95%-KI’s für µ angeben:

Zunächst haben wir das aus 5.2.3.1 bekannte KI:

KI1 =[X − K√

n,X +

K√n

],

wobei K ∈ R so gewählt ist, dass P [N (0, 1) 6 K] = 0.975. Also K .=Rqnorm(0.975) .=

R1.959964.

KI1 ist klar ein 95%-KI für µ.Wir definieren weiter

KI2 =[X − K ′√

n,∞),

wobei K ′ ∈ R so gewählt ist, dass P [N (0, 1) 6 K ′] = 0.95. Also K ′ .=Rqnorm(0.95) .=

R1.644854.

KI2 ist ebenfalls ein 95%-KI für µ, denn es gilt

Pµ[µ ∈ KI2] = Pµ

[X − K ′√

n6 µ

]= P [N (0, 1) 6 K ′] = 0.95.

Damit haben wir zwei verschiedene nicht-tiviale 95%-KI’s für µ gefunden.

Aufgabe 40 [Konfidenzintervalle]Der Durchmesser der von einer bestimmten Maschine gefertigten Stahlkugeln für Kugellager seien unge-fähr normalverteilt. Bei einer Stichprobe vom Umfang n = 30 erhält man einen mittleren Durchmesserx = 10.2 mm und eine Streuung

σ =

√√√√ 1n− 1

30∑

i=1

(xi − x)2 = 0.62 mm.

Nach 5.2.3.2 ist nun eine Realisation eines (1− α) = 95%-KIs für den Erwartungswert µ gegeben durch[x− t∗σ√

n, x+

t∗σ√n

],

wobei t∗ der entsprechende kritische Wert ist. Genauer gilt hier: P [−t∗ 6 tn−1 6 t∗] = 1− α, also

t∗ =R

qt(1-0.05/2,30-1) =R

2.045230.

Wir erhalten also die folgende Realisation eines (1− α)-KIs für den Erwartungswert µ:[x− t∗σ√

n, x+

t∗σ√n

]=R

[9.968488, 10.43151].

Aufgabe 41 [Konfidenzintervalle]Es wird angenommen, dass die Durchmesser der auf einer bestimmten Anlage hergestellten Stahlku-geln durch die Realisationen einer normalverteilten Zufallsgrösse mit Standardabweichung σ = 1.04 mmund (unbekanntem) Erwartungswert µ beschrieben werden können. Aus einer Stichprobe x1, . . . , xn vomUmfang n = 300 ergab sich x = 12.14 mm.

Seien α := 0.01 und K ∈ R>0, so dass gilt: P [−K 6 N (0, 1) 6 K] = 1− α. Es gilt also

K =R

qnorm(1-0.01/2) =R

2.575829.

Frühjahrsemester 2011 Olivier Warin Seite 4 von 8

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 5 von 8

Analog wie wir in 5.3.2.1 gesehen haben, ist[x− Kσ√

n, x+

Kσ√n

]= [11.98534, 12.29466]

eine Realisation eines 1− α = 99%-KI für µ.

Aufgabe 42 [MLE bei der Poissonverteilung]Sei x1, . . . , xn ∈ N0 eine Stichprobe einer Poisson-Verteilung mit Parameter λ > 0. Sei pλ : Rn → R dieentsprechende gemeinsame Wahrscheinlichkeitsfunktion. Hier gilt also

pλ(x1, . . . , xn) q=n∏

i=1

e−λλxi

xi!= e−nλλnx

n∏

i=1

1xi!

Wir wollen nun den Maximum Likelihood Estimator (MLE) λMLEn für λ bestimmen. Nach 7.1.4 gilt

λMLEn = argmax

λ>0pλ(x1, . . . , xn).

Da log : R>0 → R streng monoton wachsend ist, folgt damit:

λMLEn = argmax

λ>0log(pλ(x1, . . . , xn)) = argmax

λ>0

(−nλ+ log(λ)nx−

n∑

i=1

log(xi!)

)

= argmaxλ>0

(n(−λ+ log(λ)x)) = argmaxλ>0

(−λ+ log(λ)x)

Wir suchen also die Maximumsstelle der Funktion g : R>0 → R, g(λ) = −λ+ log(λ)x. Dazu leiten wir gzweimal ab:

dg

dλ(λ) = −1 +

x

λ,d2g

dθ2(θ) = − x

λ2< 0.

λMLEn ist also einfach die Nullstelle von dg

dθ . Somit folgt:

λMLEn = x.

Dieses Resultat macht Sinn, da z.B. dieser Schätzer erwartungstreu und konsistent für E[X1] = λ ist.

Aufgabe 43 [MLE bei der Exponentialverteilung]Sei x1, . . . , xn > 0 eine Stichprobe einer Exp(λ)-verteilten Zufallsgrösse. Sei fλ : Rn → R die entspre-chende gemeinsame Dichtefunktion. Es gilt hier

fλ(x1, . . . , xn) q=n∏

i=1

λe−λxi = λne−nλx.

Wir wollen nun den Maximum Likelihood Estimator (MLE) λMLEn für λ bestimmen. Nach 5.1.4 gilt

λMLEn = argmax

λ∈R>0

fλ(x1, . . . , xn)

und da log : R>0 → R streng monoton wachsend ist, folgt:

λMLEn = argmax

λ∈R>0

log(fλ(x1, . . . , xn)) = argmaxλ∈R>0

(n log(λ)− nλx) = argmaxλ∈R>0

(log(λ)− λx).

Wir suchen also die Maximumsstelle der Funktion g : R>0 → R, g(λ) := log(λ) − λx. Dazu leiten wir gzweimal ab:

dg

dλ(λ) =

1λ− x, d2g

dλ2(λ) = − 1

λ2< 0.

λMLEn ist also einfach die Nullstelle von dg

dλ . Somit folgt:

1

λMLEn

− x = 0 ⇒ λMLEn =

1x.

Dieses Resultat macht Sinn, da x bekanntlich ein erwartungstreuer und konsistenter Schätzer für E[X1]ist und es gilt hier E[X1] = 1/λ.

Frühjahrsemester 2011 Olivier Warin Seite 5 von 8

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 6 von 8

Aufgabe 44 [Erwartungstreuer Schätzer der Varianz]Sei (Xi)ni=1 eine Folge von iid-Zufallsgrössen mit E[X2

1 ] <∞.

Behauptung: Der Ausdruck1

n− 1

n∑

j=1

(Xj −X)2

ist ein erwartungstreuer Schätzer der Varianz V [X1].

Beweis: Es gilt

E

[n∑

i=1

(Xi −X)2]

iid= nE[(X1 −X)2] = nV [X1 −X] = nV

[(1− 1

n

)X1 −

1n

n∑

i=2

Xi

]

q= n

(1− 1

n

)2

V [X1] +n

n2

n∑

i=2

V [Xi]iid=

(n

(1− 1

n

)2

+n− 1n

)V [X1]

= (n− 1)V [X1].

Dies beweist die Behauptung.

Aufgabe 45 [Momentenmethode]Es sei x1, . . . , xk > 0 eine Stichprobe aus einer Γ(n, λ)-Verteilung, n ∈ N, λ > 0. Nun wollen wir λ undn mit Hilfe der Momentenmethode schätzen.

Es gilt

E[X1] =n

λund E[X2

1 ] = V [X1] + (E[X1]) =n+ n2

λ2.

Die Momentenmethode liefert damit für die Schätzer λk und nk die folgenden zwei Gleichungen:

1k

k∑

i=1

xi =nk

λkund

1k

k∑

i=1

x2i =

nk + n2k

λ2k

.

Mit den Abkürzungen x = 1k

∑ki=1 xi und x = 1

k

∑ki=1 x

2i finden wir damit

λk =x

x− x2 und nk =x2

x− x2 .

Bemerkung: Natürlich weiss man bereits im Voraus, dass n eine natürliche Zahl ist. Also kann manbeim Schätzer nk am Ende noch runden, um eine natürliche Zahl zu erhalten.

Aufgabe 46 [Cramer-Rao-Schranke im diskreten Fall]Hier eine mögliche Formulierung der Cramer-Rao-Schranke im diskreten Fall:

Satz (Cramer-Rao-Schranke, diskret) Sei θ ein erwartungstreuer Schätzer für den Parameter θ voneiner diskreten Zufallsgrösse X. Dann gilt

Vθ[θ] >1Iθ, (CR-Ungl)

wobei

Iθ =∑

x

(∂

∂θlog(p(x, θ))

)2

p(x, θ).

p(x, θ) bezeichnet dabei die entsprechende gemeinsame Wahrscheinlichkeitsfunktion.Wir fordern dazu (Regularity)

a) Der Wertebereich der Zufallsgrösse X darf nicht von θ abhängen.

Frühjahrsemester 2011 Olivier Warin Seite 6 von 8

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 7 von 8

b) Die gemeinsame Wahrscheinlichkeitsfunktion p(x, θ) muss nach θ differenzierbar sein.

c) Für ein gegebenes θ gibt es eine kleine Nachbarschaft Nθ von θ, so dass

∑

x

supψ∈Nθ

∣∣∣∣∂

∂ψp(x, ψ)

∣∣∣∣ <∞ und∑

x

supψ∈Nθ

∣∣∣∣θ(x)∂

∂ψp(x, ψ)

∣∣∣∣ <∞.

Konkret gilt bei einer Po(θ)-Verteilung:

Iθsiehe=Bew.

Vθ

[∂

∂θlog(p(X, θ))

]Aufg.=

42Vθ

[∂

∂θ

(−nθ + log(θ)nX −

n∑

i=1

log(Xi!)

)]

= Vθ

[−n+

nX

θ

]=

n2

θ2Vθ[X] =

n2

θ2θ

n=

n

θ.

Also lautet die Schranke θn , welche mit dem Schätzer θ = x auch erreicht wird.

Aufgabe 47 [Uniformverteilung und MLE]a) Sei x1, . . . , xn eine Stichprobe aus einer U [0, θ]-Zufallsgrösse. Wir wollen nun den MLE-Schätzer

θMLEn für θ bestimmen.

Die entsprechende gemeinsame Dichtefunktion fθ lautet wie folgt:

fθ(x1, . . . , xn) =

{θ−n, falls x1, . . . , xn ∈ [0, θ]0, sonst.

Wir schliessen

θMLEn = argmax

θ∈R>0

fθ(x1, . . . , xn) = min{θ ∈ R>0 |x1, . . . , xn 6 θ} = max{x1, . . . , xn} = x(n).

b) Nun suchen wir ein a ∈ R, so dass der Schätzer aθMLEn ein erwartungstreuer Schätzer für θ ist.

Um dies zu tun berechnen wir erst die Verteilungsfuktion Gθ und dann durch Ableiten die Dichte-funktion gθ von θMLE

n . Für x ∈ [0, θ] gilt:

Gθ(x) = Pθ[θMLEn 6 x] = Pθ[X(n) 6 x] = Pθ[X1 6 x, . . . ,Xn 6 x] iid= Pθ[X1 6 x]n =

xn

θn

⇒ gθ(x) =nxn−1

θn.

Da aθMLEn erwartungstreu sein soll erhalten wir damit die folgende Gleichung:

θ = Eθ[aθMLEn ] = aEθ[θMLE

n ] = a

∫ θ

0

xgθ(x)dx = a

∫ θ

0

nxn

θndx =

an

n+ 1θ,

woraus wir sofort folgern:

a =n+ 1n

.

c) Sei x1, . . . , xn eine Stichprobe aus einer U [θ, θ + 1]-Verteilung. Nun suchen wir einen sinnvollenSchätzer θn für θ, der X(1) und X(n) benutzt/kombiniert. Konkret nehmen wir

θn =12

(x(1) + x(n))−12,

denn 12 (X(1) +X(n)) sollte etwa bei θ + 1

2 liegen.

Nun wollen wir diesen Schätzer noch auf Erwartungsteue untersuchen. Ähnlich wie in a) bestimmenwir

E[X(1)] = θ +1

n+ 1und E[X(n)] = θ +

n

n+ 1.

Frühjahrsemester 2011 Olivier Warin Seite 7 von 8

Übungsblatt 9 zur Vorlesung “Statistische Methoden” Seite 8 von 8

Wir schliessen

E[θn] =12

(E[X(1)] + E[X(n)])−12

= θ +12

(1

n+ 1+

n

n+ 1− 1)

= θ.

Also ist unser Schätzer θn erwartungstreu.

Aufgabe 48 [Vervollständigung des Beweises der Cramer-Rao-Schranke]Wir benutzen die gleichen Notationen und die gleichen Voraussetzungen wie in Satz 5.9 im Skript.

Behauptung: Es gilt∫

∂

∂θf(x, θ)dx =

∂

∂θ

∫f(x, θ)dx und

∫θ(x)

∂

∂θf(x, θ)dx =

∂

∂θ

∫θ(x)f(x, θ)dx.

Beweis: Es sei (hn)n∈N eine beliebige reelle Nullfolge. Weiter definiere für n ∈ N

fn(x) =f(x, θ + hn)− f(x, θ)

hn.

Nach Voraussetzung muss ja f(x, θ) nach θ differenzierbar sein, somit gilt

∂

∂θf(x, θ) = lim

h↓0

f(x, θ + h)− f(x, θ)h

= limn→∞

f(x, θ + hn)− f(x, θ)hn

.

Für n genügend gross liegen θ und θ + hn klar in der kleinen Nachbarschaft Nθ von θ. Damit folgtsofort mit dem Mittelwertsatz:

|fn(x)| 6 supψ∈Nθ

∣∣∣∣∂

θψf(x, ψ)

∣∣∣∣ =: g(x).

Laut (Regularity) ist g integrierbar, also können wir g als Majorante im Satz von der majorisiertenKonvergenz von Lebesque einsetzen. Somit folgt

limn→∞

∫fn(x)dx =

∫limn→∞

fn(x)dx =∫

∂

∂θf(x, θ)dx. (∗)

Der Satz von der majorisierten Konvergenz sagt uns insbesondere, dass der Grenzwert auf der linkenSeite existiert. Aufrund von (∗) ist dieser Grenzwert sogar unabhängig von der Nullfolge (hn)n∈N. Wirschliessen

limn→∞

∫fn(x)dx = lim

n→∞

∫f(x, θ + hn)− f(x, θ)

hndx = lim

h↓0

∫f(x, θ + h)− f(x, θ)

hdx

= limh↓0

∫f(x, θ + h)dx−

∫f(x, θ)

h=

∂

∂θ

∫f(x, θ)dx.

Die Kombination von dieser Gleichung mit (∗) liefert die erste Gleichung.Für die zweite Gleichung gehen wir analog vor: Sei wieder (hn)n∈N eine beliebige reelle Nullfolge.

Weiter definiere

en(x) = θ(x)f(x, θ + hn)− f(x, θ)

hn.

Analog wie beim Beweis der ersten Gleichung gilt hier limn→∞ en(x) = θ(x) ∂∂θf(x, θ). Wie oben liegenθ und θ + 1

n für n genügend gross klar in der Nachbarschaft Nθ. Somit folgt mit dem Mittelwertsatz

|hn(x)| 6 supψ∈Nθ

∣∣∣∣θ(x)∂

∂ψf(x, ψ)

∣∣∣∣ =: `(x).

Laut (Regularity) ist ` integrierbar. Also können wir ` als Majorante im Satz von der majorisiertenKonvergenz von Lebesque einsetzen. Wir schliessen

limn→∞

∫en(x)dx =

∫limn→∞

en(x)dx =∫θ(x)

∂

∂θf(x, θ)dx.

Genau wie zuvor folgt nun noch

limn→∞

∫en(x)dx =

∂

∂θ

∫θ(x)f(x, θ)dx

und damit die zweite Gleichung.

Frühjahrsemester 2011 Olivier Warin Seite 8 von 8