1. ESTIMATEURS

A. Presentation du probleme

On considere une experience aleatoire. On peut la realiser plusieurs fois faconsidentiques et independantes ; A cette experience est liee une variable aleatoireX dont la loi depend d’un parametre θ appartenant a un ensemble Θ. A toutesuite de repetitions de l’experience est associee une suite de variables aleatoires(Xi)i∈I independantes et de meme loi que X .

On cherche a partir de la suite (Xi)i∈I , une estimation de θ (et plus generalementd’une valeur g(θ)).

Exemple 1. Une piece de monnaie a une probabilite θ (0 < θ < 1) inconnue detomber sur « pile » . L’experience consistera a lancer la piece de monnaie. Lavariable aleatoire liee cette experience sera la variable de Bernoulli egale a 1 sile lancer donne Pile, 0 sinon. La loi de X depend de θ. L’experience peut etrerepetee de facon identique (lancers successifs de la piece). Les repetitions sontindependantes. Ici Θ =]0, 1[.

La suite du cours nous permettra d’estimer θ , ainsi que g(θ) = eθ.

Exemple 2. Un jeu consiste a deviner le nombre N de boules contenues dans uneurne. Les boules sont numerotees de 1 a N . Pour deviner N , le joueur effectueune suite de tirages avec remise. A un tirage est associe la variable aleatoire egaleau numero de la boule tiree dont la loi depend de N . Ici θ = N et Θ = N∗.On decouvrira plusieurs facons d’estimer N .

Donnons maintenant le cadre theorique de l’estimation.

B. Estimateur , biais

1.1. Definition (n echantillon)

Soit (Ω,A) un espace probabilisable, (Pθ)θ∈Θ une famille de probabilite et Xune variable aleatoire dont la loi depend d’un parametre θ appartenant a unensemble Θ.

On appelle n-echantillon de la loi de X , tout n-uplet (X1, X2, . . . , Xn)de variables aleatoires definies sur (Ω,A), Pθ-independantes, de meme loi queX pour tout θ de Θ.

1.2. Exemples

Exemple 1 On considere l’exemple 1 donne precedemment.

Soit X une variable aleatoire de loi B(θ).

On lance n fois la piece.

Pour tout entier k (1 6 k 6 n), on note Xk la variable de Bernoulli valant 1 sile k-eme lancer donne Pile, 0 sinon.

Alors (X1, X2, . . . , Xn) est un n-echantillon de la loi de X .

Exemple 2 On considere l’exemple 2 donne precedemment.

Soit X une variable aleatoire de loi uniforme discrete U([[1, N ]]).

On effectue n tirages avec remise.

Pour tout entier k (1 6 k 6 n), on note Xk le numero de la boule tiree auk-ieme tirage. Alors (X1, X2, . . . , Xn) est un n-echantillon de la loi de X .

1.3. Definitions (estimateur)

Soit X une variable aleatoire dont la loi depend d’un parametre θ appartenanta un ensemble Θ, g une fonction numerique definie sur Θ et (X1, X2, . . . , Xn)un n-echantillon de la loi de X .

Un estimateur de g(θ) est une variable aleatoire de la forme

Tn = ϕn(X1, X2, . . . , Xn).

B Tn ne doit pas dependre de θ.

1.4. Exemples d’estimateurs

Soit (X1, X2, . . . , Xn) un n-echantillon de la loi de X .

Voici quelques exemples d’estimateurs :

Tn = max16k6n

Xk, Un = min16k6n

Xk,

1.4. Exemples d’estimateurs

Soit (X1, X2, . . . , Xn) un n-echantillon de la loi de X .

Voici quelques exemples d’estimateurs :

Tn = max16k6n

Xk, Un = min16k6n

Xk,

Vn = ln(1 + |Un|)

1.4. Exemples d’estimateurs

Soit (X1, X2, . . . , Xn) un n-echantillon de la loi de X .

Voici quelques exemples d’estimateurs :

Tn = max16k6n

Xk, Un = min16k6n

Xk,

Vn = ln(1 + |Un|) et Wn = maxk ∈ [[1, n]] | Xk = Tn

Soit θ ∈ Θ. On note, lorsque ces valeurs existent, Eθ(Tn) l’esperance de Tn etVθ(Tn) la variance de Tn.

1.5. Definitions (biais)Soit Tn un estimateur de g(θ) associe au n-echantillon (X1, X2, . . . , Xn).On suppose que pour tout θ de Θ, Tn admet une esperance.

- On appelle biais de Tn en g(θ) le reel

bθ(Tn) = Eθ(Tn)− g(θ)

1.5. Definitions (biais)Soit Tn un estimateur de g(θ) associe au n-echantillon (X1, X2, . . . , Xn).On suppose que pour tout θ de Θ, Tn admet une esperance.

- On appelle biais de Tn en g(θ) le reel

bθ(Tn) = Eθ(Tn)− g(θ)

L’estimateur Tn de g(θ) est sans biais si et seulement si pour tout θ de Θ :

Eθ(Tn) = g(θ)

1.6. Definitions (suite d’estimateurs asymptotiquement sans biais)

Soit (Tn)n>1 une suite d’estimateurs de g(θ) possedant tous une esperance pourtout θ de Θ.

La suite (Tn)n>1 est asymptotiquement sans biais si et seulement si pour tout θde Θ :

limn→+∞

Eθ(Tn) = g(θ)

1.6. Definitions (suite d’estimateurs asymptotiquement sans biais)

Soit (Tn)n>1 une suite d’estimateurs de g(θ) possedant tous une esperance pourtout θ de Θ.

La suite (Tn)n>1 est asymptotiquement sans biais si et seulement si pour tout θde Θ :

limn→+∞

Eθ(Tn) = g(θ)

Par abus de langage, on dit que Tn est un estimateur asymptotiquement sansbiais de g(θ).

1.7. Definition (estimateur de la moyenne empirique)

Soit (X1, X2, . . . , Xn) un n-echantillon de la loi de X .

Xn =1

n

n∑k=1

Xk

est un estimateur appele estimateur de la moyenne empirique.

1.7. Definition (estimateur de la moyenne empirique)

Soit (X1, X2, . . . , Xn) un n-echantillon de la loi de X .

Xn =1

n

n∑k=1

Xk

est un estimateur appele estimateur de la moyenne empirique.

Si Eθ(X) existe pour tout θ de Θ, alors Xn est un estimateur sans biais deg(θ) = Eθ(X).

1.8. Exercices

-1. On considere l’exemple 1. Donner un estimateur Tn sans biais de θ.

1.8. Exercices

-1. On considere l’exemple 1. Donner un estimateur Tn sans biais de θ.

Quelle est la loi de Tn ?

1.8. Exercices

-1. On considere l’exemple 1. Donner un estimateur Tn sans biais de θ.

Quelle est la loi de Tn ?

Montrer que eTn est un estimateur asymptotiquement sans biais de eθ.

2. On considere l’exemple 2 de l’urne contenant N boules.

a) Parmi les estimateurs donnes en 1.4, lequel retenez-vous comme estima-teur de N ?

2. On considere l’exemple 2 de l’urne contenant N boules.

a) Parmi les estimateurs donnes en 1.4, lequel retenez-vous comme estima-teur de N ?

b) On rappelle que si Y (Ω) = [[1, N ]], alors

E(Y ) =N∑k=1

P ([Y > k]) = N −N∑k=1

P ([Y < k]).

Montrez que l’estimateur retenu a la question precedente est un estima-teur de N asymptotiquement sans biais.

2. On considere l’exemple 2 de l’urne contenant N boules.

a) Parmi les estimateurs donnes en 1.4, lequel retenez-vous comme estima-teur de N ?

b) On rappelle que si Y (Ω) = [[1, N ]], alors

E(Y ) =N∑k=1

P ([Y > k]) = N −N∑k=1

P ([Y < k]).

Montrez que l’estimateur retenu a la question precedente est un estima-teur de N asymptotiquement sans biais.

c) Trouver deux constantes a et b telles queRn = aXn+b soit un estimateursans biais de N .

C. Convergence, risque quadratique

1.9. DefinitionUne suite d’estimateurs (Tn)n>1 de g(θ) est convergente si et seulement si pourtout θ de Θ, la suite (Tn)n>1 converge en probabilite vers g(θ).

Par abus de langage, on dit que que l’estimateur Tn converge.

1.10. Theoreme (convergence de l’estimateur de la moyenne empirique)

Si, pour tout θ de Θ, X possede une esperance et une variance, alors l’estimateurde la moyenne empirique Xn est un estimateur convergent de g(θ) = Eθ(X).

1.11. Application (Estimation d’une proportion)

Dans un ensemble d’elements, une proportion p (0 < p < 1) satisfait unepropriete A.On realise une suite de n « tirages » d’un element avec remise. On note Xi

la variable aleatoire egale a 1 si le i-eme element tire satisfait A, 0 sinon. Onappelle frequence observee de A apres n tirages la variable aleatoire

Fn =1

n

n∑i=1

Xi.

Alors Fn est un estimateur sans biais et convergent de p.

1.12. Estimateur de l’ecart-type empiriqueSoit (X1, X2, . . . , Xn) un n-echantillon de la loi de X . L’estimateur de l’ecart-type empirique est

En =

√√√√1

n

n∑k=1

X2k −

(Xn

)2

ou Xn est l’estimateur de la moyenne empirique.Si Eθ(X), Eθ(X

2) et Eθ(X4) existent, alors En est un estimateur convergent

de σ

1.13. Proposition Si (Tn)n>1 est une suite convergente d’estimateurs de g(θ) etsi f est une fonction continue sur R a valeurs reelles, alors (f (Tn))n>1 est unesuite convergente d’estimateurs de f (g(θ)).

1.14. Exercice Le nombre de SMS transmis par jour depuis un telephone por-table est une variable aleatoire qui suit une loi de Poisson de parametre λ in-connu. On releve le nombre de messages transmis sur une suite de jours nume-rotes 1, 2,.... On note Xi le nombre de message transmis le jour i. On supposeque les variables Xi sont toutes independantes et de meme loi de Poisson deparametre λ. On veut estimer la probabilite g(λ) qu’un jour donne aucun SMSne soit transmis.

1. Donnez un estimateur Tn sans biais convergent de λ fonction de

Sn =n∑i=1Xi.

1.14. Exercice Le nombre de SMS transmis par jour depuis un telephone por-table est une variable aleatoire qui suit une loi de Poisson de parametre λ in-connu. On releve le nombre de messages transmis sur une suite de jours nume-rotes 1, 2,.... On note Xi le nombre de message transmis le jour i. On supposeque les variables Xi sont toutes independantes et de meme loi de Poisson deparametre λ. On veut estimer la probabilite g(λ) qu’un jour donne aucun SMSne soit transmis.

1. Donnez un estimateur Tn sans biais convergent de λ fonction de

Sn =n∑i=1Xi.

2. Exprimer g(λ) en fonction de λ.En deduire un estimateur Un convergent de g(λ).

1.14. Exercice Le nombre de SMS transmis par jour depuis un telephone por-table est une variable aleatoire qui suit une loi de Poisson de parametre λ in-connu. On releve le nombre de messages transmis sur une suite de jours nume-rotes 1, 2,.... On note Xi le nombre de message transmis le jour i. On supposeque les variables Xi sont toutes independantes et de meme loi de Poisson deparametre λ. On veut estimer la probabilite g(λ) qu’un jour donne aucun SMSne soit transmis.

1. Donnez un estimateur Tn sans biais convergent de λ fonction de

Sn =n∑i=1Xi.

2. Exprimer g(λ) en fonction de λ.En deduire un estimateur Un convergent de g(λ).

3. a) Quel est la loi de Sn ?

1.14. Exercice Le nombre de SMS transmis par jour depuis un telephone por-table est une variable aleatoire qui suit une loi de Poisson de parametre λ in-connu. On releve le nombre de messages transmis sur une suite de jours nume-rotes 1, 2,.... On note Xi le nombre de message transmis le jour i. On supposeque les variables Xi sont toutes independantes et de meme loi de Poisson deparametre λ. On veut estimer la probabilite g(λ) qu’un jour donne aucun SMSne soit transmis.

1. Donnez un estimateur Tn sans biais convergent de λ fonction de

Sn =n∑i=1Xi.

2. Exprimer g(λ) en fonction de λ.En deduire un estimateur Un convergent de g(λ).

3. a) Quel est la loi de Sn ?

b) Calculer le biais de l’estimateur Un de g(λ).

1.14. Exercice Le nombre de SMS transmis par jour depuis un telephone por-table est une variable aleatoire qui suit une loi de Poisson de parametre λ in-connu. On releve le nombre de messages transmis sur une suite de jours nume-rotes 1, 2,.... On note Xi le nombre de message transmis le jour i. On supposeque les variables Xi sont toutes independantes et de meme loi de Poisson deparametre λ. On veut estimer la probabilite g(λ) qu’un jour donne aucun SMSne soit transmis.

1. Donnez un estimateur Tn sans biais convergent de λ fonction de

Sn =n∑i=1Xi.

2. Exprimer g(λ) en fonction de λ.En deduire un estimateur Un convergent de g(λ).

3. a) Quel est la loi de Sn ?

b) Calculer le biais de l’estimateur Un de g(λ).

c) Montrer que la suite (Un)n∈N∗ est une suite d’estimateurs asymptotique-ment sans biais de g(λ).

1.15. Definition (risque quadratique) Soit Tn un estimateur de g(θ) possedant,pour tout θ ∈ Θ, un moment d’ordre 2. Le risque quadratique de Tn est lafonction rθ de Θ dans R definie par

rθ(Tn) = Eθ((Tn − g(θ))2).

1.16. Theoreme (risque quadratique et convergence)

Si pour tout θ de Θ, limn→+∞

rθ(Tn) = 0, alors la suite d’estimateurs (Tn)n>1 de

g(θ) est convergente.

1.17. Theoreme (decomposition biais-variance du risque quadratique)Soit Tn un estimateur de g(θ) possedant, pour tout θ ∈ Θ, une moyenne et unmoment d’ordre 2. Alors

rθ(Tn) = b2θ(Tn) + Vθ(Tn)

En particulier, si Tn est sans biais : rθ(Tn) = Vθ(Tn).

2. ESTIMATION PONCTUELLE

2.1. Definition La valeur de l’ estimateur obtenue a partir des resultats d’unsuite d’experiences est appelee estimation ponctuelle du parametre θ.

2.2. Exercice Un de truque a une probabilite a de tomber sur 6 et une probabiliteb = 1−a

5de tomber sur l’une quelconque des autres faces. On lance indefiniment

le de. On note Xi la variable aleatoire egale au resultat du i-eme lancer.

On pose Sn =n∑k=1

Xk.

1. Soit n ∈ N∗. Determiner deux constantes λn et µn de sorte queYn = λnSn + µn soit un estimateur sans biais de a.

2.2. Exercice Un de truque a une probabilite a de tomber sur 6 et une probabiliteb = 1−a

5de tomber sur l’une quelconque des autres faces. On lance indefiniment

le de. On note Xi la variable aleatoire egale au resultat du i-eme lancer.

On pose Sn =n∑k=1

Xk.

1. Soit n ∈ N∗. Determiner deux constantes λn et µn de sorte queYn = λnSn + µn soit un estimateur sans biais de a.

2. L’estimateur Yn est-il convergent ?

2.2. Exercice Un de truque a une probabilite a de tomber sur 6 et une probabiliteb = 1−a

5de tomber sur l’une quelconque des autres faces. On lance indefiniment

le de. On note Xi la variable aleatoire egale au resultat du i-eme lancer.

On pose Sn =n∑k=1

Xk.

1. Soit n ∈ N∗. Determiner deux constantes λn et µn de sorte queYn = λnSn + µn soit un estimateur sans biais de a.

2. L’estimateur Yn est-il convergent ?

3. On lance 20 fois le de. Le total obtenu est 80.Quelle estimation ponctuelle de a en deduisez-vous ?

3. ESTIMATION PAR INTERVALLE DE CONFIANCE

3.1. Definition (intervalle de confiance)Soit (X1, . . . , Xn) un n-echantillon de la loi de X dependant de θ ∈ Θ.Soient

Un = γn(X1, . . . , Xn) et Vn = δn(X1, . . . , Xn)

deux d’estimateurs.On dit que [Un, Vn] est un intervalle de confiance de g(θ) au niveau de confiance1− α (α ∈ [0, 1]) si pour tout θ ∈ Θ :

Pθ([Un 6 g(θ) 6 Vn]) > 1− αα est le appele le risque.

3.2. Definition (intervalle de confiance asymptotique)Soit (Xi)i>1 une suite de variables aleatoires independantes, de meme loi que Xdependant de θ ∈ Θ.Soient

Un = γn(X1, . . . , Xn) et Vn = δn(X1, . . . , Xn)

deux suites d’estimateurs. On dit que [Un, Vn] est un intervalle de confianceasymptotique de g(θ) au niveau de confiance 1−α si pour tout θ ∈ Θ, il existeune suite (αn) a valeurs dans [0, 1], de limite α, telle que pour tout n > 1 :

Pθ([Un 6 g(θ) 6 Vn]) > 1− αnPar abus de langage on dit aussi que [Un, Vn] est un intervalle de confianceasymptotique.

3.3. Estimation par intervalle du parametre p d’une variable aleatoire de Ber-noulli

Soit p ∈]0, 1[ un parametre inconnu. Soit (X1, X2, . . . , Xn) un n-echantillon

i.i.d. de loi de Bernoulli B(p). On note Xn l’estimateur de la moyenne empirique.On suppose n assez grand pour utiliser l’approximation de la limite centree. Pourtout α ∈]0, 1[,

[Xn − εn, Xn + εn] ou εn =1

2√n

Φ−1

(1− α

2

)est un intervalle de confiance pour p au risque α.

3.4. Estimation par intervalle de confiance de la moyenne

Soit (Xn)n>1 une suite de variables aleatoires independante de meme loi que X d’esperance inconnue m et devariance inconnue σ2 > 0. On suppose que E(X), E(X2) E(X4) existent.Soit Xn l’estimateur de la moyenne empirique et En l’estimateur de l’ecart-type empirique. Alors, pour toutα ∈ ]0, 1[ , [

Xn − εn, Xn + εn]

ou εn =En√n

Φ−1(

1− α

2

)est un intervalle de confiance asymptotique pour m au risque α.