Statistic a ˘si prelucrarea datelormath.etc.tuiasi.ro/rstrugariu/cursuri/SPD2015/c11.pdfCURS 11 -...

Statistica inferentiala

Elemente de statistica

CURS 11 - 08.05.2015

Facultatea de Automatica si Calculatoare

Statistica si prelucrarea datelor

CURS 11 - 08.05.2015 Statistica si prelucrarea datelor

Statistica inferentialaEstimatori punctualiMetoda momentelorMetoda verosimilitatii maxime

Statistica inferentiala trage concluzii valabile pentru populatie utilizanddatele uneia sau mai multor selectii aleatoare si calcule probabilistice.

Statistica inferentiala se ımparte ın doua mari domenii:

1 estimarea parametrilor;2 ipoteze statistice.

Fie X o v. a. cu densitatea f (x , θ), x ∈ R, θ ∈ Θ ⊂ R.

Multimea densitatilor de probabilitate f (x , θ) ce contin parametrulnecunoscut θ se numeste model probabilistic.

Exemple de familii de densitati de probabilitate care pot fi alese ca modeleprobabilistice: normala, exponentiala, Poisson etc. In momentul ın caream ales o densitate de probabilitate de o anumita forma, incertitudinealegata de rezultatul particular al experimentului s-a transferat ınincertitudinea legata de valorile parametrului (parametrilor).

1 estimarea parametrilor;

2 ipoteze statistice.

Repartitia selectiei (X1,X2, ...,Xn) este definita ca repartitia comuna avariabilelor de selectie X1,X2, ...,Xn. Daca x1, x2, ..., xn sunt valorile luatede X1,X2, ...,Xn, atunci densitatea de probabilitate a selectiei este notataprin

L(x1, x2, ..., xn; θ), (x1, x2, ..., xn) ∈ Rn.

Repartitia selectiei depinde de θ si incorporeaza atat selectia cat si modelulprobabilistic.

Cea mai folosita forma de selectie este selectia aleatoare si este bazata pe ideeaexperimentului aleator.

Vom spune ca X1,X2, ...,Xn este o selectie aleatoare asupra v. a. X careare densitatea de probabilitate f (x , θ) daca X1,X2, ...,Xn suntindependente si identic repartizate (i.i.r.) ca si X .In cazul selectiei aleatoare, densitatea de probabilitate comuna avariabilelor de selectie este

L(x1, x2, ..., xn; θ) =n∏

f (xj , θ).

L(x1, x2, ..., xn; θ), (x1, x2, ..., xn) ∈ Rn.

L(x1, x2, ..., xn; θ) =n∏

f (xj , θ).

L(x1, x2, ..., xn; θ), (x1, x2, ..., xn) ∈ Rn.

L(x1, x2, ..., xn; θ) =n∏

f (xj , θ).

O selectie aleatoare poate fi constituita prin repetarea unui experimentaleator de n ori. Realizarea selectiei aleatoare (datele obtinute ın urmaselectiei) se noteaza cu (x1, x2, ..., xn) si multimea tuturor realizarilordefineste spatiul observatiilor.

Modelul probabilist f (x , θ) ımpreuna cu selectia (X1,X2, ...,Xn) definescmodelul statistic.

Modelul statistic ımpreuna cu datele observate → ıntrebari:

1 datele observate sunt consistente cu modelul statistic postulat?2 presupunand ca modelul statistic postulat este consistent cu datele

observate, ce putem spune despre parametrii necunoscuti θ ∈ Θ?a) putem descreste incertitudinea asupra lui θ prin deducerea spatiului

parametrilor Θ la Θ0 unde Θ0 este o submultime a lui Θ? (estimatie prinintervale de ıncredere)

b) putem descreste incertitudinea asupra lui θ prin alegerea unei valoriparticulare θ din Θ ca avand cea mai reprezentativa valoare a lui θ?(estimatie punctuala)

c) putem considera ıntrebarea θ apartine unei submultimi Θ0 a lui Θ?(verificarea ipotezelor statistice)

O selectie aleatoare poate fi constituita prin repetarea unui experimentaleator de n ori. Realizarea selectiei aleatoare (datele obtinute ın urmaselectiei) se noteaza cu (x1, x2, ..., xn) si multimea tuturor realizarilordefineste spatiul observatiilor.Modelul probabilist f (x , θ) ımpreuna cu selectia (X1,X2, ...,Xn) definescmodelul statistic.

1 datele observate sunt consistente cu modelul statistic postulat?

2 presupunand ca modelul statistic postulat este consistent cu dateleobservate, ce putem spune despre parametrii necunoscuti θ ∈ Θ?

a) putem descreste incertitudinea asupra lui θ prin deducerea spatiuluiparametrilor Θ la Θ0 unde Θ0 este o submultime a lui Θ? (estimatie prinintervale de ıncredere)

observate, ce putem spune despre parametrii necunoscuti θ ∈ Θ?

a) putem descreste incertitudinea asupra lui θ prin deducerea spatiuluiparametrilor Θ la Θ0 unde Θ0 este o submultime a lui Θ? (estimatie prinintervale de ıncredere)

Data o populatie de volum N se numeste statistica a acelei populatii oricemarime semnificativa calculata dintr-un esantion aleator al acelei populatii.

Pentru un parametru al repartitiei, se numeste estimator al aceluiparametru orice statistica aproximand acel parametru.Daca parametrul are o valoare bine determinata (ın cadrul analizeistatistice), orice estimator al lui se numeste estimator punctual.

Example 1

Consideram populatia diametrelor unor bile de rulmenti dintr-un lot. Castatistica a acestei populatii se poate lua media de selectie x a unui sir(x1, x2, ..., xn) format de diametrele unui esantion de bile din acel lot. Altestatistici sunt: s2, dispersia de selectie modificata, s, abaterea medie de selectie.

Data o populatie de volum N se numeste statistica a acelei populatii oricemarime semnificativa calculata dintr-un esantion aleator al acelei populatii.Pentru un parametru al repartitiei, se numeste estimator al aceluiparametru orice statistica aproximand acel parametru.

Daca parametrul are o valoare bine determinata (ın cadrul analizeistatistice), orice estimator al lui se numeste estimator punctual.

Example 1

Data o populatie de volum N se numeste statistica a acelei populatii oricemarime semnificativa calculata dintr-un esantion aleator al acelei populatii.Pentru un parametru al repartitiei, se numeste estimator al aceluiparametru orice statistica aproximand acel parametru.Daca parametrul are o valoare bine determinata (ın cadrul analizeistatistice), orice estimator al lui se numeste estimator punctual.

Example 1

Data o populatie de volum N se numeste statistica a acelei populatii oricemarime semnificativa calculata dintr-un esantion aleator al acelei populatii.Pentru un parametru al repartitiei, se numeste estimator al aceluiparametru orice statistica aproximand acel parametru.Daca parametrul are o valoare bine determinata (ın cadrul analizeistatistice), orice estimator al lui se numeste estimator punctual.

Example 1

Example 2

O societate de telefoane poate considera populatia tuturor abonatilor. Unesantion se poate obtine luand pe sarite din lista abonatilor, de exemplu, din 25ın 25. Presupunem ca societatea este interesata ın estimarea unui parametrucaracteristic; de exemplu, gradul de satisfactie g al abonatilor relativ la serviciileoferite de socitate. Se cere o apreciere cu note de la 1 la 5. Este solicitatraspunsul abonatilor din esantionul ales si se obtine un estimator al lui g .

De obicei se noteaza cu θ parametrul si cu θ un estimator al sau.De exemplu, θ reprezinta media atunci putem considera ca statistica amediei,

θ = X =X1 + X2 + ...+ Xn

Daca x1, x2, ..., xn sunt valorile luate de X1,X2, ...,Xn atunci estimatorul luiθ este

θ = x =1

n(x1 + x2 + ...+ xn) .

Daca masuratorile sunt realizate cu acuratete si precizie rezonabile, atunciX1,X2, ...,Xn se pot considera repartizate la fel.

Example 2

O societate de telefoane poate considera populatia tuturor abonatilor. Unesantion se poate obtine luand pe sarite din lista abonatilor, de exemplu, din 25ın 25. Presupunem ca societatea este interesata ın estimarea unui parametrucaracteristic; de exemplu, gradul de satisfactie g al abonatilor relativ la serviciileoferite de socitate. Se cere o apreciere cu note de la 1 la 5. Este solicitatraspunsul abonatilor din esantionul ales si se obtine un estimator al lui g .

De obicei se noteaza cu θ parametrul si cu θ un estimator al sau.De exemplu, θ reprezinta media atunci putem considera ca statistica amediei,

θ = X =X1 + X2 + ...+ Xn

Daca x1, x2, ..., xn sunt valorile luate de X1,X2, ...,Xn atunci estimatorul luiθ este

θ = x =1

n(x1 + x2 + ...+ xn) .

Daca masuratorile sunt realizate cu acuratete si precizie rezonabile, atunciX1,X2, ...,Xn se pot considera repartizate la fel.

Exemple de modele statistice ce apar adesea ın practica

Modelul BernoulliPresupunem ca X1,X2, ...,Xn este o selectie aleatoare a unei populatii careurmeaza o distributie Bernoulli cu parametrul θ ∈ [0, 1] necunoscut.Stim ca distributia Bernoulli poate fi utilizata la observarea unui articol rezultatal unui proces industrial caz ın care Xi = 1 indica faptul ca articolul i este bunsi Xi = 0 daca articolul este defect. In studii medicale rezultatul Xi = 1 indicafaptul ca tratamentul aplicat pacientului i a avut succes iar Xi = 0 ın cazcontrar. In aceste cazuri vrem sa stim valoarea lui θ.Spatiul parametrului θ este [0, 1] . Daca x1, x2, ..., xn sunt valorile luate deX1,X2, ...,Xn atunci densitatea de probabiltate pentru selectia de ordin i este

f (xi , θ) = θxi (1− θ)1−xi ,

iar densitatea de probabilitate a esantionului este data de

n∏i=1

f (xi , θ) =n∏

θxi (1− θ)1−xi = θnx(1− θ)n(1−x).

Modelul normalPresupunem ca X1,X2, ...,Xn este o selectie aleatoare a unei populatii careurmeaza o distributie normala N (m, σ) cu θ = (m, σ) ∈ R× (0,∞)necunoscuti.De exemplu putem avea observatii asupra ınaltimii ın cm populatiei si intuim caeste rezonabil sa presupunem ca distributia ınaltimii este normala cu media sidispersia necunoscute. Daca x1, x2, ..., xn sunt valorile luate de X1,X2, ...,Xn

atunci densitatea de probabiltate a unui esantion este data den∏

f (xi ; m, σ) =(

2πσ2)− n

{− 1

n∑i=1

(xi −m)2

Deoarecen∑

(xi −m)2 = n (x −m)2 +n∑

(xi − x)2 , unde x =1

n∑i=1

n − 1

n∑i=1

(xi − x)2, obtinem

n∏i=1

f (xi ; m, σ) =(

2πσ2)− n

{− 1

n∑i=1

(x −m)2 − n − 1

2σ2s2

}. (1)

Ne putem pune ıntrebarea daca presupunerea ca ınaltimea populatiei urmeaza odistributie normala este corecta. Aceasta presupunere trebuie verificata.Procedurile care duc la verificarea unor astfel de ipoteze se numesc testestatistice.

Modelul normalPresupunem ca X1,X2, ...,Xn este o selectie aleatoare a unei populatii careurmeaza o distributie normala N (m, σ) cu θ = (m, σ) ∈ R× (0,∞)necunoscuti.De exemplu putem avea observatii asupra ınaltimii ın cm populatiei si intuim caeste rezonabil sa presupunem ca distributia ınaltimii este normala cu media sidispersia necunoscute. Daca x1, x2, ..., xn sunt valorile luate de X1,X2, ...,Xn

atunci densitatea de probabiltate a unui esantion este data den∏

f (xi ; m, σ) =(

2πσ2)− n

{− 1

n∑i=1

(xi −m)2

Deoarecen∑

(xi −m)2 = n (x −m)2 +n∑

(xi − x)2 , unde x =1

n∑i=1

n − 1

n∑i=1

(xi − x)2, obtinem

n∏i=1

f (xi ; m, σ) =(

2πσ2)− n

{− 1

n∑i=1

(x −m)2 − n − 1

2σ2s2

}. (1)

Ne putem pune ıntrebarea daca presupunerea ca ınaltimea populatiei urmeaza odistributie normala este corecta. Aceasta presupunere trebuie verificata.Procedurile care duc la verificarea unor astfel de ipoteze se numesc testestatistice.

Estimatori punctuali

Constructia histogramei si ıncercarea de a intui modelul statistic sunt metodefolosite de statistician ın ıncercarea de a studia distributia populatiei.

ce model statistic trebuie folosit?

valorile parametrilor care intra ın definitia modelului statistic (de exemplu,stim ca ınaltimea urmeaza o distributie normala, dar nu stim media sidispersia)

Pentru a justifica aceasta alegere avem nevoie sa studiem estimatoriipunctuali.

Sa consideram o variabila aleatoare X a carei lege de probabilitate contineun parametru θ. Fie X1, ...,Xn - n variabile aleatoare independente care auaceeasi distributie ca si X .Alegem o anumita functie θ(X1, ...,Xn) pe care o vom utiliza ca estimatorpentru θ. Cu alte cuvinte, daca dispunem de valorile x1, x2, ..., xn obtinuteexperimental, numarul θ (x1, x2, ..., xn) va fi considerat ca estimatorpunctual al parametrului θ.

Definition 3

Se considera o populatie de volum N si un parametru θ al acestei populatii. Fiex1, x2, ..., xn un esantion reprezentativ (n << N) al populatiei; un estimatorpunctual θ = θ (x1, x2, ..., xn) al lui θ se numeste estimator nedeplasat sau

absolut corect daca M[θ(X1, ...,Xn)

]= θ.

Daca limn→∞

M[θ(X1, ...,Xn)

]= θ si lim

n→∞D[θ(X1, ...,Xn)

]= 0 atunci θ este un

estimator consistent sau corect sau deplasat al lui θ.

Definition 3

]= θ.

Daca limn→∞

M[θ(X1, ...,Xn)

]= θ si lim

n→∞D[θ(X1, ...,Xn)

Definition 3

]= θ.

Daca limn→∞

M[θ(X1, ...,Xn)

]= θ si lim

n→∞D[θ(X1, ...,Xn)

Theorem 4

Fie x1, x2, . . . , xn (n ≥ 2) o selectie de valori ale variabilelor X1,X2, ...,Xn (v.a.independente la fel distribuite ca si X ), m media teoretica si σ2 dispersiateoretica. Notam cu

n∑i=1

Xi , media de selectie, σ2 =1

n∑i=1

(Xi − X

)2dispersia de selectie si

n − 1

n∑i=1

(Xi − X

)2dispersia de selectie modificata.

Atunci media de selectie este un estimator punctual pentru media teoretica, iardispersia de selectie si dispersia de selectie modificata sunt estimatori punctualipentru dispersia teoretica. In plus,

= m,D[X]

nσ2 ⇒ media de selectie este un estimator absolut

corect al lui m.

M[σ2]

=n − 1

nσ2 ⇒ dispersia de selectie este un estimator corect al lui σ2.

= σ2 ⇒ dispersia de selectie este un estimator absolut corect al lui σ2.

Daca X ∈ Pois [λ] , atunci M [X ] = D [X ] = λ si atunci X si s2 sunt estimatoriinedeplasati pentru λ. Se pune ıntrebarea pe care ıl vom alege. Cum dispersiaeste o masura a ımprastierii, intuitia sugereaza sa-l alegem pe acela care arecea mai mica dispersie si aceasta deoarece el are o repartitie mai concentrata ınjurul lui λ.

Dintre doi estimatori nedeplasati θ si θ1 pentru acelasi parametru θ, seconsidera ca este mai precis cel care are dispersie mai mica.

Theorem 5

Fie X o v. a. cu media m si abaterea medie patratica σ. Daca x1, x2, . . . , xn(n ≥ 2) o selectie de valori ale lui X (v. a. independente la fel distribuite ca si

X ), atunci pentru n suficient de mare se poate considera ca X ∈ N

σ√n

Demonstratie. Conform teoremei limita centrala avem caSn = X1 + X2 + ...+ Xn ⇒ Sn ∈ N

(nm,√

Avem M

nnm = m,D

n2nσ2 =

n⇒ 1

nSn ∈ N

σ√n

Daca X ∈ Pois [λ] , atunci M [X ] = D [X ] = λ si atunci X si s2 sunt estimatoriinedeplasati pentru λ. Se pune ıntrebarea pe care ıl vom alege. Cum dispersiaeste o masura a ımprastierii, intuitia sugereaza sa-l alegem pe acela care arecea mai mica dispersie si aceasta deoarece el are o repartitie mai concentrata ınjurul lui λ.Dintre doi estimatori nedeplasati θ si θ1 pentru acelasi parametru θ, seconsidera ca este mai precis cel care are dispersie mai mica.

Theorem 5

σ√n

(nm,√

Avem M

nnm = m,D

n2nσ2 =

n⇒ 1

nSn ∈ N

σ√n

Daca X ∈ Pois [λ] , atunci M [X ] = D [X ] = λ si atunci X si s2 sunt estimatoriinedeplasati pentru λ. Se pune ıntrebarea pe care ıl vom alege. Cum dispersiaeste o masura a ımprastierii, intuitia sugereaza sa-l alegem pe acela care arecea mai mica dispersie si aceasta deoarece el are o repartitie mai concentrata ınjurul lui λ.Dintre doi estimatori nedeplasati θ si θ1 pentru acelasi parametru θ, seconsidera ca este mai precis cel care are dispersie mai mica.

Theorem 5

σ√n

(nm,√

Avem M

nnm = m,D

n2nσ2 =

n⇒ 1

nSn ∈ N

σ√n

Corollary 6

In conditiile teoremei 5 pentru orice a < b avem

P(a ≤ X < b

)≈ Φ

(b −mσ√n

)− Φ

(a−mσ√n

). (2)

Statisticienii recomanda folosirea formulei (2) pentru populatii statistice devolum N si esantioane de volum n unde n ≥ 30 si n ≤ N

3. Daca n < 30 formula

este utila daca populatia initiala nu este departe de a fi normal distribuita.

Pentru esantioane mici statisticienii propun o corectie care sa ınlocuiascaσ√n

prinσ√n

√N − n

N − 1.

Problem 7

Consideram greutatile populatiei de 350 studenti dintr-o facultate s-a constatatca media este m = 70 si abaterea media patratica este σ = 10.a) Sa se determine probabilitatea ca un student luat la ıntamplare sacantareasca ıntre 65 si 70 kg?b)Sa se determine probabilitatea ca media maselor sa fie ıntre 65 si 75 kg.c) Sa se determine probabilitatea ca extragand un esantion de 36 studenti dinacea populatie, media esantionului sa fie cuprinsa ıntre 65 si 75 kg.d) Extrgınd un esantion de 100 de studenti care este probabilitatea ca mediamaselor sa fie sub 65 kg?

Solutie.a) Pobabilitatea ceruta la punctul a) nu poate fi calculata deoarece X =greutatea populatiei nu este repartizata normal.

La fel si la b).c) n = 36,m = 70, σX = 10√

36= 1.6667,

P(65 ≤ X ≤ 75

(75−701. 6667

)− Φ

(65−701. 6667

)= 0.9986− 0.0014 = .9972.

d) n = 100,m = 70, σX = 10√100

P(X ≤ 65

(65−70

)= 0.0000003.H

Solutie.a) Pobabilitatea ceruta la punctul a) nu poate fi calculata deoarece X =greutatea populatiei nu este repartizata normal.La fel si la b).

c) n = 36,m = 70, σX = 10√36

= 1.6667,

P(65 ≤ X ≤ 75

(75−701. 6667

)− Φ

(65−701. 6667

)= 0.9986− 0.0014 = .9972.

d) n = 100,m = 70, σX = 10√100

P(X ≤ 65

(65−70

)= 0.0000003.H

Solutie.a) Pobabilitatea ceruta la punctul a) nu poate fi calculata deoarece X =greutatea populatiei nu este repartizata normal.La fel si la b).c) n = 36,m = 70, σX = 10√

36= 1.6667,

P(65 ≤ X ≤ 75

(75−701. 6667

)− Φ

(65−701. 6667

)= 0.9986− 0.0014 = .9972.

d) n = 100,m = 70, σX = 10√100

P(X ≤ 65

(65−70

)= 0.0000003.H

Solutie.a) Pobabilitatea ceruta la punctul a) nu poate fi calculata deoarece X =greutatea populatiei nu este repartizata normal.La fel si la b).c) n = 36,m = 70, σX = 10√

36= 1.6667,

P(65 ≤ X ≤ 75

(75−701. 6667

)− Φ

(65−701. 6667

)= 0.9986− 0.0014 = .9972.

d) n = 100,m = 70, σX = 10√100

P(X ≤ 65

(65−70

)= 0.0000003.H

Metoda momentelor

Ideea metodei este de a egala momentele distributiei cu momentele statistice.side.aici obtinem estimarea parametrilor.Stim ca momentul initial de ordin k este

M[X k]

xki pi

daca distributia este discreta si

M[X k]

∞∫−∞

xk f (x)dx

daca distributia este continua, iar momentul statistic initial de ordin k este

n∑i=1

X ki .

De exemplu momentul initial de ordin ıntai este media iar media statistica estemomentul statistic de ordin ıntai. Egalam acestea si obtinem estimareapunctuala µ = X .

Metoda momentelor

Fie x1, x2, . . . , xn (n ≥ 2) o selectie de valori ale variabilelor X1,X2, ...,Xn

care au o distributie exponentiala cu parametru λ. Avem un singurparametru de estimat. Stim ca M [X ] = 1

λ. De aici rezulta ca

= X ⇒ λ = 1x

este un estimator punctual al parametrului λ obtinut cumetoda momentelor.

Ca exemplu, presupunem ca este testat timpul de viata al unui modulelectronic folosi ın industria automobilelor. Timpul de viata urmeaza odistributie exponentiala. S-au facut teste si s-au obtinut urmatoarele date:x1 = 11.96, x2 = 5.03, x3 = 67.40, x4 = 16.07, x5 = 31.50, x6 = 7.73,x7 = 11.10, x8 = 22.38. Deoarece x = 21.65, estimarea punctuala aparametrului λ obtinut cu metoda momentelor este λ = 1

21.65= 0.04618 9.

care au o distributie normala de parametrii m si σ. In acest caz avemM [X ] = m, M

= m2 + σ2.Rezulta ca m = 1

∑i=1

xi , m2 + σ2 = 1n

∑i=1

x2i ⇒ m = 1

∑i=1

σ2 = 1n

∑i=1

x2i −

∑i=1

⇒ σ2 = 1n

∑i=1

(xi − x)2 . Reamintim ca acest

estimator pentru σ2 este un estimator deplasat.

Metoda momentelor

= X ⇒ λ = 1x

este un estimator punctual al parametrului λ obtinut cumetoda momentelor.Ca exemplu, presupunem ca este testat timpul de viata al unui modulelectronic folosi ın industria automobilelor. Timpul de viata urmeaza odistributie exponentiala. S-au facut teste si s-au obtinut urmatoarele date:x1 = 11.96, x2 = 5.03, x3 = 67.40, x4 = 16.07, x5 = 31.50, x6 = 7.73,x7 = 11.10, x8 = 22.38. Deoarece x = 21.65, estimarea punctuala aparametrului λ obtinut cu metoda momentelor este λ = 1

21.65= 0.04618 9.

∑i=1

xi , m2 + σ2 = 1n

∑i=1

x2i ⇒ m = 1

∑i=1

σ2 = 1n

∑i=1

x2i −

∑i=1

⇒ σ2 = 1n

∑i=1

Metoda momentelor

= X ⇒ λ = 1x

este un estimator punctual al parametrului λ obtinut cumetoda momentelor.Ca exemplu, presupunem ca este testat timpul de viata al unui modulelectronic folosi ın industria automobilelor. Timpul de viata urmeaza odistributie exponentiala. S-au facut teste si s-au obtinut urmatoarele date:x1 = 11.96, x2 = 5.03, x3 = 67.40, x4 = 16.07, x5 = 31.50, x6 = 7.73,x7 = 11.10, x8 = 22.38. Deoarece x = 21.65, estimarea punctuala aparametrului λ obtinut cu metoda momentelor este λ = 1

21.65= 0.04618 9.

∑i=1

xi , m2 + σ2 = 1n

∑i=1

x2i ⇒ m = 1

∑i=1

σ2 = 1n

∑i=1

x2i −

∑i=1

⇒ σ2 = 1n

∑i=1

Metoda verosimilitatii maxime

dezvoltata de Fisher si extinsa de Cramer, Rao si Wald

cea mai folosita metoda de estimare si joaca un rol important ın verificareaipotezelor statistice

Consideram o selectie X1,X2, ...,Xn i.i.d. cu v. a. X , ce are cu densitateade probabilitate f (x , θ). Atunci functia de verosimilitate maximacorespunzatoare selectiei este

L(x1, x2, ..., xn; θ) =n∏

f (xj , θ).

Acceptam urmatoarea axioma: valoarea cea mai verosimila a parametruluieste cea care maximizeaza functia L(x1, x2, ..., xn; θ), ceea ce conduce laecuatia

∂L(x1, x2, ..., xn; θ)

∂θ= 0. (3)

L(x1, x2, ..., xn; θ) =n∏

f (xj , θ).

∂L(x1, x2, ..., xn; θ)

∂θ= 0. (3)

L(x1, x2, ..., xn; θ) =n∏

f (xj , θ).

∂L(x1, x2, ..., xn; θ)

∂θ= 0. (3)

L(x1, x2, ..., xn; θ) =n∏

f (xj , θ).

∂L(x1, x2, ..., xn; θ)

∂θ= 0. (3)

Cum uneori este dficil de rezolvat ecuatia (3), introducem functiileln L(x1, x2, ..., xn; θ), logaritmul functiei de verosimilitate si

∂L(x1, x2, ..., xn; θ)

∂θ= s (θ; x1, x2, ..., xn)

functia scor.

Definition 8

tn (x1, x2, ..., xn) : S → Θ se numeste estimatie de verosimilitate maximapentru parametrul θ daca este punct de maxim pentru functia de verosimilitate,adica

ln L(x1, x2, ..., xn; tn) ≥ ln L(x1, x2, ..., xn; θ), ∀θ ∈ Θ.

Cum uneori este dficil de rezolvat ecuatia (3), introducem functiileln L(x1, x2, ..., xn; θ), logaritmul functiei de verosimilitate si

∂L(x1, x2, ..., xn; θ)

∂θ= s (θ; x1, x2, ..., xn)

functia scor.

Definition 8

tn (x1, x2, ..., xn) : S → Θ se numeste estimatie de verosimilitate maximapentru parametrul θ daca este punct de maxim pentru functia de verosimilitate,adica

ln L(x1, x2, ..., xn; tn) ≥ ln L(x1, x2, ..., xn; θ), ∀θ ∈ Θ.

In cele ce urmeaza presupunem ca f (xi , θ) sunt derivabile pana la ordinul doi

inclusiv ın raport cu θ. Atunci exista∂L(x1, x2, ..., xn; θ)

∂θsi estimatia de

verosimilitate maxima este solutie a ecuatiei

∂L(x1, x2, ..., xn; θ)

∂θ= 0 (4)

sau a ecuatiei∂ ln L(x1, x2, ..., xn; θ)

∂θ= 0 (5)

atunci cand aceasta exista.Ecuatiile (4) si (5) se numesc ecuatii de verosimilitate.

In cele ce urmeaza presupunem ca f (xi , θ) sunt derivabile pana la ordinul doi

inclusiv ın raport cu θ. Atunci exista∂L(x1, x2, ..., xn; θ)

∂θsi estimatia de

verosimilitate maxima este solutie a ecuatiei

∂L(x1, x2, ..., xn; θ)

∂θ= 0 (4)

sau a ecuatiei∂ ln L(x1, x2, ..., xn; θ)

∂θ= 0 (5)

atunci cand aceasta exista.Ecuatiile (4) si (5) se numesc ecuatii de verosimilitate.

Metoda verosimilitatii maxime: media necunoscuta, dispersia cunoscuta

Fie x1, x2, . . . , xn (n ≥ 2) o selectie de valori ale variabilelor X1,X2, ...,Xn careau o distributie normala, i. i. r. cu v. a. X ∈ N

(m, σ2

a) Daca σ2 este cunoscuta si media m este necunoscuta cu Θ = R, atuncifunctia de verosimilitate maxima este

L(x1, x2, ..., xn; m) =

{− 1

n∑i=1

(xi −m)2

Deoarece functia ln L este strict crescatoare ın L si valoarea lui m caremaximizeaza ln L(x1, x2, ..., xn; m) maximizeaza si L(x1, x2, ..., xn; m), estemai usor de lucrat cu logaritmul lui L decat cu L. Avem

ln L(x1, x2, ..., xn; m) = −n

2ln 2π − n

2lnσ2 − 1

n∑i=1

(xi −m)2 .

Fie x1, x2, . . . , xn (n ≥ 2) o selectie de valori ale variabilelor X1,X2, ...,Xn careau o distributie normala, i. i. r. cu v. a. X ∈ N

(m, σ2

a) Daca σ2 este cunoscuta si media m este necunoscuta cu Θ = R, atuncifunctia de verosimilitate maxima este

L(x1, x2, ..., xn; m) =

{− 1

n∑i=1

(xi −m)2

Deoarece functia ln L este strict crescatoare ın L si valoarea lui m caremaximizeaza ln L(x1, x2, ..., xn; m) maximizeaza si L(x1, x2, ..., xn; m), estemai usor de lucrat cu logaritmul lui L decat cu L. Avem

ln L(x1, x2, ..., xn; m) = −n

2ln 2π − n

2lnσ2 − 1

n∑i=1

(xi −m)2 .

∂ ln L(x1, x2, ..., xn; m)

n∑i=1

(xi −m) ,1

n∑i=1

(xi −m) = 0⇒ m = x .

Observam ca

∂2 ln L(x1, x2, ..., xn; m)

∂m2= − n

σ2≤ 0, ∀m ∈ R,

deci m = x este punct de maxim. Astfel tn (x1, x2, ..., xn) = x este punct deverosimilitate maxima.

Metoda verosimilitatii maxime: media cunoscuta, dispersia necunoscuta

Daca m este cunoscuta si σ2, Θ = (0,∞) este necunoscut folosim formafunctiei de verosimilitate maxima dedusa ın (1) si obtinem

L(x1, x2, ..., xn; m, σ2) =(

2πσ2)− n

{− 1

n∑i=1

(x −m)2 − n − 1

2σ2s2

2πσ2)− n

{− 1

n∑i=1

(x −m)2

{−n − 1

2σ2s2

Fixam m = x si atunci

L(x1, x2, ..., xn;σ2) =(

2πσ2)− n

{−n − 1

2σ2s2

ln L(x1, x2, ..., xn;σ2) = −n

2ln 2π − n

2lnσ2 − n − 1

2σ2s2.

Metoda verosimilitatii maxime: media cunoscuta, dispersia necunoscuta

∂ ln L(x1, x2, ..., xn;σ2)

∂σ2= − n

n − 1

2σ4s2,

∂ ln L(x1, x2, ..., xn;σ2)

∂σ2= 0⇒

σ2 =n − 1

∂2 ln L

∂ (σ2)2 (x1, x2, ..., xn; σ2) =n

2σ4− n − 1

∣∣∣∣σ2=

n − 1

= −1

s4 (n − 1)2 ≤ 0⇒

σ2 este estimatorul de verosimilitate maxima.

Metoda verosimilitatii maxime: media si dispersia necunoscute

c) Daca m si σ2 sunt necunoscute, Θ ={(

m, σ2)| m ∈ R, σ2 ∈ (0,∞)

atunci valoarea maxima se gaseste rezolvand sistemul∂ ln L

∂m(x1, ..., xn; m, σ2) = 0

∂ ln L

∂σ2(x1, ..., xn; m, σ2) = 0,

de unde 1

n∑i=1

(xi −m)2 = 0

2(σ2)2

n∑i=1

(x −m)2 +n − 1

2(σ2)2s2 = 0.

Obtinem {m = x

σ =n − 1

Metoda verosimilitatii maxime: media si dispersia necunoscute

Diferentiala de ordinul doi este

d2 ln L(x1, ..., xn; m, σ2) = − 1

σ2dm2 − n3

2(n − 1)2(s2)2(dσ2)2,

negativ definita. De aici rezulta ca

n − 1

)este unicul estimator de

verosimilitate maxima pentru(m, σ2

Example 9 (Modelul exponential)

Presupunem ca timpul de viata a unui aparat este distribuit Exp [θ] undeθ ∈ (0,∞) este necunoscut. Bazandu-ne pe o selectie (x1, x2, ..., xn) de valoriale variabilelor X1,X2, ...,Xn care au o distributie exponentiala obtinem functiade verosimilitateL(x1, x2, ..., xn; θ) = θn exp {−nxθ} ⇒

ln L(x1, x2, ..., xn; θ) = n ln θ − nxθ ⇒ ∂ ln L(x1, x2, ..., xn; θ)

∂θ=

θ− nx ⇒

θ− nx = 0⇒ θ = 1

∂2 ln L

∂θ2 (x1, x2, ..., xn; θ) = − n

θ2 ⇒∂2 ln L

∂θ2 (x1, x2, ..., xn; 1x

) = −n (x)2 ≤ 0⇒

θ este estimatorul de verosimilitate maxima.H

Example 10

Fie X o variabila aleatoare cu densitatea de probabilitate

f (x) =

1−θθ , 0 < x ≤ 1, θ > 0

0, ın rest

Se face o selectie x1, x2, ..., xn . Sa se determine estimatorul de verosimilitatemaxima pentru parametrul θ al repartitiei.

Example 11

Fie X o variabila aleatoare cu densitatea de probabilitate

f (x) =

{(1 + λ)xλ, 0 ≤ x ≤ 1, λ > 00, ın rest.

Se face o selectie x1, x2, ..., xn . Sa se determine estimatorul de verosimilitatemaxima pentru parametrul λ al repartitiei.

Statistic a ˘si prelucrarea datelormath.etc.tuiasi.ro/rstrugariu/cursuri/SPD2015/c11.pdfCURS 11 -...

Documents

Transcript of Statistic a ˘si prelucrarea datelormath.etc.tuiasi.ro/rstrugariu/cursuri/SPD2015/c11.pdfCURS 11 -...