Statistica: principi e metodidocenti.luiss.it/protected-uploads/586/2015/12/... · Teoria dei test...

Capitolo 18

Verifica delle ipotesi

Statistica: principi e metodi

Cap. 18-1

¥ Sia θ il parametro d’interesse, ossia la costante caratteristica della popolazione oggetto di studio. L’ipotesi statistica è una affermazione o una congettura che riguarda il parametro θ.

¥ L’ipotesi sottoposta a verifica va sotto il nome di ipotesi nulla, mentre è chiamata ipotesi alternativa l’affermazione o la congettura contrapposta.

Ipotesi statistica

Cap. 18-2

Possono essere:

Ipotesi nulla – Ipotesi alternativa

Cap. 18-3

se specifica completamente la distribuzione di probabilità della v.c. oggetto di studio; sono esempi di ipotesi semplici:

H0 : p = 0,6 (pop. bernoulliana) H1 : µ = 177 (pop. normale con σ2 nota) H0 : λ = 3,2 (pop. di Poisson)

semplice

composta

Sono esempi di ipotesi composte:

H0 : p ≤ 0,5; H1 : µ > 175; H1 : µ ≠ 150.

Con riferimento a un generico parametro θ, supponiamo che siano H0 : θ = θ0 l’ipotesi nulla e H1 : θ > θ 0 l’ipotesi alternativa. Con la verifica delle ipotesi si decide se rifiutare o non rifiutare l’ipotesi nulla sulla base di una funzione dei dati del campione casuale detta statistica test.

Verifica delle ipotesi

Cap. 18-4

La teoria dei test ci consente di determinare una regola di decisione che limiti il più possibile il rischio di decisioni sbagliate. Gli errori che si possono commettere nel decidere se rifiutare o meno l’ipotesi nulla sono:

Teoria dei test

Cap. 18-5

Decisione Stato reale

Ipotesi nulla è vera Ipotesi nulla è falsa

Non rifiuto Decisione corretta Errore di seconda specie

Rifiuto Errore di prima specie Decisione corretta

la decisione di rifiutare l’ipotesi nulla quando è vera

la decisione di non rifiutare l’ipotesi nulla quando è falsa

Sia H0 : µ = µ0 L’ipotesi alternativa contrapposta può assumere una delle tre configurazioni

Verifica di ipotesi sulla media di una popolazione normale con varianza nota

Cap. 18-6

:

::

01

01

01

µµµµµµ

≠⎭⎬⎫

>

<

HHH

ipotesi alternativa unidirezionale

ipotesi alternativa bidirezionale

Se (x1, x2, …, xn) è un campione casuale osservato, con media la decisione di rifiutare o non rifiutare l’ipotesi nulla H0 : µ = µ0 andrà basata sul confronto tra e µ0, o meglio, sulla differenza standardizzata


Cap. 18-7

,x

x

nxzx /

0

σ

µ−=

Valore assunto dalla v.c. (statistica

campionaria)

Ammesso che l’ipotesi nulla sia vera e che la popolazione generatrice sia normale, la statistica campionaria è una v.c. normale N(0, 1)

zx

Ipotesi nulla H0 : µ = µ0 ; Ipotesi alternativa H1 : µ > µ0 Presi un livello di probabilità α molto piccolo (α = 0,05, 0,01, 0,005, …) e il quantile della normale standardizzata, la probabilità dell’evento è uguale ad α (livello di significatività). Si rifiuta l’ipotesi nulla se il valore assunto dalla statistica test nel campione osservato fa parte dell’insieme


Cap. 18-8

α−> 1zZX

}/:{ }:{

101

1nzxxx

zzzR xxσµ αα

α

−−

−

+=>=>=

campioni più estremi

zona di rifiuto tramite la media campionaria

Ipotesi nulla H0 : µ = µ0 Ipotesi alternativa H1: µ > µ0

Per capire la regola proposta, di rifiutare H0 quando si consideri che, se è vera l’ipotesi nulla, i campioni per i quali si realizza questa disuguaglianza, detti campioni più estremi, sono inattesi: essi producono medie molto più grandi di e hanno complessivamente una probabilità di verificarsi molto bassa, pari ad α; in altre parole, essi non sono plausibili sotto l’ipotesi nulla.


Cap. 18-9

,10 nzx σµ α−+>

0µ

Nel seguito, parleremo indifferentemente di verifica di ipotesi o di test di ipotesi. Mentre per statistica test intenderemo la funzione dei dati campionari con cui si costruisce la zona di rifiuto. Così per la verifica di ipotesi in questione chiameremo statistica test sia

che la semplice media campionaria .


Cap. 18-10

nX

ZX /0

σ

µ−=

X


Cap. 18-11

H0: µ = µ0 H1: µ > µ0 zona di rifiuto in termini di z

zona di rifiuto in termini di media campionaria


Quando la statistica test cade nella zona di rifiuto si dice che “il test è significativo”. Espressioni equivalenti sono: q  “la media campionaria differisce

significativamente da µ0”; q  “la differenza è significativamente

diversa da 0”; q  “vi è sufficiente evidenza empirica contro

l’ipotesi nulla”.

Cap. 18-12

0µ−x

29,495, 29,512, 29,510, 29,502, 29,497, 29,514

Si voglia sottoporre a verifica l’ipotesi che il processo è sotto controllo, cioè che H0 : µ = 29,5, contro H1 : µ > 29,5 a un livello di significatività del 5%.

La media campionaria è

Esempio 1: Verifica di ipotesi sulla media di una popolazione normale con varianza nota

Cap. 18-13

Una linea di produzione di una cartiera, in condizioni normali di funzionamento, produce fogli di carta la cui lunghezza è assimilabile a una v.c., distribuita normalmente, avente deviazione standard σ = 0,03 cm. La lunghezza media prevista per tali fogli è 29,5. In un campione casuale di 12 fogli sono stati osservati i dati seguenti:

29,506, 29,493, 29,511, 29,503, 29,487, 29,507

.5031,29=x

Esempio 1 (continuazione)

Cap. 18-14

Il valore assunto dalla statistica test non rientra nella zona di rifiuto, essendo Pertanto, l’ipotesi nulla non viene rifiutata: non vi sono evidenze sufficienti per escludere che il processo sia “sotto controllo”. Naturalmente, si giunge allo stesso risultato operando direttamente con il cui valore osservato, è al di sotto del valore soglia

;645,195,01 ==− zz α .358,012/03,05,295031,29=

−=xz

.645,1358,0 95,0 =

Spazio campionario e livello di significatività

Cap. 17-15

Nella diapositiva che segue sono riportati 20 campioni di ampiezza 10 estratti da una popolazione normale avente media 265 e varianza 182. Supponiamo di voler verificare l’ipotesi nulla che la media della popolazione (ammesso che non la si conosca) sia pari a 265, contro l’alternativa che sia superiore, con α = 0,05. Per ciascun campione è dato il valore assunto dalla statistica test media campionaria. La riga in rosso indica il campione a cui la statistica test supera la soglia critica pari a 274,36 (per α = 0,05). Se immaginiamo l’intero spazio campionario, il livello di significatività (0,05 in questo caso) può essere interpretato come la frequenza relativa dei campioni in cui la statistica test cade nella zona pur essendo vera l’ipotesi nulla .

Spazio campionario e coefficiente di confidenza

Cap. 17-16

Osservazioni

Stima media

259,7 264,6 257,7 270,2 269,3 256,5 285,4 248,9 260,7 258,0 263,10 267,2 277,5 253,7 249,6 286 242,8 270,1 268,9 301,0 230,6 264,72 269,2 273,4 281,7 248,8 283,2 282,0 242,0 314,2 257,6 254,3 270,63 274,5 265,7 270,1 239,3 237,7 269,8 264,8 247,8 265,3 266,8 260,18 250,7 293,7 240,8 250,0 253,4 255,4 226,7 245,0 263,9 249,3 252,89 272,2 275,5 249,5 227,2 284,5 261,6 294,0 257,5 244,8 279,8 264,66 266,4 238,2 259,9 241,7 267,5 263,0 248,6 261,9 264,0 241,3 255,24 265,2 295,4 255,9 259,1 297,7 251,6 263,3 252,9 267,7 251,8 266,05 280,8 265,3 259,4 275,7 300,4 252,7 253,1 246,6 249,4 276,3 265,95 255,0 269,5 245,3 253,9 283,4 271,3 249,8 281,9 283,9 257,4 265,13 253,5 265,9 269,9 264,4 268,8 251,0 269,4 251,4 290,9 274,8 265,99 275,5 234,9 250,3 289,7 269,9 253,6 250,1 277 210,2 230,4 254,16 249,6 270,4 249,7 278,2 262,5 274,7 284,2 260,4 239,5 264,7 263,38 247,1 249,8 262,7 279,6 281,1 262,7 279,6 247,8 281,5 275,2 266,71 266,0 286,4 286 264,6 258,1 298,7 263,5 234,3 268,3 245,3 267,12 306,0 267,5 286,5 277,4 267,8 280,6 299,2 272,0 251,6 280,9 278,95 271,1 259,1 240,7 266,6 252,7 266,7 266,3 253,1 296,3 266,9 263,95

279,6 279,7 289,7 247,9 264,4 294,6 248,6 261,2 253,8 250,0 266,94 280,1 255,9 288,1 270,7 250,6 270,2 255,4 267,7 295,0 276,5 271,01 266,2 300,9 288,1 274,3 235,8 256,6 261,4 285,4 280,7 285,9 273,53

… … … … … … … … … … …

Ipotesi nulla H0 : µ = µ0 Ipotesi alternativa H1: µ


Cap. 18-18


zona di rifiuto in termini di z

H0 : µ = µ0 H1: µ < µ0

Ipotesi nulla H0 : µ = µ0 Ipotesi alternativa H1: µ ≠ µ0

L’ipotesi nulla viene rifiutata per valori di molto distanti da µ0 nell’una o nell’altra direzione, ossia per valori di molto più grandi oppure molto più piccoli rispetto a µ0.


Cap. 18-19

)}./ ,/(:{ }||:{

2/102/10

2/1

nznzxxzzzR xx

σµσµ αα

α

−−

−

+−∉=

=>=


x

x

campioni più estremi


Cap. 18-20

H0: µ = µ0 H1: µ ≠ µ0

zona di rifiuto in termini di media campionaria

zona di rifiuto in termini di z

Ipotesi H0 Ipotesi H1 Statistica test Zona di rifiuto R

µ = µ0

H1 : µ µ0

H1 : µ ≠ µ0

Zone di rifiuto del test per i diversi sistemi di ipotesi.

Cap. 18-21

{zx: zx < -z1-α}

{zx: zx > z1−α}

{zx: |zx |> z1−α /2 }

nxzx /

0

σ

µ−=

)(1)|( 0 xxXoss zzZP Φ−==≥= µµα

Livello di significatività osservato

Cap. 18-22

Il livello di significatività osservato, che indicheremo con è la probabilità che

la statistica test assuma un valore pari a quello ottenuto con i dati del campione o maggiore di esso (più estremo), ammesso che l’ipotesi nulla sia vera. In simboli:

Con il sistema di ipotesi dato:

,ossα

valore assunto dalla statistica test nel campione osservato

si rifiuta l’ipotesi nulla se il livello di significatività osservato è minore di α

H0 : µ = µ0 H1: µ > µ0


Cap. 18-23

Detto in altre parole, il livello di significatività osservato è:

H0: µ = µ0 H1: µ > µ0

“la probabilità che la statistica test contenga un’evidenza contro l’ipotesi nulla maggiore o uguale a quella contenuta nel valore osservato”


Cap. 18-24

Si può aggiungere che il livello di significatività osservato è:

H0: µ = µ0 H1: µ > µ0

“un indicatore della forza dell’evidenza contro l’ipotesi nulla: tale evidenza è tanto maggiore quanto minore è αoss”


Cap. 18-25

Il livello di significatività osservato è inferiore al livello α ogni volta che è maggiore del valore critico

α−1zxz


Cap. 18-26

Sistema di ipotesi: H0 : µ = 29,5 ; H1: µ > 29,5.

Livello di significatività: α = 0,05.

Valore osservato della statistica test

Esempio 2: Livello di significatività osservato

Cap. 18-27

Riprendendo i dati dell’Esempio 1, si sottoponga a verifica lo stesso sistema di ipotesi tramite il livello di significatività osservato.

.358,012/03,0

5,295031,29=

−=xz


Cap. 18-28


Conclusione:

Il livello di significatività osservato, , è maggiore del livello di significatività α = 0,05, pertanto l’ipotesi nulla non viene rifiutata.

ossα

.361,0)358,0(1)5,29|358,0( =Φ−==≥= µα Xoss ZP

)()|( 0 xxXoss zzZP Φ==≤= µµα

Cap. 18-29

Valore assunto dalla statistica test


H0: µ = µ0 H1: µ < µ0

È la probabilità che la statistica test assuma un valore pari a quello ottenuto con i dati del campione o minore di esso (più estremo), ammesso che l’ipotesi nulla sia vera.



Cap. 18-30

Il livello di significatività osservato è inferiore al livello α ogni volta che è minore del valore critico

xzα−− 1z


Cap. 18-31

Cap. 18-32


H0: µ = µ0 H1: µ ≠ µ0

È la probabilità che la statistica test assuma un valore pari a quello ottenuto con i dati del campione o più estremo (più grande di o più piccolo di ), ammesso che l’ipotesi nulla sia vera.

|)](|1[2 |)|(|)|( |)||(|

x

xXxXxXossz

zZPzZPzZPΦ−=

≥+−≤=≥=α

Valore assunto dalla statistica test

|| xz || xz−



Cap. 18-33

Il livello di significatività osservato è inferiore al livello α ogni volta che è minore di o maggiore di

xzα−− 1z α−1z


Cap. 18-34

La verifica dell’ipotesi si avvale della statistica test

che, se l’ipotesi nulla è vera, ha distribuzione t di Student con n – 1 gradi di libertà.

Verifica di ipotesi sulla media di una popolazione normale con varianza incognita

Cap. 18-35

nSXTX /

0µ−=

Ipotesi H0 Ipotesi H1 Statistica test Zona di rifiuto R

µ = µ0

H1 : µ µ0

H1 : µ ≠ µ0


Cap. 18-36

nSXTX /

0µ−=

}:{ 1 α−−< ttt xx

}:{ 1 α−>ttt xx

}||:{ 2/1 α−>ttt xx

Si procede in analogia con quanto visto nel caso della statistica test Z


Cap. 18-37

Esempio 3: verifica di ipotesi sulla media di una popolazione normale con varianza incognita

Cap. 18-38

La concentrazione di metalli pesanti riscontrata nei pesci è spesso utilizzata come misura dell’inquinamento ambientale. I dati che seguono si riferiscono alla concentrazione di zinco (in µg/g) nel fegato osservata in 10 pesci in uno specchio lacustre:

9,89, 10,05, 9,01, 8,57, 9,92, 6,84, 9,95, 8,80, 8,79, 7,98.

Si voglia sottoporre a verifica l’ipotesi che la concentrazione media di zinco sia pari a 10, contro l’alternativa che sia inferiore. Si ponga α = 0,01.

Sistema di ipotesi: H0 : µ = 10 ; H1 : µ


Cap. 18-39

Zona di rifiuto: Media campionaria: varianza campionaria: Valore osservato della statistica test Conclusione:

Poiché , l’ipotesi nulla viene rifiutata.

.121,310/068,110980,8

−=−

=xt

;98,8=x ;068,12 =s};821,2:{: 99,0 −=−< tttR xx

821,2121,3 99,0 −=−


Cap. 18-40


)|( 0µµα =≤= xXoss tTPH1 : µ < µ0

)|( 0µµα =≥= xXoss tTP

)|( 0µµα =≥= xXoss tTPH1 : µ > µ0

H1 : µ ≠ µ0


Cap. 18-41

Si voglia ripetere la verifica di ipotesi di cui all’Esempio 3 con la tecnica del livello di significatività osservato.

Sistema di ipotesi: H0 : µ = 10 ; H1 : µ

Se il campione ha dimensione sufficientemente grande, qualunque sia la popolazione generatrice, la statistica test da assumere è

che è una v.c. la cui distribuzione può essere approssimata con una normale N(0, 1)

Verifica di ipotesi sulla media nel caso di grandi campioni

Cap. 18-42

,/

0

nSXZX

µ−=

Ipotesi H0

Ipotesi H1 Zona di rifiuto R

µ = µ0

µ µ0

µ ≠ µ0

}:{ 1 α−−< zzz xx

}:{ 1 α−> zzz xx

}:{ 2/1 α−> zzz xx

Esempio 5: Verifica di ipotesi sulla media nel caso di grandi campioni

Cap. 18-43

Il direttore dell’ufficio della qualità di un’industria di materiali elettrici deve stabilire se la durata di un nuovo tipo di lampada elettrica sia uguale a 350 ore. In un campione di 72 lampade la media aritmetica e la varianza risultano uguali a A un livello di significatività del 5%, vi è evidenza sufficiente per affermare che la durata media delle lampadine prodotte è diversa da 350 ore?

Sistema di ipotesi: H0 : µ = 350; H1 : µ ≠ 350; Livello di significatività: α = 0,05;

.465.9 e 367 2 == sx


Cap. 18-44

Zona di rifiuto:

Valore osservato della statistica test: Conclusione:

Poiché , il valore osservato della statistica test non fa parte della zona di rifiuto. Pertanto, si può affermare che i dati osservati non contengono evidenze sufficienti per rifiutare l’ipotesi nulla.

.483,172/465.9

350367/

0 =−

=−

=ns

xzxµ

!

};96,1:{ 975,02/1 ==>= − zzzzR xx α

96,1483,1

Si calcola come nel caso della varianza nota (lucidi 20-23) con la sola variante che a denominatore di appare la deviazione standard campionaria s, anziché quella della popolazione. A titolo di esempio, se l’ipotesi alternativa è H1 : µ > µ0, abbiamo:


Cap. 18-45

)(1|/ 0

0xxXoss zns

xzZP Φ−≈⎟⎟⎠

⎞⎜⎜⎝

⎛=

−=≥= µµ

µα

xz


Cap. 17-46

Si voglia ripetere la verifica di ipotesi di cui all’Esempio 5 con la tecnica del livello di significatività osservato. Sistema di ipotesi: H0 : µ = 350 ; H1 : µ ≠ 350; Livello di significatività: α = 0,05; Valore osservato della statistica test:

Livello di significatività osservato:

Decisione:

Poiché , l’ipotesi nulla non viene rifiutata.

.483,172/465.9

350367=

−=xz

;1381,0)]483,1(1[2)350483,1|(| =Φ−≈=≥= µα Xoss ZP

05,01381,0 >=ossα

Se il campione casuale di ampiezza n (sufficientemente elevata) proviene da una popolazione bernoulliana, l’ipotesi nulla da verificare è H0: p = p0. La media campionaria, interpretabile come frequenza relativa dei “successi” nel campione, ha, sotto l’ipotesi nulla, distribuzione prossima alla normale con media p0 e varianza p0(1 – p0)/n. La statistica test è, naturalmente

Cap. 18-47

nppppZp /)1(

ˆ

00

0ˆ −

−=

Verifica di ipotesi sulla media nel caso di grandi campioni: popolazioni Bernoulliane

Cap. 18-48

Verifica di ipotesi sulla media nel caso di grandi campioni: popolazioni Bernoulliane

Ipotesi H0 Ipotesi H1 Zona di rifiuto R

p = p0

p < p0

p > p0

p ≠ p0

}:{ 1ˆˆ α−−< zzz pp

}:{ 1ˆˆ α−> zzz pp

}:{ 2/1ˆˆ α−> zzz pp

Esempio 7: verifica di ipotesi sulla media nel caso di popolazioni Bernoulliane (grandi campioni)

Cap. 18-49

In un’indagine sul grado di soddisfazione dei clienti sulla qualità del trasporto pubblico urbano in un dato comune, sono stati intervistati, tramite campionamento casuale, 550 utenti. Il 65% degli intervistati si è dichiarato soddisfatto o molto soddisfatto del servizio. L’obiettivo dell’indagine era quello di verificare se la percentuale dei soddisfatti o molto soddisfatti fosse aumentata rispetto a quella accertata l’anno precedente (con un’indagine totale), pari a 59%. Si effettui la verifica dell’ipotesi con un livello di significatività dell’1%.

Sistema di ipotesi: H0 : p = 0,59; H1 : p > 0,59; Livello di significatività: α = 0,01;


Cap. 18-50

Zona di rifiuto:

Valore osservato della statistica test: Decisione:

Poiché , il valore osservato della statistica test fa parte della zona di rifiuto. Pertanto, si può affermare che nei dati osservati vi sono evidenze sufficienti per rifiutare l’ipotesi nulla.

.861,2550/)41,059,0(

59,065,0/)1(

ˆ

00

0ˆ =×

−=

−

−=

nppppzp

};326,2:{ 99,01ˆˆ ==>= − zzzzR pp α

326,2861,2ˆ >=pz

Si calcola come nei precedenti. A titolo di esempio, se l’ipotesi alternativa è H1 : p


Cap. 17-52

Si ripeta la verifica di ipotesi di cui all’Esempio precedente mediante il livello di significatività osservato. Sistema di ipotesi: H0 : p = 0,59; H1 : p > 0,59; Livello di significatività: α = 0,01; Valore osservato della statistica test:

Livello di significatività osservato: Decisione: Si rifiuta l’ipotesi nulla, essendo

.861,2550/)41,059,0(

59,065,0ˆ =×

−=pz

.0021,0)]861,2(1[)59,0|861,2( ˆ =Φ−≈=≥= pZP possα

.αα

Criteri di ottimizzazione nella verifica delle ipotesi

Cap. 18-53

Riprendiamo la tabella iniziale che compendia gli incroci tra il tipo di decisione (rifiuto e non rifiuto) e lo stato reale (ipotesi nulla vera e ipotesi nulla falsa):

Indichiamo con α la probabilità dell’errore di prima specie e con β la probabilità dell’errore di seconda specie.


H0 vera H0 falsa

Non rifiuto di H0 Decisione corretta Errore di seconda

specie

Rifiuto di H0 Errore di prima

specie Decisione corretta


Cap. 18-54

Riscriviamo la tabella precedente con l’indicazione delle probabilità connesse alle quattro diverse situazioni:

La quantità π = 1 - β è chiamata potenza del test.


H0 vera H0 falsa

Non rifiuto di H0 Decisione corretta

(1 - α) Errore di seconda specie

β

Rifiuto di H0 Errore di prima specie

α Decisione corretta

π = (1 - β)


Cap. 18-55

In prima approssimazione, possiamo dire che per i problemi di verifica di ipotesi affrontati in precedenza la teoria statistica consente di individuare il procedimento che, fissato il livello di α, minimizza β, ovvero massimizza la potenza. Un tale procedimento è da considerarsi, ovviamente, ottimo. Ebbene, tutti i test introdotti fin qui su base intuitiva (test per la verifica di ipotesi su medie e su varianze) sono, in questo senso, ottimi.

Statistica: principi e metodidocenti.luiss.it/protected-uploads/586/2015/12/... · Teoria dei test...

Documents

Transcript of Statistica: principi e metodidocenti.luiss.it/protected-uploads/586/2015/12/... · Teoria dei test...