1

Inferenza Statistica

• Introduzione all’inferenza statistica• Metodo dei minimi quadratiq• Introduzione concetto Stimatori statistici• Stimatori col metodo dei momenti• Stima di parametri in modelli fisici

– Metodo dei Minimi Quadrati • Modelli Lineari• Modelli multilineari

Inferenza statistica - Introduzione

• Nelle precedenti lezioni sono stati introdotti gli strumenti matematici (teoria della probabilità e variabili aleatorie) fondamentali per affrontare il problema dell’inferenza statistica

• Ovvero, dato un campione, quali informazioni possiamo trarre sulla popolazione da cui è tratto? E con quale affidabilità?

2

Teoria della probabilità. Definizione popolazione e campione.

• Riepilogo Popolazione

P Campione

Processo deduttivo

Processo induttivo

CaratterizzazioneCampione: Statistica

descrittiva

CaratterizzazionePopolazione: Teoria dellaprobabilità e statisticaCorrente

sezione

Inferenza parametrica

• Nell’approccio classico, la caratterizzazione della popolazione incognita passa per l’ipotesi di un modello matematico per la popolazione stessa.

• Ovvero, si suppone che la casualità rispetti una legge dettata da un certo tipo di variabile aleatoria.

• Della pdf caratterizzante il processo casuale non sono noti i parametri.

• Lo scopo è determinare tali parametri dalle informazioni fornite Lo scopo è determ nare tal parametr dalle nformaz on forn te dal campione.

• Per tale motivo, tale tipo di caratterizzazione prende il nome di inferenza parametrica.

3

Inferenza parametrica

• Esempio: La popolazione genitrice il campione di dati sperimentali è descritta da una gaussiana di media μ e varianza σ2 entrambe gnon noti.

Popolazione μ

σ

• Media e varianza possono essere “ricavati” dalle caratteristiche del campione di dati disponibile.

μ = ?σ2 = ?

Inferenza parametrica

• Incominciamo a considerare il caso in cui la popolazione sia nota, (per esempio: una variabile aleatoria Y di tipo Gaussiano di media μY e varianza σY

2)

σY

• Un’osservazione proveniente da tale

variabile aleatoria può potenzialmente

assumere qualunque valore reale, ma

l ibil i

xμY

plausibilmente non si allontanerà molto dal

trend centrale

4

Inferenza statistica – Introduzione intuitiva

• Il singolo risultato del processo aleatorio può essere visto come l’estrazione di un risultato da un’ ”urna” in cui i valori più ricorrenti sono nei pressi del trend centrale

xμY

La maggior parte dei risultati che si

possono osservare è nei pressi del centro

Ma non possiamo escludere risultati che siano lontani dal centro

Inferenza statistica – Introduzione intuitiva

• Nel caso in cui si ripetono più prove, la media dei risultati “attenua” l’importanza dei valori individuali estremi

• La media del campione sarà nei pressi della media della popolazione

xμY Y

5

Inferenza parametricaMetodo dei minimi quadrati

• Nell’ipotesi di VA di tipo normale la migliore “stima” della media può essere ottenuta considerando il valore medio dei punti del campione.

• Tale stima prende il nome di MEDIA del campione di dati.Il l di di i di d ti è i f tti il l θ

N

yy

N

ii∑

== 1

• Il valore medio di un campione di dati è, infatti, il valore θ per cui la somma delle distanze dei valori osservati da esso è minima:

( ) ( )∑=

−=ΦN

iiy

1

2θθ

Inferenza parametricaMetodo dei minimi quadrati

• Infatti con alcuni banali passaggi:

( )

( )( ) 022

0

2 =+−=−∂∂

=∂Φ∂

∑∑ θθθ

θθ

Nyy ii

Ny

y i∑==θ

6

Inferenza parametricaMetodo dei minimi quadrati

• Nel caso in cui si abbiano Nosservazioni tutte provenienti dallo stessa popolazione (stessa variabile aleatoria) e indipendenti tra esse, si parla di distribuzioni indipendenti identicamente distribuite e si indica con l’acronimo i.i.d.

• Ciascun elemento del campione può essere visto come un esito di una variabile aleatoria.

• L’operazione di somma è quindi da interpretare come una operazione su VA e, in quanto tale, variabile aleatoria anche essa:

Y∑N

yy i∑= N

YY i∑=

Media aritmetica del campione Variabile aleatoria Media

Inferenza parametricaIntroduzione concetto Stimatore

• Se i dati sperimentali sono tutti caratterizzati dalla stessa distribuzione Yi~ N(μ,σ2) quali sono le caratteristiche della VA Media ?Y

[ ] ( )

[ ] [ ] [ ]( ) μμ ==+++

=⎥⎦⎤

⎢⎣⎡ +++=

NN

YEYEYEN

YYYN

EYE

N

N

1...1

...1

21

21

• La media della variabile aleatoria coincide con il parametro media della popolazione sotto esame.

• Questo risultato, nonostante sia intuitivo, non è affatto banale.

7

Inferenza parametricaIntroduzione concetto Stimatore

• Discorso analogo può essere fatto per la varianza della VA, sfruttando le proprietà incontrate nel caso di trasformazioni lineari:

• In conclusione, se Y ~ N(μ, σ2), la media aritmetica di Nprove sperimentali è una variabile aleatoria

NNY

N

N

ii

2

1

22

11var σσ ==⎟⎠⎞

⎜⎝⎛ ∑∑

=

sperimentali è una variabile aleatoria

⎟⎟⎠

⎞⎜⎜⎝

⎛N

YN

2

,~ σμ

Inferenza parametricaIntroduzione concetto Stimatore

• Riepilogo:• In termini statistici, valutare la media per un campione di dati

i li i l id il i l i di l sperimentali, equivale a considerare il singolo esito di una altra variabile aleatoria, caratterizzata dalla stessa media della singola VA e con una varianza più piccola:

• Con il cappuccio si intende “valore stimato del parametro μ”T l i di i bil l i è i di T M TORE il

nY

ZYZ

22ˆ σσμμμ ===

• Tale tipo di variabile aleatoria è un esempio di STIMATORE per il parametro media μ della VA di tipo gaussiano.

• Nella inferenza puntuale l’obbiettivo è la ricerca degli stimatori caratterizzati dalla minima varianza (e quindi la minore incertezza nel risultato).

8

Criterio della Massima VerosimiglianzaStimatore Media - Esempio

•1.40.5

0.0

0.2

0.4

0.6

0.8

1.0

1.2

0.0

0.1

0.2

0.3

0.4

σ10σ

Distribuzione densità di probabilità della VA

Y associata alla singola prova sperimentale

Distribuzione densità di probabilità della VA

stimatore media aritmetica

10Y

Inferenza statistica – Media come variabile aleatoria

• Seguendo il grafico delle “urne”, – osservare un valore di X equivale a pescare dall’urna a q p

sinistra, – calcolare la media di un campione equivale a pescare dall’urna

più stretta a destra

μ

XXX

x

Variabile aleatoria X

X X X XXXXXXX

XX

X

XVariabile aleatoria

9

Inferenza parametricaIntroduzione concetto Stimatore

• Riepilogo:• In termini statistici, valutare la media per un campione di dati

i li i l id il i l i di l sperimentali, equivale a considerare il singolo esito di una altra variabile aleatoria, caratterizzata dalla stessa media della singola VA e con una varianza più piccola:

• Tale tipo di variabile aleatoria è un esempio di STIMATORE per il p m t m di μ d ll VA di tip ssi n

22 x

X X Nσμ σ =

parametro media μ della VA di tipo gaussiano.

Inferenza parametricaIntroduzione concetto Stimatore

• Uno Stimatore è una funzione del campione di dati, non basato sui parametri della popolazione.

• Lo stimatore è una funzione nota delle variabili aleatorie

• Il valore assunto da uno stimatore è quindi l’esito di una VA• Come ogni altra VA, è possibile definire la distribuzione di uno

stimatore.

• Non esiste un unico stimatore per i parametri di una VA• Non esiste un unico stimatore per i parametri di una VA.

10

Stimatore media -

• La media aritmetica è una valida scelta per stimare il parametro μ di una Gaussiana (in genere per il trend centrale dei risultati)E i h d ll l i i di id il d • Esistono anche delle alternative per individuare il trend centrale:– La mediana – La moda

• Non tutti gli stimatori hanno le stesse “qualità”• Nella inferenza puntuale l’obbiettivo è la ricerca degli stimatori

picaratterizzati dalla minima varianza (e quindi la minore picaratterizzati dalla minima varianza (e quindi la minore incertezza nel risultato).

Inferenza parametricaIntroduzione concetto Stimatore

• Definizione:

• Una funzione di variabili aleatorie che non dipende • Una funzione di variabili aleatorie che non dipende esplicitamente da parametri incogniti è definita statistica.

• Esempio:

• È una statistica. Invece,N

XXXX N+++=

...21

( )μ−XZ• Nonè una statistica, a meno che i parametri μ e σ siano noti.

• Uno stimatore è quindi una statistica

( )σ

μ= XZ

11

Inferenza parametricaProprietà di uno Stimatore statistico

• Imparzialità: Uno stimatore si dice imparziale (unbiased) se il suo valore atteso coincide con il valore vero del parametro

• NB sebbene il valore vero non sarà mai noto è possibile valutare il verificarsi della imparzialità.

• Efficienza:E’ una misura della varianza dello stimatore Se

( ) Θ=Θ̂E

• Efficienza:E una misura della varianza dello stimatore. Se dispongo di più stimatori devo scegliere quello con varianza minima ovvero quello con la massima efficienza.

Inferenza ParametricaProprietà di uno stimatore statistico

• Esempio – Confronto Stimatori media e mediana per il parametro μ della VA Gaussiana:

[ ][ ] μ

μ==

medianaYEYE

[ ]Y2

var σ=

La media aritmetica e la mediana sono entrambi stimatori imparziali per il

parametro μ della VA Gaussiana

La varianza dello stimatore media è [ ]

[ ]N

Y

NY

mediana

N

2

2var

var

σπ=

= inferiore alla varianza della mediana

La media aritmetica è uno stimatore più efficiente della mediana

12

Proprietà di uno stimatore

• Da notare che non sempre gli stimatori imparziali sono efficienti e viceversa

• Esempio:

Stimatore U (imparziale)

p(u)

Stimatore V (il più

efficace, ma parziale)

p(v)

μ

Inferenza parametricaProprietà di uno Stimatore statistico

• Consistenza: E’ una proprietà dello stimatore al variare del numero di prove sperimentali. Uno stimatore si dice consistente se:

• Lo stimatore ideale dovrebbe essere uniforme, imparziale e a varianza minima possibile (acronimo: UMVUE, Uniform Minimum Variance Unbiased Estimator)

ˆlimN

θ θ→∞

=

• Si può dimostrare che lo stimatore media aritmetica per una popolazione di tipo gaussiano è uno stimatore UMVUE.

13

Stimatori – Metodo dei Momenti

• Il metodo dei minimi quadrati (LS: Least Squares) non è il solo modo di ottenere degli stimatori.

• Un altro metodo che può essere usato per ottenere uno stimatore è il metodo dei momenti.

• Definizione:• Momento k-esimo di un campione di dati

∑= kym 1

• Momento centrale k-esimo di un campione di dati:

∑=i

ik yN

m

( )∑ −=i

k

ik yyN

M 1

Stimatori – Metodo dei Momenti

• Il metodo dei momenti è il metodo più semplice per la determinazione dei parametri incogniti in una distribuzione

• Tale metodo ricava i valori dei parametri eguagliando i valori dei momenti del campione di dati con le espressioni matematiche relative.

• A titolo di esempio consideriamo il caso di una VA uniforme di cui non siano noti i valori a e b e che abbia riportato in 5 misure i seguenti esiti:g

– {2.44, 1.21, 2.04, 1.95, 1.82}

14

Stimatori – Metodo dei Momenti

• È possibile calcolare media e varianza per il campione di dati sperimentali osservati e metterli a sistema con i valori teorici:

• La stima di a e b sarà quindi a = 1.12 e b = 2.66• In linea di principio, è possibile ricavare i valori di a e b da una

l i di i i i i

( ) 198.012

89.12

2

2

1

=−

=

=+

=

baM

bam

qualunque coppia di momenti i-esimi.• Questo approccio è possibile per una qualunque funzione di

distribuzione.• Ovviamente, il tipo di VA deve essere nota

Stimatori – Metodo dei Momenti

• Altro esempio: Variabile aleatoria Y di tipo esponenziale.

( ) ( )

• La funzione ha un solo parametro, λ. • Media (momento primo) e varianza (momento centrale di ordine

2) sono tali che:

( ) ( )( ) ( )yyF

yyf

Y

Y

λλλ−−=

−=exp1exp

λμ 1

= 22 1

λσ =

15

Stimatori – Metodo dei Momenti

• È utile osservare in questo caso che abbiamo a disposizione, per il metodo dei momenti, due distinte formule per la valutazione del

λ d ll di ib i i lparametro λ della distribuzione esponenziale.

• Esempio: si consideri il caso di una campagna sperimentale per la caratterizzazione del tempo di resistenza di un dato materiale soggetto ad uno sforzo.

• Tale tempo è una variabile aleatoria, dato che varia da campione a campione esaminato

• Supponiamo che 5 prove abbiano riportato i seguenti risultati:Supponiamo che 5 prove abbiano riportato i seguenti risultati

{ 0.178 hr, 0.606 hr, 0.181 hr, 1.13 hr, 0.131 hr}

• Si intende valutare il parametro λ della VA in esame

Stimatori – Metodo dei Momenti VA di tipo esponenziale

• In questo caso è possibile determinare il parametro dalla media:n

• o, analogamente, dalla varianza

24.21446.01 =⇒===∑

= λλn

xy

n

ii

32.210.1861

2

2 =⇒===∑

= λx

s

n

ii

• È da notare che le due procedure portano a due stimatori differenti con due differenti valutazioni del parametro in esame.

32.20.186 2 ⇒ λλn

s

16

Metodo dei Momenti – Applicazione VA di tipo Gaussiano

• Nel caso di una VA di tipo Gaussiano l’uguaglianza tra momenti campionari e momenti della popolazione porta a risultati di facile interpretazione:

μ==∑

=

N

ym

N

ii

11

( )2∑ yyN

Il metodo dei momenti fornisce anche una

stima ragionevole del parametro varianza ( )

212 σ=

−=

∑=

N

yyM i

i della VA Gaussiana

Criterio della Massima VerosimiglianzaStimatori Varianza.

• Si sono già analizzate le proprietà dello stimatore media.• nel caso dello stimatore varianza:

• Si può innanzitutto osservare che lo stimatore è dipendente dallo stimatore

( )∑=

−=N

iiN Y

N 1

22 ˆ1ˆ μσ

2ˆNσμ̂

• L’espressione per lo stimatore suggerirebbe una relazione con una variabile aleatoria di tipo 2χ

17

Stima di parametri

• Il caso più interessante è quello in cui la relazione attesa sialineare

• N el caso dell’esperienza della caduta di un oggetto esiste unarelazione di tipo lineare che correla velocità v con il tempo di caduta t

• Più in generale possiamo considerare relazioni del seguente tipo

xy 10 ββ +=

gtvv += 0

• dove β0 (intercetta) e β1 (pendenza) sono costanti

Stima dei parametriCaso dipendenza lineare

• In assenza di incertezza nell’osservazione di yi ci aspettiamo che i punti (x,y), al variare delle condizioni operative xi si trovino tutti su una retta.

Y

15

20

25

30

35

X

0 2 4 6 8 10 120

5

10

18

Stima dei parametriCaso dipendenza lineare

• In realtà la presenza di errore impedisce che i punti siano allineati.

Y

5

10

15

20

25

30

35

40

• La procedura che si può eseguire è ricercare quale è la retta (tra le tante possibili) che approssima meglio i risultati sperimentali.

X

0 2 4 6 8 10 120

Stima di parametri in modelli fisiciMetodo dei Minimi Quadrati: Modelli lineari

• Il modo migliore per descrivere i dati consiste nel cercare la retta (di regressione) che renda minimo la somma di tutti i quadrati delle distanze

y

y = β0+β1xi

yi

di

x

y β0 β1xi

19

• Per ciascun dato sperimentale è possibile misurare la

Stima dei parametri - Caso dipendenza lineare- Metodo dei minimi quadrati

Per ciascun dato sperimentale è possibile misurare la distanza del singolo dato dalla ipotetica retta. La misura della distanza è misurata nella direzione verticale.

xi

yidi = yi-β0−β1 xi

β0+ β1 xi

• I parametri β0 e β1 della retta non sono noti a priori• È possibile calcolare quali siano i valori che minimizzano la

distanza complessiva dei punti

xi

Stima di parametri in modelli fisiciMetodo dei Minimi Quadrati: Modelli lineari

• La somma di tutte le distanze tra le prove sperimentali e la retta di equazione canonica generica y = β0+β1 x può essere scritta nella forma:forma:

• Dove θ è il vettore dei parametri ignoti {β0, β1}

Definizione• La funzione Φ(θ) è definita funzione obiettivo

La distanza

di = yi– β0 – β1 xi

( ) ( )θ210

2 Φ=−−= ∑∑i

iii

i xyd ββ

yi =a+b xi

di yi β0 β1 xi

è misurata lungo la verticale perché è l’unica sorgente di deviazioni dal valore vero

Questa distanza è funzione solo delle incognite a e b

di

xi

20

Stima dei parametriCaso dipendenza lineare

Metodo dei minimi quadrati

Gauss:

• La retta deve essere determinata dai punti sperimentali in modo tale che la somma dei quadrati delle distanze di questi punti dalla linea retta sia minima, dove la distanza è misurata nella direzione verticale.

Stima dei parametri Caso dipendenza lineareMetodo dei minimi quadrati

• La somma di tutte le distanze tra le prove sperimentali e la retta di equazione canonica generica y= β0+β1x può essere scritta nella forma:

• Dove θ è il vettore dei parametri ignoti {β0, β1}

DefinizioneLa funzione Φ(θ) è definita funzione obiettivo

( ) ( )θ210

2 Φ=−−= ∑∑i

iii

i xyd ββ

• La funzione Φ(θ) è definita funzione obiettivo

21

Stima dei parametri - Caso dipendenza lineare - Metodo dei minimi quadrati

• I valori θ che mi minimizzano la funzione Φ(θ) sono la migliore stima dei parametri per la regressione lineare

• Una determinazione puntuale dei parametri passa sempre per la ricerca dei minimi (o dei massimi) di una funzione obiettivo.

• L’operazioni di determinazione dei valori che mi minimizzano (o massimizzano) una funzione obiettivo è detta ottimizzazione

Stima dei parametri - Caso dipendenza lineare - Metodo dei minimi quadrati

• nel caso della regressione lineare, è possibile ottenere una soluzione analitica dei coefficienti β0 e β1 per cui la funzione obiettivo è minima

• Data la funzione obiettivo:

• Si può facilmente verificare che la funzione di β0 e β1 è un paraboloide e quindi ammette una (ed una sola) coppia di valori

( ) ( ) ( )∑ −−=Φ=Φi

ii xy 21010 ,θ ββββ

paraboloide e quindi ammette una (ed una sola) coppia di valori minima.

22

Stima dei parametri - Caso dipendenza lineare - Metodo dei minimi quadrati

• Il minimo della funzione obiettivo è ricercato tramite gli zeri delle derivate:delle derivate:

( ) ( )

( ) ( ) 0,

0,

210

110

1

210

010

0

=−−∂∂

=Φ∂∂

=−−∂

∂=Φ

∂∂

∑

∑

iii

iii

xy

xy

βββ

βββ

βββ

βββ

• I valori di β0 e β1 che annullano il sistema di equazioni lineari sono delle stime puntuali dei valori veri della regressione lineare.

Stima dei parametriCaso dipendenza lineare - Metodo dei minimi

quadrati• Derivando la funzione rispetto ai parametri

∂

• Con semplici passaggi si ottiene:

( ) ( )

( ) ( ) 02,

02,

10101

10100

=−−−=Φ∂∂

=−−−=Φ∂

∂

∑

∑

iiii

iii

xxy

xy

βββββ

βββββ

NN

∑

• Il sistema di equazioni precedenti è un sistema di equazioni lineari.

i

N

ii

N

ii

N

ii

ii

ii

xyxx

yxN

∑∑∑

∑∑

===

==

=+

=+

11

21

10

1110

ββ

ββ

23

Stima dei parametri – Caso dipendenza lineare – Metodo dei Minimi Quadrati

• Le due equazioni lineari sono talvolta chiamate equazioni normalie possono essere facilmente risolte per le costanti β0 e β1

d

xy 10 ββ −=2

11

2

1111 1

1

`⎟⎠⎞⎜

⎝⎛−

−=

∑∑

∑∑∑

==

===

N

ii

N

ii

N

ii

N

ii

N

iii

xN

x

yxN

xyβ

dove:

N

yy

N

ii∑

== 1

N

xx

N

ii∑

== 1

Le formule danno le miglioristime possibili per icoefficienti β0 e β1

Stima dei parametri - Caso dipendenza lineare - Metodo dei minimi quadrati

• Si definisce la somma corretta dei quadrati delle xN

• E la somma corretta dei prodotto x ed y

( )∑=

−=i

ixx xxS1

2

( )( ) ( )∑∑==

−=−−=N

iii

N

iiixy xxyyyxxS

11

• Con qualche passaggio si ottiene la formula equivalente:

( )

( )∑

∑

=

=

−

−== N

ii

N

iii

xx

xy

xx

xxy

SS

1

2

11 v

v

β

24

Stima di parametri in modelli fisiciMetodo dei Minimi Quadrati: Modelli lineari

• I valori determinati e sono delle combinazioni lineari delle variabili aleatorie yi

0β̂ 1̂β

• Sono pertanto anche esse delle variabili aleatorie.• Se si ripetono n esperimenti nelle stesse condizioni operative dei

precedenti esperimenti otterremo dei valori differenti per le stime di e

• Le stime dei parametri che tipo di variabili aleatorie sono? Sono delle variabili aleatorie indipendenti?

0β̂ 1̂β

• Le proprietà degli stimatori introdotti con il metodo dei Minimi Quadrati saranno discusse nel seguito

Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori

• È possibile determinare il valore atteso delle variabili aleatorie relative a β0 e β1.0 1

• Consideriamo dapprima la variabile aleatoria relativa a β1

• Possiamo scrivere:

• Dove ci è uguale a:

∑==i

iiXX

XY YcSS

1̂β

l è l ( )

XX

ii S

xxc −=

Tale termine è completamente deterministico in quanto funzione delle sole condizioni sperimentali xi (che si suppone siano note con

precisione assoluta)

25

Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori

• È possibile quindi calcolare il valore atteso dello stimatore:

• Passaggio 1

( ) ( )

( ) ∑ ∑∑

∑∑+=+

=⎟⎠

⎞⎜⎝

⎛=

i iiii

iii

iii

iii

xccxEc

YEcYcEE

1010

1̂

ββββ

β

Questo termine sarà valutato nel passaggio 2

Questo termine sarà valutato nel passaggio 3

Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori

• Passaggio 2( ) ( )∑∑∑ −i xx 01

• Passaggio 3

( )( ) ( )

( )∑∑∑ ∑∑ =−−

=−

=i

i

iii

ii

i

ii xx

xxxxc 022

( ) ( )( )1=

−−=

−=

∑∑∑

XX

iii

i XX

iii

ii S

xxxx

Sxxxxc

• In maniera analoga si dimostra che anche β0 è uno stimatore imparziale

( ) 11̂ ββ =E Lo stimatore β1 è imparziale

26

Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori

• Parzialità stimatore varianza• Si può dimostrare che:p

• Lo stimatore varianza è parziale. Uno stimatore imparziale è:

( )( )

2

2

102 2

ˆˆˆ σ

ββσ

nn

n

xyEE i

ii −=

⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜

⎝

⎛ −−=

∑

( )2

ˆˆ 2

102

−

−−=

∑n

xys i

ii ββ

Criterio della Massima VerosimiglianzaModelli lineari – Varianza stimatori

• Dato che e sono delle variabili aleatorie è possibile calcolare per esse la varianza.

0β̂ 1̂βp

• Per β1 è possibile scrivere:

• Dove∑

=

=n

iiiYc

11̂β

( )ii S

xxc −=

• È possibile scrivere per la varianza di :

xxS

( ) ( )∑∑==

=⎟⎠

⎞⎜⎝

⎛=

n

iii

n

iii YVcYcVV

1

2

!

β̂

27

Criterio della Massima VerosimiglianzaModelli lineari – Varianza stimatori

• Se si suppone per ciascuna yi la stessa varianza:

⎟⎞

⎜⎛

( ) ( )

( )

( )n

i

n

i n

ii

in

ii

Sxx

xx

xxcV

22

2

12

1

2

22

1

221

σ1

σσˆ

=−⎞⎛

=

⎟⎟⎟⎟⎟

⎠

⎞

⎜⎜⎜⎜⎜

⎝

⎛

⎟⎠

⎞⎜⎝

⎛−

−==

∑

∑∑

∑=

=

=

β

• Domanda: come è possibile ridurre la varianza dello stimatore(ovvero, ottenere una stima più precisa)?

( )( )

xxiin

ii

Sxx

12

1

2 ⎟⎠

⎞⎜⎝

⎛−

∑∑ =

=

Criterio della Massima VerosimiglianzaModelli lineari – Varianza stimatori

• Considerazioni analoghe possono essere fatte per la variabile aleatoria β0:

• Come è possibile ridurre l’incertezza nella stima della variabile ?

( )xxS

xn

V222

0σσˆ +=β

0β̂

28

Criterio della Massima VerosimiglianzaModelli lineari – Proprietà stimatori

• Per quanto riguarda la covarianza si può dimostrare che:

• la covarianza può essere negativa. Le varianze non possono, ovviamente, essere negative. La matrice di covarianza deve essere definita positiva.

XXSx

2

12σσ −=

• Va notato che tutte le varianze contengono il valore vero della varianza sperimentale. Per arrivare a stime bisogna sostituire la stima di tale varianza.

Metodo dei Minimi Quadrati – Leggepolinomiale

• Spesso accade che una variabiley sia esprimibile come una leggepolinomiale di una seconda variabile x

• Per esempio, ci aspettiamo che l’altezza y di un corpo che cadesia una funzione quadratica del tempo

nnxxxy ββββ ++++= ...2

210

200 2

1 gttvyy −+=

• dove y0 e v0 sono l’altezza e la velocità iniziali e g è l’accelerazionedi gravità

2

29

Metodo dei Minimi Quadrati – Legge polinomiale

• Per semplicità di trattazione ci limitiamo a considerare solo ild l d dcaso di una legge di tipo quadratico:

• Anche in questo caso è possibile determinare i valori di β0, β1e β2 che rendano minima la somma delle distanze tra i valoriosservati yi ed i valori predetti dal modello β0+β1xi

2210 xxy βββ ++=

( ) ( )∑=

−−−=ΦN

iiii xxy

1

22210210 ,, ββββββ

Metodo dei Minimi Quadrati – Legge polinomiale

• Differenziando la funzione obiettivo rispetto ai parametri A, B e C si perviene al seguente sistema di equazioni lineari che puòessere risolto sfruttando i metodi tradizionali (esempio: metododi Cramer)

∑∑∑∑∑∑∑∑∑∑∑

=++

=++

=++

iii

ii

ii

ii

iii

ii

ii

ii

ii

ii

ii

yxxxx

yxxxx

yxxN

242

21

20

32

210

2210

βββ

βββ

βββ

• Il problema può essere generalizzato per una legge polinomialequalunque (anche se i calcoli diventano sempre più complicatiall’aumentare dell’ordine)

30

Metodo dei Minimi Quadrati – Dipendenza lineare dai parametri

• In presenza di una dipendenza lineare dai parametri è possibile considerare qualunque dipendenza non lineare dalle variabili

• Esempio:

• è una legge lineare in z1=sinx e z2 = cosx• Può essere pertanto risolta con una procedura assolutamente

analoga al caso precedente

xBxAy cossin +=

Metodo dei Minimi Quadrati –Linearizzazione: Funzione esponenziale

• Una delle più importanti funzioni nella fisica è la funzione i lesponenziale

• Dove A e B sono delle costanti.• Parecchi problemi fisici sono descritti da questo semplice

modello, che è chiaramente non lineare nei parametri• L’applicazione diretta della formula per la ricerca del minimo

BxAey =

della funzione obiettivo non ammette soluzione analitica:

( ) ( )∑ −=Φi

Bxi

iAeyBA2

,

31

Metodo dei Minimi Quadrati –Linearizzazione: Funzione esponenziale

• È comunque possibile trasformare la relazione lineare tra yed xin una relazione lineare, per la quale è quindi possibile applicare la regressione lineare:

• Per ottenere la “linearizzazione” si fa semplicemente il logaritmo della dipendenza

• Si ricade quindi in un problema che può essere trattato con la classica regressione lineare

ii BxAy += lnln

class ca regress one l neare

BxAzy ii +== lnln

Metodo dei Minimi Quadrati –Linearizzazione: Funzione esponenziale

• La linearizzazione attrae per la sua semplicità ed è usato frequentemente.

• Tuttavia, il metodo non è del tutto legittimo da un punto di vista rigoroso.

• La derivazione del metodo era basata sull’ipotesi che i valori misurati y1,…, yNerano tutti ugualmente incerti.

• Ora stiamo ottenendo la regressione usando la variabile z=ln(y). Se i valori misurati yi sono tutti ugualmente incerti, i valori di zicorrispondenti non lo sonop

32

• La trasformazione altera l’errore e questo fatto ha delle

Metodo dei Minimi Quadrati –Linearizzazione: Funzione esponenziale

conseguenze

Log(r)

• L’errore si amplifica per r piccoli e si riduce per r grandi.

r

Metodo dei Minimi Quadrati –Linearizzazione

• È possibile considerare differenti linearizzazioni per differenti modelli

• etc.I i i i di i hi i h l d è

xx

B

AeByAeB

y

xBAyAxyAxA

ByXB

Axy

−−

+=⇒+

=

+=⇒=

+=⇒+

=

11lnlnln

111

• In tutti i casi non dimentichiamoci che la procedura non è perfettamente rigorosa

33

Metodo dei Minimi quadrati: Regressione Multipla

• Fin qui abbiamo discusso soltanto osservazioni di due variabili x ed y e la loro relazione.

• In molti problemi reali ci sono più di due variabili che devono essere presi in considerazione. Per esempio nello studiare la pressione P di un gas, si trova che essa dipende dal volume V e dalla temperatura T e si deve analizzare P come una funzione di V e T

• L’esempio più semplice di dipendenza da più variabili è il seguente:

( ) yxyxfz 210, θθθ ++==

Metodo dei Minimi quadrati: Regressione Multipla

• In maniera analoga al caso della regressione polinomiale, la ricerca dei parametri A, B e C passa per la risoluzione di un sistema di equazioni lineari

∑∑∑∑∑∑∑∑∑∑∑

=++

=++

=++

iii

ii

iii

ii

iii

iii

ii

ii

ii

ii

ii

zyyyxy

zxyxxx

zyxN

2210

22

10

210

θθθ

θθθ

θθθ