Normal multivariada 2013 - Professor Franciscoprofessorjf.webs.com/Normal multivariada 2013.pdf ·...
-
Upload
truonghanh -
Category
Documents
-
view
221 -
download
0
Transcript of Normal multivariada 2013 - Professor Franciscoprofessorjf.webs.com/Normal multivariada 2013.pdf ·...
Normal MultivariadaFunção densidade conjunta e contorno de
probabilidade
Prof. José Francisco Moreira [email protected]
Estatística Multivariada
Distribuição normal univariada
( )2
2
1
2
1
−⋅−⋅= σ
µ
σπ
x
exf
( )2,~ σµNXX tem distribuição
Normal com média µ e variância σ2
A função densidade f(x) ésimétrica em torno da média µ da distribuição e possui a
forma de um sino
x
f(x)
µ x
f(x)
µ
A função densidade da normal é totalmente caracterizada por dois parâmetros:a média: E(x) = µµµµa variância: Var(x) = σσσσ2
Seja x uma variável aleatória normalmente distribuída com média µ e desvio-padrão σσσσ
( )2
2
1
22
1
−−= σ
µ
πσ
x
exf
Distribuição normal univariada
x ~ N(µ,σ2)
( )( ) ( )
( )( ) ( )µσµ
σπ
−−−−
⋅=
xxexf
12
2
1
2/12212
1
Função densidade de probabilidade
Quadrado da distância entre x e a média µ em unidades de desvios padrão Número de desvios padrão entre x e a média
( )( ) ( )µ−σµ−=
σµ− −
xxx 12
2
Substituindo em f(x) tem-se:
( ) ( ) 212212 22 σππσ ⋅=
Distribuição conjunta de p normais independentes
( ) piexf i
iix
i
i ,1 2
12
21
2=∀
πσ=
σµ−−
Densidade conjunta
variáveis aleatórias independentes( ) ,piNx iii 1 ,~ 2 =∀σµ
Densidadesmarginais
( ) ∏=
σµ−−
πσ=
p
i
x
i
pi
ii
exxf1
21
21
2
2
1,...,
( )( )
∑
σσσπ= =
σµ−−
p
i i
iix
p
pp exxf 1
2
21
222
212
1
2
1,...,
K
Distribuição conjunta de p normais independentes
( )( )
∑
σσσπ= =
σµ−−
p
i i
iix
p
pp exxf 1
2
21
222
21
2
1
2
1,...,
K
Σ=
σ
σσ
=σσσ
2
22
21
222
21
00
00
00
det
p
p
K
MOM
K
K
( )
µ−
µ−µ−
σ
σ
σ
µ−µ−µ−=
σµ−∑
=
pp
p
pp
p
i i
ii
x
x
x
xxxx
M
L
MOM
L
K22
11
2
22
21
22111
2
100
010
001
( ) ( ) ( )µ−Σµ−=
µ−
µ−µ−
σ
σσ
µ−µ−µ−=
σµ− −
−
=∑ XX
x
x
x
xxxx T
ppp
pp
p
i i
ii 122
11
1
2
22
21
22111
2
00
00
00
M
L
MOM
L
K
Distribuição conjunta de p normais independentes
( ) ( )( )
( ) ( )µµ
π
−Σ−− −
Σ==
XX
pp
T
eXfxxf1
2
1
2
1
2
1
2
1,,K
=
px
x
X M
1
( )
==
p
XE
µ
µµ M
1
σ
σσ
=Σ
2
22
21
00
00
00
pL
MOM
L
Matriz de covariâncias diagonal, pois as p variáveis aleatórias são independentes
Densidade conjunta
Distribuição normal multivariada
Função densidade de probabilidade de X ~ Np(µ ,Σ)
( ) ( )( )
( ) ( ) ( )µµ
π−Σ−− −
Σ==
XX
pp
T
exxfXf1
2
1
2/1212
1,...,
=
ppp
p
p
p
p
N
x
x
X
σσ
σσ
µ
µ
L
MOM
L
MM
1
11111
,~
Normal p variada (p variáveis aleatórias)
( )Σ,~ µpNX
Distância de Mahalanobis
A distribuição normal multivariada é uma generalizaç ão da normal univariada
Vetor de médias
Matriz de covariâncias
A função densidade da normal multivariada é
caracterizada pelo vetor de médias e pela matriz
de covariância
Distância de Mahalanobis
( ) ( ) ( )µxΣµx T −− −1
1xppxp
px1
Exemplo: Normal bivariada (p=2)
x1 = peso kgx2 = altura cm
=
2
1
x
xX
=175
70µ
=Σ169
925( )
−−
−−
−
175
70
169
92517570
2
1
1
21 x
xxx
( )( )
⋅−−−
−+
−
⋅− 1625
170702
16
175
25
70
16259
1
1 2112
2
2
2
12
xxxx ρ
( ) ( ) ( )µxΣµx T −− −1
Quadrado da distância generalizada entre X e a média µ
Encontra-se no expoente da função densidade da normal
Prasanta Chandra Mahalanobis1893 - 1972
Normal bivariada
=
2212
1211
2
12
2
1 ,~σσσσ
µµ
Nx
xXNormal bivariada ( p = 2 )
µµ
=µ2x
1x
σσσσ
=Σ2212
1211
Parâmetros da distribuição normal bivariada
Vetor de médias Matriz de covariâncias
( ) ( )( ) ( ) ( )µµ
π−Σ−− −
Σ=
xx
p
T
eXf1
2
1
2/12/2
1Obtenha a densidade conjunta
22111212
2211
1212 σσρ=σ⇒
σσσ=ρ
σσσρσσρσ
=
σσσσ
=Σ22221112
22111211
2212
1211
( )21222112211
2122211
22221112
22111211 1 ρσσσσρσσσσσρ
σσρσ−⋅=⋅−==Σ
Matriz de covariâncias em função das variâncias e do coeficiente de correlação linear
ρ12 = coeficiente de correlação entre x1 e x2
Normal bivariada
Determinante da matriz de covariâncias = variância generalizada
( ) ( )( ) ( ) ( )µµ
π−Σ−− −
Σ=
XX
p
T
eXf1
2
1
2/12/2
1
( )
σσσρ−σσρ−σ
Σ=Σ−
11221112
221112221
det1
( )
σσσρ−σσρ−σ
ρ−σσ=Σ−
11221112
221112222122211
1
11
( )
σσσρ−
σσρ−
σρ−
=Σ−
222211
12
2211
12
11212
1
1
1
11
Normal bivariada
Inversa da matriz de covariâncias
=Σ
22221112
22111211
σσσρσσρσ
( ) ( )2122211 1det ρσσ −⋅=Σ
( ) ( ) ( ) ( )
−−
⋅
−⋅−−
− =−−22
11
222211
12
2211
12
11212
2211 1
1
1
11
µµ
σσσρ
σσρ
σρ
µµx
xxx
TµXΣµX
( ) ( ) ( ) ( )( )
−−−
−+
−−
=−Σ− −
2211
221112
2
22
22
2
11
11212
1 21
1
σσµµρ
σµ
σµ
ρµµ xxxx
xx T
Normal bivariada
( ) ( )( ) ( ) ( )µµ
π−Σ−− −
Σ=
XX
p
T
eXf1
2
1
2/12/2
1
Forma quadrática
( ) ( )µµ −Σ− − XX T 1
O expoente da densidade normal multivariada é o quadrado da distância generalizada ou distância de Mahalanobis:
X
x1
x2
µ1
µ2 µDistância entre X e µ ( ) ( )
( )
( ) ( )µµ
µµ
µµ
µµ
−−
=
−−
−−
=−+−
XX
x
xxx
xx
T
22
112211
222
211
Quadrado da distância euclidiana
Quadrado da distância de Mahalanobis
Normal bivariada
( ) ( )( ) ( ) ( )µµ
π−Σ−− −
Σ=
xx
p
T
eXf1
2
1
2/12/2
1
Compare a expressão acima com o quadrado da distância euclidiana
( ) =
−−
⋅
−⋅−−
22
11
222211
12
2211
12
11212
2211 1
1
1
1
µµ
σσσρ
σσρ
σρ
µµx
xxx
( )( )
σσµ−µ−ρ−
σµ−+
σµ−
ρ− 2211
221112
2
22
22
2
11
11212
21
1 xxxx
( ) ( ) =−Σ− − µµ XX T 1
Normal bivariada
Cálculo da distância de Mahalanobis
Distância de Mahalanobis ⇒ Soma de parcelas adimensionais
( ) ( )( )( )
−−−
−+
−−
⋅−
−= 2211
221112
2
22
22
2
11
11212
21
1
2
1
2122211
2112
1,
σσµµρ
σµ
σµ
ρ
ρσσπ
xxxx
exxf
f(x1,x2)
x1
x2
µ1 µ2
Função densidade centrada no vetor média
=
2
1
µµ
µ
Normal bivariada
Função densidade de probabilidade da normal bivariada (p = 2)
( ) ( )2
2
1
2122211 12
1 CeXf
−
−=
ρσσπ
µ1 µ2
Valor da função densidade nos pontos que formam a elipse
Normal bivariada
( ) ( )( )( )
−−−
−+
−−
⋅−
−= 2211
221112
2
22
22
2
11
11212
21
1
2
1
2122211
2112
1,
σσµµρ
σµ
σµ
ρ
ρσσπ
xxxx
exxf
O lugar geométrico dos vetores X que satisfazem a igualdade acima é uma elipse centrada no vetor média e com eixos nas direções dos autovetores de Σ.
Função densidade
Fazendo o expoente da densidade normal multivariada igual a uma constante C2 tem-se a equação de uma elipse centrada na média:
( )( ) 2
2211
221112
2
22
22
2
11
11212
21
1C
xxxx =
−−−
−+
−− σσ
µµρσ
µσ
µρ
Normal bivariada
Eixos da elipse são
parelelos aos eixos das
variáveis
Eixos da elipse são
inclinados em relação
aos eixos das variáveis
Eixos da elipse são
inclinados em relação
aos eixos das variáveis
Propriedades da distribuição normal multivariada
Seja X um vetor aleatório com distribuição Np(µ,Σ)
Propriedade 1) Combinações lineares das componentes de X tem distribuição normal
( ) Xa
x
x
aaxaxay T
p
ppp =
=++= MKK
1
111( )aaaNy TT Σ ,~ µ
AX
x
x
aa
aa
y
y
Y
pqpq
p
q
=
=
= M
L
MOM
K
M
1
1
1111
( )Tq AANY ΣA ,~ µ
q combinações lineares de p variáveis aleatórias normalmente distribuidas
combinação linear de p variáveis aleatórias normalmente distribuidas
Propriedades da distribuição normal multivariada
Seja X um vetor aleatório com distribuição Np(µ,Σ)
Propriedade 2) Subconjuntos das componentes de X têm distribuição normal multivariada
( )
( )
=
=+ 2
1
1
1
X
X
x
x
x
x
X
p
q
q
M
M
( ) ( )( )( ) ( )( )2222
1111
,~
,~
Σ
Σ
− µµ
qp
q
NX
NX
( )
( )
=
=+ 2
1
1
1
µµ
µ
µµ
µ
µ
p
q
q
M
M
ΣΣΣΣ
=
=Σ
+
+++++
+
+
2221
1211
1,1
,11,1,11,1
,1,1
11,1111
ppqppqp
pqqqqqq
pqqqqqq
pqq
σσσσ
σσσσσσσσ
σσσσ
LL
MOMMOM
LL
LL
MOMMOM
LL
Propriedades da distribuição normal multivariada
Seja X um vetor aleatório com distribuição Np(µ,Σ)
Propriedade 3) Covariâncias nulas entre variáveis normalmente distribuidas indicam que são variáveis independentes
=Σ
22
11
0
0
σσ
x1 e x2 são independentes
Forma quadrática
( ) ( ) ( ) 21 CµXΣµX T =−− −
( ) ( )( ) ( ) ( )µµ
π−Σ−− −
Σ=
XX
p
T
eXf1
2
1
2/12/2
1
No caso geral, fazendo o expoente da função densidade igual a uma constante C2 tem-se a equação de um elipsóide centrado na média e com eixos nas direções dos autovetores da matriz de covariâncias Σ:
Elipsóide de vetor aleatório com distribuição normal trivariadaµµµµ
Forma quadrática
As direções dos eixos do elipsóide são definidas pelas direções dos autovetores da matriz de covariâncias Σ.
Os comprimentos dos semi-eixos do elipsóide são proporcionais aos autovalores da matriz de covariâncias Σ.
( ) ( ) 21 CXX T =−Σ− − µµ
p
peee
λλλ K
K
21
21⇒Σ
autovetores
autovalores
ji
≠∀=
=∀=
0
,11
jTi
iTi
ee
piee ( ) ptraço λλλ +++=Σ K21
Intervalo de probabilidade da normal univariada
( ) %9522 =+≤≤− σµσµ xP
95%
Seja x uma variável aleatória com distribuição normal com média µ e variância σ2, então
2,0σ2,0σ 2 desvios padrão em relação a média
Contorno de probabilidade
Seja X um vetor aleatório com distribuição normal multivariada, X ~ Np(µ,Σ).
( ) ( ) 21 ~ pT XX χµµ −Σ− −
Caso normal bivariada (p=2)
Neste caso,
x1 = peso kgx2 = altura cm
=
2
1
x
xX
=175
70µ
=Σ169
925
( )
−−
−−
−
175
70
169
92517570
2
1
1
21 x
xxx
( )( ) 22
2112
2
2
2
12 ~
1625
170702
16
175
25
70
16259
1
1 χρ
⋅−−−
−+
−
⋅−
xxxx
( ) ( ) ( )µxΣµx T −− −1
Função densidade da distribuição qui-quadrado
p=1p=2p=3p=4p=5
Contorno de probabilidade
define um elipsóide
No caso bivariado (p=2) a forma quadrática define uma elipse
( ) ( ) 21 CXX T =−Σ− − µµSabemos que
Que elipse contém 95% da probabilidade ?
Resposta:
( ) 99,5%522 =χ
95%
95%
( )( ) ( )%51625
170702
16
175
25
70
16259
1
1 22
2112
2
2
2
12 χρ ≤
⋅−−−
−+
−
⋅−
xxxx
( )( ) ( ) %95%51625
170702
16
175
25
70
16259
1
1 22
2112
2
2
2
12 =
≤
⋅−−−
−+
−
⋅−
χρ xxxxP
7070
175175
x1 x1
x2 x2
Contorno de probabilidade
Caso normal bivariada (p=2)
x1 = peso kgx2 = altura cm
=
2
1
x
xX
=175
70µ
=Σ169
925
( )
−−
−−
−
175
70
169
92517570
2
1
1
21 x
xxx
( )( ) 22
2112
2
2
2
12 ~
1625
170702
16
175
25
70
16259
1
1 χρ
⋅−−−
−+
−
⋅−
xxxx
( ) ( ) ( )µxΣµx T −− −1
( ) 99,5%522 =χ
( )( )99,5
1625
170702
16
175
25
70
16259
1
1 2112
2
2
2
12 ≤
⋅−−−
−+
−
⋅−
xxxx ρ
Equação do contorno de probabilidade
Contorno de probabilidade
( ) ( ) ( )[ ] ααχµµ −=≤−Σ− − 121p
T XXP
( ) ( ) ( )%21 αχµµ pT XX ≤−Σ− −
No caso geral, temos o contorno com probabilidade 1-α de uma distribuição multivariada
Elipsóide centrado na média e com eixos nas direções dos autovetoresda matriz de covariânciaO comprimento de cada semi-eixo do elipsóide é proporcional ao respectivo autovalor
Equação do contorno de probabilidade 1-α
Probabilidade do vetor aleatório pertencer ao contorno
Exemplo 1: Contorno de probabilidade
Considere a normal bivariada com médias µ1=0 e µ2=2, variâncias σ11=2 e σ22=1 e covariância σ12= . Desenhe o contorno de probabilidade de 50%.
22
=Σ
122
222
=
2
0µ
1) Calcule os autovalores de Σ( )
( )( ) 05,1302/1120122
222
0det
2 =+−⇒=−−−⇒=−
−
=−Σ
λλλλλ
λ
λI
634,0
366,2
2
1
==
λλ
( ) 39,1%5022 =χ
%50
2
==
αp
Exemplo 1: Contorno de probabilidade
=
⇒=Σ
21
11
21
11111 366,2
122
222e
e
e
eee λ
2) Calcule os autovetores de ΣAutovetor associado com λ1
Autovetor associado com λ2
=
⇒=Σ
22
12
22
12222 634,0
122
222e
e
e
eee λ
460,0
888,0
366,122
22366,0
21
11
2111
2111
==
⇒
==
e
e
ee
ee
888,0
460,0
366,022
22366,1
22
12
2212
2212
=−=
⇒
−=−=
e
e
ee
ee
Exemplo 1: Contorno de probabilidade
3) Desenhe o contorno de probabilidade
( ) 122 5,0 λ⋅χ
( ) 222 5,0 λ⋅χ
( ) 39,1%5022 =χ
634,0
366,2
2
1
==
λλ
x1
x2
=
2
0µ
=460,0
888,01e
−=
888,0
460,02e
Exemplo 1: Contorno de probabilidade
Calculando os autovalores e autovetores de Σ com o R:
1) Entrando com a matriz de covariância no R por coluna:sigma=matrix(c(2,sqrt(2)/2,sqrt(2)/2,1),nrow=2)
2) Calculando os autovalores e autovetores:m=eigen(sigma);lambda=m$values;e=m$vectors
> lambda[1] 2.3660254 0.6339746
> e[,1] [,2]
[1,] -0.8880738 0.4597008[2,] -0.4597008 -0.8880738
Cada coluna é um autovetor
λ1 λ2
e1 e2
Exemplo 1: Contorno de probabilidade
Desenhando o contorno com o R
1) Entrando com a matriz de covariância no R por coluna:sigma=matrix(c(2,sqrt(2)/2,sqrt(2)/2,1),nrow=2)
2) Desenhando o contorno de 50%plot(ellipse(sigma,centre=c(0,2),level=0.5,npoints=1000),type='l‘,asp=1)
ellipse = pacote obtido em http://pbil.univ-lyon1.fr/library/ellipse/centre = vetor com as coordenadas do centro da elipselevel = nível de probabilidadenpoints = número de pontostype = tipo do ponto
Exemplo 1: Contorno de probabilidade
Desenhando o contorno com o R
x1
x2
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 1000) para n = 10 carros usados,
0,300,700,451,051,000,300,701,001,902,30preço x2
111098777553idade x1
10987654321carro
a) Desenhe o contorno de probabilidade de 50% e conte quantas observações estão no interior do contorno.
b) Os dados são provenientes de uma distribuição normal bivariada?
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 1000) para n = 10 carros usados,
a) Desenhe o contorno de probabilidade de 50% e conte quantas observações estão no interior do contorno.
2 4 6 8 10 12
0.0
0.5
1.0
1.5
2.0
2.5
3.0
x1
x2
#monta matriz de dadosx1<-c(3,5,5,7,7,7,8,9,10,11)x2<-c(2.30,1.90,1.00,0.70,0.30,1.00,1.05,0.45,0.70,0.30)X<-cbind(x1,x2)# calcula vetor mediamu=apply(X,2,mean)# calcula matriz de covariânciassigma=var(X)# desenha o contorno de 50%plot(ellipse(sigma,centre=mu,level=0.5,npoints=1000 ),type='l',xlim=c(1,12),ylim=c(0,3))points(X)
Apenas 4 pontos no interior do contorno
de 50%
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 1000) para n = 10 carros usados,
Não precisa desenhar o contorno para saber quantas observações estão no seu interior, pois estes pontos devem satisfazer a seguinte desigualdade:
a) Desenhe o contorno de probabilidade de 50% e conte quantas observações estão no interior do contorno.
( ) ( ) ( )αχµµ 21p
T XX ≤−Σ− −
Neste caso p=2 e α=50%, logo o qui-quadrado tabelado é1,39.
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 1000) para n = 10 carros usados,
a) Desenhe o contorno de probabilidade de 50% e conte quantas observações estão no interior do contorno.
Programa Rsinv=solve(sigma)for (i in 1:10){
aux=X[i,]-mud[i]=t(aux)%*%sinv%*%aux
}round(d,2)
4.06 2.11 2.11 0.64 3.27 0.01 0.52 0.65 2.06 2.59
Em 4 observações d<1.39, logo há 4 observações no interior do contorno de 50%
Exemplo 2: Contorno de probabilidade
A tabela abaixo mostra a idade (anos) e o preço de venda (US$ 1000) para n = 10 carros usados,
b) Os dados são provenientes de uma distribuição normal bivariada?
Dado o pequeno número de observações da amostra (n=10) édifícil rejeitar a hipótese de normalidade bivaridada
Bibliografia
Johnson, R.A. & Wichern, D.W. AppliedMultivariate Statistical Analysis. 5 ed., Prentice-Hall.