Post on 27-Oct-2015
20/10/2011 1
Normalidad de los errores
Fortino Vela Peón
Universidad Autónoma Metropolitanafvela@correo.xoc.uam.mx
Octubre, 2010México, D. F.
20/10/2011 2
Introducción
uXβy +=
),0( 2σNui ≈
iii uxy ++= 21 ββ ,o bien,
donde
,o bien, ),( 2I0u σN≈
� Uno de los supuestos básicos del modelo de regresión lineal clásico es el que los errores tengan distribución normal, esto es:
� Con el cumplimiento del supuesto de normalidad se tiene la justificación teórica para la utilización de pruebas estadísticas que involucren a las distribuciones t, F y χχχχ2 (de uso muy común en la parte inferencial del modelo).
� No obstante, el supuesto de normalidad puede no ser tan crucial cuando se emplean muestras grandes.
20/10/2011 3
� Una propiedad de la distribución normal es que cualquier función lineal de variables normalmente distribuidas estará también normalmente distribuidas.
� Dado que los estimadores de MCO, y , son funciones lineales de entonces también siguen una distribución normal.
1̂β
),(ˆ 2ˆiii N βσββ ≈
2β̂iu
� De esta manera, si se trabaja con muestras de menos de 100 observaciones resulta crucial el verificar si los errores cumplen, de manera aproximada, una distribución normal.
20/10/2011 4
La prueba Jarque-Bera (JB)
� La literatura referente a probar la normalidad es vasta (veáse White y MacDonald, 1980).
� La prueba Jarque-Bera (1987) es una prueba que considera los siguientes elementos para probar la normalidad de los errores de un modelo de regresión lineal.
Sea uXβy += donde [ ] 0=uE [ ] 2σuu' =E
Si se encuentra normalmente distribuido, entonces
u
[ ] 033 == tuEµ
[ ] 444 3σµ == tuE
La prueba JB toma este principio: “que tanto se desvían los coeficientes de asimetría y curtosis”
20/10/2011 5
� Las medidas convencionales de asimetría (A) y curtósis(K) están dadas, respectivamente*, por:
33
1 σµ=b 4
42 σ
µ=b
� La notación y es tradicional en estadística y no debe confundirse con los estimadores del modelo.
1b
∑=
=T
t
iti u
T 1
1µ̂ donde i=2,3,4
�Los momentos señalados, y , se
pueden estimar a partir de los residuales de MCO considerando que:
2b
Ab =1 Kb =2
20/10/2011 6
� Así, el coeficiente de asimetría (A) es el tercer momento respecto a la media.
� Mide el grado de simetría de la distribución de probabilidad (que tan equilibrada o balanceada se encuentra).
� Si el coeficiente es mayor a cero, la distribución es sesgada a la derecha, y en consecuencia presenta mayor número de observaciones a la izquierda.
23
1
2
1
3
=
∑
∑
=
=
nu
nuA
T
tt
T
tt
…(1)
20/10/2011 7
� Por su parte, el coeficiente de curtosis (K) es el cuarto momento respecto a la media.
� Mide el grado de “picudez” o “apuntamiento” de la distribución de probabilidad (que tan concentrada se encuentra).
� Cuando el coeficiente es centrado, si esté es diferente a tres (mesocúrtica), la distribución muestra problemas. Platicúrtica si b2>3 o leptocúrtica si b2<3.
2
1
2
1
4
=
∑
∑
=
=
nu
nuK
T
t
T
tt
t
…(2)
� Las formulaciones (1) y (2) son las más utilizadas por los diferentes paquetes estadísticos.
20/10/2011 8
� Bajo la hipótesis nula de que los errores se encuentran
distribuidos normalmente, el estadístico JB se distribuye
asintóticamente como una , siendo igual a2
)2(χ
−
+
=∑
∑
∑
∑
=
=
=
=
24
3
6
2
2
1
2
1
4
2
23
1
2
1
3
nu
nu
u
nu
TJB
T
tt
T
tt
T
tt
T
tt
( )
−+=24
36
22KA
TJB
20/10/2011 9
� Este estadístico tiende a ser grande si A o K o ambos
son significativamente diferentes de 0.
� Note que bajo Ho tanto A como K son cero.
20/10/2011 10
� Considerando la información sobre ventas y publicidad de una empresa determinada, verifique si los residuales resultantes del modelo siguen aproximadamente una distribución normal. Aplique la prueba Jarque-Bera.
Ejemplo
id Y X residual (u) u2 u3 u41 69 9 6.00 36.00 216.00 1296.002 76 12 3.25 10.56 34.33 111.573 52 6 -1.25 1.56 -1.95 2.444 56 10 -10.25 105.06 -1076.89 11038.135 57 9 -6.00 36.00 -216.00 1296.006 77 10 10.75 115.56 1242.30 13354.697 58 7 1.50 2.25 3.38 5.068 55 8 -4.75 22.56 -107.17 509.079 67 12 -5.75 33.06 -190.11 1093.13
10 53 6 -0.25 0.06 -0.02 0.0011 72 11 2.50 6.25 15.63 39.0612 64 8 4.25 18.06 76.77 326.25
Total 0.00 387.00 -3.75 29071.41
20/10/2011 11
� Retomando (1) y (2) para los datos de este ejemplo se tiene:
id Y X residual (u) u2 u3 u41 69 9 6.00 36.00 216.00 1296.002 76 12 3.25 10.56 34.33 111.573 52 6 -1.25 1.56 -1.95 2.444 56 10 -10.25 105.06 -1076.89 11038.135 57 9 -6.00 36.00 -216.00 1296.006 77 10 10.75 115.56 1242.30 13354.697 58 7 1.50 2.25 3.38 5.068 55 8 -4.75 22.56 -107.17 509.079 67 12 -5.75 33.06 -190.11 1093.13
10 53 6 -0.25 0.06 -0.02 0.0011 72 11 2.50 6.25 15.63 39.0612 64 8 4.25 18.06 76.77 326.25
Total 0.00 387.00 -3.75 29071.41
( )-.0017063
12/387
12/75.32
3 =−=A ( ) 2.3292912/387
12/41.290712 ==K
20/10/2011 12
� Construyendo el estadístico de prueba Jarque-Bera (JB) se tiene
( )-.0017063
12/387
12/75.32
3 =−=A ( ) 2.3292912/387
12/41.290712 ==K
( ).018749650
24332929.2
6)0017063.0(
1222
=
−+−=JB
( )
−+=24
36
22KA
TJB
5.99205.0),2( =χEl valor de tablas es
� No se rechaza Ho, los errores del modelo se distribuyen aprox. normal
5.9901874965.0 <∴
20/10/2011 13
� En Stata se pueden encontrar los coeficientes A y K.reg y xpredict residual, residsum residual, d
Residuals
--------------------------------------------------- ----------
Percentiles Smallest
1% -10.25 -10.25
5% -10.25 -6
10% -6 -5.75 Obs 12
25% -5.25 -4.75 Sum of Wgt. 12
50% .625 Mean 0
Largest Std. Dev. 5.931426
75% 3.75 3.25
90% 6 4.25 Variance 35.18 182
95% 10.75 6 Skewness -.001 7063
99% 10.75 10.75 Kurtosis 2.329 3
La prueba JB en Stata
20/10/2011 14
� A continuación se elabora el estadístico de prueba JB
return listscalar JB= (r(N)/6) *((r(skewness)^2)+((r(kurtosis)-3)^2)/4)di "JB" = JBJB.22492532
� No se rechaza Ho, los errores del modelo se distribuyen aprox. normal
20/10/2011 15
� El histograma de los residuales es quizás el método
gráfico más ampliamente usado para verificar la
normalidad del término de error.
� En Stata el comando histogram es seguido por la
variable sobre la cual se construirá el
� La opción normal agrega una curva de densidad normal
al gráfico.
Pruebas gráficas: histograma
0.0
2.0
4.0
6.0
8D
ensi
ty
-10 -5 0 5 10Residuals
20/10/2011 16
� El gráfico de probabilidad-probabilidad (P-P plot o gráfica porcentual) compara una función de distribución acumulada empírica con una función de distribución teórica (e.g., la función de distribución normal estándar).
� El comando pnorm produces un gráfico P-P estandarizado normal.
� La forma de interpretar este gráfico es la siguiente: si los puntos se aproximan al comportamiento lineal señalado en el gráfico, se puede considerar que la función empírica de la distribución acumulada es similar a la teórica, y por tanto se comporta “normalmente”. Si los puntos se alejan a la línea recta, la variable se aleja de una distribución normal.
Otras pruebas gráficas: probabilidad-probabilidad (P-P) y cuantil-cuantil (Q-Q)
20/10/2011 17
� En el gráfico P-P que ofrece Stata la distribución acumulada de la variable empírica se ubica sobre el eje x mientras que la distribución acumulada teórica normal sobre el eje y.
0.00
0.25
0.50
0.75
1.00
Nor
mal
F[(
resi
dual
-m)/
s]
0.00 0.25 0.50 0.75 1.00Empirical P[i] = i/(N+1)
20/10/2011 18
� Similarmente, la gráfica cuantil-cuantil (Q-Q plot)
compara los valores ordenados de una variable con los
cuantiles de una distribución teórica especifica (i.e., la
distribución normal).
� Si las dos distribuciones son consistentes, los puntos
sobre la gráfica asumen un patrón lineal que pasa a
através del origen con una recta de pendiente unitaria.
� Las gráficas P-P y Q-Q se emplean para determinar
visualmente que tan bien se ajustan los datos empíricos
al comportamiento de una distribución teórica.
20/10/2011 19
-10
-50
510
Res
idua
ls
-10 -5 0 5 10Inverse Normal
� La instrucción en Stata es qnorm .
20/10/2011 20
� La prueba sktest (Skewness-Kurtosis) que realiza Statasigue los mismos principios que la prueba JB. Para su correcta aplicación se requiere un mínimo de 8 observaciones.
� Auque utiliza a los coeficientes de asimetría y curtosis, sktest presenta una prueba de normalidad basada en la asimetría y otra sustentada en la curtosis. Finalmente combina las dos pruebas en un estadístico resumen.
� La opción noadjust suprime el ajuste propuesto por Royston (1991).
Pruebas formales de normalidad en Stata
sktest residual
Skewness/Kurtosis tests for Normality------- joint ------
Variable | Obs Pr(Skewness) Pr(Kurtosis) c hi2(2) Prob>chi2-------------+------------------------------------- --------------------------
residual | 12 0.9974 0.9250 0.01 0.9956
20/10/2011 21
� Stata tiene incorporadas además las pruebas Shapiro-Wilk (swilk) y Shapiro-Francia (sfrancia).
� swilk puede utilizarse cuando 4 ≤ n ≤ 2000 observaciones, y sfrancia si 5 ≤ n ≤ 5000 observaciones.
� En este sentido, la prueba sktest es la que puede realizarse con más observaciones.
Otras pruebas de normalidad en Stata
Shapiro-Wilk W test for normal data
Variable | Obs W V z Prob >z-------------+------------------------------------- -------------
residual | 12 0.98286 0.286 -2.437 0.99259
Shapiro-Francia W' test for normal data
Variable | Obs W' V' z Prob >z-------------+------------------------------------- -------------
residual | 12 0.98218 0.332 -1.745 0.95952
20/10/2011 22
� De no verificarse el supuesto de normalidad de los errores, los estimadores continúan siendo insesgados.
� No obstante de no cumplirse la inferencia estadística derivada del modelo puede no ser valida.
� Conforme aumente el tamaño de la muestra los errores(y los estimadores de MCO) tienden a una distribución normal.
� Por lo tanto, bajo muestras grandes la inferencia estadística del modelo puede ser valida. Con muestras reducidas es altamente recomendable verificar el supuesto.
Conclusiones
20/10/2011 23
� Gujarati, D. y D. Porter (2010). Econometría, 5ª. Ed., Mac Graw Hill, México, cap. 4.
� Jarque, Carlos M. y A. K. Bera (1987). “A Test forNormality of Observations and Regression Residuals”, International Statistics Review, Vol. 55, pp. 163-177.
� Judge, George et. al. (1988). Introducction to Theory and Practice of Econometrics, John Wiley & Sons, EstadosUnidos, pp. 890-892.
� Vogelvang, Ben (2005). Econometrics. Theory an Applications with EViews, Addison-Wesley, Malaysia, pp. 116-119.
� White H. y G. M. MacDonald (1980). “Some Large-Sample Test for Non-normality in Linear RegressionModel”, Journal of American Statistical Association, Vol. 75, pp. 16-28.
Referencias