20/10/2011 1

Normalidad de los errores

Fortino Vela Peón

Universidad Autónoma Metropolitanafvela@correo.xoc.uam.mx

Octubre, 2010México, D. F.

20/10/2011 2

Introducción

uXβy +=

),0( 2σNui ≈

iii uxy ++= 21 ββ ,o bien,

donde

,o bien, ),( 2I0u σN≈

� Uno de los supuestos básicos del modelo de regresión lineal clásico es el que los errores tengan distribución normal, esto es:

� Con el cumplimiento del supuesto de normalidad se tiene la justificación teórica para la utilización de pruebas estadísticas que involucren a las distribuciones t, F y χχχχ2 (de uso muy común en la parte inferencial del modelo).

� No obstante, el supuesto de normalidad puede no ser tan crucial cuando se emplean muestras grandes.

20/10/2011 3

� Una propiedad de la distribución normal es que cualquier función lineal de variables normalmente distribuidas estará también normalmente distribuidas.

� Dado que los estimadores de MCO, y , son funciones lineales de entonces también siguen una distribución normal.

1̂β

),(ˆ 2ˆiii N βσββ ≈

2β̂iu

� De esta manera, si se trabaja con muestras de menos de 100 observaciones resulta crucial el verificar si los errores cumplen, de manera aproximada, una distribución normal.

20/10/2011 4

La prueba Jarque-Bera (JB)

� La literatura referente a probar la normalidad es vasta (veáse White y MacDonald, 1980).

� La prueba Jarque-Bera (1987) es una prueba que considera los siguientes elementos para probar la normalidad de los errores de un modelo de regresión lineal.

Sea uXβy += donde [ ] 0=uE [ ] 2σuu' =E

Si se encuentra normalmente distribuido, entonces

u

[ ] 033 == tuEµ

[ ] 444 3σµ == tuE

La prueba JB toma este principio: “que tanto se desvían los coeficientes de asimetría y curtosis”

20/10/2011 5

� Las medidas convencionales de asimetría (A) y curtósis(K) están dadas, respectivamente*, por:

33

1 σµ=b 4

42 σ

µ=b

� La notación y es tradicional en estadística y no debe confundirse con los estimadores del modelo.

1b

∑=

=T

t

iti u

T 1

1µ̂ donde i=2,3,4

�Los momentos señalados, y , se

pueden estimar a partir de los residuales de MCO considerando que:

2b

Ab =1 Kb =2

20/10/2011 6

� Así, el coeficiente de asimetría (A) es el tercer momento respecto a la media.

� Mide el grado de simetría de la distribución de probabilidad (que tan equilibrada o balanceada se encuentra).

� Si el coeficiente es mayor a cero, la distribución es sesgada a la derecha, y en consecuencia presenta mayor número de observaciones a la izquierda.

23

1

2

1

3

=

∑

∑

=

=

nu

nuA

T

tt

T

tt

…(1)

20/10/2011 7

� Por su parte, el coeficiente de curtosis (K) es el cuarto momento respecto a la media.

� Mide el grado de “picudez” o “apuntamiento” de la distribución de probabilidad (que tan concentrada se encuentra).

� Cuando el coeficiente es centrado, si esté es diferente a tres (mesocúrtica), la distribución muestra problemas. Platicúrtica si b2>3 o leptocúrtica si b2<3.

2

1

2

1

4

=

∑

∑

=

=

nu

nuK

T

t

T

tt

t

…(2)

� Las formulaciones (1) y (2) son las más utilizadas por los diferentes paquetes estadísticos.

20/10/2011 8

� Bajo la hipótesis nula de que los errores se encuentran

distribuidos normalmente, el estadístico JB se distribuye

asintóticamente como una , siendo igual a2

)2(χ

−

+

=∑

∑

∑

∑

=

=

=

=

24

3

6

2

2

1

2

1

4

2

23

1

2

1

3

nu

nu

u

nu

TJB

T

tt

T

tt

T

tt

T

tt

( )

−+=24

36

22KA

TJB

20/10/2011 9

� Este estadístico tiende a ser grande si A o K o ambos

son significativamente diferentes de 0.

� Note que bajo Ho tanto A como K son cero.

20/10/2011 10

� Considerando la información sobre ventas y publicidad de una empresa determinada, verifique si los residuales resultantes del modelo siguen aproximadamente una distribución normal. Aplique la prueba Jarque-Bera.

Ejemplo

id Y X residual (u) u2 u3 u41 69 9 6.00 36.00 216.00 1296.002 76 12 3.25 10.56 34.33 111.573 52 6 -1.25 1.56 -1.95 2.444 56 10 -10.25 105.06 -1076.89 11038.135 57 9 -6.00 36.00 -216.00 1296.006 77 10 10.75 115.56 1242.30 13354.697 58 7 1.50 2.25 3.38 5.068 55 8 -4.75 22.56 -107.17 509.079 67 12 -5.75 33.06 -190.11 1093.13

10 53 6 -0.25 0.06 -0.02 0.0011 72 11 2.50 6.25 15.63 39.0612 64 8 4.25 18.06 76.77 326.25

Total 0.00 387.00 -3.75 29071.41

20/10/2011 11

� Retomando (1) y (2) para los datos de este ejemplo se tiene:

id Y X residual (u) u2 u3 u41 69 9 6.00 36.00 216.00 1296.002 76 12 3.25 10.56 34.33 111.573 52 6 -1.25 1.56 -1.95 2.444 56 10 -10.25 105.06 -1076.89 11038.135 57 9 -6.00 36.00 -216.00 1296.006 77 10 10.75 115.56 1242.30 13354.697 58 7 1.50 2.25 3.38 5.068 55 8 -4.75 22.56 -107.17 509.079 67 12 -5.75 33.06 -190.11 1093.13

10 53 6 -0.25 0.06 -0.02 0.0011 72 11 2.50 6.25 15.63 39.0612 64 8 4.25 18.06 76.77 326.25

Total 0.00 387.00 -3.75 29071.41

( )-.0017063

12/387

12/75.32

3 =−=A ( ) 2.3292912/387

12/41.290712 ==K

20/10/2011 12

� Construyendo el estadístico de prueba Jarque-Bera (JB) se tiene

( )-.0017063

12/387

12/75.32

3 =−=A ( ) 2.3292912/387

12/41.290712 ==K

( ).018749650

24332929.2

6)0017063.0(

1222

=

−+−=JB

( )

−+=24

36

22KA

TJB

5.99205.0),2( =χEl valor de tablas es

� No se rechaza Ho, los errores del modelo se distribuyen aprox. normal

5.9901874965.0 <∴

20/10/2011 13

� En Stata se pueden encontrar los coeficientes A y K.reg y xpredict residual, residsum residual, d

Residuals

--------------------------------------------------- ----------

Percentiles Smallest

1% -10.25 -10.25

5% -10.25 -6

10% -6 -5.75 Obs 12

25% -5.25 -4.75 Sum of Wgt. 12

50% .625 Mean 0

Largest Std. Dev. 5.931426

75% 3.75 3.25

90% 6 4.25 Variance 35.18 182

95% 10.75 6 Skewness -.001 7063

99% 10.75 10.75 Kurtosis 2.329 3

La prueba JB en Stata

20/10/2011 14

� A continuación se elabora el estadístico de prueba JB

return listscalar JB= (r(N)/6) *((r(skewness)^2)+((r(kurtosis)-3)^2)/4)di "JB" = JBJB.22492532

� No se rechaza Ho, los errores del modelo se distribuyen aprox. normal

20/10/2011 15

� El histograma de los residuales es quizás el método

gráfico más ampliamente usado para verificar la

normalidad del término de error.

� En Stata el comando histogram es seguido por la

variable sobre la cual se construirá el

� La opción normal agrega una curva de densidad normal

al gráfico.

Pruebas gráficas: histograma

0.0

2.0

4.0

6.0

8D

ensi

ty

-10 -5 0 5 10Residuals

20/10/2011 16

� El gráfico de probabilidad-probabilidad (P-P plot o gráfica porcentual) compara una función de distribución acumulada empírica con una función de distribución teórica (e.g., la función de distribución normal estándar).

� El comando pnorm produces un gráfico P-P estandarizado normal.

� La forma de interpretar este gráfico es la siguiente: si los puntos se aproximan al comportamiento lineal señalado en el gráfico, se puede considerar que la función empírica de la distribución acumulada es similar a la teórica, y por tanto se comporta “normalmente”. Si los puntos se alejan a la línea recta, la variable se aleja de una distribución normal.

Otras pruebas gráficas: probabilidad-probabilidad (P-P) y cuantil-cuantil (Q-Q)

20/10/2011 17

� En el gráfico P-P que ofrece Stata la distribución acumulada de la variable empírica se ubica sobre el eje x mientras que la distribución acumulada teórica normal sobre el eje y.

0.00

0.25

0.50

0.75

1.00

Nor

mal

F[(

resi

dual

-m)/

s]

0.00 0.25 0.50 0.75 1.00Empirical P[i] = i/(N+1)

20/10/2011 18

� Similarmente, la gráfica cuantil-cuantil (Q-Q plot)

compara los valores ordenados de una variable con los

cuantiles de una distribución teórica especifica (i.e., la

distribución normal).

� Si las dos distribuciones son consistentes, los puntos

sobre la gráfica asumen un patrón lineal que pasa a

através del origen con una recta de pendiente unitaria.

� Las gráficas P-P y Q-Q se emplean para determinar

visualmente que tan bien se ajustan los datos empíricos

al comportamiento de una distribución teórica.

20/10/2011 19

-10

-50

510

Res

idua

ls

-10 -5 0 5 10Inverse Normal

� La instrucción en Stata es qnorm .

20/10/2011 20

� La prueba sktest (Skewness-Kurtosis) que realiza Statasigue los mismos principios que la prueba JB. Para su correcta aplicación se requiere un mínimo de 8 observaciones.

� Auque utiliza a los coeficientes de asimetría y curtosis, sktest presenta una prueba de normalidad basada en la asimetría y otra sustentada en la curtosis. Finalmente combina las dos pruebas en un estadístico resumen.

� La opción noadjust suprime el ajuste propuesto por Royston (1991).

Pruebas formales de normalidad en Stata

sktest residual

Skewness/Kurtosis tests for Normality------- joint ------

Variable | Obs Pr(Skewness) Pr(Kurtosis) c hi2(2) Prob>chi2-------------+------------------------------------- --------------------------

residual | 12 0.9974 0.9250 0.01 0.9956

20/10/2011 21

� Stata tiene incorporadas además las pruebas Shapiro-Wilk (swilk) y Shapiro-Francia (sfrancia).

� swilk puede utilizarse cuando 4 ≤ n ≤ 2000 observaciones, y sfrancia si 5 ≤ n ≤ 5000 observaciones.

� En este sentido, la prueba sktest es la que puede realizarse con más observaciones.

Otras pruebas de normalidad en Stata

Shapiro-Wilk W test for normal data

Variable | Obs W V z Prob >z-------------+------------------------------------- -------------

residual | 12 0.98286 0.286 -2.437 0.99259

Shapiro-Francia W' test for normal data

Variable | Obs W' V' z Prob >z-------------+------------------------------------- -------------

residual | 12 0.98218 0.332 -1.745 0.95952

20/10/2011 22

� De no verificarse el supuesto de normalidad de los errores, los estimadores continúan siendo insesgados.

� No obstante de no cumplirse la inferencia estadística derivada del modelo puede no ser valida.

� Conforme aumente el tamaño de la muestra los errores(y los estimadores de MCO) tienden a una distribución normal.

� Por lo tanto, bajo muestras grandes la inferencia estadística del modelo puede ser valida. Con muestras reducidas es altamente recomendable verificar el supuesto.

Conclusiones

20/10/2011 23

� Gujarati, D. y D. Porter (2010). Econometría, 5ª. Ed., Mac Graw Hill, México, cap. 4.

� Jarque, Carlos M. y A. K. Bera (1987). “A Test forNormality of Observations and Regression Residuals”, International Statistics Review, Vol. 55, pp. 163-177.

� Judge, George et. al. (1988). Introducction to Theory and Practice of Econometrics, John Wiley & Sons, EstadosUnidos, pp. 890-892.

� Vogelvang, Ben (2005). Econometrics. Theory an Applications with EViews, Addison-Wesley, Malaysia, pp. 116-119.

� White H. y G. M. MacDonald (1980). “Some Large-Sample Test for Non-normality in Linear RegressionModel”, Journal of American Statistical Association, Vol. 75, pp. 16-28.

Referencias