ModeloLinealA.M.BiancoFCEyN2013 45 Teorema de...

of 22/22
Modelo Lineal A. M. Bianco FCEyN 2013 45 Teorema de Gauss–Markov En muchas aplicaciones estamos m´ as interesado en estimar funciones lineales de β que en estimar β en s´ ı mismo. Estas funciones incluyen el valor esperado de y en una futura observaci´ on x o , por ejemplo. Si bien puede haber muchos estimadores de una funci´on lineal c β o Cβ , estu- diaremos los estimadores lineales, es decir funciones lineales de las observaciones y 1 ,...,y n . Primero veremos cuando una funci´on param´ etrica es estimable. Definici´on: Una funci´onparam´ etrica ψ se dice que es una funci´onlineal de los param´ etros {β 1 ,...,β p } si existen {c 1 ,...,c p } constantes conocidas tal que ψ = c β = p j =1 c j β j donde c =(c 1 ,...,c p ) .
  • date post

    11-Nov-2018
  • Category

    Documents

  • view

    223
  • download

    0

Embed Size (px)

Transcript of ModeloLinealA.M.BiancoFCEyN2013 45 Teorema de...

  • Modelo Lineal A. M. Bianco FCEyN 2013 45

    Teorema de GaussMarkov

    En muchas aplicaciones estamos mas interesado en estimar funciones linealesde que en estimar en s mismo.

    Estas funciones incluyen el valor esperado de y en una futura observacion xo,por ejemplo.

    Si bien puede haber muchos estimadores de una funcion lineal c o C, estu-diaremos los estimadores lineales, es decir funciones lineales de las observacionesy1, . . . , yn.

    Primero veremos cuando una funcion parametrica es estimable.

    Definicion: Una funcion parametrica se dice que es una funcion lineal delos parametros {1, . . . , p} si existen {c1, . . . , cp} constantes conocidas talque

    = c =p

    j=1cjj

    donde c = (c1, . . . , cp).

  • Modelo Lineal A. M. Bianco FCEyN 2013 46

    Definicion: Decimos que una funcion parametrica = c es estimable sitiene un estimador lineal (en Y) insesgado, es decir si existe a

  • Modelo Lineal A. M. Bianco FCEyN 2013 47

    Supongamos que queremos comparar la respuesta media de dos tratamientosy un control y que para ello observamos

    T1: y11, y12, . . . , y1k y1j N(1, 2)T2: y21, y22, . . . , y2k y2j N(2, 2)Co: y31, y32, . . . , y3k y3j N(3, 2)

    Suponemos igual cantidad de observaciones por tratamiento para simplificar lanotacion.

    Podemos escribir esto como

    yi j = i + i j

    Podramos escribir esto como un modelo lineal:

  • Modelo Lineal A. M. Bianco FCEyN 2013 48

    Y =

    y11y12. . .y1ky21y22. . .y2ky31y32. . .y3k

    ;X =

    1 0 01 0 0. . .1 0 00 1 00 1 0. . .0 1 00 0 10 0 1. . .0 0 1

    ; =

    123

    Por ejemplo, T1, T2 y el control podran ser distintas dosis de una droga demanera que T1 es menor que la dosis del control y T2 mayor que la dosis

  • Modelo Lineal A. M. Bianco FCEyN 2013 49

    control. Tendra sentido preguntarse si

    3 =1 + 22

    lo que implicara cierta linealidad en el efecto medio. En ese caso nos interesarasaber si

    (12,12, 1

    )

    123

    = 0

    Otra manera de escribir el modeo sera

    yi j = + i + i j

    donde:

    es el efecto general

    i es el efecto del tratamiento i

  • Modelo Lineal A. M. Bianco FCEyN 2013 50

    En ese caso tendramos

    Y =

    y11y12. . .y1ky21y22. . .y2ky31y32. . .y3k

    ;X =

    1 1 0 01 1 0 0. . . .1 1 0 01 0 1 01 0 1 0. . . .1 0 1 01 0 0 11 0 0 1. . . .1 0 0 1

    ; =

    123

    Son todas las funciones estimables en este modelo?

  • Modelo Lineal A. M. Bianco FCEyN 2013 51

    Consideremos

    1 =(0, 1, 0, 0

    )

    123

    Veremos que 1 no es estimable.

    Veamos el siguiente resultado que caracteriza las funciones parametricas es-timables suponiendo el modelo

    : E(Y) = X Y = 2I

    Teorema: La funcion parametrica = c es estimable si y solo si c es unacombinacion lineal de las filas de X, o sea si existe a

  • Modelo Lineal A. M. Bianco FCEyN 2013 52

    Lema: Supongamos que vale el modelo . Sean = c una funcion es-timable y Vr el espacio generado por las columnas de X (r = rg(X) p).Luego, existe un unico estimador lineal insesgado de , digamos a

    Y con

    a Vr . Mas aun, si aY es un estimador insesgado de , a es la proyeccionortogonal de a sobre Vr .

    Teorema de GaussMarkov:Supongamos que vale el modelo : E(Y) = X Y =

    2I.Toda funcion estimable = c tiene un unico estimador lineal insesgado demnima varianza (BLUE). Este estimador se puede obtener reemplazando a en c por , el estimador de mnimos cuadrados.

  • Modelo Lineal A. M. Bianco FCEyN 2013 53

    Definicion: Dada una funcion estimable su unico estimador lineal insesgadode mnima varianza , cuya existencia y calculo estan dados por el Teorema deGaussMarkov, es el estimador de mnimos cuadrados de .

    Tenemos el siguiente resultado:

    Corolario: Si {1, . . . , q} son q funciones estimables toda combinacion lineal =

    qi=1 hii es estimable y su estimador de mnimos cuadrado esta dado por

    qi=1 hi

    i .

  • Modelo Lineal A. M. Bianco FCEyN 2013 54

    Que ocurre cuando el rg(X) < p

    Si rg(X) = r < p tenemos que 1, . . . ,p no son unicos. Esta misma inde-

    terminacion afecta a los parametros 1, . . . , p, en el sentido de que distintosconjuntos b1, . . . , bp daran origen al mismo y por lo tanto al mismo modelo

    Y = + = E(Y) + .

    Sin embargo, tal como vimos si c es una funcion estimable tendra el mismovalor independientente del que usemos, en tanto

    c = aX = a

    expresion que solo depende de , que es unico.

    Como podemos eliminar esta indeterminacion?

  • Modelo Lineal A. M. Bianco FCEyN 2013 55

    a) Considerar un problema reducido con solo r parametros

    Podramos considerar r columnas l.i. de X que generen a Vr y mantener en elmodelo solo aquellos j asociados a estas columnas.

    As tendramos una nueva matriz de diseno X1

  • Modelo Lineal A. M. Bianco FCEyN 2013 56

    Por lo tanto el modelo original se obtiene como:

    X = KL = K

    b) Considerar condiciones de contorno adecuadas para los js y susestimadores

    As podramos pedir que r+1 = . . . = p = 0 y en este caso obtendramos elmismo que en la situacion a) (suponiendo que las r primeras son las columnasl.i.).

    Sin embargo, en otras situaciones, como en la de ANOVA, es frecuente que seimpongan otras restricciones lineales de manera de obtener la unicidad.

    Consideremos el caso en que imponemos t p r restricciones lineales a losj , es decir

    H = 0 con H

  • Modelo Lineal A. M. Bianco FCEyN 2013 57

    que cumpla H = 0, es decir buscamos que sea unica solucion de

    X = X (= )

    H = 0

    De esta forma las primeras ecuaciones establecen que encontraremos una solu-cion del sistema que nos interesa y las segundas que esta solucion sera unica.

    Lo que queremos es que

    toda funcion estimable del nuevo sistema lo sea en el viejo problema, un unico conjunto de estimadores de mnimos cuadrados que satisfaga lascondiciones de contorno.

    El siguiente teorema nos dice como elegir H para cumplir con este objetivo:

  • Modelo Lineal A. M. Bianco FCEyN 2013 58

    Teorema: Sean X

  • Modelo Lineal A. M. Bianco FCEyN 2013 59

    Observacion:

    En terminos estadsticos la condicion ii) del Teorema nos dice que si hi esla iesima fila de H, entonces no existe a tal que hi = a

    X, por lo tanto lashi no es una funcion estimable de los parametros.

    Se puede demostrar que:

    Si se cumplen las condiciones i) y ii) del Teorema, entonces los j sonfunciones estimables.

    De hecho, si G =

    X0

    , entonces

    GG = GX0

    = (X H)

    X0

    = XX .

    Luego, (XX + HH) = XX y como rg(GG) = rg(G) = p tenemosque

  • Modelo Lineal A. M. Bianco FCEyN 2013 60

    = (XX+HH)1XX

    y tiene un estimador lineal insesgado dado por

    (XX+HH)1XY

    dada una funcion estimable , para cualquier H que elijamos en las condi-ciones del Teorema anterior, V ar () es la misma.

    c) Computar una inversa generalizada de XX: (XX)

    En este caso tendramos que (XX)XY es solucion de las ecuaciones normales,por lo tanto otra forma de solucionar nuestro problema. En realidad puede verseque la opcion b) y c) quedan ligadas a traves del siguiente resultado:

    Proposicion: Sea G =

    XH

    una matriz que satisface las condiciones i) y ii)

    del Teorema anterior. Luego (GG)1 es una inversa generalizada de XX, porlo tanto:

    (XX)(GG)1(XX) = XX

  • Modelo Lineal A. M. Bianco FCEyN 2013 61

    En efecto, Y:(GG)(GG)1HY = HY

    (XX+HH)(GG)1HY = HY

    XX(GG)1HY = H(IH(GG)1H)Y

    entonces como X = H tenemos que

    XX(GG)1HY = 0

    luego

    X(GG)1HY Vry al mismo tiempo

    X(GG)1HY Vrpor lo tanto

    X(GG)1H = 0

  • Modelo Lineal A. M. Bianco FCEyN 2013 62

    Finalmente:

    (XX)(GG)1(XX) = (XX+HH)(GG)1(XX) = XX ,

    con lo cual es una inversa generalizada.

    Mnimos Cuadrados Pesados y Mnimos Cuadrados Generalizados

    Que ocurre cuando Y = 2V donde V 6= I?

    Supongamos que V

  • Modelo Lineal A. M. Bianco FCEyN 2013 63

    donde E(K1) = 0 y K1 = 2I.

    Por lo tanto, tenemos un nuevo problema:

    Y = X +

    que satisface las condiciones de .

    Hallar el estimador de mnimos cuadrados en el problema transformado equivalea:

    mnbY Xb2 = mn

    b(Y Xb)(Y Xb)

    = mnb(Y Xb)K1K1(Y Xb)

    = mnb(Y Xb)V1(Y Xb)

    Si V es una matriz diagonal decimos que tenemos un problema de Mni-mos Cuadrados Pesados, mientras que si V es una matriz definida positivacualquiera, es de Mnimos Cuadrados Generalizados.

    Las ecuaciones normales quedan:

    XXb = XY

  • Modelo Lineal A. M. Bianco FCEyN 2013 64

    XK1K1Xb = XK1

    K1Y

    XV1Xb = XV1Y

    Observemos que si XV1X tiene inversa, entonces

    = (XV1X)1XV1Y

    y ademas

    es un estimador insesgado de , es decir E() = .

    = 2(XX)

    1= 2(XV1X)1

    Veamos un ejemplo.

    Consideremos el caso sencillo de una regresion simple por el origen:

    Y = x +

    donde Y = (y1, . . . , yn), x = (x1, . . . , xn) y = (1, . . . , n) con E() = 0 y

    = 2V = 2diag(w1, . . . , wn) con wi > 0.

  • Modelo Lineal A. M. Bianco FCEyN 2013 65

    Probaremos que

    =ni=1 yixi/wi

    ni=1 x

    2i /wi

    y ademas

    = 2(XV1X)1 =

    2

    ni=1 x

    2i /wi

    Si rg(X) = p se puede probar facilmente que el estimador conserva laspropiedades del estimador de mnimos cuadrados: dada una funcion lineal es-timable c tenemos que

    c es el estimador lineal insesgado de c de menor varianza.

    Una pregunta muy natural es:

  • Modelo Lineal A. M. Bianco FCEyN 2013 66

    Hay situaciones en las que y coinciden?

    Los siguientes resultados nos dan la respuesta

    Teorema: Una condicion necesaria y suficiente para que y coincidan esque VV1X = VX.

    Corolario: y coinciden VVX = VX.

    Corolario: Si tenemos un modelo de regresion simple por el origen,Y = x + ,entonces

    = x V = cIn