Tema 5.- Ortogonalidad y mejor aproximaci´on. Tema 5.- Ortogonalidad y mejor aproximaci´on. su...

Ingenierıa Civil.Matematicas I. 2012-2013.

Departamento de Matematica Aplicada II.Escuela Superior de Ingenieros. Universidad de Sevilla.

Tema 5.- Ortogonalidad y mejor aproximacion.

5.1.- El producto escalar.

Norma, distancia, angulos y ortogonalidad.Desigualdades y teorema de Pitagoras.

5.2.- El complemento ortogonal de un subespacio.

5.3.- Bases ortogonales.

Bases ortogonales de un subespacio.El metodo de Gram-Schmidt.Matrices ortogonales.

5.4.- La proyeccion ortogonal.

Proyeccion ortogonal sobre un subespacio.El teorema de la mejor aproximacion.

5.5.- Problemas de mınimos cuadrados. Ecuaciones normales de Gauss.

5.6.- Ejercicios.

Enunciados.Soluciones.

En este tema estudiamos la estructura metrica de los espacios Rn, es decir, las cuestionesrelacionadas con distancias y angulos con especial enfasis en la ortogonalidad entre vectoresy entre subespacios vectoriales. En el estudio de la resolucion de sistemas de ecuacioneslineales, el algebra de matrices, etc., podıamos considerar coeficientes reales o complejos demanera indistinta sin afectar ni a los conceptos ni a los resultados. Aquı no sucede lo mismo.El hecho de considerar vectores reales es esencial. Para poder considerar conceptos metricosen los espacios Cn, de vectores de coordenadas complejas, habrıa que considerar la definicionapropiada (coherente) de producto escalar de vectores complejos, que se suele denominarproducto hermıtico y habrıa que modificar el enunciado de algunas propiedades. Al aplicardicha definicion, de vectores complejos, a vectores reales nos darıa la definicion usual quevemos a continuacion y que el alumno conoce en dimensiones dos y tres.

Ademas de considerar las definiciones y propiedades basicas estudiaremos algunos tipos dematrices directamente relacionadas con la estructura metrica de los espacios de coordenadasreales (matrices de proyeccion ortogonal sobre un subespacio, matrices ortogonales,...)

125

126 Tema 5.- Ortogonalidad y mejor aproximacion.

5.1.- El producto escalar. Norma, distancia, angulos y ortogonalidad.

El Producto escalar de dos vectores reales x, y ∈ Rn es el numero real

x · y = x1y1 + x2y2 + · · ·+ xnyn ∈ R.

5.1.1.- Norma, distancia, angulos y ortogonalidad.

Definiciones. Consideremos x, y ∈ Rn.

Se denomina Norma de un vector x ∈ Rn al numero real no-negativo

||x|| =√

|x1|2 + · · ·+ |xn|2 =√x · x ≥ 0.

Se denomina Distancia entre dos vectores x, y ∈ Rn al numero real no-negativo

d(x, y) = ||x− y|| .

Ortogonalidad.

(a) Se dice que dos vectores x, y ∈ Rn son ortogonales (x ⊥ y) si x · y = xT y = 0.

(b) Se dice que un conjunto de vectores {v1, . . . , vm} de Rn es un conjunto ortogonalsi cada uno de los vectores vk es ortogonal a todos los demas,

vk · vj = 0, j 6= k.

(c) Se dice que un conjunto de vectores {v1, . . . , vm} de Rn es un conjunto orto-normal si es un conjunto ortogonal y cada uno de los vectores vk tiene normauno,

vk · vj = 0, j 6= k; ||v1|| = · · · = ||vm|| = 1.

Las propiedades del producto escalar, la norma, la distancia y la ortogonalidad son co-nocidas por el alumno para vectores en R

2 y en R3. En los espacios Rn, las propiedades son

esencialmente las mismas. Notemos que si considerasemos dichos conceptos de forma inde-pendiente de un sistema de referencia, en cada uno de ellos aparecen involucrados uno o dosvectores. Algunas de las propiedades del producto escalar pueden obtenerse directamentedel hecho de que el producto escalar de dos vectores puede expresarse como un productomatricial, vector-fila por vector-columna, x · y = xTy = yTx. Es inmediato comprobar quese verifican las siguientes propiedades:Propiedades.-

(1) El producto escalar es simetrico: x · y = y · x.

(2) El producto escalar es lineal en cada variable, es decir, siendo x, x′, y, y′ ∈ Rn yα, β, λ, µ ∈ R,

(αx+ βx′) · y = αx · y + βx′ · y,x · (λy + µy′) = λx · y + µx · y′.

(3) ||x|| = 0⇐⇒ x = 0.

(4) ||αx|| = |α| ||x|| , ∀α ∈ R, x ∈ Rn.

Notemos que el producto escalar No es asociativo. Es decir, puede suceder que (x · y)z 6=x(y · z). De hecho es lo mas probable. Ejercicio. Busca un ejemplo e interpreta geometrica-mente el resultado.

Matematicas I. Ingenierıa Civil

5.2.- El complemento ortogonal de un subespacio. 127

5.1.2.- Desigualdades y teorema de Pitagoras.

Teorema. Sean x, y ∈ Rn

(1) Desigualdad de Cauchy-Schwartz: |x · y| ≤ ||x|| ||y||.

(2) Desigualdad triangular: ||x+ y|| ≤ ||x||+ ||y|| ( ||x− y|| ≤ ||x||+ ||y||)

(3) Teorema de Pitagoras: x ⊥ y ⇐⇒ ||x+ y||2 = ||x||2 + ||y||2 .

El angulo (los angulos) determinado por dos vectores no-nulos x, y ∈ Rn puede caracte-

rizarse (definirse) mediante la igualdad

x · y = ||x|| ||y|| cos(θ).

Los resultados clasicos de la geometrıa metrica plana, como el Teorema del seno o el Teorema

del coseno, son validos cuando consideramos vectores n−dimensionales.

5.2.- El complemento ortogonal de un subespacio.

Definicion. (El complemento ortogonal de un subespacio) Dado un subespacio vectorial Sde Rn se denomina complemento ortogonal de S al conjunto

S⊥ = {v ∈ Rn : v ⊥ u ∀u ∈ S} .

Es decir, S⊥ esta formado por todos los vectores que son ortogonales a todos los vectores de

S. Por tanto, el complemento ortogonal del subespacio nulo{

~0}

es Rn puesto que cualquier

vector es ortogonal al vector nulo. Por otra parte, el complemento ortogonal del espacio totalRn es el subespacio nulo, puesto que el vector nulo (de Rn) es el unico que es ortogonal atodos los vectores de Rn.

Ejemplos. Cuando se trabaja con el complemento ortogonal de un subespacio es conve-niente tener presente como se puede caracterizar dicho complemento ortogonal cuando elsubespacio viene dado en forma parametrica o cuando viene dado en forma implıcita. En R2,un subespacio vectorial de dimension 1 es una recta que pasa por el origen y su complementoortogonal sera (como es natural) la recta que pasa por el origen (es un subespacio vectorial)y es perpendicular a la recta dada. En R3, un subespacio vectorial de dimension 1 es unarecta que pasa por el origen. Su complemento ortogonal sera el plano que pasa por el origen(es un subespacio vectorial) y es perpendicular a la recta dada. Un subespacio vectorial dedimension 2 es un plano que pasa por el origen. Su complemento ortogonal sera la recta quepasa por el origen (es un subespacio vectorial) y es perpendicular al plano dado.

(1) Consideremos un subespacio de dimension 1 en R2, dado en forma parametrica, es decir,una recta que pasa por el origen de coordenadas, dada por un vector direccion v1. Porejemplo, para v1 = [2,−1]T

S = Gen {v1} = {v = αv1 : α ∈ R} ≡{

x1 = 2αx2 = −α

,

Matematicas I. 2012-2013


su complemento ortogonal estara formado por los vectores v = [x1, x2]T ∈ R2 que son

ortogonales a todos los vectores de la forma αv1, α ∈ R

v ∈ S⊥ ⇔ (αv1) · v = 0, ∀α ∈ R⇐⇒ v1 · v = 0⇔ 2x1 − x2 = 0.

Es decir, el complemento ortogonal S⊥ esta formado por los vectores v = [x1, x2]T ∈ R2

cuyas coordenadas verifican la ecuacion 2x1 − x2 = 0. Por tanto, S⊥ es un subespaciovectorial (de dimension 1) que viene dado en forma implıcita y los coeficientes de laecuacion implıcita son las coordenadas del vector direccion de S. Si hubieramos consi-derado otro vector direccion de S (que sera un multiplo no-nulo de v1), habrıamosobtenido una ecuacion equivalente.

(2) Si consideramos un subespacio vectorial S de dimension 1 en Rn, es decir una recta quepasa por el origen, generada por un vector no-nulo v1 ∈ Rn

S = Gen

v1 =

a1...an

su complemento ortogonal estara formado por los vectores v = [x1, . . . , xn]T ∈ Rn

cuyas coordenadas verifican la ecuacion

v1 · v = 0 ≡ a1x1 + · · ·+ anxn = 0

con lo cual S⊥ es un subespacio vectorial (de dimension n−1) que viene dado medianteuna ecuacion implıcita y los coeficientes de dicha ecuacion son las coordenadas delvector direccion de S.

Teorema. Sea S un subespacio vectorial de Rn.

(1) S⊥ es un subespacio vectorial de Rn.

(2)(

S⊥)⊥ = S.

(3) El vector nulo es el nico vector de Rn que pertenece a la interseccin de S con S⊥.

(4) Si S = Gen {v1, . . . , vp}, entoncesv ∈ S⊥ ⇐⇒ v ⊥ v1, . . . , v ⊥ vp.

Ejemplo. Antes hemos obtenido el complemento ortogonal de un subespacio de Rn

de dimension 1, que era un subespacio vectorial de dimension n − 1 (estos subespacios sesuelen denominar hiperplanos). Las propiedades anteriores permiten obtener facilmente elcomplemento ortogonal de un subespacio de dimension n− 1 dado en forma implıcita

W ≡ a1x1 + · · ·+ anxn = 0

(para que esta ecuacion defina un subespacio de dimension 1 alguno de los coeficientesa1, . . . , an tiene que ser no nulo). Puesto que, como vimos antes,

W = S⊥ siendo S = Gen

a1...an


5.3.- Bases ortogonales. 129

tenemos que W⊥ =(

S⊥)⊥ = S. Es decir, de manera inmediata obtenemos W⊥ en formaparametrica.

El hecho de expresar el complemento ortogonal de una u otra forma parametrica/implıcitadependiendo de como venga expresado el subespacio vectorial:

S en forma parametrica −→ S⊥ en forma implıcitaS en forma implıcita −→ S⊥ en forma parametrica

queda reflejado con el siguiente Teorema.

Teorema. (Los cuatro subespacios asociados a una matriz) Sea A una matriz real m × n.Se verifica:

[Col (A)]⊥ = Nul (AT ), [Nul (A)]⊥ = Col (AT ).

El espacio Col (AT ) se suele denominar espacio fila de la matriz A.

Notemos que en lo que se refiere a las dimensiones de los complementos ortogonalestenemos

dim(

[Col (A)]⊥)

= dim(

Nul (AT ))

= m− pivotes de AT = m−rang (A) = m−dim (Col (A)) .

Puesto que cualquier subespacio vectorial se puede expresar como el espacio columna de unamatriz tenemos que para cualquier subespacio vectorial S de R

m se verifica

dim(

S⊥) = m− dim (S).

5.3.- Bases ortogonales.

5.3.1.- Bases ortogonales de un subespacio.

Una base ortogonal de un subespacio vectorial S es una base de S formada por vectoresque son ortogonales dos a dos. Para calcular las coordenadas de un vector respecto de unabase generica de S hay que resolver un sistema de ecuaciones lineales cuya soluci’on son lascoordenadas del vector respecto de dicha base. Como veremos en la seccion 6.4, la principalventaja, de tener una base ortogonal de un subespacio, es que el calculo de las coordenadasde un vector respecto de dicha base es particularmente sencillo y se tiene una formula paradichas coordenadas (ver el desarrollo de Fourier). Una base ortonormal de un subespaciovectorial es una base formada por vectores que son ortogonales dos a dos y unitarios (connorma igual a 1).

Teorema. Si {v1, v2, . . . , vr} es un conjunto de vectores no-nulos ortogonales dos a dos,entonces son linealmente independientes.

Cuando se tiene un conjunto ortogonal de vectores no-nulos y se normalizan (se dividecada uno por su norma), obtenemos un conjunto ortonormal de vectores que formaran unabase ortonormal del subespacio vectorial que generan. Vamos a considerar ahora las pro-piedades de las matrices cuyas columnas son ortonormales. Mas adelante veremos el casoparticular de las matrices cuadradas cuyas columnas son ortonormales.

Proposicion. Sea U = [u1, . . . , un] una matriz real m× n.



(1) U tiene columnas ortonormales ⇐⇒ UTU = I.

(2) Si U tiene columnas ortonormales, entonces conserva angulos y distancias. Es decir(Ux) · (Uy) = x · y, ∀x, y ∈ Rn. En particular,

(a) ||Ux|| = ||x|| , ∀x ∈ Rn.

(b) Ux ⊥ Uy ⇐⇒ x ⊥ y.

5.3.2.- El metodo de Gram-Schmidt.

En los temas anteriores hemos visto como obtener una base de un subespacio vectoriala partir de un conjunto de vectores que genere dicho subespacio vectorial. El metodo deortogonalizacion de Gram-Schmidt, que vamos a describir, permite construir, de maneraprogresiva, una base ortogonal de un subespacio vectorial a partir de una base de dichosubespacio e incluso de un conjunto de vectores que genere el subespacio, sin necesidad deque los vectores sean linealmente independientes.

Partiendo de una base {v1, v2, . . . , vp} de un subespacio S, el metodo consiste en gene-rar uno a uno vectores que son ortogonales a los construidos. Denotamos por S1, S2, · · · lossubespacios vectoriales definidos por

S1 = Gen {v1} , S2 = Gen {v1, v2} , . . . , Sp = Gen {v1, v2, . . . , vp} = S.

El metodo de Gram-Schmidt consiste en generar los vectores:

u1 = v1 ∈ S1,

u2 = v2 − proy S1(v2) ∈ S2, es decir, u2 es el unico vector de la forma

u2 = v2 + αu1 que es ortogonal a u1,

u3 = v3 − proy S2(v3) ∈ S3, es decir, u3 es el unico vector de la forma

u3 = v3 + αu1 + βu2 que es ortogonal a u1 y a u2,

. . .Notemos que, puesto que los vectores {v1, v2, . . . , vp} son linealmente independientes, los

subespaciosS1 ⊂ S2 ⊂ · · · ⊂ Sp = S

son todos distintos (dim (Sk) = k, k = 1, 2, . . . , p), los vectores u1, u2, . . . , up son todos no-nulos y linealmente independientes y se verifica que

S1 = Gen v1 = Genu1,S2 = Gen {v1, v2} = Gen {u1, u2} ,S3 = Gen {v1, v2, v3} = Gen {u1, u2, v3} = Gen {u1, u2, u3} ,

......

Sp = Gen {v1, . . . , vp} = · · · = Gen {u1, · · · , up} .

Teorema (Metodo de ortogonalizacion de Gram-Schmidt). Consideremos una base{v1, v2, . . . , vp} de un subespacio vectorial S de R

n. Entonces, los siguientes vectores estanbien definidos


5.3.2.- El metodo de Gram-Schmidt. 131

u1 = v1

u2 = v2 −v2 · u1

||u1||2u1

u3 = v3 −v3 · u1

||u1||2u1 −

v3 · u2

||u2||2u2

...

up = vp −vp · u1

||u1||2u1 − · · ·

vp · up−1

||up−1||2up−1

y son no-nulos y ortogonales dos a dos. Ademas, para cada k = 1, . . . , p, {u1, u2, . . . , uk}es una base ortogonal de Sk = Gen {v1, v2, . . . , vk}. En particular {u1, u2, . . . , up} es unabase ortogonal de S = Gen {v1, v2, . . . , vp}.

Observaciones.

(a) Si el objetivo es obtener una base ortonormal de S, una vez que se ha obtenido una baseortogonal basta normalizar los vectores obtenidos.

(b) En cada paso del metodo de Gram-Schmidt que acabamos de describir podrıamos mul-tiplicar (o dividir) el vector obtenido por un coeficiente no-nulo y seguir los calculoscon dicho vector.

(c) ¿Que sucede al aplicar el metodo de Gram-Schmidt a un conjunto de vectores linealmentedependientes?

5.3.3.- Matrices ortogonales.

Un caso particularmente importante de matrices reales con columnas ortonormales loconstituyen las matrices cuadradas con dicha propiedad.

Definicion. (Matriz ortogonal) Se denomina matriz ortogonal a toda matriz Q real cua-drada no-singular cuya inversa coincide con su traspuesta, Q−1 = QT .

Ejercicio. Prueba las siguientes propiedades de las matrices ortogonales

(1) Si Q es ortogonal =⇒ det (Q) = ±1

(2) Q es ortogonal ⇐⇒ QT es ortogonal.

(3) Si Q1 y Q2 son ortogonales, entonces Q1Q2 es ortogonal.

Proposicion. Sea Q una matriz real cuadrada n× n. Son equivalentes:

(1) Q es una matriz ortogonal.

(2) Las n columnas de Q son ortonormales (y por tanto forman una base ortonormal deR

n).

(3) Las n filas de Q son ortonormales (y por tanto forman una base ortonormal de Rn).



Observacion.- Notemos que el que las columnas de una matriz (real) sean ortonormales es equi-valente a que lo sean las filas solo en el caso de una matriz cuadrada. Una matriz real no cuadradapuede tener columnas (o filas) ortonormales sin serlo sus filas (o columnas). Por ejemplo, las ma-trices

1 00 10 0

,

1√2

0

0 11√2

0

,

1√3

1√2

1√3− 1√

21√3

0

tienen sus columnas ortonormales pero no sus filas. Las traspuestas tienen filas ortonormales pero

no columnas.

5.4.- La proyeccion ortogonal.

5.4.1.- Proyeccion ortogonal sobre un subespacio.

Si consideramos el subespacio vectorial S, de dimension uno (una recta), generado porun vector, u1, no-nulo, S = Gen {u1}, la proyeccion ortogonal de un vector v ∈ Rn sobre Ssera el vector u = αu1 ∈ S que verifica que

v − u = v − αu1

es ortogonal a S. Es decir, tenemos que determinar α con la condicion de que v − αu1 seaortogonal a u1,

(v − αu1) · u1 = v · u1 − α ||u1||2 = 0 ⇐⇒ α =v · u1

||u1||2⇒

=⇒ u = proy S(v) =v · u1

||u1||2u1,

(

=⇒ ||u|| =∣

∣

∣

∣

v · u1

||u1||

∣

∣

∣

∣

)

.

No hay que confundir el vector proyeccion ortogonal de v sobre (la recta que genera) otro,

u1, que es un vectorv · u1

||u1||2u1, con la magnitud de dicha proyeccion ortogonal,

∣

∣

∣

∣

v · u1

||u1||

∣

∣

∣

∣

, que

es un numero real.

Para un subespacio de dimension arbitraria puede darse una expresion de la proyeccionortogonal de un vector sobre dicho subespacio cuando disponemos de una base ortogonal dedicho subespacio. Considerando una base ortonormal puede darse una expresion comoda dela matriz de la proyeccion ortogonal.

Teorema (de la descomposicion ortogonal). Sea S un subespacio vectorial de Rn. Dadocualquier vector v ∈ Rn existe un unico vector u ∈ S (llamado proyeccion ortogonal de vsobre S) tal que v−u ∈ S⊥. De hecho, si {u1, u2, . . . , ur} es una base ortogonal de S, entoncesla proyeccion ortogonal de v sobre S es

u := proy S(v) =v · u1

||u1||2u1 + · · ·+

v · ur

||ur||2ur.

y la proyeccion ortogonal de v sobre S⊥ es

w = v − u.

Notemos que:


5.4.- La proyeccion ortogonal. 133

Si v ∈ S, entonces proy S(v) = v y proy S⊥(v) = 0.

Notemos que proy S⊥(v) = v − u = v − proy S(v), esto es

proy S(v) + proy S⊥(v) = v.

Cada sumando de la expresion

v · u1

||u1||2u1 + · · ·+

v · ur

||ur||2ur

nos da la proyeccion ortogonal del vector v sobre el subespacio generado por el corres-pondiente vector uk.

El vector u = proy S(v) verifica que ||u||2 ≤ ||v||2 y expresando ||u||2 en terminos dela base ortogonal dada esta desigualdad es la desigualdad de Bessel considerada en lasiguiente proposicion.

Corolario. Sea {u1, u2, . . . , ur} una base ortogonal de un subespacio S de Rn. Entonces

las coordenadas de un vector u ∈ S respecto de dicha base vienen dadas poru · uk

||uk||2, es decir,

se verifica que

u =u · u1

||u1||2u1 + · · ·+

u · ur

||ur||2ur.

La expresion anterior se suele denominar desarrollo de Fourier de v respecto a la base{u1, u2, . . . , ur}.

Corolario. (Matriz de una proyeccion ortogonal) Sea S un subespacio vectorial de Rn.

(a) Si {u1, u2, . . . , ur} es una base ortonormal de S, la proyecion ortogonal de un vectorv ∈ Rn sobre S es

u := proy S(v) = (v · u1)u1 + · · ·+ (v · ur) ur.

(b) Siendo U una matriz cuyas columnas forman una base ortonormal de S, la matriz de laproyeccion ortogonal sobre S es PS = UUT , es decir

proy S(v) = UUT v, ∀v ∈ Rn.

Aunque puedan considerarse distintas matrices U como en el enunciado, la matriz PS =UUT que representa a la proyeccion ortogonal, respecto a la base canonica, es unica. Laspropiedades caracterısticas de las matrices de proyeccion ortogonal son:

P 2S = PS,

(

UUT)2

= U(UTU)UT = UIUT = UUT , y

PS es simetrica,(

UUT)T

= (UT )TUT = UUT .



5.4.2.- El teorema de la mejor aproximacion.

El teorema de la mejor aproximacion resuelve el problema de la mınma distancia deun punto a un subespacio vectorial. Dado un subespacio vectorial S de R

n y un pun-to/vector x ∈ Rn, se trata de minimizar la distancia de x a un punto/vector generico w ∈ S,min {‖x− w‖ : w ∈ S}, y de obtener el punto/vector donde se alcanza dicho mınimo. Esteproblema se puede plantear como un problema de optimizacion en varias variables (calculodiferencial de varias variables) sin mas que expresar un vector generico w ∈ S como combi-nacion lineal arbitraria de los vectores de un base de S. El teorema de la mejor aproximacionnos dira que es equivalente resolver el problema de mınima distancia (la mejor aproximaciona x desde S) que el problema de la proyeccion ortogonal sobre S. La mınima distancia de xa S se alcanza en proyS(x) (y en ningun otro punto).

Teorema (de la mejor aproximacion). Sea S un subespacio vectorial de Rn y conside-remos un vector x ∈ Rn y un vector y ∈ S. Son equivalentes:

(a) y es la proyeccion ortogonal de x sobre S, es decir,

y ∈ S, x− y ∈ S⊥.

(b) y es la mejor aproximacion de x desde S, es decir,

y ∈ S, ||x− y|| ≤ ||x− w|| para todo w ∈ S.

O

x

y

wS

S⊥

Sea y = proy S(x) y sea w ∈ S. Pues-to que

x−w = (x−y)+(y−w), x−y ∈ S⊥, y−w ∈ S,

aplicando el Teorema de Pitagorastenemos

||x− w||2 = ||x− y||2+||y − w||2 ≥ ||x− y||2 .

5.5.- Problemas de mınimos cuadrados. Ecuaciones normales de

Gauss

En terminos generales, resolver un problema en el sentido de los mınimos cuadrados essustituir un problema en el que hay que resolver un sistema de ecuaciones (que no tienesolucion) por el problema de minimizar una suma de cuadrados.

Ejemplo. El problema de la regresion lineal. Si consideramos dos magnitudes, x ey, de las que suponemos que estan relacionadas mediante una igualdad del tipo y = ax+ b,donde tenemos que determinar a y b mediante la obtencion de resultados experimentales, ydichos resultados son


5.5.- Problemas de mınimos cuadrados. Ecuaciones normales de Gauss 135

x x1 x2 · · · xn

y y1 y2 · · · yn

los valores a y b los obtendremos de la resolucion del sistema de ecuaciones lineales

ax1 + b = y1ax2 + b = y2

· · ·axn + b = yn

≡

x1 1x2 1...

...xn 1

[

ab

]

=

y1y2...yn

.

Lo habitual es que un sistema de ecuaciones como el anterior no tenga solucion. Resolver elsistema anterior en el sentido de los mınimos cuadrados consiste en determinar los valores ay b para los cuales la suma de cuadrados

(ax1 + b− y1)2 + (ax2 + b− y2)

2 + · · ·+ (axn + b− yn)2

es mınima (si hubiera solucion dicho valor mınimo serıa cero). Puesto que esta suma decuadrados es el cuadrado de la norma del vector

x1 1x2 1...

...xn 1

[

ab

]

−

y1y2...yn

y los vectores de la forma

x1 1x2 1...

...xn 1

[

ab

]

∀ a, b ∈ R

forman el espacio columna S de la matriz considerada, resolver el sistema en mınimos cua-drados es determinar el vector de S mas cercano al termino independiente considerado yresolver el sistema (que sera compatible) con ese nuevo termino independiente.

Para un sistema generico de ecuaciones lineales Ax = b, resolverlo en el sentido de losmınimos cuadrados es determinar el vector (o vectores) x ∈ Rn para los cuales

||Ax− b|| es mınima.

Puesto que los vectores Ax recorren el espacio columna de A (cuando x recorre Rn), ||Ax− b||sera mınima para los vectores x ∈ Rn tales que Ax es igual a la proyeccion ortogonal de bsobre el espacio Col (A).

Rn

Rm

O

Ox

b

proyS(b)

A

AxCol (A)



Teorema. Consideremos un sistema de ecuaciones Ax = b, A matriz real m × n, b ∈ Rm,S = Col (A) y sea x ∈ R

n. Son equivalentes:

(a) x es solucion en mınimos cuadrados del sistema Ax = b, es decir,

||Ax− b|| ≤ ||Ax− b|| , ∀x ∈ Rn.

(b) x verifica Ax = proy S(b).

(c) x verifica las ecuaciones normales de Gauss ATAx = AT b.

Observaciones.

(a) El sistema de ecuaciones Ax = proy S(b) (sistema m × n) y el sistema ATAx = AT b(sistema n× n) son siempre compatibles y tienen el mismo conjunto de soluciones.

(b) El sistema Ax = proy S(b) sera compatible determinado (es decir el problema en mınimoscuadrados tendra solucion unica) si y solo si el sistema homogeneo asociado Ax = 0tiene solucion unica. Por tanto,

el sistema Ax = b tiene solucionunica en mınimos cuadrados

⇐⇒ las columnas de A son linealmenteindependientes (rango(A) = n).


5.6.- Ejercicios. 137

5.6.- Ejercicios.

5.6.1.- Enunciados.

Ejercicio 1. Sea u = [1, 2, 3]T .

(1) Describe geometricamente el conjunto de vectores v ∈ R3 que verifican, respectivamente,

(a)

{

v · u = 0||v|| = 1

}

, (b)

{

v · u = 2||v|| = 1

}

, (c)

{

v · u = 4||v|| = 1

}

, (d)

{

v · u = 2

||v|| = 2/√14.

}

.

(2) Calcula el radio y el centro de la circunferencia dada por las siguientes ecuaciones

{

v · u = 3||v|| = 1

}

.

Ejercicio 2. Halla una base y unas ecuaciones implıcitas de E⊥ y de F⊥ siendo E y F lossubespacios

E = Gen

1021

,

2123

,

01−21

y F ≡

2x+ y + 3z − t = 03x+ 2y − 2t = 0

3x+ y + 9z − t = 0

.

Ejercicio 3. Expresa el vector (1, 3,−1, 4)T como suma de dos vectores u + v siendo uproporcional a (2, 1, 0, 1)T y v ⊥ u.

Ejercicio 4. Halla la proyeccion ortogonal de los siguientes vectores sobre los subespaciosque se indican:

(1) (4, 1, 3,−2)T sobre el subespacio definido por x1 + x2 + x3 + x4 = 0.

(2) (1, 1, 1, 1)T sobre el subespacio de R4 dado por:

E ≡{

x− y + z − 2t = 0,y + z = 0.

(3) (3,−4, 5)T sobre el subespacio f(E) siendo f la aplicacion lineal dada por la matriz

A =

1 0 1−1 1 00 1 −1

y E el subespacio de R3 dado por x− y − z = 0.



Ejercicio 5. Demuestra:

(1) El producto de matrices ortogonales es ortogonal.

(2) La suma de matrices ortogonales puede no ser ortogonal.

Ejercicio 6. Dadas las bases ortonormales de R2

B1 =

{

u1 =(

1/√2, 1/√2)T

, u2 =(

−1/√2, 1/√2)T

}

y

B2 =

{

w1 =(

1/2,√3/2

)T

, w2 =(

−√3/2, 1/2

)T}

halla la matriz correspondiente al cambio de una de esas bases a la otra. Comprueba que lamatriz de paso es ortogonal.

Ejercicio 7. Halla el vector perteneciente al subespacio de R4 generado por los vectores

(2, 0,−1, 2)T , (1, 2,−2, 0)T y(−1, 2, 0,−2)T

que esta mas cerca del vector (1, 1, 1, 1)T .

Ejercicio 8. Halla la matriz de la proyeccion ortogonal sobre cada uno de los siguientessubespacios de R4:

(1) el subespacio generado por (0, 2, 1, 0)T y (1, 1, 0, 1)T .

(2) el subespacio generado por (0, 0, 2, 1)T y (1, 1,−1, 0)T .

(3) Sobre E y sobre E⊥, siendo E ≡{

x− 3y + z + t = 02x− 5y + z + 2t = 0

Comprueba que, como debe

ser, la suma de ambas matrices vale I.

Ejercicio 9. Dado el subespacio S ⊂ R3 definido por x1 − 2x2 + 2x3 = 0, se pide:

(a) Halla la matriz de la proyeccion ortogonal sobre S. ¿Cual es la matriz de la proyeccionortogonal sobre S⊥?

(b) Determina una base de S⊥.

(c) Demuestra que Col (A) = S, siendo A =

2 00 1−1 1

.

(d) Halla el vector de S que dista menos de v = (1, 1, 1)T .



Ejercicio 10. Aplica el metodo de Gram-Schmidt a:

(a) La base de R4,{

(1, 0, 1, 0)T , (1, 1, 0, 0)T , (0, 1, 1, 1)T , (0, 1, 1, 0)T}

.

(b) Las columnas de las matrices

A =

1 10 11 0

, B =

1 11 22 1

.

Ejercicio 11. La proyeccion ortogonal del vector v = (5,−2, 3)T sobre la recta x = y, y = zes:

(−1,−1,−1)T .

(3, 3, 3)T .

(2, 2, 2)T .

Ejercicio 12. Halla una base ortonormal de Col (A) y otra de Nul (A) siendo

A =

1 1 00 −1 11 1 −11 1 1

.

Ejercicio 13. Consideremos el subespacio E definido mediante

E = Gen{

(a, 0, 0, 0)T , (a, a, b, 0)T , (a, b,−a, 1)T}

, a, b ∈ R.

(a) Hallar una base ortonormal del subespacio E segun los valores de a y b.

(b) Hallar la matriz de la proyeccion ortogonal sobre E, cuando a = 0.

(c) Calcular los valores de los parametros a y b tales que el subespacio dado por las ecua-ciones

x1 = 05x1 + x2 + 3x3 = 0−2x1 + 3x2 − x3 + x4 = 0

sea ortogonal a E.

Ejercicio 14. Consideremos los vectores y el subespacio vectorial dados por

v1 =

−11−3

, v2 =

2αα3

, u =

α0−1

; S ≡ x1 + x2 + αx3 = 0.

Determina α sabiendo que proy S(v1) = proy S(v2) = u. (un dibujo puede ayudar)



Ejercicio 15. Sean S1 y S2 los subespacios vectoriales de R4 definidos mediante

S1 ≡ x1 + x2 + x3 + x4 = 0, y S2 ≡ x1 + x2 − x3 − x4 = 0.

Determina el vector v ∈ R4 cuyas proyecciones ortogonales sobre S1 y S2 son, respectiva-mente,

u1 = proy S1(v) =

3−55−3

, u2 = proy S2(v) =

7−17−1

Ejercicio 16. Sea A una matriz 4× 3 tal que

Nul (A) = Gen

−351

, Col (A)⊥ = Gen

v1 =

1−110

, v2 =

2−101

.

(a) Calcula la proyeccion ortogonal del vector v = [1 1 1 1]T ∈ R4 sobre el subespacioCol (A).

(b) Determina la matriz A sabiendo que es de la forma A =

1 0 ∗2 1 ∗∗ ∗ ∗∗ ∗ ∗

.

Ejercicio 17. Resolver en el sentido de los mınimos cuadrados los siguientes sistemas deecuaciones

(1) x = 1, x = 7, x = −3, x = 12.

(2) x = a1, x = a2, ..., x = an, siendo a1, a2, ..., an numeros reales. ¿Que se obtiene cuandoalguno de los valores ak aparece repetido?

(3) Ax = b siendo A =

[

1 11 1

]

y b =

[

24

]

.

Ejercicio 18. Resuelve en el sentido de los mınimos cuadrados los dos sistemas equivalentessiguientes (que tendrıan las mismas soluciones exactas si fueran compatibles)

{

x1 + x2 = 32x1 + 2x2 = 4

}

y

{

x1 + x2 = 3x1 + x2 = 1

}

.



Ejercicio 19. Dados el subespacio E = Gen{

[1, 0, 0, 1]T , [0, 1, 0, 2]T , [0, 0, 1, 1]T}

y la ma-

triz

A =

a1 b1a2 2a3 b2−2 b3

.

(a) Calcular una base de E⊥.

(b) Hallar la matriz de la proyeccion ortogonal sobre E.

(c) Calcular A sabiendo que Col (A)) esta contenido en E⊥.

(d) Resolver en el sentido de los mınimos cuadrados, el sistema Ax = b con b = (1,−1, 0, 0)t.

Ejercicio 20. Por el metodo de los mınimos cuadrados, ajustar una parabola, y = ax2 +bx+ c, a los puntos (1,−3), (1, 1), (−1, 2) y (−1,−1).

Ejercicio 21. Resolviendo el sistema sobredeterminado que se obtiene de la ecuacion generalde la circunferencia x2 + y2 + ax+ by+ c = 0, calcular la circunferencia que mejor se ajuste,en el sentido de los mınimos cuadrados a los puntos (0, 0), (1, 0), (0, 1) y (1, 1), indicandolas coordenadas del centro y el radio de la misma.

Ejercicio 22. Consideremos el sistema

0 11 1−1 12 1

(

xy

)

=

1133

.

Sus ecuaciones normales de Gauss son:[

6 11 4

] [

xy

]

=

[

48

]

.

[

6 22 4

] [

xy

]

=

[

24

]

.

[

6 22 4

] [

xy

]

=

[

48

]

.

Ejercicio 23. Considera los vectores v1, v2, v3 y v4 de R4 y la matriz C dados por

v1 =

1−120

, v2 =

0122

, v3 =

1−123

, v4 =

−1−812

; C =

v1 v2

.

(a) Calcular la matriz de la proyeccion ortogonal sobre S = Gen {v1, v2, v3}, el vector de Smas cercano a v4 y la distancia de v4 a S.

(b) Resolver, en el sentido de los mınimos cuadrados, el sistema Cx = v3.



5.6.2.- Soluciones.

Ejercicio 1. (1)

•{

v · u = 0||v|| = 1

Corte de la esfera de centro el origen y radio 1 con el planox+ 2y + 3z = 0. Circunferencia de centro el origen y radio 1.

•{

v · u = 2||v|| = 1

Corte de la esfera de centro el origen y radio 1 con el plano

x+ 2y + 3z = 2. Circunferencia de centro C = ( 2

14, 4

14, 6

14) y radio

√

10

14.

•{

v · u = 4||v|| = 1

Corte de la esfera de centro el origen y radio 1 con el planox+ 2y + 3z = 4. Nada.

•{

v · u = 2||v|| = 2√

14.

Corte de la esfera de centro el origen y radio 2/√14

con el plano x+ 2y + 3z = 2. Un punto.

(2) Radio r =√

5

14, Centro C = ( 3

14, 6

14, 9

14).

Ejercicio 2.

E⊥

Base

−2210

,

−1−101

, Ecuaciones implıcitas

{

x1 + 2x3 + x4 = 0,x2 − 2x3 + x4 = 0.

F⊥

Base

v1 =

213−1

, v2 =

320−2

, Ecuaciones implıcitas

{

−6x+ 9y + z = 0,y + t = 0.

Ejercicio 3.

13−14

= u+ v, u =3

2

2101

, v =

−23

2

−15

2

.

Ejercicio 4. (1) Para el vector v dado, tenemos

v =

413−2

⇒ proy(v) = 1

2

5−13−7

.



(2) Para el vector dado tenemos,

proy(v) =1

7

8−115

.

(3) En este caso la proyeccion viene dada por

proy(

3−45

) =1

11

47−241

.

Ejercicio 5. (1) Si tomamos dos matrices ortgonales Q1 y Q2 de orden n, se verifica que

Q−1

1 = QT1 y Q−1

2 = QT2

y, por tanto, la matriz producto Q = Q1Q2 es ortogonal pues se verifica que

QQT = (Q1Q2) (Q1Q2)T = (Q1Q2)

(

QT2Q

T1

)

= Q1Q2QT2Q

T1 = Q1Q

T1 = I.

(2) Las matrices Q1 = I y Q2 = −I son ortogonales, pero su suma Q1 +Q2 = 0 no lo es.

Ejercicio 6. Una de las matrices de cambio de base es

PB2 ← B1

=1

2√2

[

1 +√3 −1 +

√3

1−√3 1 +

√3

]

que es una matriz ortogonal porque los vectores columna forman una base ortonormal deR

2. La otra matriz de cambio de base es la inversa (o traspuesta) de la matriz anterior

PB1 ← B2

=

(

PB2 ← B1

)−1

=

(

PB2 ← B1

)T

=1

2√2

[

1 +√3 1−

√3

−1 +√3 1 +

√3

]

.

Ejercicio 7. Teniendo en cuenta el Teorema de la mejor aproximacion, de los vectoresde un subespacio vectorial S, el que esta mas cerca de un vector dado b es el vector proyeccionortogonal de b sobre S, es decir, el vector pedido es

proyS(b) =1

9

11897

.



Ejercicio 8. (1) La matriz de la proyeccion ortogonal sobre el subespacio es

PS =1

11

5 1 −2 59 4 1

3 −25

.

(Los elementos que faltan en la matriz anterior no son nulos, ¿quienes tienen que ser?)

(2) La matriz de la proyeccion ortogonal sobre el subespacio generado

P =1

11

5 ∗ ∗ ∗5 5 ∗ ∗−1 −1 9 ∗2 2 4 3

.

(Completa las posiciones donde aparece (∗))

(3) La matriz de la proyeccion ortogonal sobre E,

PE =1

4

3 1 1 −1∗ 1 1 1∗ ∗ 1 1∗ ∗ ∗ 3

.

(Completa las posiciones donde aparece (∗)). La matriz de la proyeccion ortogonalsobre E⊥

PE⊥ =1

4

1 −1 −1 1∗ 3 −1 −1∗ ∗ 3 −1∗ ∗ ∗ 1

= I − PE .

(Completar las posiciones donde aparece (∗))

Ejercicio 9. (a) La matriz de la proyeccion ortogonal sobre S es

PS =1

9

8 2 −2∗ 5 4∗ ∗ 5

.

La matriz de la proyeccion ortogonal sobre S⊥ es

PS⊥ = I − PS =1

9

1 −2 2∗ 4 −4∗ ∗ 4

.

(b) Una base de S⊥ es

1−22

.



(c) Tenemos Col (A) = S puesto que cada columna de A esta en S y ambos subespaciostienen dimension 2.

(d) El vector u de S mas cercano a v es el vector proyeccion ortogonal de v sobre S, esdecir,

PSv =1

9

8 2 −2∗ 5 4∗ ∗ 5

111

=1

9

8117

.

La distancia de v a S es

||v − PSv|| = ||PS⊥v|| = 1

9

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

1−22

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

∣

=1

3.

Ejercicio 10. (a)

(b) A: Ortogonalizamos los vectores columna v1 y v2 de A,

u1 = v1 =

101

, u2 = v2 −v2 · u1

||u1||2u1 =

1

2

12−1

.

B: Ortogonalizamos los vectores columna v1 y v2 de B,

u1 = v1 =

112

, u2 = v2 −v2 · u1

||u1||2u1 =

1

6

17−4

.

Ejercicio 11. La proyeccion ortogonal del vector v = (5,−2, 3)T sobre la recta x = y, y = zes: (2, 2, 2)T .

Ejercicio 12. Col (A) Una base ortonormal de Col (A) es

q1 =1√3

1011

, q2 =

0−100

, q3 =1√2

00−11

.

Nul (A) Como el rango de A es 3 el espacio nulo tiene dimension cero, luego solo

puede ser Nul (A) = {0}.

Ejercicio 13. (a) Si a = 0 los vectores son ortogonales dos a dos y tenemos los siguientescasos:



a = 0, b = 0. En este caso v1 = v2 = 0 y {v3} es una base ortonormal de E.

a = 0, b 6= 0. En este caso,

E = Gen

u2 =

0010

, u3 =1√

1 + b2

0b01

,

deonde {u2, u3} es una base ortonormal de E.

a 6= 0. Los tres vectores {v1, v2, v3} son no nulos y no ortogonales entre sı. Ortoga-nalizamos, normalizamos los vectores obtenidos y tenemos una base ortonormalde E,

u1 =

1000

, u2 =1√

a2 + b2

0ab0

, u3 =1√

1 + a2 + b2

0b−a1

.

(b) Para a = 0 tenemos los siguientes casos:

a = 0, b = 0. La matriz de la proyeccion ortogonal sobre E es

P =

0 0 0 00 0 0 00 0 0 00 0 0 1

.

a = 0, b 6= 0. La matriz de la proyeccion ortogonal sobre E es

P =

0 0 0 0

0 b2

1+b20 b

1+b2

0 0 1 00 b

1+b20 1

1+b2

.

(c) Se obtiene a = 1, b = 1.

Ejercicio 14. se obtiene α = −2.

Ejercicio 15. Se obtiene v =

6−280

.



Ejercicio 16. (a) La proyeccion del vector v sobre el subespacio Col (A) es el vector dadopor

u =1

3

1432

.

(b) La matriz A completa es:

A =

1 0 32 1 11 1 −20 1 −5

.

Ejercicio 17. (1) x =1 + 7− 3 + 12

4=

17

4.

(2) x =a1 + a2 + · · ·+ an

n. Cuando alguno de los valores ak aparece repetido, la expresion

anterior es valida y se trata de una media aritmetica ponderada donde cada uno de losdistintos valores pesa segun el numero de veces que aparece repetido.

(3) Mediante las ecuaciones normales de Gauss{

x =

[

3− αα

]

, α ∈ R

}

.

Ejercicio 18. (a)[

x1

x2

]

=

[

11

5

0

]

+ α

[

−11

]

, α ∈ R.

(b)[

x1

x2

]

=

[

20

]

+ β

[

−11

]

, β ∈ R.

Es decir, las soluciones en mınimos cuadrados de cada uno de los sistemas es una rectay ambas rectas son paralelas. Notemos que si en el sistema (a) a la segunda ecuacion lerestamos la primera, se obtiene el sistema (b).

Ejercicio 19. (a) E⊥ =

w =

−1−2−11

.

(b) La matriz de la proyeccion ortogonal sobre E es

PE =1

7

6 −2 −1 1−2 3 −2 2−1 −2 6 11 2 1 6

.



(c) Obtenemos

A =

2 14 22 1−2 −1

.

(d)[

x1

x2

]

=

[

− 1

14

0

]

+x2

2

[

−12

]

.

Ejercicio 20. Para cualquier valor de c ∈ R, todas las parabolas

y = −(

1

4+ c

)

x2 − 3

4x+ c

se ajustan igual de bien, en el sentido de los mınimos cuadrados, a los puntos dados y seajustan mejor que todas las demas. Siendo estrictos en la lectura del enunciado quiza habrıaque suprimir una de las curvas que se obtiene mediante la ecuacion anterior, ¿cual?

Ejercicio 21. La circunferencia que mejor se ajusta, en el sentido de los mınimos cuadrados,a los puntos dados es

x2 + y2 − x− y = 0 ≡(

x− 1

2

)2

+

(

y − 1

2

)2

=1

2,

es decir, se trata de la circunferencia de centro(

1

2, 1

2

)

y radio√2

2. Notemos que, de hecho, los

puntos dados estan en la ciecunferencia obtenida es decir, la solucion en mınimos cuadradoses solucion (en el sentido estricto) del sistema original.

Ejercicio 22. Sus ecuaciones normales de Gauss son:[

6 22 4

] [

xy

]

=

[

48

]

.

Ejercicio 23. (a) Matriz de la proyeccion ortogonal sobre S:

PS =1

21

5 −8 4 0−8 17 2 04 2 20 00 0 0 21

.

Vector de S mas cercano a v4: PSv4 =

3−602

.

Distancia de v4 a S: La distancia de v4 a S es√21.

(b)[

x1

x2

]

=1

5

[

34

]


Tema 5.- Ortogonalidad y mejor aproximaci´on. Tema 5.- Ortogonalidad y mejor aproximaci´on. su...

Documents

Transcript of Tema 5.- Ortogonalidad y mejor aproximaci´on. Tema 5.- Ortogonalidad y mejor aproximaci´on. su...