Clase 05 M.nimos Cuadradosmaterias.fi.uba.ar/6631/material/Clase_05_Minimos_Cuadrados.pdf · xP x...
33
1 1. Mínimos Cuadrados 1. Mínimos Cuadrados_____________________________________________ 1 1.1. Introducción _______________________________________________________________________________________________________2 1.2. Método de Identificación por Mínimos Cuadrados _______________________________________________________________________3 1.2.1. Forma Recursiva:__________________________________________________________________________________________________________ 6 1.2.2. Inclusión del Factor de Olvido. ______________________________________________________________________________________________ 10 1.3. Características Estadísticas de la Estimación___________________________________________________________________________17 1.3.1. Correlación de la Estimación:________________________________________________________________________________________________ 20 1.4. Influencia del Valor Medio _________________________________________________________________________________________22 1.5. Referencias _______________________________________________________________________________________________________33
Transcript of Clase 05 M.nimos Cuadradosmaterias.fi.uba.ar/6631/material/Clase_05_Minimos_Cuadrados.pdf · xP x...
1
1. Mínimos Cuadrados 1. Mínimos Cuadrados_____________________________________________ 1
1.1. Introducción _______________________________________________________________________________________________________2
1.2. Método de Identificación por Mínimos Cuadrados _______________________________________________________________________3 1.2.1. Forma Recursiva:__________________________________________________________________________________________________________ 6 1.2.2. Inclusión del Factor de Olvido. ______________________________________________________________________________________________ 10
1.3. Características Estadísticas de la Estimación___________________________________________________________________________17 1.3.1. Correlación de la Estimación:________________________________________________________________________________________________ 20
1.4. Influencia del Valor Medio _________________________________________________________________________________________22
1.5. Referencias _______________________________________________________________________________________________________33
2
1.1. Introducción
ajuste automático de parámetros = Identificación de Sistemas
Excitación
-
+
Planta
Modelo
Salida de la Planta
Salida del Modelo
Error de Estimación
3
1.2. Método de Identificación por Mínimos Cuadrados Se considera, a los efectos del análisis, la siguiente planta real:
1 10
n mT
i i k kk i k kk k-ii=1 i=
= + u y ya b xε εθ−+ + + = +∑ ∑ [1-1]
kε perturbación o incertidumbre.
modelo:
1 10
ˆ ˆˆ ˆn m
Ti k-i kk k-i ki
i=1 i=
= + = y ya u xb θ+ +∑ ∑ [1-2]
donde
1
0
1 11 1
ˆ
ˆˆˆ
ˆ
1 k
n k-nkk
k
k-mm N n mN n m
ya
ya = = xub
ub
θ+
× = + +× = + +
[1-3]
4
Para cada instante k habrá un error o diferencia entre ambas salidas: 1 1 1ˆk k ke y y+ + += − [1-4]
tomando todas las muestra, 1
11
1
ˆk
kk k
eE = - Y
eθφ
+
++
=
[1-5]
con
1
1
1
k
k
y =Y
y
+
+
,
1
0
ˆ
ˆˆ
ˆ
ˆ
n
m
a
a
b
b
θ
=
,
1
00 1
Tk k k-mk k-n
kT0 -m-n
y yx u u = =
y yx u uφ
+
… …
… … [1-6]
5
Se puede minimizar el error respecto a θ̂ . J T
k k kE E= [1-7]
ˆˆJ 0T T
p p = 2 Y - 2 = | φθφ φ∇ [1-8]
el valor de θ̂ que hace mínimo J es:
1*ˆ T Tk k k k kYθ φ φ φ
− = [1-9]
6
1.2.1. Forma Recursiva: Analicemos una forma más cómoda de expresar la ecuación [1-9]. Primero
definamos la matriz P como sigue:
[ ]Tk-N k-N
T T T-1 -1k k-1k-N 0 i i k kk
i=0T0
x = + x x x x x xP P
x
φφ = = =
∑… [1-10]
Del mismo modo el vector b será:
[ ]k-N k-N
Tkk k-N 0 i k-1 kk i k
i=00
y = = = + y yb x x x b xY
yφ
=
∑… [1-11]
Entonces [1-9] se expresará
ˆ k kk = bPθ [1-12]
La inversa de la matriz P en un instante k puede expresarse en función de su valor anterior más otra matriz
T-1 -1k k-1 k k = + x xP P [1-13]
7
Si la premultiplicamos por kP -1 T-1
k-1 k kk k kkP P I = P + P x xP= [1-14]
y luego, posmultiplicando por 1kP − resulta: T
k-1 k k k-1k k = + x xP P P P [1-15]
o lo que es lo mismo T
k-1 k k k-1k k - = x xP P P P [1-16]
Posmultipliquemos [1-15] por kx T T
k-1 k k k-1 k k-1k k k k k k k k = + = 1 + x x x x x x x xP P P P P P [1-17]
y agrupemos. -1T
k-1 k-1 kk k k k 1 + = x x x xP P P [1-18]
Ahora, reemplazando [1-18] en [1-16] T
k-1 k-1k kk-1 k T
k-1k k
x xP P - = P P 1 + x xP [1-19]
o su equivalente
8
Tk-1 k-1k k
k k-1 Tk-1k k
x xP P = - P P 1 + x xP [1-20]
Haremos lo mismo con el vector θ . Por la ecuación [1-18] tenemos
[ ]ˆT
k k-1k kk-1 k-1 k kk T
k-1k k
x xP P - + yb xP 1 + x xPθ
=
[1-21]
[ ]ˆ ˆT
k-1 k-1k kk-1k-1 k kk kk k-1 T
k-1k k
x xP P - + + y yb x xP1 + x xPθ θ= [1-22]
por [1-18] sabemos que: k-1 k
k k Tk-1k k
xP = xP 1 + x xP [1-23]
reemplazando en la anterior ˆ ˆ T T
k k-1 k k-1 k-1k k k-1 k k k kk kk k-1= - - + y yx x b x x x xP P P P Pθ θ [1-24]
ˆ ˆ ˆT Tk k-1 k k-1k k k k k kk k-1 k-1 - - yx x x x xP P P Pθ θ θ= + [1-25]
de [1-16] resulta T
k k-1 k k-1k k = - x xP P P P [1-26]
quedando
9
ˆ ˆ ˆTk k k kk k-1 k-1= - - yx xPθ θ θ [1-27]
en resumen el algoritmo está formado por las dos ecuaciones siguientes:
[ ]ˆ ˆ ˆk k k kk k-1
Tk-1 k-1k k
k k-1 Tk-1k k
- - y yxP x xP P = - P P 1 + x xP
θ θ =
[1-28]
Otra forma equivalente que se suele utilizar en la bibliografía es
1
1
ˆ ˆ ˆ
k kk T
k k k
Tk k k k k
Tk k kk k-1 k-1
P xKx P x
P K x PP K y xθ θ θ
+
= + = − = + −
[1-29]
10
1.2.2. Inclusión del Factor de Olvido. En el algoritmo anterior pesamos de igual manera las medidas muy viejas y las
nuevas. J T
k k = Q e e⋅ ⋅ [1-30]
donde 1 0 0
0
0 0
k
k-N
0Q
α
α
=
[1-31]
La matriz Q pondera las muestras dándole más o menos importancia a la historia con respecto al último valor según el parámetro α el cual se llama factor de olvido.
Igual que antes derivamos J para obtener el mínimo.
ˆˆ2 2 0T TJ QY Qθ θ
φ φ φθ∇ = − = [1-32]
resultando 1*ˆ T T
k k k k kk kYQ Qθ φ φ φ−
= [1-33]
11
La matriz P ahora será:
[ ]Tk-N
T -1k k-N 0k
T0
k-Ni T T-1
k-1i k kii=0
x Q Q x xP
x
x x x xP
φφ
α α
= = =
= = +∑
…[1-34]
T T-1 -1k k-1 k kk kk = Q x xP Pφ αφ = + [1-35]
Del mismo modo el vector b será:
[ ]k-N k-N
T ikk k-N 0 i k-1 kk i k
i=00
y = Q = y yb x x x b xY
yα αφ
= = +
∑… [1-36]
Tkk k-1 k kk k x yQb bY αφ= = + [1-37]
Entonces se expresará
12
ˆ k kk = bPθ [1-38]
La inversa de la matriz P en un instante k puede expresarse en función de su valor anterior más otra matriz
1 11
Tk k k kP P x xα− −
−= + [1-39]
Si la premultiplicamos por kP 1 1
1T
k k k k k k kP P I P P P x xα− −−= = + [1-40]
y luego, posmultiplicando por 1kP − resulta:
1 1T
k k k k k kP P P x x Pα− −= + [1-41]
o lo que es lo mismo 1 1
Tk k k k k kP P P x x Pα− −− = [1-42]
Posmultipliquemos [1-41] por kx
1 1 1T T
k k k k k k k k k k k k k kP x P x P x x P x P x x P xα α− − − = + = + [1-43]
y agrupemos. 1
1 1T
k k k k k k kP x x P x P xα−
− − + = [1-44]
Ahora, reemplazando [1-18] en [1-16]
13
1 11
1
Tk k k k
k k Tk k k
P x x PP Px P x
αα
− −−
−
− =+
[1-45]
o su equivalente
1 11
1
1 Tk k k k
k k Tk k k
P x x PP Px P xα α
− −−
−
= − +
[1-46]
Haremos lo mismo con el vector θ . Por la ecuación [1-18] tenemos
[ ]1 11
1
1 1
1ˆ
1 1ˆ
Tk k k k
k-1k k kk Tk k k
Tk-1 k-1k k
kk k k kkk-1 Tk-1k k
P x x PP x ybx P x
x xP P b P x yyx + x xP
αθ α α
θ α α α
− −−
−
− −
= − + = +
= − + +
[1-47]
por [1-18] sabemos que: k-1 k
k k Tk-1k k
xP = xP x xPα + [1-48]
reemplazando en la anterior
14
1 1ˆ ˆ
1 1ˆ
1ˆ ˆ
Tk k-1 k-1k k k-1 k kk kk k-1
T Tk k-1 k k-1 k-1k k k-1 k k k kk kk-1
T Tk k-1 k k-1k k k k k kk-1 k-1
y yx x b x xP P P
y yx x b x x x xP P P P P
yx x x x xP P P P
θ θ α α
θ α α
θ θ α
= − + +
= − − +
= − + − [1-49]
de [1-16] resulta 1 T
k k-1 k k-1k k = - x xP P P Pα [1-50]
1 1T
k k k k k kP P x x P Pα− −− = [1-51]
quedando ˆ ˆ ˆT
k k k kk k-1 k-1= - - yx xPθ θ θ [1-52]
15
en resumen el algoritmo está formado por las dos ecuaciones siguientes:
[ ]1 1
11
ˆ ˆ ˆ
1
k k k kk k-1
Tk k k k
k k Tk k k
- - y yxP
P x x PP Px P x
θ θ
α α− −
−−
=
= − +
[1-53]
o lo que es lo mismo
( )11
ˆ ˆ ˆ
k kk T
k k k
Tk k k k k
Tk k kk k-1 k-1
P xKx P x
P K x PP
K y x
α
α
θ θ θ
+
= + = − = + −
[1-54]
16
Se puede asemejar esta idea a la introducción de un filtro en el cálculo de la inversa de P según lo muestra la figura siguiente:
11
1 qα −−
Tk kx x
1kP−
17
1.3. Características Estadísticas de la Estimación 0
11 1
000 1
k
k k-mk k-nT k-n -nk k
k-m-n
k-m -m
y y
y y u uy y
u u y y u u
u u
φ φ+
+
= ⋅
…
… ………
… …
…
[1-55]
autocovarianza o covarianza cruzada
( )2 2 20
00
kT
k i yki
[1,1] = y y = y rφ φ=
+ + =∑ [1-56]
18
La matriz total se llama matriz de covarianza del algoritmo y será: y y uy uy
uy uyTk k
uy uy u u
uy uy u u
(o) (n - 1) (n - m - 1) (n - 1)r r r r
(n - 1) (n - m - 1)r r (n - m - 1) (n - 1) (0) (m)r r r r
(n - 1) (n - m - 1) (m) (0)r r r r
φ φ
=
… …
…… …
… …
[1-57]
media de θ̂ .
[ ]
[ ]
ˆ ˆlim lim
lim
lim lim
-1T Tkk kk k kk k
-1T Tkk k k kk
-1T Tkk k kk k
E E EY
E + e
E E e
θ θφ φ φ
θφ φ φ φ
θ φ φ φ
→∞ →∞
→∞
→∞ →∞
= = =
= +
[1-58]
[ ]ˆ lim lim-1T T
kk k k kk kE E E eθ θ φ φ φ
→∞ →∞
= + [1-59]
19
Por lo tanto la media de la estimación coincidirá con el valor real de θ si el error e es incorrelado con
-1T T φφ φ . En cualquier otro caso existirá un sesgo en la estimación.
También debemos notar que para que exista solución la matriz T φφ 1debe ser invertible o sea det T 0φφ ≠ [1-60]
Observando la ecuación 0 podemos inferir que esto se puede lograr si el sistema está persistentemente excitado.
20
1.3.1. Correlación de la Estimación:
Calculemos la correlación de θ que tiene la siguiente forma:
[ ] [ ]
ˆ ˆ Tk k
T-1 -1T T T T
-1 -1T T TT
E - - =
E + e - + e -
= E e e
θ θθ θ
φ φ θ θ φ φ θ θφ φ φ φ
φ φ φφ φ φ
[1-61]
si se cumple que e es incorrelado con -1T T φφ φ 4 se verifica:
ˆ-1 -1T T TT
-1T T
= E e er
= E E e e
θ φ φ φφ φ φ
φφ
[1-62]
Suponiendo que el ruido es incorrelado consigo mismo llamaremos T 2
e e = E e = Ier σ [1-63]
21
y se cumplirá que T
k k+E = 0 0e e τ τ∀ ≠ [1-64]
por lo tanto la correlación de θ resulta:
ˆ-1T 2
e = E rθ φφ σ [1-65]
22
1.4. Influencia del Valor Medio
Otra consideración a tener en cuenta en una estimación es que las mediciones de u e y no deben tener un valor medio distinto de cero ya que estamos suponiendo que el modelo del sistema es lineal. En caso de que éste exista deberemos eliminarlo. Si las variaciones son muy lentas se puede usar el siguiente filtro de primer orden:
nn n-1 = + (1- ) xx xα α [1-66]
23
Ejemplo 1. Sistema de Primer Orden. Para familiarizarnos un poco más con el funcionamiento del estimador veamos un
ejemplo sencillo. Sea un sistema de primer orden cuya ecuación en diferencias es: k-1k k-1 = a + b y y u [1-67]
con 0,5a = y 1b =
k ky ku
0 0 1 1 1b = 1 2 ( )1 1,5b a+ = 1
3 ( )21 1,7b a a+ + =
1
4 ( )2 31b a a a+ + +
1
24
El vector φ será, para tres muestras, 1,75 11,5 11 1
= φ
[1-68]
su transpuesta, 1 1 1
1,75 1,5 1 = φ
[1-69]
el vector de medidas de la salida, 1,8751,751,5
k =Y
[1-70]
la matriz de covarianza, 6,3125 4,25
4.25 3T = φφ
[1-71]
25
la matriz P: 3.4286 -4.8571-4.8571 7.2143
-1T =φφ
[1-72]
y finalmente el vector 7,4063
5,125
T Y =φ
[1-73]
Con estos datos ya podemos calcular la estimación de los dos parámetros del sistema resultando obviamente,
0,5ˆ1
-1T T Yθ φφ φ = =
[1-74]
26
Ejemplo 2. Medición de una Resistencia Se mide Tensión y Corriente sobre una resistencia
mk k uk
mk k ik
u u e
i i e
= += +
(1.75)
la medición de la resistencia es mk
mk mk
ur i= [1.76]
por mínimos cuadrados
J ( ) ( )TTkk = U rI U rIE E = − − (1.77)
J 2 ( ) 0r
T = I U rI∂ − − =∂
(1.78)
T
mc TI Ur =I I
(1.79)
27
Cálculo de r
n=1000; vi=1; vu=1; i=1+vi*(rand(n,1)-.5); u=1+vu*(rand(n,1)-.5); r=zeros(n,1); for k=1:n r(k)=u(1:k)'*i(1:k)/(i(1:k)'*i(1:k)); end plot(r);grid axis([0 n -.5 1.5]) cov(i);
28
0 200 400 600 800 1000-0.5
0
0.5
1
1.5
plot(u./i);grid; axis([0 n -.5 1.5])
29
0 200 400 600 800 1000-0.5
0
0.5
1
1.5
[mean(r) mean(u./i) cov(r) cov(u./i)]
ans = 0.9211 1.0816 0.0021 0.2293
30
Sesgo
{ }2
( ) ( )( )
( ) ( )
( ) ( ) 1
TT r r um m imc TTm m r ri i
Tr rT
r r ii iTr r
I e U eI UE r = E = EI I I e I e
I U r= EI e I e
I Iσ
+ + + + = + + +
(1.80)
Método de mínimos cuadrados es
[ ] 1ˆ T TYθ φ φ φ−= (1.81)
[ ]{ }1ˆ( ) ( )T TE = E eθ φ φ φ φθ− + (1.82)
el error está en la salida. No hay error en la entrada
31
Variables instrumentales rvi=zeros(n,1); L=2; ivi=i; ivi(1:length(i)-L)=i(L+1:length(i)); for k=1:n rvi(k)=u(1:k)'*ivi(1:k)/(i(1:k)'*ivi(1:k)); end
0 200 400 600 800 10000.5
0.6
0.7
0.8
0.9
1
1.1
1.2
1.3
1.4
1.5
32
33
1.5. Referencias i. Ljung, Lennart : System Identification: Theory for the User, 2nd Edition, Prentice
Hall, Englewood Cliffs, N.J.,1999. p 313 ii. Goodwin, G. Sin: Adaptive Filtering, Prediction and Control, Prentice Hall –
1984. p 52 iii. Äström, K., Wittenmark: Adaptive Control, Prentice Hall – 1989. p 69 iv. Landau, Ioan Doré. System Identification and Control Design – Prentice Hall –
1990 v. Isermann, R.: Digital Control Systems, Springer Verlag – 1981. p 380
