ECE 636: Systems yidentificationLectures 7‐8

Nonparametric identification (continued)

1

• Important distributions: chi‐square, t distribution, F distribution

S li di ib i• Sampling distributions

• Sample mean– If the variance of x is known

1

1ˆN

ii

x xN

μΧ=

= = ∑

– If the variance of x is unknown

• Sample variance:2 2

1

1ˆ ( )1

N

iix x

NσΧ

=

= −− ∑

2ˆ

• Ratio of two sample variances

22

2 ~ , 1xn

x

n n Nσ χσ

= −

• We can use sampling distributions to construct 

confidence intervals and perform statistical 

hypothesis testing 2

• Power spectral density estimationDi t th d– Direct method

• Periodogram, modified periodogram

Unbiased, not consistent

21ˆ ( ) ( ) , ω=2πk/N, k=0,1,...N-1xx Xω ωΦ =Ν

2ˆ{ ( )} ( )N xx xxVar ω ω→∞ Φ ≈ Φ

• Bartlett, Welch method: improved variance, reduced resolution

• Parametric methods: model the signal as an ARMA process

1 1( ) ( 1) ( ) ( ) ( 1) ( )M Qy t a y t a y t M w t b w t b w t Q= − − − − − + + − + + −

– Indirect method• Estimate autocorrelation, take DFT of estimate

1 1( ) ( 1) ... ( ) ( ) ( 1) ... ( )M Qy t a y t a y t M w t b w t b w t Q+ + + +

,| | 1

0

1ˆ ( ) ( ) ( | |),| | 1xxn

x n x n NN

τ

ϕ τ τ τΝ− −

=

= + ≤ −∑

3

Nonparametric identification• Time domain (impulse response estimation)

• Impulse response analysis• Step response analysis• Correlation analysis• Correlation analysis• Least squares estimation

• Frequency domain (frequency response estimation)• Sinusoidal analysis• Frequency response analysis• Coherence analysis

Notation: For an LTI system υ(t)∞

g0(τ)y(t)u(t)

+

10 0

1( ) ( ) ( ) ( ) ( ) ( ) ( )y t g u t t G q u t t

τ

τ τ υ υ∞

−

=

= − + = +∑1

0 01

( ) ( )G q g q ττ∞

− −=∑

• As we mentioned, in nonparametric identification we estimate g0(τ)• In parametric identification, we parametrize the system model, ie and we estimate the parameter vector θ. For example, if the model is an ARX model:

1τ =

1ˆ ( , )G q− θestimate the parameter vector θ. For example, if the model is an ARX model: 

4

1 1 21 2

1 1 21 1 21

1

( ) ( 1) ( ) ( 1) ( 2) ( )

1ˆ ( , ) , [ ]1

T

y t a y t u t b u t b u t t

b q b qG q a b ba q

ε− −

−−

+ − = + − + − + ⇒

+ += =

+θ θ

Impulse response analysis∞

• Let the input of the system  be an impulse of the form:

• Output

10 0

1( ) ( ) ( ) ( ) ( ) ( ) ( )y t g u t t G q u t t

τ

τ τ υ υ∞

−

=

= − + = +∑, 0

( )0, 0t

u tt

α =⎧= ⎨ ≠⎩ υ(t)

• Output

0( ) ( ) ( )( )ˆ ( )

y t g t ty tg t

α υ

α

= +

=

g0(τ)y(t)u(t)

+

• The error of the estimate is:α

• Therefore, the value of α should be very large compared to the noise values in order to achieve small errors• Practically difficult to apply such inputs in many cases

5

Step response analysis∞

• Let the input of the system be the step signal

• Output

10 0

1( ) ( ) ( ) ( ) ( ) ( ) ( )y t g u t t G q u t t

τ

τ τ υ υ∞

−

=

= − + = +∑, 0

( )0, 0t

u tt

α ≥⎧= ⎨ <⎩

• Output0

1( ) ( ) ( )

( ) ( 1)ˆ( )

t

y t g t

y t y tg t

τ

α τ υ=

= +

− −=

∑

• Errorα

• Practically: Large error• Step response analysis is mostly useful for estimating basic characteristics of the system such as pure time delay, static gain, time constants (e.g., in automatic control applications)

6

Correlation analysis∞

(1)

• Let the input be stationary with autocorrelation function• Also let the noise be uncorrelated to the input

00

( ) ( ) ( ) ( )y t g u t tτ

τ τ υ=

= − +∑( ) { ( ) ( )}uu E u t u tϕ τ τ= +

{ ( ) ( )} 0E u t tυ τ+ =• Also, let the noise be uncorrelated to the input• Multiply (1) with u(t‐k), and take expected value

{ ( ) ( )} 0E u t tυ τ+ =

00

{ ( ) ( )} { ( ) ( ) ( ) ( ) ( )}E y t u t k E g u t u t k t u t kτ

τ τ υ∞

=

− = − − + − ⇒∑

• If we have white noise input:

00

( ) ( ) ( )uy uuk g kτ

ϕ τ ϕ τ∞

=

= −∑2( ) ( )ϕ τ σ δ τ=If we have white noise input:

and: 

( ) ( )uu uϕ τ σ δ τ=

0 2

( )( ) uy

u

gϕ τ

τσ

=

7

Correlation analysis• In practice, we estimate the autocorrelation and cross‐correlation functions that are needed from a data record of length N• Note: There are more than one sum types (different limits) to estimate these quantities• For example we can use the following estimates:• For example we can use the following estimates:

1 τΝ−

1ˆ ( ) ( ) ( )N

uyny n u n

N τ

ϕ τ τ=

= −∑

2 21ˆˆ (0) ( )N

u nσ ϕ= = ∑1

1ˆ ˆ ˆ( ) ( ) ( ), ( ) ( ), 0,1, 2,...uu uu uunu n u n

N

τ

ϕ τ τ ϕ τ ϕ τ τΝ

=

= + − = =∑

to get the following estimate for the impulse response of the system:1

(0) ( )u uunu n

Nσ ϕ

=∑

1 ( ) ( )N

y n u n τ∑2

1

( ) ( )ˆ ( )

1 ( )

nN

n

y n u nNg

u nN

τ

ττ =

=

−=

∑

∑

8

1nN =

Correlation analysis• What happens if we don’t have a white noise input?

00

( ) ( ) ( )

( ) ( )* ( )

uy uuk g k

gτ

ϕ τ ϕ τ

ϕ τ τ ϕ τ

∞

=

= − ⇒∑

• In practice we truncate the above sum up to M (where M is the memory of the system) and use estimates for the auto/cross‐correlation functions as shown before:

0( ) ( )* ( )uy uugϕ τ τ ϕ τ=

ˆ ˆˆ( ) ( )* ( )gϕ τ τ ϕ τ=

In matrix form, we can write:

( ) ( ) ( )uy uugϕ τ τ ϕ τ

ˆ ˆˆ ˆ ˆ(0) (0)(0) ( 1) ... ( ( 1))uy uu uu uu gϕ ϕ ϕ ϕ⎡ ⎤ ⎡ ⎤− − Μ − ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥ˆ ˆˆ ˆ ˆ(1) (1)(1) (0) ... ( ( 2))

... ...... ... ... ...ˆ ˆˆ ˆ ˆ( 1) ( 1)( 1) ( 2) (0)

y

uy uu uu uu

uy uu uu uu

g

g

ϕ ϕ ϕ ϕ

ϕ ϕ ϕ ϕ

⎢ ⎥ ⎢ ⎥ ⎢ ⎥− Μ −⎢ ⎥ ⎢ ⎥ ⎢ ⎥=⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥Μ − Μ −Μ − Μ −⎢ ⎥⎢ ⎥ ⎣ ⎦⎣ ⎦⎣ ⎦

We can solve the above by inverting the (MxM) matrix 

y ⎣ ⎦⎣ ⎦⎣ ⎦

ˆuuΦ

( ) 1ˆ uu uy

−=g Φ Φ( )

9

Correlation analysis• We return to:

1 ( ) ( )ˆ ( )

1

N

nN

y n u nNg τ

ττ =

−=

∑

• It can be shown that:

2

1

( )1 ( )

N

n

gu n

N =∑

and that the covariance matrix of  i.e.:

0ˆlim { ( )} ( )N E g gτ τ→∞ =

0ˆ −g g

ˆ ˆ{( )( ) }TE

depends on 1/Ν, therefore we have better estimates as N increases

ˆ ˆ{( )( ) }TE − −g g g g

10

The convolution sum as a linear regression problem• Note: By truncating as before the convolution sum up to M, we can write the discrete convolution relation as:

ˆy = Ugˆ(1) (1) 0 ... 0 (0)ˆ(2) (2) (1) ... 0 (1)

... ... ... ... ... ...

y u gy u u g

⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥=⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥

• U is a NxM matrix •The least squares solution of this is:

ˆ( ) ( ) ( 1) ... ( 1) ( 1)y N u N u N u N M g⎢ ⎥ ⎢ ⎥ ⎢ ⎥− − + Μ −⎣ ⎦ ⎣ ⎦ ⎣ ⎦

The least squares solution of this is:

• Not very efficient (many unknowns)• More to follow on linear regression

1ˆ ( )T T−g = U U U y

11

Analysis of sinusoidal response• The sinusoidal response of an LTI system is also sinusoidal, whereby the amplitude of the output sinusoid is multiplied by the magnitude of the system frequency response at the input sinusoid frequency |H(ω0)| and a phase equal to the phase of the system frequency response at ω is added to the input

υ(t)system frequency response at ω0 is added to the inputphase, i.e.:

0( ) cos( )u t tα ω=

g0(τ)y(t)u(t)

+

0 0 0

0 0

( ) ( ) cos( ) ( )( )

y t G t tG

α ω ω ϕ υϕ ω= + +

= ∠

• Therefore we can vary the input frequency ω0 and measure the amplitude and the phase of the steady state response in the output. Consequently we can estimate the frequency response of the system, e.g. graphically in the form of Bode plots• This experimental protocol is often not feasible and it is affected by noise as we have to estimate two values (magnitude and phase) in the presence of noise

12

Analysis of sinusoidal response• In order to improve these estimates we may define:

g0(τ)y(t)u(t)

+

υ(t)

• Substitute and ignoring the transient responseIt can be shown using trigonometric identities that:

0 0 0( ) ( ) cos( ) ( )y t G t t transientα ω ω ϕ υ= + + +

0 0

0 0

lim ( ) ( ) cos2

lim ( ) ( ) sin

N C

N S

I N G

I N G

α ω ϕ

α ω ϕ

→∞

→∞

=

= −

We can then estimate the magnitude and the phase as:

0 0( ) ( )2N S ϕ→∞

2 2

0

( ) ( )ˆ ( )/ 2

( )ˆ t ( )

C S

S

I N I NG

I N

ωα

+=

( )ˆ arctan( )

( )S

CI N

ϕ = −

13

The empirical transfer function estimate

• The simplest estimate for the frequency responseof the system results from the relation between the FTs of the input and the output i e :

g0(τ)y(t)u(t)

+

υ(t)

FTs of the input and the output, i.e.:( )ˆ ( )( )

N

N

YGU

ωωω

=

where ΥΝ(ω) and UN(ω) are the DFTs of the input and output, which may be computed from sample records {u(1),…,u(N)} and {y(1),…,y(N)}

2 21 1

( ) ( ) ( ) ( ) 0,1,..., 1, ω=2πk/NN Nj kn j kn

N NN NU u n e Y y n e k N

π π

ω ω− −− −

= = = −∑ ∑• By taking the inverse DFT of (1) we can also obtain estimates of the impulse response• Simple method but undesirable properties• It can be shown that for Ν‐>∞ :

0 0n n= =

• the estimate is asymptotically unbiased• the estimate is not consistent but it depends on the noise‐to‐signal ratio at each frequency (recall periodogram estimates)• the estimates at different frequencies are asymptotically uncorrelatedthe estimates at different frequencies are asymptotically uncorrelated

• Solution: as in PSD estimation, we can utilize smoothing

14

Smoothing the empirical transfer function• We can use windowing (as we did in PSD estimation), but this time in the frequency domain, to reduce the variance of our estimate• The basic idea is that the true frequency response is a smooth function of ω, in other words for 

( )neighboring values of ω the corresponding G0(ω) values are also close• However, the simple DFT method yields uncorrelated estimates and if the frequency resolution  2π/Ν is small compared to the changes of G0(ω), the estimated values

2 2k k

corresponds to uncorrelated, unbiased estimates of the tit G ( )!

2 2ˆ ( ), ,k kG kN Nπ π ω∈ ≈

same quantity G0(ω)!

Smoothing the empirical transfer function

• Let G0(ω) be constant in the interval1 2

0 02 2k kN Nπ πω ω ω ω ω= −Δ < < + Δ =

• We can estimate this value from:

by simply taking the average of these values Moreover we can

1 22ˆ ( ), ( , )kG k k kNπ

∈22 k

Nπ12 k

Nπ

by simply taking the average of these values. Moreover we can weigh these values by the inverse variance of each of these estimated values, i.e.:

NN

2

10

2ˆ ( )ˆ̂ ( )

k

kk k

k

kGN

G

παω ==

∑*

where αk corresponds to the variance of each estimate, i.e.:

2

1

0( ) k

kk k

α=∑ 22( )

2( )

N

k

kUNkNυυ

π

α π=Φ

For large Ν the sums become integrals therefore( )Nυυ

0

00

ˆ ( )ˆ̂ ( )G d

G

ω ω

ξω ωω ω

α ξ ξω

+Δ

−Δ+Δ=

∫∫

2( )( )

NUξ

ξα

ξ=

* If we have estimates of the same quantity with different variances, the best estimate ‐ in terms of minimum variance – of this quantity is given by a weighted sum where the weights are the inverse of the variance of each separate estimate

0

0

0( )d

ω ω

ξω ωα ξ

+Δ

−Δ∫ ( )ξυ ξΦ

Smoothing the empirical transfer function• If the frequency response is not completely constantBetween :

• We can multiply the previous relation with 0 0( , )ω ω ω ω−Δ +Δ

a window function W(ξ) which weighs theestimates around ω0more, i.e.:

0 ˆ( ) ( )W G dω ω

ξ ω α ξ ξ+Δ

∫ (1)

If the noise spectrum is known we can calculate the quantity above. Typically its not!

0

0

0

0

0

0

( ) ( )ˆ̂ ( )( )

W G dG

W d

γ ξω ωω ω

γ ξω ω

ξ ω α ξ ξω

ξ ω α ξ−Δ

+Δ

−Δ

−=

−

∫∫

( )υυ ξΦ

• We can however assume that this spectrum varies slowly compared to the window width (broadband noise), therefore we can assume that it stays approximately constant and equal to  . Therefore:

2( )U ξ

0( )υυ ωΦ

and we can simplify (1) to: 0

( )( )

NUξ

υυ

ξα

ω=Φ

Δ0

0

0

0

20

0 20

ˆ( ) ( ) ( )ˆ̂ ( )( ) ( )

N

N

W U G dG

W U d

ω ω

γω ωω ω

γω ω

ξ ω ξ ξ ξω

ξ ω ξ ξ

+Δ

−Δ+Δ

−Δ

−=

−

∫∫

Smoothing the empirical transfer function• We can choose any of the symmetric windows that we have seen before – note that here we are working in the frequency domain• The width of the window determines the bias/variance tradeoff: When we use narrow windows in the time domain (small M), which corresponds to broader windows in the frequency domain, we obtain estimates with smaller variance but larger bias as we are averaging the estimates over a wider range of frequencies within which the true frequency response may vary considerablytrue frequency response may vary considerably

Rectangular

Bartlett

Hamming

Smoothing the empirical transfer function• We can also smooth in an analogous manner to the Welch method that we examined in PSD estimation

• We split the data record of length Ν inΜ segments of length Κ and estimate

• Take the average of these estimates

( )ˆ ( ) , 1,2,...,( )

kk RR k

R

YG k MU

ωωω

= =

1ˆ M

or using weights that are inversely related to the variance1

1ˆ̂ ˆ( ) ( )M

kN R

kG G

Mω ω

=

= ∑

2ˆ( ) ( )M

R k kG πβ∑ 210

1

2( ) ( )ˆ̂ ( ) , ( ) ( )

( )

R kk R

R kkN k RM

Rk

k

kGNG U

πβ ωω β ω ω

β ω

=

=

= =∑

∑Periodogram of each 

segment

Estimating the frequency response• We can also use the relation:

g0(τ)y(t)u(t)

+

υ(t)

( )ˆ ( )( )

yu

uu

Gω

ωω

Φ=Φ

to estimate the frequency response, or we can estimate the coherence:2

2( )

( )( ) ( )yu

yu

ωγ ω

ω ω

Φ=Φ Φ

We have seen that the auto/cross spectra may be estimated directly (periodogram) or indirectly by first estimating the corresponding auto/cross correlation functions, i.e.:

( ) ( )uu yyω ωΦ Φ

1ˆτΝ−

∑1 N τ−

• In both cases we can use windowing when estimating the spectrum, i.e.:

1

1ˆ ( ) ( ) ( )uunu n u n

Nϕ τ τ

=

= +∑1

1ˆ ( ) ( ) ( )N

yuny n u n

N

τ

ϕ τ τ=

= +∑

ˆ ˆ( ) ( ) ( )

ˆ ˆ( ) ( ) ( )

Ni

uu uuN

Ni

yu yu

w e

w e

τω

τ

τω

ω τ ϕ τ

ω τ ϕ τ

−

=−

−

Φ =

Φ =

∑

∑• This results in weighing the values of the auto/cross‐correlation estimates at large values of τless. This is desirable as these estimates are more inaccurate due to that they are estimated by less I/O samples (recall we have finite samples!) 20

Nτ =−

Estimating the frequency response• Selecting a proper window length is important• In practice we can select the window parameter such that:

• The window width is small compared to the data record length N

• so that we don’t smooth excessively

• Coherence: While we don’t get an explicit estimate of the system frequency response• Coherence: While we don t get an explicit estimate of the system frequency response, coherence is also widely used in systems identification/modeling applications. Since it involves the estimation of the cross‐spectrum between input and output and the I/O spectra, similar remarks hold for the estimation of these quantities

22

2( )

( )( ) ( )uy

uyuu yy

ωγ ω

ω ω

Φ=Φ Φ

Noise spectrum estimation• If we have noise measurements, we can estimate its spectrum as before (typically we don’t)• In practice, after we obtain an estimate of  we can estimate the noise values as:ˆ ( )g t

1ˆ ˆ( ) ( ) ( ) ( )

M

t t t−

∑and then estimate its spectrum.Alternatively, we can estimate the spectrum (assuming uncorrelated noise) by:

0( ) ( ) ( ) ( )t y t g u t

τ

υ τ τ=

= − −∑

( ) ( ) ( )ω ω ω ⎫Φ = Φ +Φ2

20

( ) ( ) ( )

( )( ) ( ) ( )

( )

yy zz

yuzz uuG

υυω ω ω

ωω ω ω

ω

⎫Φ = Φ +Φ⎪⎪⇒⎬Φ

Φ = Φ = ⎪Φ ⎪⎭ υ(t)

2

( )

ˆ ( )ˆ ˆ( ) ( ) ˆ ( )

uu

yuyyυυ

ω

ωω ω

ω

Φ ⎪⎭

ΦΦ = Φ −

Φ

g0(τ)y(t)u(t)

+z(t)

( )uu ωΦ

Example• Dynamic response of biomedical system(human ankle)

• Second order linear ODE• Input: torque Output: position• Input: torque, Output: position• Ideal input: GWN• Broadband case: LP filtering at 200 Hz• Low‐pass filtering at 50 Hz• Noise: 10 dB

Example• Input/output spectra

Example• Nonparametric time‐domain identification:

‐ Least squares method• (Α) “true”• (Β) GWN no noise• (Β) GWN, no noise• (C) Broadband input, no noise• (D) Broadband input, 10 dB noise• (E) LP filtered input, no noise• (F) LP, 10 dB noise

Example• Nonparametric frequency domain identification

Example – ARX system• Let the true system be:

h y(t)u(t)

e(t)Σ1

Σ1

e,u uncorrelated

h1y( )

+

Simulation of Σ1Impulse response, frequency response

B=[0 1]; h y(t)u(t)

e(t)Σ1

B=[0 1];A=[1 ‐0.8];h1true = impz(B,A);[H,W] = freqz(B,A);

h1y( )

+

Simulation ‐ Σ1e(t)

e,u uncorrelatedh1

y(t)u(t)+

e(t)

z(t)

Ν=1024;B=[0 1];A=[1 ‐0.8];[ ];u=randn(N,1);z=filter(B,A,u);e=randn(N,1);y z+e;y=z+e;

Simulation ‐ Σ1e(t)

Correlation betweeen input/outputh1

y(t)u(t)+

e(t)

[phi_zu,lags]=xcorr(z,u,'biased');[phi_yu,lags]=xcorr(y,u,'biased');

Correlation analysis

• The input is approximately white noise, therefore:

h y(t)u(t)

e(t)Σ1

Ν=1024; M=45;

h1y( )

+

hest_zu=czu(floor(length(czu)/2)+1:floor(length(czu)/2)+M+1)/(var(u));hest_yu=cyu(floor(length(cyu)/2)+1:floor(length(czu)/2)+M+1)/(var(u));

Correlation analysis•

Σ1

h y(t)u(t)

e(t)

• How does the value of Ν affect the results?h1

y( )+

Ν=50 Ν=100

Correlation analysis•

Σ1

h y(t)u(t)

e(t)

• A long data record is required for good estimates!h1

y( )+

Ν=10000 Ν=1000000

Frequency response estimation• In the frequency domain

h y(t)u(t)

e(t)Σ1

Cross‐spectral density in Matlab: cpsd[Tzu,w] = tfestimate(u,z);[Tyu,w] = tfestimate(u,y);

h1y( )

+

• Frequency response estimation (system identification toolbox):

Frequency response estimation• Frequency response estimation (system identification toolbox): spa (spectra estimated with Hamming window)datyu=iddata(y,u,1);datzu=iddata(z,u,1);spayu=spa(datyu); h y(t)u(t)

e(t)Σ1

spayu=spa(datyu);spazu=spa(datzu);plot (spayu)plot (spazu)

h1y( )

+

• Empirical transfer function estimate

Frequency response estimation• Empirical transfer function estimate(system identification toolbox): etfedatyu=iddata(y,u,1);hetfe_yu=etfe(datyu);hetfe yu5=etfe(datyu 5); h y(t)u(t)

e(t)Σ1

hetfe_yu5=etfe(datyu,5); h1y( )

+

•Empirical transfer function estimate

Frequency response estimation•Empirical transfer function estimate(system identification toolbox): etfedatyu=iddata(y,u,1);hetfe_yu10=etfe(datyu,10);hetfe yu50=etfe(datyu 50); h y(t)u(t)

e(t)Σ1

hetfe_yu50=etfe(datyu,50); h1y( )

+

• Let the input be an impulse of magnitude α

Impulse response analysisp p g

For α=3:

No noise (or very weak noise) ‐> good estimateFor noisy outputs ‐> bad estimates

h y(t)u(t)

e(t)Σ1

h1y( )

+

Step response analysisAlpha=3;

h y(t)u(t)

e(t)Σ1

p ;z_step=filter(B,A,u_step);h_step=diff(z_step)/alpha;

α=3( ) ( 1)ˆ y t y t− − h1

y( )+1

( ) ( 1)( ) y t y th tα

=

Step response analysisThe presence of noise worsens the estimates very much!

h y(t)u(t)

e(t)Σ1

p y

( ) ( 1)ˆ y t y t− − h1y( )

+1( ) ( 1)( ) y t y th t

α=

Least squares IR estimationNo noise

h y(t)u(t)

e(t)Σ1

With noise:

Ν=1024;M=45;U mat zeros(N M);

(0,1)e N∼

h1y( )

+U_mat=zeros(N,M);for i=1:N,for j=1:M,if (i‐j)>=0U_mat(i,j)=u(i‐j+1);

end;end;

end;

hls nons=pinv(U mat)*z;hls_nons=pinv(U_mat) z;hls_noise=pinv(U_mat)*y;

ˆy = Ugˆ(1) (1) 0 ... 0 (0)ˆ(2) (2) (1) ... 0 (1)

... ... ... ... ... ...

y u gy u u g

⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥=⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥

y Ug

ˆ( ) ( ) ( 1) ... ( 1) ( 1)y N u N u N u N M g⎢ ⎥ ⎢ ⎥ ⎢ ⎥− − + Μ −⎣ ⎦ ⎣ ⎦ ⎣ ⎦

1ˆ ( )T T−g = U U U y