Appunti modellistica e identificazione

Appunti modellistica e identificazioneNote iniziali

1. Prendere questi appunti con le "pinze", in quanto potrei aver scritto castronerie in alcuni passaggi.

2. I programmi che ho usato finora sono: word 2k7, uno scanner, irfanview 4.32, la mitica hp 50g e software correlato.

3. Per correzioni, suggerimenti o altro, mandate una mail a pier4reich@yahoo.it , sono graditissime le segnalazioni!

4. Questo documento distribuito sotto licenza GNU Free documentation license da P. Aiello.

5. Ho notato (tardino, il 19/02/2010) che conviene numerare le equazioni, visto che il documento sar sottoposto a modifiche far cos (prendendo in prestito le idee di organizzazione dei riassunti cartacei):

a. Per la parte di lezione, le equazioni saranno numerate con numero progressivo

b. Per la parte di esercitazione avremo

c. Per l'appendice

d. qualora dovessi inserire altre equazioni tra due numeri progressivi, per esempio ed , la numerazione sar la seguente: , con numeri progressivi. Questo vale per ogni sezione e vale anche per ordini di inserimento successivi (alias )

e. potrei farle numerare in automatico, ma creerei un pochino di casino, quindi vado a manina.

f. Ho trovato un problema. Supponiamo di avere ed inserisco una nuova equazione tra questi due, come la numero?Aggiungo una lettera.Quindi se ho un problema di inserire tra ed scriver: .Continuando tra ed scriver . Non il massimo, ma mi evita reimpaginazioni. (ed uso la lettera a caso, si pu vedere come "antecedente" ).

g. Ho trovato un altro problema. Nel caso devo cancellare qualcosa? Cancello la formula ma non la numerazione, scrivendo

6. A causa della notazione cangiante, della mia scarsa capacit di capire "al volo" le cose, e delle poche spiegazioni (causa orario ridotto), gli appunti che prendo sono di 3 tipi:

Il primo tipo riguarda quelle parti di cui ne capisco il perch, ed ovviamente lo trascrivo negli appunti digitali.Il secondo tipo riguarda quelle parti di cui non ne capisco il perch, ma sono certo di aver scritto commenti e simboli corretti, e quindi la trascrivo (semplicemente ne faccio una copia senza, in pratica, elaborazioni)Il terzo tipo sono quegli spezzoni di lezione di cui non ho capito e non mi sembra corretto ci che ho scritto, in quel caso trascrivo solo l'argomento di cui si parlato, citandolo e nient'altro per evitare confusione (sia per me sia per altri).Per il secondo e terzo tipo spero che andando a icevimento dal professore riesco a dissipare i dubbi (e quindi a migliorare gli appunti digitali), altrimenti li lascio come sono, meglio aver meno cose buone che pi cose fatte male e fuorvianti.

7. Questo documento deve cercare di essere coerente con se stesso (ovvero le informazioni in esso contenute non devono entrare in contraddizione), come secondo obiettivo si cerca di inserire tutto il resto che risulta poco chiario(al limite si rivede) che contenuto negli appunti della lezione.Coerente non significa corretto! Una cosa pu essere coerente nella sua esposizione, anche se totalmente irreale o sbagliata. Ma almeno coerente, quarzo.

8. E' ovvio che anche se effettuer almeno una revisione, non individuer tutti gli errori, quindi pi occhi che visionano lo stesso documento fanno solo bene a quest'ultimo.

Indice

1. Note iniziali

2. Indice

3. Lezione 22/01/2010

3.1. Sistema generale di riferimento

3.2. Obiettivo da raggiungere

3.3. Obiettivo pi "realistico"

3.4. Il processo di identificazione necessario anche se si conosce gran parte della struttura di

3.5. Tipi di modellazione

3.6. Caratteristiche dei modelli derivati dai processi di identificazione

3.7. Processo/algoritmo di identificazione

4. Lezione 29/01/2010

4.1. Definizione generale dei segnali di disturbo

4.2. Problema di analisi dei segnali di disturbo

4.3. Analisi probabilistica: variabile aleatoria

4.4. Analisi probabilistica: distribuzione di probabilit

4.5. Analisi probabilistica: processo stocastico

4.6. Analisi probabilistica: distribuzione di probabilit congiunta

4.7. Analisi probabilistica: distribuzione di probabilit congiunta applicata ad un processo stocastico

4.8. Generazione di processi stocastici tramite equazioni differenziali lineari

4.9. Analisi probabilistica: Parametri caratterizzanti una distribuzione di probabilit congiunta di un processo stocastico

4.10. Analisi probabilistica: Processo stocastico stazionario

4.11. Analisi probabilistica: Processo stocastico debolmente stazionario

4.12. Analisi probabilistica: Osservazioni nel caso di processi stocastici debolmente stazionari

4.13. Analisi probabilistica: dall'esercitazione del 5 feb 2010

4.14. Funzione di densit spettrale

4.15. Informazioni ottenibili tramite la funzione di densit spettrale

4.16. Indice di autocorrelazione e causalit

4.17. Un processo stocastico particolare, il rumore bianco

5. Lezione 12/02/2010

5.1. Introduzione al processo di identificazione

5.2. Modello di regressione lineare per l'identificazione di un sistema senza disturbi

5.3. Esempio di identificazione del sistema, la risposta al gradino

5.4. Ottenere la soluzione del modello di regressione lineare

5.5. Ottenere la soluzione del modello di regressione lineare con sistema con disturbi/errori

5.6. Propriet statistiche della soluzione del modello di regressione lineare con sistema con disturbi/errori stocastici.

6. Lezione 26/02/2010

6.1. Segnali noti di "stimolazione" per l'identificazione

6.2. Premesse per l'analisi dei segnali noti di stimolazione

6.3. Gradino

6.4. PBRS

6.5. Processo stocastco ARMA

6.6. Segnali sinusoidali

6.7. Richiami su nozioni di probabilit e statistica per analizzare i segnali di stimolazione noti

6.8. Analisi statistica del segnale PBRS

6.9. Analisi statistica del processo stacastico ARMA

6.10. Analisi statistica del segnale sinusoidale

7. Lezione 05/03/2010

7.1. Classificazione dei modelli per l'identificazione : struttura generale di un modello

7.2. Il rumore bianco

7.3. Matrice di covarianza

7.4. Caratterizzare i termini G ed H del modello generale

7.5. Definizione generale dell'insieme ammissibile dei parametri che definiscono

7.6. Il modello ARMAX

7.7. Definizione di nel modello ARMAX e determinazione dei parametri ammissibili

7.8. Modelli derivati dall'ARMAX (tutti LTI-TD, SISO)

7.9. Vedere i modelli derivati dall'ARMAX e l'ARMAX stesso in termini di schemi a blocchi

8. Lezione 17/03/2010

9. Ricapitolazione

9.1. Soluzione del modello parametrico di regressione lineare normalizzata

9.2. Le misure vere

9.3. Differenza tra soluzione per modelli deterministici e modelli stocastici

9.4. E' possibile riutilizzare la soluzione ai minimi quadrati su un modello stocastico?

9.5. L'identificazione come problema di controllo

9.6. Il controllo con modelli stocastici

9.7. Definizione di predizione ad un passo

9.8. Errore di stima o predizione

9.9. Modello di predizione basato sull'ARMAX

9.10. Strumenti per la predizione

9.11. Matrice di covarianza dell'errore di stima

9.12. Funzione da minimizzare (o funzionale di costo)

9.13. Algoritmo PEM (prediction error method) in breve

9.14. Esempio generico: Scelta ottimale di ed

9.15. Esempio particolare di scelta ottimale di ed

9.16. La ricorsivit del PEM richiede la condizione iniziale

10. Esercitazione 05/02/2010

11. Esercitazione 19/02/2010

11.1. Identificazione tramite equazioni normali

11.2. Identificazione tramite triangolarizzazione ortogonale o metodo QR

11.3. Confronto tra il metodo QR ed il metodo delle equazioni normali

11.4. Identificazione tramite algoritmo ricorsivo per il calcolo dei minimi quadrati

11.5. Esempi e codice matlab: pressione arteriosa

11.6. Esempio 2

11.7. Esempio 3

12. Appendice

12.1. Norma 2

12.2. Matrice positiva o semidefinita positiva

12.3. definita positiva o semipositiva

12.4. Operazione di trasposizione di una matrice semplice o su operazioni tra matrici.

12.5. Operazione di trasposizione sulla stessa matrice

12.6. Equivalenza tra punti su variet lineari affini

12.7. Stime polarizzate

12.8. Matrice ortogonale

12.9. Matrice triangolare superiore

12.10. La matrice

12.11. Matrice Simmetrica

12.12. Operatore di ritardo a tempo discreto

12.13. Prodotto tra un numero complesso ed il suo coniugato

12.14. Disuguaglianza triangolare

12.15. la delta di kronecker

12.16. Dinamica di un modello

12.17. Prodotto tra matrici quadrate

12.18. Prodotto tra una matrice quadrata e le matrici generatrici di una simmetrica. (include generare una matrice simmetrica dato un vettore)

12.19. Operazione di inversa su prodotto tra matrici

12.20. Moltiplicazione tra polinomi di matrici

12.21. Aggiunta di una matrice 2x2

12.22. Invarianza dell'ordine tra trasposizione ed inversione?

12.23. Associabilit del prodotto tra determinanti?

12.24. Autovalori, determinante e polinomio caratteristico di una matrice

Lezione 22/01/2010Sistema generale di riferimento

dove S: sistema.

La rappresentazione locale ingresso uscita del sistema, in forma matematica, :

dove:

indica una eventuale dipendenza dal tempo della funzione

indica una eventuale dipendenza dagli ingressi controllabili.

indica una eventuale dipendenza dagli ingressi non controllabili, detti disturbi.

In generale sono vettori di funzioni mentre

Obiettivo da raggiungere

L'idea dare una rappresentazione matematica alla funzione , che rappresenta la dinamica del sistema S, a partire dalla conoscenza delle sequenze di dati in ingresso e dalle relative sequenze di dati in uscita generate.

Ovvero, posto di non conoscere la che modella il sistema, oppure posto di conoscerne una parte (magari ne conosciamo la struttura matematica ma qualche termine non definito precisamente), noi dobbiamo determinarla in modo tale che la cos ricavata sia compatibile con le sequenze di dati in ingresso e relative uscite di cui noi siamo a conoscenza.

In pratica, conoscendo:

e le relative uscite

Poich noi possiamo sapere entrambe (gli ingressi li decidiamo noi, le uscite le misuriamo) dobbiamo trovare quella che li metta in relazione, ovvero:

Con un'esposizione pi formale si pu scrivere:

Dato il vettore dei disturbi e data la relazione locale ingresso uscita (si osservi che sarebbe la derivata di primo ordine di , ma solo un formalismo, noi utilizzeremo sempre in seguito) riducibile, per l'assunzione prima fatta, a: , conoscendo una sequenza di ingressi e relative uscite generate , vogliamo determinare la funzione tale che

Obiettivo pi "realistico"

La definizione formale data in precedenza ideale, questo poich nella realt non possibile ottenere la compatibilit totale tra e le sequenze conosciute. Perch? Perch esistono degli ingressi nel sistema non controllabili (i disturbi) ed inoltre poich esistono errori di misurazione.

Allora si cerca la che fornisca la migliore approssimazione delle sequenze in uscita (dati gli ingressi), in termini formali:

cerchiamo una tale che:

Ovvero per ogni sequenza in uscita, la trovata generi la discrepanza minima in termini di distanza (o norma) da quella misurata.

Il processo di identificazione necessario anche se si conosce gran parte della struttura di

Come abbiamo accennato all'inizio, il nostro obiettivo identificare con precisione , questo vale anche se sappiamo la stuttura matematica di quest'ultima ma alcuni dei suoi termini non sono precisati in modo unico.

Supponiamo di avere la seguente modellazione del sistema S a tempo discreto:

Questa la rappresentazione del sistema in forma di equazione alle differenze con coefficenti costanti nel tempo.

Per sapere in modo univoco io dovrei conoscere tutti i coefficenti .

Se qualche coefficente non fosse noto in maniera univoca ( sconosciuto oppure sappiamo che pu assumere un valore entro un certo intervallo limitato) allora io non posso dire di sapere con precisione. Dunque devo ricorrere ad un processo di identificazione per stabilire il valore preciso dei coefficenti non conosciuti (o che ammettono un valore entro un certo intervallo limitato).

Tipi di modellazione

Esistono diversi tipi di modellazione:

1. intuitiva

2. per mezzo di tabelle / grafici

3. matematica

La (1) una descrizione del sistema tramite una serie di affermazioni verbali derivanti da una grammatica.

La (2) una descrizione del sistema tramite tabelle o grafici (esempio i diagrammi di bode), visto che un grafico convertibile in una tabella e viceversa.

La (3) una rappresentazione in termini di equazioni differenziali o equazioni alle differenze.

Si studieranno, in questo corso, rappresentazioni matematiche dei modelli ed in particolare i modelli di sistemi LTI (sistemi lineari tempo invarianti), dove:

stazionarit = tempo invarianza

linearit = validit del principio di sovrapposizione degli effetti.

Esempio: miscelatore di liquidi.

Dove:

sono i flussi in ingresso

sono le concentrazioni dei due liquidi in ingresso

volume del contenitore

altezza del liquido nel contenitore

concentrazione del liquido nel contenitore

flusso in uscita dal contenitore

area del contenitore

area del flusso in uscita

Come ingressi manipolabili abbiamo:

Le concentrazioni non sono manipolabili, quindi le vediamo come disturbi:

L'uscita la misurazione dei valori:

Obiettivo: avere C costante

Il modello e non lineare e per impostare costante dobbiamo trovare il modello matematico che caratterizza il sistema.

Come ricaviamo il modello? Proviamo a ricavarlo sulla base delle leggi della fisica e della chimica.

L'uso di queste leggi ci costringe a fare delle assunzioni, anche molto forti (che tendono all'idealit):

il liquido incomprimibile, quindi la densit costante.

la concentrazione di sostanza omogenea in ogni punto del contenitore.

costante.

Fatte queste assunzioni usiamo le equazioni di bilanciamento che affermano: la differenza di qualcosa data dalla differenza di quel qualcosa in entrata con quella in uscita. Quindi la usiamo per bilanciare il volume e relativi flussi:

I.

Per l'assunzione fatta sulle concentrazioni possiamo bilanciare, di conseguenza, i prodotti tra concentrazioni e volumi:

II.

Con la legge di torricelli ricaviamo il flusso in uscita in funzione dell'altezza del liquido nel serbatoio

III.

Infine

IV.

Sembra che il modello descriva bene il sistema, ma in realt presenta un difetto. Noi stiamo supponendo costante l'area del flusso in uscita, quando potrebbe benissimo non esserlo. Ed inoltre non possibile misurarla. Quindi, pur usando leggi note, ho bisogno di identificare che l'area del flusso in uscita in funzione del tempo.

Caratteristiche dei modelli derivati dai processi di identificazione

1. Il modello derivato dal processo "facilmente" determinabile rispetto ai modelli costruiti con le assunzioni sfruttate dai principi fisici e chimici.

2. I modelli derivati valgono per domini limitati di punti di lavoro (es: modello per bassi regimi del motore). I modelli derivati dalle leggi fisiche sono pi generali.

3. I modelli derivati sono LTI, quindi sono di "facile" usabilit ed identificazione.

4. I modelli derivati non sono "full-proof", ovvero funzionano praticamente ma non sono dimostrati formalmente.

5. I modelli derivati hanno coefficenti numerici che non sempre hanno significato fisico, mentre nei modelli basati su leggi fisiche ogni coefficente ha un significato fisico.

Processo/algoritmo di identificazione

I passi per identificare un modello sono i seguenti:

1. Si scelgono delle funzioni in ingresso capaci di stimolare una risposta d'interesse da parte del sistema a cui corrispondono le misurazioni

2. Si decide la struttura del modello (in generale LTI-TD TD: tempo discreto) che normalmente nella forma:

con , e decido un (in pratica decido l'ordine del sistema, primo, secondo, etc..)

3. Cerchiamo, una volta fissato il modello matematico, di trovare i parametri di questo in grado di minimizzare la discrepanza tra le stime fornite dal modello e l'uscita misurata , ovvero:

in generale, per questa operazione, devo identificare i coefficenti che mi permettono questo, ovvero trovo i coefficenti per cui vale la minima discrepanza per ogni misurazione e li segno come

4. Valido il modello (operazione che non si vedr nel corso)

5. Se il modello non risulta valido, si ripete il processo cambiando struttura al modello o aumentandone il grado

Lezione 29/01/2010Definizione generale dei segnali di disturbo

I segnali di disturbo sono cos definiti:

Dove la notazione per la norma di un segnale.

A parole sarebbe:

I segnali di disturbo appartengono ad una classe di segnali, che comprende segnali che sono generalmente estesi ad dimensioni ma che hanno norma limitata.

Problema di analisi dei segnali di disturbo

I segnali di disturbo non controllabili, normalmente non sono neanche prevedibili (non se ne conosce la struttura matematica in grado di farci prevedere che valore avranno negli istanti futuri) e dunque si studiano a livello statistico/probabilistico. In generale sono segnali non deterministici. Per studiare segnali non deterministici bisogna dare dei richiami all'analisi probabilistica.

Tuttavia, come si vedr, verranno usati pochissimi concetti, e solo i risultati.

Analisi probabilistica: variabile aleatoria

Definizione.

Una funzione definita su un insieme detta variabile aleatoria se vale la seguente disuguaglianza: con .

Dove:

l'insieme degli eventi possibili (o spazio degli eventi).

un sottoinsieme di

detta realizzazione della variabile aleatoria.

In termini funzionali possiamo vedere la definizione in questo modo:

Si associa un insieme (o un sottoinsieme) di eventi ad un numero reale.

Analisi probabilistica: distribuzione di probabilit

Una variabile aleatoria pu essere studiata a livello statistico grazie alla funzione di distribuzione di probabilit, definta come segue:

Se nota allora io conosco le propriet statistiche di .

Nota: la specifica generale, in realt basta che appartenga ad un insieme che comprenda tutte le possibili realizzazioni (es, dado: ), anche se questo limitato.

Propriet no1: la funzione di distribuzione monotona crescente.

Propriet no2: la distribuzione di probabilit di realizzazioni non contemplate nulla,

(con si vuole intendere una realizzazione che non contemplata. A livello formale, vista la definizione di ovvio che se nessun sottoinsieme soddisfer la disuguaglianza )

Ad esempio, se l'insieme delle realizzazioni (un dado), se voglio la realizzazione dell'evento "ottenere il valore con un lancio" ottengo probabilit nulla, in quanto non esiste.

Propriet no3: la distribuzione di probabilit che si verifichino tutte le realizzazioni certa.

Sempre con l'esempio del dado, se voglio la probabilit dell'insieme evento "ottenere un valore minore o uguale di 6" ottengo probabilit 1 poich certo che l'evento si verifichi.

Propriet no4: semplicemente:

Analisi probabilistica: processo stocastico

Un processo stocastico un insieme ordinato di variabili aleatorie indicizzate da un parametro che appartiene ad un insieme di indici . In modo formale:

Normalmente un insieme di indici temporali, dunque se si ha un processo stocastico a tempo discreto, se si ha un processo stocastico a tempo continuo.

Ovviamente potrebbe essere anche un sottoinsieme dei numeri relativi o dei numeri reali o qualsiasi altro insieme indice.

Ogni elemento dell'insieme una variabile aleatoria, ognuna di queste definita sullo stesso insieme degli eventi .

Se fissiamo un indiece noi stiamo individuando una precisa variabile aleatoria nell'insieme, ovvero .

Se fisso allora io individuo una precisa realizzazione per ogni variabile aleatoria nell'insieme del processo stocastico, quindi sto tracciando una traiettoria del processo stocastico.

Un processo stocastico, analogamente ad una variabile aleatoria, statisticamente caratterizzato da una funzione di distribuzione di probabilit, detta "funzione di distribuzione di probabilit congiunta"

Analisi probabilistica: distribuzione di probabilit congiunta

Per introdurre la distribuzione di probabilit congiunta, partiamo dalle cose semplici. Fissato un io ottengo la distribuzione di probabilit di una delle variabili aleatorie in un processo stocastico.

(vedi anche )

Ma visto che la variabile aleatoria associata all'indice unica, posso scrivere:

Se prendo due variabili aleatorie ho: .

Vorrei sapere la probabilit che si verifichi una certa realizzazione relativa ad insieme ad una certa realizzazione relativa ad questo si ottiene con la distribuzione di probabilit congiunta.

Questa si scrive con la notazione seguente (contando sul fatto che gl'indici identificano variabili aleatorie precise):

Ovviamente questa operazione deve esser fattibile

Analisi probabilistica: distribuzione di probabilit congiunta applicata ad un processo stocastico

In generale, per descrivere pienamente un processo stocastico, mi serve la probabilit congiunta tra ogni variabile aleatoria appartenente all'insieme. Dunque:

Nota: nella probabilit le virgole equivalgono ad un'intersezione (o and logico). Quindi:

Se nota la allora il processo sticastico statisticamente noto.

Propriet.

1. E' simmetrica (non varia la struttura) se io vario l'ordine degli argomenti. Ad esempio invece che scrivo , ottengo lo stesso risultato.

2. Se la realizzazione di una variabile aleatoria la d per certa, allora mi riduco a studiare la probabilit congiunta delle altre variabili aleatorie.

(l'ultimo un vettore trasposto di realizzazioni) ho che:

(da notare il limite, che mi assicura la certezza di verificarsi per relativa a . Vedi )

3. Un processo stocastico si dice gaussiano o normale, se tutte le sue distribuzioni di probabilit congiunta (sia relative a coppie di variabili aleatorie, sia relative a tutte le variabili aleatorie, sia a terne, etc..) assumono una distribuzione gaussiana o normale

Generazione di processi stocastici tramite equazioni differenziali lineari

Un modo per generare un processo stocastico quello di "giocare" con alcuni parametri di un'equazione differenziale. Sia l'equzione differenziale:

per risolverla in modo univoco dobbiamo conoscere le prime condizioni iniziali:

Se invece di conoscerle, noi le scegliamo in modo arbitrario e vediamo l'evoluzione dell'equazione differenziale con diversi insiemi di condizioni iniziali arbitrarie, allora generiamo tanti tracciati che possono esser riuniti in un processo stocastico.

Analisi probabilistica: Parametri caratterizzanti una distribuzione di probabilit congiunta di un processo stocastico

valor medio

Dove:

Ovvero la densit di probabilit, che si ottiene derivando la distribuzione di probabilit.

Si osserva che il valor medio mantiene la dimensione matriciale degli enti matematici a cui applicato: se si applica su scalari si ottiene uno scalare, se si applica su vettori si ottiene un vettore, etc...

varianza

deviazione standard

covarianza

D un valore al legame che esiste tra un evento che si verifica all'istante ed un evento che si verifica all'istante dello stesso processo stocastico. Nel caso il processo stocastico identificato da (senza alcun indice di identificazione).

Il trasposto all'ultima parentesi si ha perch, in generale, posso trattare con matrici. Ancora non finita e si continua con:

Con

cross varianza

D un valore al legame tra 2 processi stocastici X ed Y. Con e la definizione appena data, si ha:

Esempio in matlab

Sia un segnale che genera un processo stocastico:

Con un segnale casuale (sar il rumore bianco), con le seguenti caratteristiche:

;

per generare in matlab devo scrivere:

for i=1:100

for j=1:1000

processo(j,i)=sin(pi/50 * i) + 0.2* random(1)

end

end

Quindi per ogni istante di tempo (i) genero 1000 possibili valori casuali (grazie al termine random).

Questi 1000 possibili valori generano la variabile aleatoria

Per calcolarmi la media di ogni variabile aleatoria faccio:

for i=1:100

media(i)=mean(processo(:,i));

end

(il risultato sar una sinusoide, quindi il processo stocastico non sar stazionario. Questi han valor medi costanti)

Per calcolarmi la covarianza

for i=1:100

for j=1:100

covar(i,j)=mean((processo(:,i)-mean(processo(:,i))).*mean((processo(:,j)-mean(processo(:,j)));

end

end

Analisi probabilistica: Processo stocastico stazionario

Un processo stocastico si dice stazionario se la identica alla .

Ovvero, la distribuzione congiunta costante nel tempo (o con traslando omogeneamente gli indici).

In modo formale, stazionario se:

In pratica una qualsiasi traslazione di indice non fa variare la distribuzione; a livello di indice temporale qualsiasi traslazione temporale non f variare la distribuzione.

Una spiegazione grafica la si pu dare come analogia con le funzioni 'standard'.

Inoltre un processo stocastico stazionario ha valor medio costante.

Nota: a volte, invece di scrivere scriver solo

Analisi probabilistica: Processo stocastico debolmente stazionario

Un processo stocastico debolmente stazionario quando si hanno le seguenti coincidenze:

Quindi la media, la varianza e la covarianza sono costanti nel tempo (o con indici diversi).

Analisi probabilistica: Osservazioni nel caso di processi stocastici debolmente stazionari

La cross varianza non dipende pi da istanti di tempo differenti (o indici temporali differenti), ma soltanto dalla loro differenza:

La funzione di covarianza dipende soltanto da un istante di tempo (sempre la differenza) e diventa autocovarianza.

Poich dipende solo da un istante di tempo (che dato dalla differenza), io posso fare in modo di traslare questa differenza, ogni volta, in modo tale che mi dia zero. Quindi valuto l'autocovarianza sempre in zero.

Analisi probabilistica: dall'esercitazione del 5 feb 2010

Vedere i concetti di media temporale e autocorrelazione temporale, anche nel caso particolare di processi stocastici stazionari nei quali queste due grandezze diventano anch'esse variabili aleatorie (quindi hanno un valor medio).

Inoltre vedere l'ergodicit e l'ergodicit congiunta.

Funzione di densit spettrale

Ora poniamo che sia un insieme di eventi coincidente con le frequenze, e siano due processi stocastici debolmente stazionari definiti su . Con pari ad un indice temporale abbiamo la funzione di densit spettrale definita come segue:

Nel continuo sarebbe:

Nota: sono frequenze!

Questa funzione non altro che la trasformata discreta di fourier. La cui "antitrasformata" :

La funzione di densit spettrale applicata allo stesso processo debolmente stazionario si semplifica in questo modo:

poich

Informazioni ottenibili tramite la funzione di densit spettrale

La funzione di densit spettrale definisce l'insieme delle armoniche (o frequenze) fondamentali del segnale (il quale visto come un processo stocastico).

Ovvero ci informa su quali frequenze la potenza significativa tale da renderle interessanti. Il grafico della densit spettrale si traccia sempre in modulo ( ovvero ) , diventando lo spettro del segnale.

Se definiamo un intervallo di frequenze e ne valutiamo l'integrale l'area che calcoleremo definir la potenza del segnale in quell'intervallo di frequenza.

Indice di autocorrelazione e causalit

Poich si verifica che (non lo vedremo): per processi debolmente stazionari, allora: .

Con autocorrelazione.

Questo indice ci informa di quanto sia forte il legame tra due esperimenti-eventi dello stesso processo stocastico effettuati in istanti diversi.

Se la funzione di autocorrelazione tende ad uno, vuol dire che i due eventi sono fortemente legati (c' una causalit quasi certa, il primo causa il secondo).

Se la funzione di autocorrelazione tende a 0, i due eventi sono praticamente indipendenti.

Se tende a -1, vuol dire che l'evento nel futuro causa quello nel passato, che, per la conoscenza umana attuale, assurdo.

Un processo stocastico particolare, il rumore bianco

Ha uno spettro costante, come la luce bianca.

Questo un processo stocastico stazionario.

E' statisticamente indipendente, ossia ogni variabile aleatoria nell'insieme ha la stessa distribuzione di probabilit.

Inoltre si ha, per il rumore bianco, che

Dunque la sua funzione di densit spettrale :

ma costane ed ha valore solo in , quindi

Per queste propriet il rumore bianco assume le caratteristiche di un segnale standard per la generazione di processi stocastici (come lo la delta per la generazione di segnali deterministici).

(dall'esercitazione del 5 feb 2010)

Un processo stocastico continuo () definibile "bianco" se:

Quindi ha valor medio nullo ed inoltre la covarianza

Da cui

poich la trasformata di fourier della delta di dirac 1.

Un vettore casuale un vettore di rumore bianco se:

(con matrice identit)

Questi sono tutti risultati dati, non dimostrati o ricavati.

Lezione 12/02/2010Introduzione al processo di identificazione

Si parte dal solito sistema S:

Questo sistema ha una rappresentazione matematica di tipo ARMA:

Con , eventuali derivate di ordine dell'uscita o dell'ingresso.

Supponiamo che una parte (o tutti) dei parametri del modello non siano univocamente conosciuti, quindi li dobbiamo identificare.

Per identificarli stimoliamo il sistema con un certo numero di segnali d'ingresso e raccogliamo le rispettive uscite. Ovvero abbiamo i set:

;

Detto questo vediamo i punti necassari al processo di identificazione:

1. Bisogna conoscere la struttura matematica del modello (e supponiamo di conoscerla, )

2. Bisogna ipotizzare un modello che metta in relazione ogni segnale di ingresso con la sua rispettiva uscita. Questo modello lo chiamiamo .Ipotizziamo che dipenda da un insieme di parametri . Dunque dobbiamo identificare il sistema tramite il modello . Questo modello coincider o sar un'approssimazione del modello matematico "preciso" . lo chiamo modello parametrico.

3. Algoritmo di identificazione

4. Un insieme di caratteristiche del sistema che mi fanno scegliere un set di segnali d'ingresso piuttosto che un altro per "l'eccitazione" di questo.

Modello di regressione lineare per l'identificazione di un sistema senza disturbi

L'assenza di disturbi ci permette di dire che il modello sar deterministico (in quanto i disturbi sono generalmente probabilistici).

Dato un sistema LTI ed un set di sequenze d'ingresso e relative uscite: ;

Il modello pi semplice a cui facciamo riferimento per l'identificazione la regressione lineare.

Ovvero:

(dove T come esponente vuol dire trasposto)

In generale:

un vettore di parametri ad n componenti

vettore di variabili di regressione, si vede come costruirlo (relativamente al contesto di quella sezione) nella .

il valore misurato (un intero segnale, di i-esimo indice, in questo caso).

Supponendo il tutto a tempo discreto, quindi

Questo nel caso di un ingresso ed una uscita , quindi SISO (single input, single output).

Nel caso a pi ingressi () e pi uscite () avrei:

Con:

vettore delle funzioni d'uscita misurate

un vettore di parametri ad n componenti

vettore di variabili di regressione

In ogni caso o sono quantit note. Quello che vogliamo determinare il vettore .

Nota: quando non parler dell'i-esimo segnale misurato (o mandato in ingresso) (o ) , ma parler solo di un segnale (anche se poi potrei generalizzare), ometto il pedice i.

Esempio di identificazione del sistema, la risposta al gradino

La risposta di un sistema LTI al gradino nella forma:

L'equivalenza di questa struttura matematica col modello data da:

con

(si osserva che ho altrimenti avrei dovuto scrivere come un vettore riga, come effettivamente usato nella )

Ottenere la soluzione del modello di regressione lineare

Date le sequenze note

(notare che sto parlando delle misurazioni di un solo segnale d'uscita, e non di N segnali d'uscita)

determinare quel vettore che una stima del vettore dei parametri che rende la differenza minima tra la misura rilevata e quella stimata dal modello , per ogni istante di misura .

Formalmente: (essendo misure singole e non segnali, basta il modulo in quanto sono scalari).

Esaminiamo ora la sequenza di stime generate dal modello in relazione con le misure rilevate.

Da notare che genera la misura stimata dal modello, mentre a primo membro c' la misura rilevata.

Se (il numero di misure minore del numero di parametri di ) allora il modello sottodimensionato, e non si riuscir a trovare una soluzione univoca ad ogni parametro o componente di .

Quindi il numero di misure deve essere almeno per poter ottenere una soluzione.

Posso riscrivere il sistema di equazioni in forma matriciale, ponendo:

(La ha questa dimensione perch ogni singolo ha componenti come visto prima nella ed trasposto poich altrimenti sarebbero vettori riga, mentre devon esser vettori colonna. Per farmi capire la un vettore riga)

Dunque avrei il sistema matriciale:

Se fosse invertibile (ovvero , quindi non esiste una colonna o una riga che combinazione lineare delle altre) potrei trovare l'unica soluzione:

Ottenere la soluzione del modello di regressione lineare con sistema con disturbi/errori

Il problema che il sistema, realmente, affetto da disturbi (come detto nella ), dunque in questo caso la mia stima potrebbe non essere sufficientemente precisa.

Per ridurre l'effetto del rumore sulla stima, devo "spalmare" questo effetto su molte misurazioni, cos da ottenere una stima pi affidabile (questo poich potrei beccare delle misurazioni che abbiano molto rumore, mentre altre con poco rumore, se ne prendo tante, faccio una media).

Dunque devo avere .

Il problema che questa scelta d luogo ad un sistema sovradimensionato, quale delle possibili infinite soluzioni scegliamo? Quella che minimizza la differenza tra stima e misura, come visto precedentemente ( ). Questo problema di ottimizzazione (e come vedremo, di minimo).

Per risolverlo definisco una variabile che mi aiuta a formalizzare il problema di ottimo, l'errore tra misura rilevata e misura stimata.

dunque per ogni istante io ho la misura della discrepanza tra valore misurato e valore stimato (in pratica l'errore). Si osserva che l'errore non probabilistico, ma deterministico, in quanto dato da una differenza per ogni misura nota. La misura rilevata nota in quanto rilevata, la misura stimata nota in quanto theta e phi trasposto sono noti. Ma se tutto noto perch esiste l'errore? Perch appunto noi non conosciamo il sistema e dobbiamo trovare una funzione (il modello parametrico) che lo approssima al meglio. Tra l'approssimazione e le misure stimate pu esserci discrepanza, che definiamo errore.

Posso costruirne l'equivalente matriciale:

Ottentendo: .

Fatto questo, la formula matematica che utilizziamo per trovare la soluzione di questo problema sovradimensionato la stima ai minimi quadrati.

In pratica avremo che la soluzione ottima sar:

Ovvero la soluzione corrisponde alla soluzione di un problema di minimo sulla funzione V basata sui parametri . Dove non altro che la differenza tra uscita l'uscita misurata e l'uscita stimata opportunamente elaborata per "funzionare" bene come funzione di costo (una funzione di costo "facilmente" minimizzabile).

Minimizzando questa si ottiene la stima ai minimi quadrati:

(stima ai minimi quadrati)

Posso notare che dunque:

Per maggiori informazioni sulla norma 2, vedere l'appendice.

Sotto l'ipotesi che la matrice sia positiva (Vedere appendice), ha un unico minimo globale.

Il valore del minimo sar pari a

Il valore di nel punto di minimo sar:

Dimostriamo queste due affermazioni (non le approfondir granch, preferisco recuperare i concetti di probabilit esposti ad esercitazione in una notazione talmente "nuova" (accidenti a loro) che non c'ho capito nulla. Inoltre devo ammettere che anche la dimostrazione l'ho trascritta poco chiaramente a lezione).

Scriviamo ed espandiamo

per l'applicazione di un trasposto ad operazioni tra matrici vedere l'appendice.

Questo uguale ad (vedere moltiplicazione tra polinomi di matrici nell'appendice):

Ora supponiamo che questa funziona abbia soluzione che abbia la seguente struttura:

Da notare che questa la scrittura quadratica evidenziata nell'appendice per le matrici positive. Ovvero:

Con .

Ora sviluppo per vedere se coincide con (e dunque ne soluzione), osservando che prima devo fare il trasposto di un fattore (vedi operazione di trasposizione su operazioni tra matrici) e poi la moltiplicazione tra polinomi di matrici.

Osservo che

Ma per l'operazione di trasposizione (vedi appendice) pari ad . Quindi, la diventa:

Dunque, la posso riscriverla come:

Togliendo i prodotti che danno l'identit (in verde) diventa:

Per avere l'eguaglianza dovrei avere:

Quindi avrei che riscrivibile nella somma di due termini. Uno pari a l'altro al termine che manca a quest'ultimo per avere l'eguaglianza.

Il primo termine dipende da il secondo no e dunque al variare di rimane costante.

Il primo termine abbiam visto che una forma quadratica, e sotto l'ipotesi che sia definita positiva, vuol dire che sar sempre un numero positivo.

Ma se il secondo termine costante ed il primo sempre positivo, come trovo il minimo?

C' un modo per azzerare il primo termine (meno di questo non posso fare in quanto la forma quadratica e positiva), dunque averei il valore minimo per .

Per azzerare il primo termine posso solo porre: , che rende la nulla in quanto azzera almeno un fattore, ottenendo, per l'appunto, il valore minimo e quindi il vettore dei parametri che risolve il problema e che andavo cercando (la soluzione).

In conseguenza di ci, quando , tocca il suo minimo, che proprio pari al secondo termine (il primo si azzera), ovvero:

Come volevamo dimostrare.

Ma cosa succede se non positiva? Si dimostra che pu esser definita al pi semi definita positiva (Notazione , vedere appendice). In questo caso cosa accade?

Invece di poter trovare una soluzione univoca, dobbiamo metterci a ricercare i minimi della funzione , tramite il gradiente. Abbiamo dunque dalla che:

Quindi:

Se derivo (occhio che sparisce in quanto costante rispetto ) posso scrivere

(non saprei ricavarlo ma come se avesse derivato prima per e poi per )

Si dimostra che i termini in verde e quelli in blu sono uguali e quindi posso scivere:

Visto che voglio trovare i punti di minimo, poniamo quindi otteniamo, facendo il trasposto di tutto (vedere appendice):

Si dimostra che se non positiva, ma semi positiva, non ha rango massimo, quindi non invertibile, dunque ci saranno infiniti minimi.

Tuttavia si dimostra anche che questi minimi appartengono a diverse infinit di variet lineari, quindi sono tutti uguali (per classe, ovvero ogni minimo ha infinite repliche), ne basta cercare uno appartenente alla classe che ci interessa. Vedere appendice per le variet lineari.

E come lo cerchiamo?

Lo stiamo dicendo dall'inizio, con la stima ai minimi quadrati.

Richiamiamo un attimo il problema di partenza: Io voglio che le misure stimate coincidano il pi possibile con le misure rilevate (che lo ricordiamo, in questo caso sono affette da disturbi).

In forma matriciale: (vedi )

per spiegare la soluzione scompatto lungo le sue colonne, ovvero:

Nota: ho sezionato per colonne, non per righe! L'avessi fatto per righe avrei ottenuto nuovamente .

Ora, il prodotto non altro che una combinazione lineare, essendo nota, io voglio trovare i coefficenti che appartengono a tali per cui questa combinazione lineare approssima al meglio .

Si dimostra che la migliore approssimazione data dalla proiezione ortogonale di nello spazio formato dalle basi .

Facciamo un esempio grafico con 2 basi, . Io proietto ortogonalmente nello spazio formato da queste basi (un piano), se scompongo il vettore proiettato () nelle componenti lungo la prima e la seconda base, ottengo i pesi da applicare (lungo la prima e lungo la seconda base) per ottenere il vettore stesso. Questi pesi non sono altro che le componenti di . Tutto ci mi fornisce la migliore approssimazione.

Otteniamo che dove la j-esima componente di mentre invece l'altro termine la j-esima colonna di Phi, ovvero la j-esima base dello spazio.

Nell'esempio del disegno abbiamo: .

(la somma vale solo se si vede il tutto come una somma di vettori, altrimenti si richiede il teorema di pitagora per il calcolo del modulo di )

Inoltre si ha che , ovvero la proiezione di () sullo spazio (tanto per ogni quindi pari a tutto lo spazio ) pari proprio ad che la migliore approssimazione possibile. Per questo fa zero.

Per la si pu scrivere:

In forma matriciale estesa avrei (occhio che si switcha il primo con il secondo membro ovvero ) :

Questa la soluzione ai minimi quadrati spalmando il rumore (con errore deterministico o noto) su ogni misura.

Propriet statistiche della soluzione del modello di regressione lineare con sistema con disturbi/errori stocastici.

Leggi la nota alla fine di questa sezione.

La soluzione che abbiamo data da (supponendo positiva): , vedi

I dati sono ottenuti da un modello in realt un pochino pi dettagliato di quello iniziale (ovvero si mette in evidenza l'errore):

la supposizione di conoscere i coefficenti effettivi per avere le misure reali senza errori, che saranno sporcati dal disturbo (che prima chiamavamo con ).

il rumore bianco, quindi ha caratteristiche (con ): ;

(I vari esse, lambda, etc.. sono costanti numeriche. Comunque la struttura quella. Per esempio la covarianza dovrebbe esser data da 2 termini pi dettagliati, tuttavia qui il valor medio del rumore bianco costante [anche nullo vuol dire costante], quindi non entra nell'operazione di media vedi )

In forma vettoriale, il modello parametrico diventa:

In questo caso la soluzione mi serve per minimizzare l'incertezza data dal disturbo. Ed ha le seguenti propriet statistiche (che sinceramente ho capito poco e presumo abbiano anche errori di trascrizione dato l'orario che si era fatto, le prendo per buone, speriamo in spiegazioni future):

1. una stima non polarizzata di (vedere appendice per stima polarizzata), quindi

2. La , con positiva

3. Una stima non polarizzata attraverso della varianza del rumore bianco data da: , dove una misura (come ) che in alcuni processi coincide con .

4. Essendo il rumore, bianco non c' alcuna correlazione statistica tra istanti diversi di questo (es: ed con )

Nota: in questo caso abbiamo analizzato le propriet della soluzione per l'identificazione di sistemi deterministici (ovvero la ) applicata a sistemi non deterministici con errori probabilistici (il rumore bianco). Vedremo questa cosa meglio verso le ultime lezioni, per ora solo un'introduzione che non pesa tantissimo ai fini della comprensione, serve soprattutto come dati sulle propriet del rumore bianco. E' molto meglio dopo.

Lezione 26/02/2010Segnali noti di "stimolazione" per l'identificazione

Abbiamo detto che per stimolare (e dunque identificare tramite le misurazioni e le stime) un sistema devo scegliere opportuni segnali d'ingresso. Questi segnali sono stati studiati e sono state individuate classi di segnali utili per stimolare una risposta interessante.

Gradino (e segnali derivati, come rampa, parabola, etc..)

PBRS (sequenza casuale binaria)

Processo stocastico ARMA (autoregressivo a media mobile)

Segnali sinusoidali

La scelta di uno di questi segnali determinata dal processo di identificazione che si vuole affrontare.

Ad esempio la risposta di un sistema LTI-TD :

Supponiamo di voler determinare i coefficenti , va benissimo la classe dei segnali a cui appartiene il gradino.

Nel caso di un processo stocastico, il gradino non sarebbe granch stimolante.

Premesse per l'analisi dei segnali noti di stimolazione

Facciamo riferimento ad un sistema LTI-TD quindi , a livello grafico:

a livello temporale ci interessa:

valor medio

covarianza

a livello frequenziale ci interessa:

densit spettrale di potenza (si noti che non ci riferimano ad un processo stocastico in particolare, quindi non scriviamo )

Gradino

PBRS

E' una sequenza binaria pseudo casuale. Segnale periodico che varia tra due valori fissati.

Il periodo individuato come sottomultiplo dei campioni da trattare (situati sull'asse delle ordinate) in quanto pi semplice a livello computazionale.

Processo stocastco ARMA

Il problema : "bisogna generare un processo stocastico".

Consideriamo una sequenza iniziale da cui partire coincidente o simile al rumore bianco, .

La sua media normalizzata sar: con numero di campioni.

Con che ha le dimensioni della costante di tempo del polo pi lento del sistema che si vuole studiare (il polo pi lento quello dominante, che individua quindi la dinamica dominante del sistema da individuare).

Nota: la media normalizzata tende a 0 se tende a (proprio per il coefficente ).

Prima di inviarlo al sistema, facciamo passare il segnale attraverso un filtro che denominiamo . Il sistema complessivo assumer il seguente schema a blocchi:

H sar modellato da un'equazione alle differenze a coefficenti costanti, dunque rispetta il modello ARMA.

La sue equazione sar:

ARMA : AR (auto regressivo, poich il valore dell'uscita si calcola grazie agli istanti precedenti di questa) MA (media mobile: perch ad ogni nuovo campione cambia la media normalizata dell'ingresso, vedi la formula della media normalizzata prima descritta).

Si dimostra che l'uscita di H, ovvero un processo stocastico, in quanto l'ingresso un processo stocastico.

Notiamo che il filtro un sistema proprio nel quale l'ingresso e l'uscita hanno lo stesso ordine ().

Il filtro H costruito dal progettista, che deve specificare:

Facciamo alcune osservazioni:

Poniamo , non avremo media mobile ma solo auto regressione (AR), e la struttura diventer:

Se invece poniamo otteniamo un sistema solo a media mobile (MA):

Fatte queste osservazioni, ripassiamo a considerazioni di carattere generale. Utilizzando la definizione di operatore di ritardo a tempo discreto (vedi appendice) posso riscrivere H cos:

Da cui:

Il progettista di H deve scegliere i coefficenti in modo tale che H sia stabile. Infatti posso riscrivere l'espressione precedente come:

Per la stabilit, visto che siamo a TD, si richiede che gli zeri di siano all'interno del cerchio di raggio unitario sul piano complesso. (vedere controllo digitale)

Ovvero: con zeri da cui, utilizzando la trasformata zeta, si ottiene che, per la stabilit, bisogna avere con gli zeri (notare che l'argomento di e non ) (vedi dimanica di un modello nell'appendice ed anche lezioni successive).

Infine, come vedremo, la scelta dei coefficenti rappresenta la capacit di modellazione dei contenuti frequenziali sull'uscita .

Segnali sinusoidali

Non essendoci filtri riparliamo direttamente di .

Hanno una struttura: , con pulsazione di riferimento e sfasamento.

Questi segnali devono rispettare la relazione d'ordine:

Notiamo che, se la sinusoide corrispondente sar:

Se ho ottengo la sinusoide corrispondente campionata (poich siamo a TD) a seconda del tempo di campionamento (ad esempio se ho che ottengo ).

Richiami su nozioni di probabilit e statistica per analizzare i segnali di stimolazione noti

Dato un segnale .

media: (vedi )

covarianza: (vedi )

queste due definizioni riguardano un segnale che segue un processo stocastico.

Per quanto riguarda un segnale deterministico si hanno le relative misure normalizzate rispetto al numero di campioni.

media:

covarianza:

C' un caso in cui i valori calcolati per un processo stocastico coincidono con i valori calcolati come se fosse deterministico, vale per i processi stocastici stazionari ergodici.

Questi si hanno quando:

I. coincide con

II. coincide con (si noti l'assenza di in quanto un processo stazionario e per la ha valor medio costante dunque non influenza l'operazione di media).

Ricordiamo anche la funzione di densit spettrale che coinvolge la covarianza (che la trasformata discreta di fourier):

Che una funzione definita semi positiva (notazione )

e per simmetria hermitiana abbiamo che: (il primo termine complesso coniugato).

Questo poich la funzione complessa, ovvero

La funzione duale (l'antitrasformata) la seguente:

Analisi statistica del segnale PBRS

Supponiamo di avere un segnale PBRS di periodo che varia tra ed .

La sua covarianza avr i seguenti valori:

La funzione di densit spettrale la seguente:

Si limita ai primi M campioni (e non infinita come la ) perch la funzione periodica e basta esaminare solo un periodo. Inoltre la trasformata di forurier del gradino la delta di dirac. Quindi, essendo la PBRS visibile come una somma di gradini (il disegno lascia a desiderare), con Fourier saranno tante delta.

Vediamo i coefficenti che valore hanno.

Ma noi sappiamo quanto vale la covarianza di questa funzione nei vari valori di tau, quindi posso scrivere:

Vediamo i rimanenti coefficenti:

Per i valori di prima visti, abbiamo, osservando che :

Osservo che il termine: una sommatoria geometrica troncata, per esserlo propriamente deve iniziare da 0, quindi faccio un cambio di variabili (e di indici) pari a , quindi

e scrivo:

Dalla faccio il mcm e metto in evidenza ottenendo:

Con il risultato precedentemente raggiunto scrivo:

Osservo che , quindi:

Quindi la diventa:

Analisi statistica del processo stacastico ARMA

Supponiamo che il segnale per generare il processo stocastico sia un rumore bianco (stessa supposizione di prima quando l'abbiamo introdotto) allora sono noti alcuni suoi valori:

La covarianza avr valore: (vedi appendice per , mentre labda quadro numero noto)

Nota: Scrivo in quanto si riferisce al valore statistico del segnale d'ingresso al filtro H, a noi interessa anche la statistica del segnale che generiamo (che proprio il processo stocastico ARMA) che indicher con "pedice u".

Inoltre:

Si dimostra che:

Per la e se i coefficenti sono reali, posso scrivere il trasposto come complesso coniugato (la prendo per buona, non la vedo sinceramente). Dunque scrivo:

Osserviamo (vedere appendice) che il prodotto di un numero per il suo complesso coniugato d il modulo al quadrato del numero stesso. Quindi:

Ovvero, giocando con i valori dei coefficenti io posso eccitare il sistema (il cui ingresso il processo stocastico ) come voglio. In quanto posso decidere su quali frequenze inserire contenuto informativo e vedere che reazione ha il sistema per queste frequenze (mentre le altre sono praticamente inifluenti).

Infatti se assegno determinati coefficenti in modo di avere due poli complessi e coniugati presso relativamente al polinomio , e riesco a spostare questi poli verso l'asse immaginario, avr che il contenuto frequenziale presso sar nullo (si dovrebbe azzerare, se ho ben capito, il numeratore di ), quindi sto dicendo "non mi interessa analizzare il comportamento del sistema presso , ed infatti gli annullo il numeratore, lo voglio stimolare in altre frequenze".

Diversamente, la stessa situazione relativamente a rende il contenuto frequenziale infinito (si dovrebbe avere il denominatore di nullo e quindi valori infiniti) utile a stimolare il sistema da identificare.

Analisi statistica del segnale sinusoidale

Nota: ora parlo direttamente del segnale d'ingresso non serve specificarlo come pedice.

Ricordando la e relativa relazione d'ordine tra pulsazioni, considero la seguente somma parziale:

La posso vedere tramite sommatoria di parti immaginarie di un numero complesso:

Notiamo che l'esponenziale una sommatoria geometrica troncata, che va leggermente aggiustata negli indici (vedi ) e diventa:

Ricordo che il modulo di pari ad uno. Quindi, vedendo i moduli:

e per disuguaglianza triangolare (vedi appendice):

Questo perch (vedi appendice - disuguaglianza triangolare) ma il modulo di un esponenziale complesso abbiam detto che unitario, dunque .

Sotto invece (non ne sono sicurissimo) posso vedere ma allora posso anche scrivere: da cui che pu essere sostituito a denominatore. Quindi rimane che, tolto il termine ,abbiamo la relazione . Quindi, poich per Eulero, abbiamo:

Da cui si dimostra che:

Ed inoltre:

Ricordando dalla che una somma di sinusoidi. I singoli coefficenti han valore:

Si dimostra pure che:

Questo perch ricordiamo la trasformata di fourier del seno, che :

Lezione 05/03/2010Classificazione dei modelli per l'identificazione : struttura generale di un modello

Posto che siamo a TD.

La struttura generale di un modello per l'identificazione la seguente:

Esprime la relazione generale, lineare, della relazione tra ingresso (o segnale d'eccitazione) , disturbo e l'uscita . Il modello che prenderemo in considerazione avr una struttura generale LTI (lineare tempo invariante). Nota: il filtro H (si vedr che un filtro) diverso (anche se dovrebbe esser ovvio) dal filtro precedentemente visto per generare un segnale stocastico con un processo ARMA.

Il rumore bianco

Il rumore, identificato da una successione di valori .

In generale ogni valore un vettore di variabili aleatorie. Puoi vedere questo cos. Supponi che , ed non assumono valori fissi ma possono variare entro un intervallo di valori. Questo intervallo di valori (che pu esser diverso tra ed ) definito proprio dalle realizzazioni di una variabile aleatoria.

Ogni vettore ha le relative variabili aleatorie con la stessa distribuzione di probabilit (poich la definizione del rumore bianco), cio sia nello stesso vettore che tra vettori diversi.

In generale possiamo dire che una sequenza di vettori di variabili aleatorie identicamente distribuite.

Propriet:

Il valor medio di questa sequenza nullo, ovvero: ( un vettore di zeri)

I vettori sono non correlati o statisticamente indipendenti. (La distribuzione delle variabili aleatorie di un vettore non dipende dalle altre distrubizioni negli altri vettori).

Formalmente ci viene espresso con:

(vedi appendice per ). Per la definizione della delta di kronecker, l'indipendenza statistica (la ) afferma che la covarianza ha valore solo se altrimenti nullo.

Con queste caratteristiche il rumore diventa pari al rumore bianco.

Matrice di covarianza

Ricordiamo che, dal modello si ha:

(notiamo che ed han la stessa dimensione)

Vediamo che dimensione ha il prodotto che l'argomento del valor medio usato per calcolare la covarianza.

detta matrice di covarianza.

Questa ha due propriet: simmetrica (vedi appendice) ed semidefinita positiva. Verifichiamolo.

Sappiamo come si calcola, per la che ha valori solo per quindi abbiamo che:

Grazie proprio al prodotto io ottengo la simmetria.

Tralasciando il fatto che siano vettori aleatori a cui applicato un valor medio, vediamo in un caso semplice se un prodotto di questo tipo crea una matrice simmetrica.

Lo verifichiamo grazie all'hp50g, con una matrice

pari a:

Si nota che, a parte l'inversione (ovvero, invece di vedo ), la matrice simmetrica. Quello che volevamo ottenere.

Ora vediamo perch semidefinta positiva (vedi appendice).

Prendo un qualsiasi vettore e costruisco la forma quadratica:

Per ipotesi deterministico, quindi per le propriet del valor medio pu essere incluso. Scrivo quindi:

Posso individuare due fattori:

ne osservo la dimensione:

In pratica ho due scalari, dati da (ed anche l'altro prodotto, ovviamente) che una combinazione lineare delle componenti di secondo i pesi di , ovvero:

si uno scalare, ma ancora una variabile aleatoria in quanto dipende dal rumore bianco.

Per l'altro prodotto otteniamo il trasposto: . Dunque:

Ma quindi quindi .

Ma il valor medio di una quantit positiva o nulla (visto che uno scalare al quadrato) sempre una quantit positiva o nulla (ovviamente uno scalare anch'esso) quindi:

Come si voleva dimostrare.

Caratterizzare i termini G ed H del modello generale

Questi due termini sono in realt due filtri.

Dal punto di vista della cardinalit (della dimensione) sono matrici. (pi precisamente sono filtri lineari a struttura matriciale)

una matrice rettangolare (poich in generale non detto che la dimensione dell'uscita sia uguale a quella dell'ingresso).

una matrice quadrata.

Gli argomenti dei filtri cosa sono?

il vettore dei parametri a dimensione finita (vedremo da cosa costituito) tale che .

l'operatore di ritardo (vedi appendice).

G ed H devono rispettare le seguenti propriet.

(Osservo che se sto esprimendo l'ipotesi di assenza di ritardi)

Questo perch, nell'ipotesi di annullare l'operatore di ritardo, dovrei avere un collegamento istantaneo tra ingresso ed uscita. Ma ci assurdo fisicamente, dove si richiede almeno un ritardo. Ricordando dalla che G legato all'ingresso, allora se i ritardi sono nulli, anche il legame deve esser nullo, dunque G deve essere una matrice di solo zeri, tale per cui:

La propriet su H si spiegher pi avanti (vedere predizione).

Definizione generale dell'insieme ammissibile dei parametri che definiscono

Abbiamo la seguente definizione:

Quindi sia il singolo filtro (inverso) sia il prodotto di H inverso e G devono rispettare la BIBO stabilit per i parametri di , ed ovvio che questo un vincolo rispetto a tutti i valori possibili.

Il modello ARMAX

Supposto che ed siano vettori ad una componente (un solo ingresso ed una sola uscita, sistema SISO), possiamo definire come segue il modello ARMAX.

sono polinomi in

Vedremo che questi sono riconducibili facilmente alla struttura generale vista prima.

La forma dei polinomi la seguente:

Si osserva che e , ed facile osservare come si ottiene la formula generale, ovvero basta dividere per il modello ARMAX ottenendo:

Che si annulla (ripettando la propriet ) proprio quando . Ed inoltre:

Che quando vale 1, compre una matrice identit 1x1 (siamo nel caso SISO), come da propriet .

Definizione di nel modello ARMAX e determinazione dei parametri ammissibili

Ovvero un vettore composto da tutti i coefficenti dei polinomi del modello ARMAX.

Quali sono i parametri (o valori) ammissibili? Quelli che rispettano il vincolo generale, visto nella .

Costuiamoci quindi ed .

Dalla e dalla abbiamo:

Ora dobbiamo analizzare la bibo stabilit di queste espressioni.

Per analizzare la bibo stabilit bisogna lavorare con la trasformata Z. Sapendo che in pratica: sostituiamo, ottenendo (si noti che l'argomento non verr pi citato in zeta, in fondo sono i coefficenti dei polinomi):

Per avere bibo stabilit, dai corsi precedenti (controlli automatici, controllo digitale, teoria dei sistemi), sappiamo che i poli del denominatore di entrambe le espressioni devono avere un modulo minore di 1, ovvero .

Tuttavia dobbiamo stare attenti poich il sistema vero e proprio deve essere riscritto in , mentre ora come ora l'abbiamo scritto nel suo reciproco ().

Si dimostra che per avere i poli con modulo minore di uno ( ) nel in un sistema bisogna ottenere i poli con modulo maggiore di uno (ovvero il complemento, escluso l'uguale per problemi di convergenza, quindi ) nel sistema con argomento reciproco , che quello da noi ricavato nelle ed .

Quindi:

Modelli derivati dall'ARMAX (tutti LTI-TD, SISO)

E' un analisi nel caso SISO.

1. AR (auto regressivo)

dunque ottenibile dall'ARMAX ponendo , .

2. ARMA (auto regressive mobile average)

dunque ottenibile dall'ARMAX ponendo .

3. FIR (finite input response)

dunque ottenibile dall'ARMAX ponendo , .

Nota sulla dinamica di un modello: vedi appendice.

4. ARIMA (la I esiste in quanto c' un fattore integrale)

uguale al modello ARMA ( ) soltanto che presente un fattore integrale del tipo

Ovvero riscrivibile come

5. ARX (non si ha l'effetto di media mobile)

(X come esogeno, ingresso esogeno) ovviamente: .

Questo modello legato all'operazione dei minimi quadrati, ricordiamo infatti la (riscritta un pochino)

Finalmente ci viene sveltato come costruire (o io non me n'ero mai accorto) ovvero:

mentre theta pari ad (ovviamente per l'ARX):

Dall'operazione si ottiene nel modello generale:

Se si spostano i termini in a primo mebro otteniamo:

Posso riscriverla in termini di .

Da qui ricaviamo quello che avevamo precedentemente definito:

Ovvero abbiamo verificato che dal modello ai minimi quadrati siamo passati al modello ARX.

6. MA (mobile average)

con ,

Vedere i modelli derivati dall'ARMAX e l'ARMAX stesso in termini di schemi a blocchi

L'ARMAX, ovvero si pu vedere in due modi di schemi a blocchi, ma prima bisogna riscriverlo come:

Oppure posso vederlo in questo altro modo:

Gli altri modelli diventano:

AR

MA

FIR

ARX

Lezione 17/03/2010Ricapitolazione

Finora abbiam visto come identificare i parametri di modelli deterministici. Abbiamo anche visto che il modello ARMAX non altro che la generalizzazione dell'algoritmo dei minimi quadrati (ovvero il modello parametrico relativo).

Con l'AR ( vedi ) abbiamo visto come ricavare dal modello parametrico di regressione linerare l'AR stesso. Si pu ricavare l'ARMAX semplicemente come segue:

Ricordiamo infatti la (riscritta un pochino)

dove :

mentre theta pari ad (ovviamente per l'ARMAX):

Dall'operazione si ottiene:

Se si spostano i termini in y a primo mebro otteniamo:

Posso riscriverla in termini di .

Da qui ricaviamo quello che avevamo precedentemente definito:

Ovvero abbiamo verificato che dal modello ai minimi quadrati siamo passati al modello ARMAX.

detto anche equazione d'errore e rappresenta il disturbo.

Soluzione del modello parametrico di regressione lineare normalizzata

Abbiamo visto come ottenere la soluzione del modello parametrico tramite il funzionale di costo nella e nella , con la soluzione del problema di minimo: .

Possiamo riscrivere queste equazioni "esplodendole" e normalizzandole (quindi non la stessissima cosa) rispetto al numero di misurazioni (che ricordiamo essere ). Ricordando l'ipotesi di positivit di ( )

con soluzione:

Che non altro che la normalizzata ed esplosa. Vediamolo per chiarezza.

Sia la seguente:

Da notare che 'FI(1)' equivale ad . Per la .

allora (si so che si scrive PHI, ma sono 3 lettere ed una palla) sar:

Allora sar:

Si osserva che una combinazione lineare semplice del tipo: (ovviamente analogo per il secondo termine della ), il trasposto sul secondo fattore della sommatoria nel primo termine della necessario per il caso multivariabile.

Questo metodo detto, come abbiam visto: metodo ai minimi quadrati o regressione lineare o equazione d'errore.

Le misure vere

Abbiamo visto che il modello precedente affetto da errore (o disturbo). Supponiamo di conoscere quei coefficenti che ci consentirebbero di avere i veri valori in uscita (senza errori) ovvero :

dunque torniamo alla

che appunto ci descrive il metodo ai minimi quadrati o, come ultima definizione, equazione d'errore, ovviamente per la l'equazione d'errore sar sempre nulla, proprio perch sappiamo le misure vere.

Differenza tra soluzione per modelli deterministici e modelli stocastici

I modelli precedentemente visti servono per trovare la soluzione per modelli parametrici deterministici. In quel caso il vettore dei regressori noto, quindi la stima deterministica (e viene confrontata con l'uscita rilevata generando un errore deterministico).

Nel caso di modelli stocastici, il vettore dei regressori non noto, ma appunto stocastico (e neanche statisticamente noto, come pu esserlo il rumore bianco), ne segue che un errore stocastico in quanto se le misurazioni sono quelle e basta, una misura stocastica data dal vettore dei regressori .

E' possibile riutilizzare la soluzione ai minimi quadrati su un modello stocastico?

Pur sapendo che l'ARMAX ha la matrice dei regressori stocastica, noi applichiamo lo stesso procedimento visto nel caso deterministico per ottenere la soluzione, per vedere cosa ne esce.

In pratica ho l'ARMAX in una delle seguenti rappresentazioni:

Nota: per semplicit .

Supponiamo di conoscere il vettore dei parametri che mi permette di ricavarmi le misure senza disturbo, a cui associamo un errore stocastico (pi precisamente processo stocastico stazionario) non correlato con l'ingresso (ovvero ) che chiamiamo dove, nota bene, . Il vettore ovviamente influenza i polinomi quindi avremmo una rappresentazione del modello ARMAX "vero" (con i parametri corrispondenti a quelli necessari per le misure reali)

Osservazione: , ovvero questo termine restituirebbe i valori reali del sistema senza disturbi.

Per validare l'operazione che vogliamo fare, ovvero applicare la soluzione ai minimi quadrati deterministica su un modello non deterministico, dobbiamo provare la propriet di consistenza. Ovvero che con molto grande la media della soluzione ottenuta dovrebbe tendere a . Ovvero:

Nota per la revisione: Questa sezione sembra una copia pi chiara della sezione con la formula . Inizio a pensare che quelle non siano osservazioni relative alla sezione discussa precedentemente, ma bens sia questa spiegazione "compressa". Quando rivedi il documento vedi se un merge migliora la chiarezza del tutto, perch mantenendo due cose che non si "trovano" aumenti solo la confusione, meglio aver meno ma pi chiaro. (occhio che devi vedere anche i rimandi alle equazioni coinvolte nel resto del documento). Confermo, quella sezione era l'analisi e questa discussione l'"implementazione" del concetto, le sezioni le hai gi parzialmente sistemate, comunque c' sempre del margine e dunque lascio questa nota.

Verifichiamo se accade davvero questo. Valutiamo , se c' consistenza, il valor medio di questa differenza sar nullo.

Sfrutto la per le rappresentazioni ed ed ottengo: .

Per la rappresentazione la soluzione rimane uguale a come scritta prima, per la osserviamo che , visto che sappiamo i valori "veri" abbiamo che (escludendo ). Quindi

Se applico la normalizzazione per ogni singola misura, come vista nella ottengo:

Nota1: si mette il trasposto nel caso multivariabile (non lo vedo, ma ho chiesto al professore e mi fido).

Elaborando ancora si pu scrivere:

Ma dalla (vista in modo matriciale) pari a (la matrice dei ). Quindi:

ovvero:

Si dimostra che c' la propriet di consistenza sotto queste ipotesi:

1) non singolare ( una media applicata su una matrice, la quale pu restituire una matrice con determinante non nullo, ovvero senza la possibilit che una riga sia multipla di un'altra)

2) . Ovvero non esiste correlazione tra matrice di regressione e disturbo applicato ai valori veri.

Se verifico queste due condizioni, posso utilizzare la soluzione deterministica anche sul modello stocastico.

Si verifica che la prima condizione quasi sempre verificata, poich casuale, quindi difficile avere una matrice non singolare.

La seconda condizione vera solo se un rumore bianco. Ma il rumore bianco non un processo reale, dunque la seconda condizione non si verifica quasi mai.

Dunque non si pu usare la stima ai minimi quadrati per un modello stocastico.

L'identificazione come problema di controllo

Noi desideriamo identificare precisamente (alias vogliamo trovare il vettore per la migliore approssimazione del sistema reale) per poter attuare operazioni di controllo su questo sistema (che approssimato da ).

Il controllo di un sistema si basa sulle informazioni disponibili da un tempo di origine (formalmente ) ad un instante precedente il tempo attuale ().

Il controllo con modelli stocastici

Normalmente, in un sistema deterministico, io saprei calcolarmi in quanto ottenibile dalla relazione: sapendo bene che ed sono noti (come anche , senn lallero).

Sapendo quale sar il prossimo valore dell'uscita, posso controllare il sistema calibrando opportunamente il mio prossimo ingresso al sistema (che modellato tramite controllori).

In un sistema stocastico non riesco a predeterminare il valore dell'uscita, devo, al pi, stimarla. In questo caso devo basarmi sulla stima per calibrare l'ingresso e controllare il sistema (tanto pi la stima diversa dall'uscita reale, tanto pi il mio controllo sar errato). Ovvero io ho un sistema di controllo pensato non sull'uscita reale, ma sulla stima, quindi .

La stima (o predizione) della prossima uscita basata su un algoritmo che tiene conto della storia passata del sistema (dal tempo di origine ad un istante di ritardo dall'istante attuale, ovvero ), tuttavia sappiamo che queste informazioni, generalmente, sono contenute nei valori ed .

Definizione di predizione ad un passo

Notazione:

In pratica con questa notazione indico la predizione (o stima) di conoscendo tutto ci che successo fino a ed i parametri .

Errore di stima o predizione

Definito come segue:

Da notare che questo non l'errore stocastico del modello ARMAX. (cercher di evitare fraintendimenti grazie alla notazione che non combacia con )

Modello di predizione basato sull'ARMAX

Facendo riferimento alla ed alla , ricordando anche la , , e le propriet , .Dobbiamo definire un modello che generi la predizione.

Suppongo l'esistenza di un dispositivo che predice l'uscita basandoci su ci che possiamo misurare, che ha la seguente struttura:

nota: c' nelle forme di ed i , ma la scrittura generale ed ovvio che si riferisce solo agli istanti misurabili e non all'istante stesso che dobbiamo predire, come si vedr in seguito.

(A supporto della nota) ed non legano istantaneamente gli ingressi con la stima, quindi devono rispettare la propriet che: , .

Altrimenti saprei l'uscita in modo istantaneo e la predizione non mi servirebbe.

Supponiamo che ed siano noti. Io desidero la minima discrepanza tra la stima e l'errore, ovvero dovr fare un confronto riferendomi all'errore di stima .

Strumenti per la predizione

Per farla ci serve conoscere ed eseguire i seguenti passi:

1. Il modello che approssima il sistema reale, ovvero

2. il predittore che stima il valore della prossima uscita

3. minimizzare di volta in volta l'errore di predizione, ovvero devo far tendere quando

Si osserva che la predizione basata su un algoritmo ricorsivo che calibra meglio il tutto ad ogni istante che passa, basandosi sull'errore di stima.

Matrice di covarianza dell'errore di stima

Definita come segue (normalizzata sul numero delle misure):

A livello "raccolto" non normalizzato (non si mostra l'operazione matematica di valor medio, ma lo si cita e basta) pari ad:

E' definita positiva, quindi: (come notazione, per l'operazione vedi appendice).

Nel caso siso (un ingresso ed un'uscita) uno scalare ( pu essere anche usata come funzione da minimizzare per far convergere a zero l'errore).

Questo perch l'errore di stima sarebbe la differenza tra due scalari (ricordando la visto che l'uscita uno scalare. Se l'uscita un vettore allora la differenza tra due vettori di questo tipo rende un vettore della stessa dimensione, ma il prodotto avr dimensioni quindi sar quadrata.

Ma essendo il prodotto tra due vettori uguali, solo che uno il trasposto dell'altro, anche simmetrica (vedi ).

Funzione da minimizzare (o funzionale di costo)

Come per l'errore deterministico la discrepanza minima si basa sulla minimizzazione di una funzione appositamente scelta, detta "funzionale di costo". Questa funzione basata sulla matrice di covarianza dell'errore di stima come segue:

una qualche funzione basata su che definisce la struttura di .

Per possiamo scegliere tra due possibilit:

la traccia della matrice . Quindi

una matrice simmetrica di "pesi", quindi possibile riscriverla come (vedi appendice per la matrice simmetrica). Con matrice non singolare e quadrata.

il determinante della matrice . Quindi

Perch solo queste due scelte? Poich entrambe soddisfano una propriet per la quale si ha un solo minimo globale, ovvero la propriet di crescenza monotona. Dunque, data una qualsiasi matrice avrei che:

Nel caso della traccia si dimostra che possiamo scrivere:

Con ed .Continuando posso scrivere:

ma questa uguale a:

E si dimostra che:

(ovvero quindi la funzione monotona crescente)

Osserviamo che quadrata, per il discorso sulla , dunque, per omogeneit delle operazioni, anche lo sar, come pure in quanto simmetrica.

Tuttavia l'operazione di traccia deve fare qualche cosa di strano, poich la cambia argomento, al primo membro una matrice quadrata che viene data in pasto all'operazione di traccia, nel secondo caso abbiamo uno scalare (la forma quadratica , da cui si osserva che, per definizione di , dar uno scalare maggiore o uguale di zero . Se si pone si avr un argomento strettamente positivo ), come si pu vedere dall'appendice "Prodotto tra una matrice quadrata e le matrici generatrici di una simmetrica".

Nel caso del determinante possiamo scrivere cos:

Ma posso riscrivere il secondo membro come:

Poich ed

Ma posso mettere in evidenza , e sfruttare la simmetria di , ovvero , cos (vedi anche vari punti dell'appendice):

L'operazione appena fatta sfrutta anche l'associativit del determinante (vedi appendice)

Ricordando che , scrivo:

Ma si dimostra che definita positiva ed simmetrica. Allora i suoi autovalori sono tutti maggiori o uguali di zero. In pratica . Ma il determinante pu esser visto anche come prodotto dei sui autovalori (vedi appendice) quindi si dimostra che:

(l' eguaglianza con zero si avrebbe con che implica )

Che mostra che anche monotona crescente.

Allora minimizzando che ha la propriet trover un'unica soluzione ottima.

Computazionalmente pesano allo stesso modo, per se si implementano a livello ricorsivo, conviene usare la traccia (quindi )

Algoritmo PEM (prediction error method) in breve

dato il modello stocastico ARMAX ()

Dato il predittore ()

Dato il funzionale di costo ()

Si deve trovare la soluzione ottima dell'ultimo

Graficamente ho:

Si dimostra che possiamo scegliere ed arbitrariamente, tanto con la minimizzazione tenderei sempre a convergere verso valori di stima sempre migliori. Tuttavia potrei non avere l'ottimalit, ovvero potrei non rientrare nell'intervallo di precisione richiesto.

Esempio generico: Scelta ottimale di ed

Riferendoci al modello ARMAX ( , , , , , , )

Posso scrivere:

(con matrice identit ). Osservo che ho aggiunto zero poich:

Osservo dalla che poso ottenere in questo modo:

Quindi tornando alla :

Data la stima del predittore. Sappiamo che questo (il predittore) deve minimizzare per aver la migliore stima.

Quindi richiamiamo la :

ma sappiamo dalla come definito l'errore di stima, quindi:

Se il predittore ottimo posso scrivere, dalla

Elaborando (non vedo come e non mi ci sono messo) si ottiene, solo nel caso in cui non correlato ne all'ingresso ne all'uscita:

Nota: proprio quella della in quanto si ottiene con l'errore ricavato dall'ARMAX (vedi ), mentre tutta la formula precedente, non solo un termine!

Si dimostra che ottengo il miglior risultato di predizione quando la matrice di covarianza dell'errore di stima assume un valore simile alla matrice di covarianza , ovvero:

Ma per aver questo (l'ottimalit) bisogna avere che ottenendo, nella :

Cos abbiam scelto ed ottimi. Ovvero, dalla e dalla :

Osservando che se si avrebbe che la stima dell'uscita di un certo istante dipenderebbe dall'uscita stessa allo stesso istante. A parte che assurdo, non si avrebbe alcuna utilit visto che dovrei misurare l'uscita allo stesso istante senza poterla predire.

Per questo si deve avere la propriet .

(da notare che se allora anche

infatti sia allora )

Esempio particolare di scelta ottimale di ed

Consideriamo il modello ARMAX nel caso particolare:

Con rumore bianco a (, ) ed (con lambda pari ad una costante nota, ma non da me).

In questo caso .

Assumiamo che il rumore sia incorrelato con l'ingresso, ovvero: non sono correlati (statisticamente indipendenti).

L'uscita al tempo sar pari ad, dalla :

Indicando con una predizione arbitraria di si pu avere quanto segue:

Con varianza del rumore bianco, vedi .

L'eguaglianza ottenuta solo quando il predittore () ha la forma:

Questo un predittore ideale non realizzabile, poich non conosciamo il rumore agli istanti precisi, come ad esempio . Tuttavia questo ricostruibile basandoci sui parametri a noi noti (). Sapendo dalla (lo sapevo che sballava l'omogeneit della notazione, che importantissima, ogni volta che revisioni devi fare due cose, o passi nella notazione distinguendo dal contesto l'errore deterministico da quello stocastico, oppure in ogni caso che parli di errore stocastico metti [la seconda opzione migliore imo] ) che

allora:

Continuando posso scrivere:

e cos via.

Si arriva ad

(da verificare quando revisioni, comunque osserva che nella sommatoria relativa all'ingresso l'indice superiore non poich non messo in evidenza )

Questa ha la condizione che (altrimenti il valore stimato sar sempre pi grande e quindi divergente), tramite il quale, si pu osservare, che il valore scelto per non influenza molto la stima in quanto il termine ne riduce molto l'influenza.

Con molto grande posso trascurare qualche termine (l'ultimo in particolare) e posso scrivere:

Tuttavia a livello computazionale non gestibile (ci sono troppi termini) e si usa questa ricorsione:

(da verificare, possibilmente, anche questa).

La ricorsivit del PEM richiede la condizione iniziale

Poich il PEM funziona ricorsivamente, adattandosi ad ogni nuova misura, serve la discrepanza iniziale. ma questa non ottenibile realmente, poich il sistema deve "partire".

Dunque si sceglie una condizione iniziale che non influisca sulle predizioni successive (considerando che lo storico delle rilevazioni aiuta il pem a migliorare la calibrazione della predizione).

Si dimostra che la migliore condizione iniziale da assumere : , il che implica un'assunzione di errore nullo. Ovvero: .

Con questa assunzione il grafico di sar all'incirca come segue:

Esercitazione 05/02/2010

In questa esercitazione in realt si sono espressi concetti teorici, in parte gi esposti nella seconda lezione (quella del 29/01/2010). Inoltre i concetti esposti non mi sono risultati chiarissimi a causa dell'uso di una notazione che definirei "dinamicamente mutevole". Pu sembrar strano, ma io ritengo che una notazione ben definita aiuti molto la comprensione, altrimenti potremmo inventarcene una nostra che cambia ad ogni ora e lasciare ai poveri studenti il compito di decifrarla (e poi capirne il contenuto).

Perci riporter solo i concetti (o meglio le aggiunte ai concetti gi espressi) che sono riuscito a decifrare con una certa sicurezza nel "capitolo" relativo alla lezione del 29 gennaio, per il resto dar solo la descrizione informale, per evitar danni. Tuttavia molte cose devono essere verificate chiedendo al prof o sui libri, per esser sicuri.

Esercitazione 19/02/2010

Prima di tutto mi lamento nuovamente (e poi basta altrimenti divento ripetitivo).

Forse sono scemo io, ma se dei contenuti, seppur chiarissimi, vengono esposti in una notazione mutevole nel corso della stessa lezione (figurarsi tra lezioni) diventano incomprensibili mentre si segue la lezione. Infatti, durante questa, oltre che a fare una mera copia di ci che espone il professore, cerco di capire. Se mi si modifica ogni poco la notazione, non riesco pi a farlo e vado in semplice "modalit copia".

Poi a casa devo prima capire a quali concetti si riferisce una data notazione (visto che gli stessi concetti vengono citati con notazioni diverse per farci felici) e poi capire il concetto stesso. Un archeologo me lo mangio a colazione! Questa esposizione un peccato, perch un corso davvero interessante.

Per cui, a differenza della precedente esercitazione, ricopier tutto quello che ho scritto, se ho capito alcune cose lo scrivo, altrimenti amen, le accetto per "volont divina".

Identificazione tramite equazioni normali

Queste prevedono prima la risoluzione delle matrici: ;

Poi si passa a risolvere le equazioni normali:

Da queste calcolo .

Queste soluzioni sono molto sensibili alle approssimazioni di calcolo fatte (eventualmente da un calcolatore).

Identificazione tramite triangolarizzazione ortogonale o metodo QR

Si parte da questa equazione:

Poi si moltiplica a sinistra per una matrice ortogonale (vedi appendice). Quindi:

Ricordando la funzione "indice di costo", ovvero quella funzione di che si vuole minimizzare per ottenere la soluzione del modello di regressione lineare (vedi ) :

Vediamo che la moltiplicazione per non ne modifica la forma. Infatti otteniamo che la forma matriciale di era:

Ora diventa:

Da cui:

Ma sappiamo pure che

Dunque:

Per le propriet della trasposizione (vedi appendice) diventa:

Per ortogonalit

Quindi:

Esattamente uguale alla formula di senza la moltiplicazione per , vedi .

Supponiamo di scegliere una tale che il prodotto: dia come risultato una matrice triangolare superiore (vedi appendice), quindi dove i blocchi fanno parte della stessa matrice che ha una forma triangolare superiore ed quadrata.

Mentre diventa la composizione di due blocchi:

Con questa scelta, l'indice di costo diventa (non ho indagato sul perch da una norma di una sottrazione siamo passati a due norme distinte):

Se non singolare (rango massimo o determinante diverso da 0) allora sar a rango massimo, quindi non singolare. Se questo vero, si ottiene che: e dunque:

Il metodo QR meno sensibile alle approssimazioni di calcolo.

Confronto tra il metodo QR ed il metodo delle equazioni normali

Sia il sistema da risolvere:

Con molto piccolo.

La soluzione "perfetta" del sistema :

Si pu notare che i la prima e la seconda colonna della matrice a primo membro del sistema siano quasi coincidenti, a meno di delta (ovvero i vettori ed sono praticamente gli stessi), quindi la soluzione molto sensibile al coefficente delta.

Con il metodo QR scegliamo una matrice Q cos fatta:

Quindi il sistema diventa, se moltiplichiamo a sinistra ad entrambi i membri:

Si noti la matrice triangolare superiore.

Con le equazioni normali abbiamo il seguente sistema:

Supponendo di risolvere i sistemi al calcolatore, avendo a disposizione un'aritmetica finita (che avr voluto dire!?), e supponendo di approssimare a zero qualsiasi termine di grado maggiore del primo, relativamente a delta (ovvero e cos via), otteniamo:

la soluzione per le equazioni normali

la soluzione per il metodo QR

Si vede che le equazioni normali "soffrono" molto l'approssimazione, che non intacca, invece, la soluzione del metodo QR.

Identificazione tramite algoritmo ricorsivo per il calcolo dei minimi quadrati

(anche negli altri modelli si tratta la soluzione ai minimi quadrati, ma questa volta la si tratta direttamente, e non tramite la funzione )

Si riscrive la stima ottima dei parametri da identificare, ovvero: ; in modo ricorsivo:

La spiegazione non ci data (per ora).

Esempi e codice matlab: pressione arteriosa

Stimare la relazione tra pressione arteriosa ed et.

I dati rilevati dalle misurazioni sono:

x(et)

y(pressione)

25

120

30

125

42

135

55

140

55

145

69

140

70

160

Con il modello di regressione lineare cerchiamo una curva che approssimi meglio questa tabella. Supponiamo che il modello sia nella forma (potevamo supporre curve pi precise) e quindi calcoliamo la miglior stima dei parametri tramite

Solo che essendo in matlab scriviamo: (ovvero )

Essendo una curva lineare, con un valore rilevato il valore stimato dal processo di identificazione sar pari ad: (visto che, come si vedr, o dipende dai dati rilevati, ovvero ).

Il codice quello che segue:

x = [25, 30, 42, 55, 55, 69, 70]';

y=[120,125,135,140,145,140,160]';

M=[x, ones(7,1)];

S=inv(M' * M) * M' * Y;

a = S(1);

b = S(2);

//si plotta

plot(x,y,'b');

//si blocca la figura

hold on

ys= a * M(:,1) + b;

plot (M(:,1), ys, 'r');

hold off

Con l'hp50g il calcolo viene "automatico" ( una delle funzioni preesistenti nella calcolatrice, le altre possono essere sviluppate/aggiunte grazie ai vari utenti o appassionati che condividono il loro sapere su www.hpcalc.org )

L'immagine la seguente, dove i punti rappresentano i dati e la linea la retta di regressione (il modello lineare):

Per verificare che l'approssimazione non cattiva analizziamo l'analisi dei residui o delle discrepanze, ovvero:

e=y-ys;

La stima buona se i residui assomigliano ad un vettore di rumore bianco, e lo si vede analizzando il valor medio e la varianza del parametro e.

Esempio 2

Supponiamo di voler approssimare un'altra serie di approssimazioni, con una curva con pi dimensioni:

Che un piano, perch se si fissa e si varia , o viceversa, cosa impossibile per rette in , si continuano ad ottenere valori per la .

Per ottenere una retta, non particolare (ovvero che non si sviluppa utilizzando solo 2 dimensioni), in , bisogna intersecare 2 piani.

x1=[4,4.2,4.4,4.6,4.8,5]';

x2=[17.1,16.5,18.2,17.9,19,18.9]';

y=[7.1,8.2,8.1,9.8,11.6,13]';

M=[x1,x2,ones(6,1)];

S=inv(M' * M) * M * y

a= S(1);

b= S(2);

c = S(3);

plot3(x1,x2,y,'b');

hold on

ys=a * M(:,1) + b*M(:,2) + c;

plot3(M(:,1), M(:2), ys);

hold off

per questa soluzione mi venut