Aplicatii1 - Cursuri 6,7,8
-
Upload
jayme-howard -
Category
Documents
-
view
221 -
download
0
description
Transcript of Aplicatii1 - Cursuri 6,7,8
APLICAŢII ALE PCA ÎN COMPRESIA ŞI RESTAURAREA SEMNALELOR
I. SCHEMA DE COMPRESIE/DECOMPRESIE PCA Teorema (Schema de compresie/reconstrucţie lineară optimală LMS) Fie nm21 ...... valorile proprii ale matricei de covarianţă Σ şi nm21 ,...,,...,, un set de vectori proprii asociaţi. Schema de compresie/reconstrucţie lineară definită prin
XWWWWXXWYX TTWTWWU
TTW 11ΣΣ ΣΣ
ˆ
este optimală din punct de vedere al erorii medii pătratice dacă WL m21 ,...,,L , spaţiul linear generat de vectorii m21 ,...,, .
Schema de compresie/decompresie lineară de eroare pătratică minimă corespunde matricelor
W m21 ,...,, , WWWWU1T
,
XWWXXWYX TWTTW ˆ
n
1mjj
m
1jj
2
RMW
2 trW,infm,n
.
Dacă m=n şi n21 ,...,, sunt vectorii proprii ortonormali ai matricei de covarianţă , atunci
n
1iiiYX este referită drept reprezentarea Karhunen-Loève a formei X.
Algoritmul
1. exp,...,, nrIII 21 imagini de dimensiune pnm , instanţe ale lui X . Se lucrează liniarizat. Fie dim<p numărul de componente selectate pentru compresie
2. Calculează
exp
expˆ
nr
iiI
nr 11μ
3. Centrează datele μ̂ ii IY , i=1,…,nrexp
4. Calculează
exp
ˆnr
i
Tii YY
1nrexp 11Σ
5. Calculează componentele principale: un set de vectori proprii ortonormali corespunzători valorilor
proprii ale lui Σ̂ în ordinea descrescătoare a valorilor proprii. Selectează W dim,...,, ΦΦΦ 21
6. Realizează compresia: iT
i IWZ , i=1,…,nrexp
7. Decompresia şi restaurarea: μ̂ ii WZX , i=1,…,nrexp
Compresie de caractere Multimea imaginilor iniţiale (caractere reprezentate în imagini monocrome 16x16)
Multimea imaginilor restaurate de la reducerea 16x16=256 componente principale la primele 10 componente principale
Datele iniţiale: 30 exemple de dimensiune 256 (30x256=7680 componente) Datele necesare pentru restaurare: (3116 componente)
imaginea medie, de dimensiune 256 (256 componente)
30 exemple de dimensiune 10 (30x10=300 componente)
Componentele principale, de dimensiune 10x256 (10x256=2560 componente)
Compresie de imagini Cateva exemple din multimea imaginilor iniţiale (imagini monocrome 50x50)
Corespondentele restaurate de la reducerea 50x50=2500 componente principale la primele 14 componente principale
II. ALGORITMII CSPCA ŞI CSPCA CU COMPRESIE
Modelul propus pentru eliminarea zgomotului nI0 2,N , CSPCA (Code Shrinkage Principal Component Analysis), utilizează tehnici de tip PCA şi contracţie a codului
0X - setul imaginilor originale perturbat aditiv cu zgomotul 0, ttηη . Se presupune că zgomotul este un proces stochastic staţionar:
pentru orice t, η t este distribuit nI0 2,N , cu 2 cunoscut. 0X este proces staţionar, cu
media tE 0Xμ şi
matricea de covarianţă TttCov 00 , XXΣ .
Setul de imagini observate (cunoscute) este ηXX 0 .
Deoarece 0 μXμ 0 EtE , rezultă că vectorul medie
XXμ 0 EtE este cunoscut.
În etapa de preprocesare: datele normalizate (rezultă 10 2 ) şi centrate, ημXXXY 0E , ,0YE n
T IΣYY 2,Cov .
Deoarece X este observat (cunoscut), rezultă că Y este cunoscut, deci matricele
nIΣ 2 şi Σ sunt cunoscute (sau pot fi aproximate din date).
Fie 2
1
ΦΛA , unde n ,...,1Φ este matricea ortonormală cu coloane vectorii
proprii ai lui Σ şi n ,...,,diag 21Λ , i
i
2
1 ,unde n ...21 valorile
proprii ale lui Σ .
Rezultă că fiecare coloană din A corespunde unui vectori propriu al matricei nIΣΣ 21 , iar n ,...,, 21 sunt valorile proprii asociate. Deoarece
11 ...nn , rezultă că
n
nA ,...,1121ΦΛ are coloanele în ordinea
crescătoare a valorilor proprii, deci componentele principale ale semnalului cu matrice de covarianţă Σ corespund componentelor minore ale semnalului cu matrice de
covarianţă nIΣΣ 21
Fie ηAμXAYAZ TTT 0 .
Componenta zgomot din vectorul Z este înglobată în principal în ηAT
Obţinem,
12
ΛηAηA TTT ,Cov
Deoarece η t este distribuit nI0 2,N , vectorul ηAT are distribuţia 12,N Λ0 , deci
elementele componentei zgomot rezultate, ηAT , sunt independente. Lui Z îi este aplicată funcţia de contracţie
i
uuug 2
2,0maxsign
şi rezultă o aproximare a lui Z în varianta fără zgomot,
Z0= μXA 0T .
Este obţinută o aproximare a setului de imagini iniţiale
010 ZμX TAˆ .
Tehnica CSPCA este combinată cu o schemă de compresie/decompresie, astfel încât procesul de eliminare a zgomotului este tratat în spaţiul caracteristicilor principale.
Ideea este aceea că, în principal, componenta zgomot este regăsită în componentelor minore ale semnalului.
Fie n ,...,1Φ vectorii proprii unitari ai matricei Σ şi n ...21 valorile
proprii corespunzătoare. Pentru orice nm 1 , mm ,...,1Φ ,
mm ,...,,diag 21Λ şi
n
nmmmA ,...,1121ΛΦ
Modulul de eliminare a zgomotului este implementat în spaţiul m-dimensional al caracteristicilor principale, F. Obţinem schem de compresie/decompresie şi restaurare.
1. Compresia
YμXY TT mAFmA
2. Modulul de eliminare a zgomotului
3. Decompresia X̂TF mA0 ,unde X̂ este imaginea restaurată, 0FmA T
ˆ X .
F 0F CSPCA
Implementare. Varianta 1 se dispune de μ, Σ şi 2 .
Obţinerea imaginilor cu zgomot
exp,...,, nrIII 21 imagini neperturbate de dimensiune pnm , instanţe ale lui 0X . Se
lucrează cu blocuri 16x16 şi liniarizate şi normalizate nrexpi1II ii ,255 .. După cum
rezultă din model, se dispune de μ, Σ şi 2 . μ, Σ pot fi calculaţi direct din imaginile
neperturbate pentru variantele normalizate ale imaginilor, Perturbarea: este realizată cu zgomot necorelat, fiecare pixel fiind perturbat aditiv cu
zgomot gaussian de medie 0 si deviaţie standard . Rezultă exp,...,, nrJJJ 21 imagini perturbate de dimensiune pnm , liniarizate.
Algoritmul de eliminare a zgomotului
Date de intrare: exp,...,, nrJJJ 21 , dim<256 ,numărul de componente selectate pentru compresie (zgomotul este înglobat şi în componentele minore, deci se recomandă ignorarea
lor), μ, Σ , 21 . Imaginile se normalizează (se aduc valorile matricelor în [0,1], prin
împărţire la 255). Varianţă după normalizare:
221 255
1. Centrarea: nrexpi1JJ ii ,μ
2. Construieşte matricea transformării liniare: 21Λ dimdimdim ΦA , dim vectori şi
valori proprii calculaţi pentru pIΣΣ 211 . Se lucrează cu valorile proprii ordonate
crescător: componentele principale ale semnalului cu matrice de covarianţă Σ corespund
componentelor minore ale semnalului cu matrice de covarianţă pIΣΣ 211
3. Aplică transformarea directă: nrexpi1JAZ iT
i ,dim vector compresat la dim 4. Aplică funcţia de contracţie a codului
dimexp,,,maxsign0
tnritZtZtZgtZt
iiii 1120 21
5.Aplică transformarea inversă, pentru revenirea în spaţiul initial (necompresat)
nrexpi1ZApinvY iT
i ,0dim0 6. Calculează o aproximare a imaginilor iniţiale
nrexpi1XJ
nrexpi1YX
ii
ii
,*ˆ
,0255μ
Imagini perturbate
VARIANTA 1 DE IMPLEMENTARE Restaurare cu reducere de dimensiune de la 256 la 30
Implementare. Varianta 2 se dispune doar de 2 .
Obţinerea imaginilor cu zgomot
exp,...,, nrIII 21 imagini neperturbate de dimensiune pnm , instanţe ale lui 0X . Se lucrează cu blocuri 16x16 şi liniarizate.
Perturbarea: este realizată cu zgomot necorelat, fiecare pixel fiind perturbat aditiv cu
zgomot gaussian de medie 0 si deviaţie standard . Rezultă exp,...,, nrJJJ 21 imagini perturbate de dimensiune pnm , liniarizate.
Observaţie Numărul exemplelor trebuie să fie suficient de mare încât valorile estimate pentru vectorul
medie şi matricea de covarianţă să fie apropiate de cele teoretice (de exemplu fiecare kI , generează NR imagini perturbate; numărul exemplelor perturbate devine nrexp=NR*nrexp).
Algoritmul de eliminare a zgomotului
Date de intrare: exp,...,, nrJJJ 21 , dim<256, 2 . Imaginile se normalizează (se aduc
valorile matricelor în [0,1], prin împărţire la 255).
1. Calculează μ̂, 1Σ̂ , unde μ̂ este vectorul medie de selecţie pentru exp,...,, nrJJJ 21 , 1Σ̂
matricea de covarianţă de selecţie pentru exp,...,, nrJJJ 21 . Consideră pIΣΣ 2551 ˆˆ
aproximare a lui Σ. În modelul teoretic, pIΣΣ 21 255
unde 1Σ este matricea de
covarianţă (teoretică) a vectorului aleator care a generat exp,...,, nrJJJ 21
2. Centrarea: nrexpi1JJ ii ,μ̂
3. Construieşte matricea transformării liniare: 21Λ dimdimdim ΦA , dim vectori şi valori
proprii calculaţi pentru 11 ΣΣ ˆˆ .
4. Aplică transformarea directă: nrexpi1JAZ iT
i ,dim vector compresat la dim 5. Aplică funcţia de contracţie a codului
dimexp,,*
,maxsign0
tnritZtZtZgtZt
iiii 1125520
6. Aplică transformarea inversă nrexpi1ZApinvY iT
i ,0dim0
7. Calculează o aproximare a imaginilor iniţiale nrexpi1XJYX iiii ,*ˆ,0ˆ 255μ
Imagini perturbate
VARIANTA 2 DE IMPLEMENTARE Restaurare cu reducere de dimensiune de la 256 la 30 (fiecare poza generează câte 40 variante perturbate, deci NR=40)