Material SVD

download Material SVD

of 9

Transcript of Material SVD

Prof. Isabel Matos & Jos Amaral ALGA A31 - 115-05-2008 Figura31.1 31. Decomposio em valores singulares. 31.1. Valores singulares. Dada uma matrizA,n m , a matrizA AT,n n , uma matriz simtrica comn valores prprios reais no negativos, iguais ou distintos, 1 , 2 , ,n . Designam-se por valores singulares da matrizA asn razes quadradas dos valores prprios da matrizA AT, i i = . Exemplo 1. Dada a matriz rectangular,2 3 , =2 02 00 1Atemos ==4 00 12 02 00 12 2 00 0 1A AT AmatrizA ATtem2 = n valoresprprios,razesdopolinmio caracterstico) 4 )( 1 ( ) ( = p ,41= e12= ,peloquea matriz A tem valores singulares21 1= = e12 2= = Na figuras 31.1 e 31.2 mostra-se, respectivamente, um conjunto de versoresobjecto,comextremidadessobreacircunfernciaderaio T P I C O SValores singulares. Decomposio em valores singulares. Interpretao geomtrica. SVD e os 4 espaos fundamentais de uma matriz. AULA 31Notebem:aleituradestesapontamentosno dispensademodoalgumaleituraatentada bibliografia principal da cadeira Chama-seaatenoparaaimportnciado trabalhopessoalarealizarpeloalunoresolvendo osproblemasapresentadosnabibliografia,sem consultaprviadassoluespropostas,anlise comparativaentreassuasrespostaearespostas propostas, e posterior exposio junto do docente de todas as dvidas associadas. D E C O M P O S I O E M V A L O R E S S I N G U L A R E S A L G E B R A L I N E A R Prof. Isabel Matos & Jos Amaral ALGA A31 - 215-05-2008 Figura31.2 unitrio,em 2 ,eosrespectivosvectoresimagem,em 3 , resultantesdatransformaolinear 2 3: T aqueamatriz Aestassociada,queconstituemumconjuntodevectorescom extremidade sobre uma elipse em 3 . AmatrizA ATtemvectoresprpriosdenormaunitria [ ]T1 01= v e[ ]T0 12= v ,assinaladosapretonafigura31.1. As suas imagens, assinaladas a preto na figura 31.2, esto sobre os eixosdaelipse, esovectoresde comprimento21= e12= . Na verdade, considerando um valor prprio da matrizA AT,, e ocorrespondentevector prpriodenormaunitriav,temos,em geral = = = = == = = =22) ( ) () ( ) ( ) ( ) ( ) (v v v v v v vAv A v Av A v Av Av Av Av AvT TT T T T T e,portanto,osvectoresimagemdosvectoresprpriosdenormaunitriatm comprimento igual ao valor singular associado = = = Av w31.2. Decomposio em valores singulares (SVD). VimosqueumamatrizquadradaA,n n ,diagonalizvel, 1 = PDP A ,sse possuin vectores prprios linearmente independentes, sendoP a matriz dos vectores prprios eD a matriz diagonal dos valores prprios da matrizA, escritos por ordem correspondente de D.Vimos tambm que, seA for uma matriz simtrica diagonalizvel, TQDQ A = , por uma matriz ortogonal Q, obtida a partir dos vectores prprios de A. Tem-se que toda a matriz A,n m , factorizvel na formaTV U A =,chamadadecomposioemvaloressingularesdamatrizA,sendoVuma matriz ortogonaln n , construda a partir de um conjunto ortonormado de vectores prpriosdamatrizA AT,{ }nv v , ,1 ,Uumamatrizortogonalm m ,cujos elementos so determinados por iiiAv u=1 , e, tendo Arvalores singulares no nulos, uma matrizn mda forma r mrr n r)`)`

]

=

0 00 00 00 00 00 0D, em que =r

001DD E C O M P O S I O E M V A L O R E S S I N G U L A R E S A L G E B R A L I N E A R Prof. Isabel Matos & Jos Amaral ALGA A31 - 315-05-2008 Demodoanlogodecomposioespectraldeumamatrizsimtrica,amatrizA, n m , comrvalores singulares no nulos, pode ser escrita na forma = = + + =riTi i iTr r rT11 1 1v u v u v u A ,emque iu socolunasdeU,ditosvectoressingularesesquerda,e iv so colunas deV, ditos vectores singulares direita. Exemplo 2. Consideremos de novo a matriz =2 02 00 1AComo vimos =4 00 1A AT temvaloresprprios41= e12= ,aqueestoassociadososvectoresprprios unitrios[ ]T1 01= ve[ ]T0 12= v , pelo que a matrizA tem valores singulares21 1= = e12 2= = . Podemos de imediato escrever a matriz diagonal dos valores singulares ==1 00 20021D, e a matriz, de dimenso2 3 = n m , == 0 01 00 20 0D Vumamatrizortogonaln n ,portantodotipodeA AT,nocasopresente, 2 2 .ParaconstruirVbastaencontrarumconjuntoortonormadodevectores prpriosdamatrizA AT,{ }nv v , ,1 ,associadosacadaumdosnvalores singulares. No caso presente, temos de imediato [ ]= =0 11 02 1v v VU uma matriz ortogonalm m , cujos elementos so determinados poriiiAv u=1 TendoAr valoressingularesnonulos,ficamassimencontradasr colunasda matrizU.Casotenhamosm r< sernecessriodeterminarosrestantesr mvectoresde m convenientes(porexemplorecorrendoortogonalizaodeGram-Schmidt tendo por base os versores cannicos). No caso presente temos3 3 = m me2 = r , pelo que, de imediato, temos D E C O M P O S I O E M V A L O R E S S I N G U L A R E S A L G E B R A L I N E A R Prof. Isabel Matos & Jos Amaral ALGA A31 - 415-05-2008 ======001012 02 00 111 12 12 10102 02 00 121 1222111Av uAv u , sendo agora necessrio determinar um vector unitrio ortogonal a 1ue 2u . Considerando a base { }3 2 1, , e u u , temos ==== = = = 2 12 102 12 101002 12 102 11002 12 102 12 10100001001100100) ( ) (proj proj1 1 3 2 2 3 3 11 11 322 22 333 3 3 31 2u u e u u e e uu uu euu uu eee e e uu u e 33301 21 2= = uuu Temos ento [ ] = =2 1 0 2 12 1 0 2 10 1 03 2 1u u u UFicando assim determinada a decomposio em valores singularesda matriz A = =0 11 00 01 00 22 1 0 2 12 1 0 2 10 1 0TV U A, como podemos confirmar >> x=1/sqrt(2); >> A=[1 0; 0 sqrt(2); 0 sqrt(2)]; >> U=[0 10; x 0 -x; x 0x]; >> S=[2 0; 0 1; 0 0]; >> V=[0 1; 1 0]; >> U*S*V' D E C O M P O S I O E M V A L O R E S S I N G U L A R E S A L G E B R A L I N E A R Prof. Isabel Matos & Jos Amaral ALGA A31 - 515-05-2008 ans = 1.0000 0 01.4142 01.4142 Podemos ainda decompor A na forma [ ] [ ]+=+= + = = =0 00 00 112 1 02 1 01 02 0 10011 1 02 12 1022 2 2 1 1 11T TriTi i iv u v u v u A Embora possamos recorrer ao MatLab para proceder ao clculos das matrizesU, , eV, conforme acima ficou descrito, o procedimento desnecessrio, dada a existncia da funo svd(A), que procede decomposio em valores singulares da matriz A >> A=[1 0; 0 sqrt(2); 0 sqrt(2)]; >> [U S V]=svd(A) >> U = 01.0000 0 -0.7071 0 -0.7071 -0.7071 00.7071 >> S = 2.0000 0 01.0000 0 0 >> V = 0 1 -1 0 D E C O M P O S I O E M V A L O R E S S I N G U L A R E S A L G E B R A L I N E A R Prof. Isabel Matos & Jos Amaral ALGA A31 - 615-05-2008 a)u b)u VT c)u VT d)u V U Au wT = = Figura31.3 31.3. Interpretao geomtrica. Consideremosatransformaolinear 2 2: T ,emquea matriz da transformao =2 2 11 2AA figura a) mostra um conjunto de vectores com extremidade sobre acircunfernciaderaiounitrio,eafigurad)asimagens resultantesdatransformao,Au w= ,estandoassinaladosa preto os vectores prprios deA AT. Podemos verificar queA tem uma decomposio em valores singulares = =66 . 0 75 . 075 . 0 66 . 027 . 1 00 75 . 275 . 0 66 . 066 . 0 75 . 0TV U A(para uma maior clareza de exposio, os valores so aproximados e so omitidos os passos intermdios). Atendendo decomposio de A em valores singulares, a transformaoTpode ser interpretada como uma composio de 3 transformaes lineares 2 2 com matrizes TV ,eU. A matriz =66 . 0 75 . 075 . 0 66 . 0TVtem a estrutura de uma matriz de rotao em 2 ) cos( ) sen() sen( ) cos( ,com

49 .Asimagensu VTresultamdeumarotaode

49 em sentido inverso, como se pode ver na figura b), ficando os vectores prprios deA AT alinhados com os eixos coordenados. A matriz= 27 . 1 00 75 . 2 vai em seguida multiplicar cada um dos vectores prprios deA AT por75 . 21= 75 . 21= (e cada um dos outros vectores por uma combinao linear de 1e 2 ) transformando a circunferncia de raiounitrionumaelipsedesemieixos 1 e 2 .Finalmentea matriz =75 . 0 66 . 066 . 0 75 . 0Uquetemaestruturadeumamatrizderotaoem 2 ,com 41

, provoca uma rotao em sentido directo de41

. Todasosprodutosmatriciaissosusceptveisdestainterpretao geomtrica, dado que toda a matriz pode se decomposta na forma TV U . D E C O M P O S I O E M V A L O R E S S I N G U L A R E S A L G E B R A L I N E A R Prof. Isabel Matos & Jos Amaral ALGA A31 - 715-05-2008

a) n=512 b) n=50 c) n=20 d) valores singulares 31.4. Aplicao: Compresso de imagem. Consideremos a imagem com512 512 pixels que sereproduznafiguraa).Cadaumdospixelsda imagem corresponde a um nmero inteiro entre 0 e255,relativoa1de256nveisdecinzento, constituindotodaaimagemumamatrizde 262144 512 512 = nmeros. Decompondo a matriz em valores singulares,TV U A =,podemosverificarqueosseus512 valoressingulares, i ,se distribuem por 610ordens de grandeza, sendo o maior dos valores 4110 5 ,eomenor 251210 2 ,comopodemosverna figura d) (note a escala logartmica).Se fizermos a decomposio espectral da matriz, = =5121 iTi i iv u A,esendooscoeficientesdasmatrizes Ti iv u todos,emmdulo, menoresque1,dadoqueosvectoresprpriosesquerdae direita, iue iv , so vectores normalizados, resulta que cada uma dasparcelas, Ti i iv u ,contribuidemodomuitodiferenteparaa matriz final. As figuras a) a c) mostram as imagens resultantes de se considerar ototaldascomponentesespectrais,eapenasas50e20mais importantes, isto,associadasaos50e20valoressingularesde maiorvalor.Noteque,sendonecessrio262144 512 512 = nmeros para reproduzir a imagem original, a imagem que utiliza apenas50 componentes espectrais necessita de apenas50 valores singularesmais50vectoresu e50vectoresv,cadaumde dimenso512 , ou seja51250 ) 512 512 1 ( 50 = + + nmeros, cerca de5vezes menos informao. A decomposio de imagens em valores singulares est na base de algunsdosmaiseficientesalgoritmosdecompressodeimagem, queestudarnascadeirasdaespecialidade.Oarmazenamentoe transmisso de dados tm um papel extremamente importante no actual panorama tecnolgico, e o estudo das tcnicas que permitam a sua execuo com o mnimo espao de armazenamento e o menor tempo de processamento ser objecto de anlise ao longo do curso. Namaioriadastcnicassoextremamenterelevantesos considerandos de ordem estatstica e numrica, que transcendem o mbito desta cadeira, e em que ter oportunidade de se iniciar nas cadeiras dos prximos semestres. D E C O M P O S I O E M V A L O R E S S I N G U L A R E S A L G E B R A L I N E A R Prof. Isabel Matos & Jos Amaral ALGA A31 - 815-05-2008 31.5. SVD e os 4 espaos fundamentais de uma matriz. Sendo TV U A =a decomposio em valores singulares da matrizA,n m , com rvalores singulares no nulos, ento 1.A matriz A tem caractersticar . 2.{ }ru u , ,1 uma base ortonormada de) col(A . 3.{ }m ru u , ,1

+ uma base ortonormada de) Ker(TA . 4.{ }rv v , ,1 uma base ortonormada de) lin(A . 5.{ }n rv v , ,1

+ uma base ortonormada de) Ker(A . Exemplo 3. Recordemos a anlise que foi feita nos exerccios 20.1 a 20.4 da aula 20 sobre os espaos fundamentais da matriz =6 0 3 0 30 2 1 2 11 1 0 1 13 1 3 1 2AVimos que matriz tem caracterstica3 , formando os vectores [ ]T0 0 0 11= u ,[ ]T6 0 1 02= ue[ ]T3 1 0 03= uuma base do espao coluna de A, o vector [ ]T1 3 6 04 = uuma base do ncleo de TA , os vectores [ ]T2 0 1 0 11 = v ,[ ]T3 0 1 1 02= ve[ ]T4 1 0 0 03= vuma base do espao linha de A, e os vectores [ ]T0 0 1 1 14 = v, e[ ]T1 4 0 3 25 = vuma base do ncleo de A.Calculemos a decomposio em valores singulares da matriz A >> A=[2 1 3 1 3; 1 -1 0 1 -1;-1 2 1 -2 0; 3 0 3 0 -6]; >> [U S V]=svd(A) U = 0.0982 -0.99100.09110.0000 -0.17380.02250.4321 -0.8847 0.0211 -0.0801 -0.8930 -0.4423 -0.9796 -0.1051 -0.08670.1474 S = 7.4765 0 0 0 0 04.8770 0 0 0 D E C O M P O S I O E M V A L O R E S S I N G U L A R E S A L G E B R A L I N E A R Prof. Isabel Matos & Jos Amaral ALGA A31 - 915-05-2008 0 03.5096 0 0 0 0 00.0000 0 V = -0.3929 -0.45000.35540.7136 -0.0873 0.0420 -0.2406 -0.60600.0811 -0.7526 -0.3508 -0.6906 -0.2507 -0.46060.3534 -0.0157 -0.16580.6580 -0.5060 -0.5323 0.8488 -0.48490.10310.12650.1331 Como vemos, por anlise da matriz S , a matrizA tem3 = rvalores singulares no nulos, ou seja, a matriztem caracterstica3 = r .As primeiras3 = rcolunas da matrizU formam uma base ortonormada de) col(A . Fazendo >> rref(U(:,1:3)') ans = 1.0000 0 00.0000 01.0000 06.0000 0 01.00003.0000 confirmamos que as primeiras3colunas deU so versores de[ ]T0 0 0 11= u , [ ]T6 0 1 02= ue[ ]T3 1 0 03= u .A4a coluna deU forma uma base ortonormada de) Ker(TA . Fazendo >> U(:,4)' ans = 0.0000 -0.8847 -0.44230.1474 >> U(:,4)'/U(4,4)' ans = 0.0000 -6.0000 -3.00001.0000 confirmamos que a4 a coluna deU o versor de[ ]T1 3 6 04 = u .As primeiras3 = rcolunas da matrizV formam uma base ortonormada de) lin(A . Fazendo >> rref(V(:,1:3)') ans = 1.0000 01.0000 0 -2.0000 01.00001.0000 03.0000 0 0 01.00004.0000 confirmamosqueasprimeiras3 colunasdeVsoversoresde [ ]T2 0 1 0 11 = v ,[ ]T3 0 1 1 02= v e[ ]T4 1 0 0 03= v . Finalmente,poderamosverificarqueas4ae5acolunasdeVformaumabase ortonormada de) Ker(A .