Restauration d’images parapproche variationnelle et EDP

Laure Blanc-Féraud

DR CNRSLaboratoire I3SINRIA Sophia Antipolis

2

CONTENU global du cours

Introduction Formation des images en satellitaire, échantillonnage

Déconvolution : ex de pb mal posé

Régularisation linéaire2

2

2

2uHug ∇+− λ

♦Minimisation de critère : approche variationnelle Espaces fonctionnels pour la minimisation

Existence, unicité de solution

Introduction au calcul des variations,

Introduction aux EDP en traitement d’ image

=∂∂

=∆−−→

Ω∂

0

0)(*

n

uugHuH λ

( )

==

∇∇=∂∂

→),()0,,(

,, 2

yxgtyxu

uuxFt

u

CONTENU (suite)

Régularisation non linéaire

Régularisation L2/L1

Espace BV, Variation Totale

Solutions dans l’espace BV, dualité, algorithmes∫Ω

+− DuHug λ2

2

( )∫Ω

∇+− dxuHug ϕλ2

2

Segmentation d’image, approche variationnelle Fonctionnelle de Mumford et Shah

Notion de Γ-convergence : lien restauration/segmentation

Et les représentations parcimonieuses ? Régularisation dans le domaine de la transformée en ondelettes

Solution dans un espace de Besov (et algorithmes)

Modèles de régularisation / parcimonie

∑−

+−kj

kj

j

uHug,

,22

2,2 ψλ

Construction d’une image

g = H(u) n

g : une observation = des quantités physiques : optique, radar, laser, IR, champ magnétique, rayons X, ultrasons, émissions de photons… émissions de photons…

H : opérateur qui relie l’observation à la quantité que l’on cherche à imager u, à travers l’appareil de mesure et éventuellement un processus de reconstruction.

u : image que l’on cherche à obtenir

n : partie aléatoire du processus de reconstruction (bruit)

Exemples Linéaire : H(u)= H.u

Restauration d’une image optique :H est une convolution : H.u = h * u

H modélise les dégradations de l’appareil optique (diffraction, défocalisation, bougé, intégration sur les capteurs…)

g = h * u + ng = h * u + nBruitadditif

Noyau de convolutionImage originale

Image observée

Exemples Linéaires : H(u)= H.u

Reconstruction tomographique, appliquée dans les domaines de la médecine, des géosciences, ...

Reconstruire le volume d'un objet (le corps humain dans le cas de l'imagerie médicale), à partir d'une série de mesures effectuées à l'extérieur de l'objet. Exemple de la tomographie à rayons X

H= matrice de Radon = projection 1D selon l’angle θ

Exemples Linéaires : H(u)= H.u

Super résolution, échantillonnage irrégulier

On observe une image g irrégulièrement échantillonnée. u est la même image sur une grille régulière.

λ sont les positions des échantillons irrégulièrement répartis. Peut se

( ) ( ) ( )∑Λ∈

ΛΛ −=∆+∆=k

knugλ

λδ ..où

λk sont les positions des échantillons irrégulièrement répartis. Peut se modéliser par transformée de Fourrier discrète

F Transformée de Fourier directe régulière

STransformée de Fourier inverse irrégulière

nSFug +=

( ) ∑=

=

==→

→N

lklkMkk

MN

lN

iaggga

S

1,..1 ,

2exp,

:

λπRC

Exemples Non Linéaires :

Flot optiqueon observe u(x,t)et u(x,t+1) et on cherche le mouvement apparent v tel que u(x+v,t) = u(x,t+1).

Linéarisation par dérivation : équation du flot optique

Diffraction inverse microonde, contrôle non destructif : équations de Maxwell …

( ) ( ) ( ) 0,,.1, =++∇ txItxvtxu t

Problème direct g = H(u) nC’est l’équation de construction de l’image, la modélisation mathématique des phénomènes physiques de l’acquisition.

Définit g à partir de H, u et n. Problème inverse

A partir des données observées g, et de la modélisation du u H problème direct, trouver u en supposant H connu et les

paramètres de loi de n connus.

H n’est souvent que partiellement connu,

Il faut souvent estimer les paramètres du bruit au préalable ou en même temps.

Restauration d’image : déconvolution, débruitage

Modèle simple : Convolution,

Mais difficile : problème mal posé. Mais difficile : problème mal posé.

Deux exemples d’acquisition Imagerie satellitaire

Imagerie biologique par microscopie confocale

Et toujours présent : la diffraction

Observation de la Terre

Illustration sur un exemple en imagerie optique satellitaire

SPOT5 (Stockholm) France+, 2,5m

Ikonos (San Juan) USA, 1m

Quickbird(Beijing) USA, 61cm

Image aérienne (Amiens)

Observation

Modèled’observation

scènepaysage

vérité terrain

Modèled’imageobservée

Luminance de la scène dans la bande spectrale considérée et sous l’angle d’observation choisi

RR →⊂Ω 2:g

Chaîne des dégradations

Scène originaleScène originale

Atmosphère Système optique

DiffractionAberrations

Défocalisation

IntégrationMouvement

DiffusionRémanence

CapteurAtmosphère Système optique Capteur

Quantification

Conversion

CompressionDécompression

Transmissionbord/sol

Image observéeImage observée

BruitDéfauts radiométriquesFlouDiscrétisation

Modèle d’observationvaleurs déterministes valeurs stochastiques

FlouFlou DiscrétisationDiscrétisation

T

Trans.Trans.point à pointpoint à point

+

bruit

Trans.Trans.stochastiquestochastiqueScène originaleScène originale Image observéeImage observée

support discretsupport continu

FlouFlou DiscrétisationDiscrétisation point à pointpoint à point stochastiquestochastiqueScène originaleScène originale Image observéeImage observée

convolution par RI(réponse

impulsionnelle)

multiplicationpar réseau de

Dirac

transformationdes valeurs

addition de bruit :modèle

probabiliste

( )( ) jijidjiji NRITg ,),(,, +∗= u

Dispersion spatiale: RI

On appelle réponse impulsionnelle (RI) ou fonction de dispersion la réponsedu système imageur a une distribution d’intensité ponctuelle (distributionde Dirac) au niveau de la scène. La RI s’exprime en continu dans le repèreimage. Elle est positive et normalisée.

: 2 →⊂Ω +RRRI

1)(et)( =→ ∫Ω

dxxRIxRIx

En toute généralité RI dépend de la position et de la distribution d’intensitédans la scène

Dispersion spatiale: FTM

( ) ∫Ω

−−=∗= dsdttsutysxRIuRIg yxyx ),(),(,,

Hypothèse de stationnarité + indépendance par rapport à lascène :

Flou = produit de convolution

ΩDans l’espace de Fourier

( ) ( ) ( ) ( ) vuvuvuvu uFFTPFTMgF ,,,, .=FTM = Fonction deTransfert de Modulation,

FTP= Fonction deTransfert de PhaseDe la scène à l’image formée au niveau du capteur :

Atmosphère, système optique, capteur

( )PSFFFTM =

Flou système optique: diffraction Diffraction : due à l’ouverture limitée du système optique.

Théorème de diffraction de Fraunhofer: l’image physique formée à travers une ouverture plane O est donnée par

où u est l’image idéale, λ la longueur d’onde (en lumière visible λ=0.6µm), f la longueur focale :

( )2

2

,2exp

2

1 ξλ

ξπd

f

xi

fxK

odiffrac ∫

=uKv diffrac *=

longueur focale :

lumière de la scène

0 f-fZ

X

pseudo plan focalplan focal

centre optique

x=-fX/Zlentille

lentille

point focal

f

Flou système optique: diffraction (suite)

Lorsque O est un disque de diamètre D la PSF diffraction est

J1 est la fonction de Bessel de première espèce à l’ordre 1.

( ) ( ) ( ) ( )∫ −===

=π

θθθπ

πλ

π012

422

1 sincos1

32,

2dttJet

f

DC

f

xDroù

r

rJCxKdiffrac

L’image de Kdiffrac est le disque (motif) d’Airy tâche circulaire brillante et des anneaux autour en atténuation.

D

frA

λ22.1=

Le rayon de la tâche d’Airy donne une idée de la dimensiondu détail le plus petit qui puisse être reproduit par uneoptique idéale. Le premier zéro de J1 est en t≈1.22π, lerayon de la tâche d’Airy est

Flou système optique

Diffraction

Défocalisation : la focalisation n’est pas sur le plan des objets d’intérêt.

Aberration : sphériques, géométriques, chromatiques…

Capteur Intégration

Chaque capteur est un intégrateur. En l’absence de mouvement, en supposant unematrice de capteurs, chacun est modélisé par une cellule rectangulaire de taille px xpy : zone photosensible, et de répartition sur une zone rectangulaire de pas pexetpey: taille physique des pixels.

Encore une fois on retrouve un modèle de convolution. La PSF liée à l’intégrationsur le capteur est

( )dxdyylpxkpuuyyxx pppp eyexlk ∫ −×−

++=],[],[, ,

sur le capteur est

La FTM associée est

Remarque : la réponse du capteur n’est en général pas linéaire, en particulier pourles petites et les grandes valeurs. On observe donc φ(uk,l).

Facteurs électroniques : Diffusion des charges , Rémanence

( )( )eyexintlkppppint lpkpuPSFuPSFyyxx

,*1 ,],[],[ == −×− et

( )ey

y

ey

y

ex

x

ex

x

vuint

pp

u

pp

u

ppu

ppu

FTMπ

π

π

π

=sinsin

,

Dispersion spatiale

La PSFest donnée (au minimum) par

PSF = PSFoptique* PSFcapteur

ce qui correspond à la FTMce qui correspond à la FTM

FTM = FTMoptique. FTMcapteur

Utilisation de modèles simplifiés, avec peu de paramètres, ou approximation gaussienne

Modèle d’observation

valeurs déterministes valeurs stochastiques

T

Trans.Trans.

+

bruit

Trans.Trans.

support discretsupport continu

FlouFlou DiscrétisationDiscrétisationTrans.Trans.

point à pointpoint à point

Trans.Trans.stochastiquestochastiqueScène originaleScène originale Image observéeImage observée

Remarques sur la discrétisation en 2D

Discrétisation : échantillonnage Echantillonnage idéal:Le processus d’échantillonnage est décrit grâce au théorème d’échantillonnage de

Shannon, qui stipule qu’une fonction à bande limitée peut être reconstruiteexactement à partir d’échantillons discrets pris sur une grille appropriée.

Théorème (Shannon): Soit u∈Set τ>0.

( ) alors,ˆsuppsi2

−⊂uτπ

τπ

supp(.) est le support défini par

Cela veut dire que

Le pas d’échantillonnage est plus petit que 1/2fmax.Ce théorème peut être généralisé à des fonctions u moins régulières.

( ) ( ) ( ) ( )6sinc.sinclk,u,,R,2Z,

2

−

−=∈∀ ∑∈

ly

kx

yxuyxlk ττ

( ) ( ) 0ˆ/ˆ ≠= ζζ uusupp

maxmaxmax 2

12

ff ≤≤≤ τ

τππ

τπζ soitsoit

EchantillonnageLa remarque fondamentale est la suivante : discrétiser en espace

(de pas τ) revient à périodiser en fréquence (de période 2π/τ) et inversement.

Echantillonner et périodiser sont des fonctions duales pour la TF. En effet soit δx,y ∈S’ la distribution de Dirac définie par

( ) testfonctionϕϕϕϕδ ,,,, Syxyx ∈∀=

et S l’espace de Schwartz des fonctions C∞ à décroissance rapide.

On définit le peigne de Dirac :

Sa transformée de Fourier est donnée en fonction du peigne de Dirac espacé de 2π/τ :

la discrétisation de u : u → u.Πτ est dans Fourier 2π/τ périodique

( ) ∑

−−=Π∗=Π∗→lk

lt

ksuuuu

,2222

2,

2ˆ

1ˆ

1ˆˆ2

1ˆ

τπ

τπ

ττπ τπτ

( )∑∈

=Π2, Zlk

,lk τττ δ

τπτ τ

π2

22ˆ Π

=Π

EchantillonnageEn 1D

Après périodisation de période T:

Pour ne pas avoir de repliement, il faut que

ζmaxζ

maxζ−

max2ζ≥T

maxζmaxζ−

TPour ne pas avoir de repliement, il faut que

donc que

Repliement de spectre – aliasing : Si la période d’échantillonnage est trop grande τ’>1/2fmax alors ce sous échantillonnage entraine de l’aliasing

les hautes fréquences sont perdues

maxmax 2

122

2

ff ≤≥ τπ

τπ

soit

maxζmaxζ−

max2ζ≥T

T

Echantillonnage/ringing

Interprétation: pour que la formule de reconstruction soit exacte il faut

1/ que le signal soit à bande limitée. Ceci pose problème en image car les images ontdes discontinuités le long des contours des objets, donc des hautes fréquences.D’après le théorème de Shannon, pour ne pas avoir de repliement, il faut coupertoutes les hautes fréquences de l’image géométrique sur le plan focal et considérer

−=τπ

τπ

,1.ˆˆ uv

Ce n’est pas une bonne manière de faire car Fourier inverse conduit à uneconvolution en x et y avec une fonction sinc, ce qui entraîne un phénomène deringing au niveau des contours : contours parallèles qui décroissent, espacés de 2τ.

2/ un ensemble infini d’échantillons pour reconstruire exactement le signal ce qui n’estpas le cas en pratique. La fonction sinc est à décroissance lente ce qui entraîne deserreurs importantes avec un nombre fini d’échantillons.

ττ

Point 1 : un bon capteur est flouUn bon capteur d’image doit avoir une FTM faible à la fréquence

de coupure.

Un bon capteur d’image renvoie des images floues !

Autrement dit : il est toujours possible de gagner en résolutionnumériquement, par déconvolution de l’image par la fonctiond’acquisition.d’acquisition.Il y a toujours de la diffraction

Heureusement qu’il y en a pour échantillonner

Si on sait la modéliser et l’estimer, on peut toujours restaurernumériquement l’image.

Point 2 : Echantillonnage/reconstruction

On peut sur-échantillonner avec τ’<τ et prendre une fenêtre lissée

sur

h

ailleurset\Rsur

surt.q. 10

2,

20

2,

21

2,

2 <<

′′

−

−=

′′

− hh

τπ

τπτπ

τπ

τπ

τπ

h est beaucoup plus régulière que la fonction porte et aura une décroissance dans Fourier beaucoup plus rapide.

τπ2

τπ′

2

h

.1 2,

2

−τπ

τπ

Discrétisation 2D: réseau quelconque Bernard Rougé du CNES a introduit une notion importante qui consiste à considérer le triplet :

instrument, échantillonnage, bruit pour optimiser l’échantillonnage en fonction de la FTM et du bruit.

Pour cela il faut introduire la notion de cellule réciproque : support fréquentiel lié à l’échantillonnage.

On suppose qu’on a un réseau régulier de points en géométrie quelconque. Ce réseau est engendrépar deux vecteurs non colinéaires V1 et V2 . Soit la matrice V =[V1 , V2 ]. La matrice U réciproquedans l’espace spectral est donnée par U telle que Id= U tV. (Id est la matrice identité 2x2), U t

est la transposée de U (lié à la transformée de Fourier du réseau de diracs).Cellule directe: Les vecteurs V1 et V2 engendrent par combinaison linéaires à coefficients entiers un

ensemble de points du plan. Nous considérons les 6 points les plus proches de l’origine P , P ,…ensemble de points du plan. Nous considérons les 6 points les plus proches de l’origine P1, P2,…P6. La frontière de la cellule directe est constituée des médiatrices des segments OP1. Onconstruit de même à partir des vecteurs réciproques U1,U2 la cellule réciproque.

[Rougé, Théorie de la chaîne image et restauration d’image optique à bruit final borné, mémoire d’habilitation à diriger des recherches, 1997]

P1

P2

P3P4

P5

P6

V1

V2

P1

P2

P3P4

P5

P6

U1

U2

Réseaux orthogonal et quinconce

Réseau orthogonal Réseau quinconce

cellules réciproques

Echantillonnage optimiséSi le spectre de la fonction à échantillonner ne

contient pas de hautes fréquences en x,y en

même temps, donc est à support tel que :

Si la grille est rectangulaire: le spectre est

Si la grille est quinconce le spectre est

(2 fois moins de points)

Triplet FTM, échantillonnage, bruit

Cellule réciproque : support fréquentiel lié à l’échantillonnage.

Support utile de la FTM : domaine fréquentiel où le signal d’amplitude A est tel que A.FTM >k σ

Echantillonnage est optimal si la cellule réciproque est adaptée au support utile de la FTM

[Rougé, Théorie de la chaîne image et restauration d’image optique à bruit final borné, mémoire [Rougé, Théorie de la chaîne image et restauration d’image optique à bruit final borné, mémoire d’habilitation à diriger des recherches, 1997]

→ triplet instrument, échantillonnage, bruit : (FTM, R,σ)

triplet idéal : la cible. On ne cherche pas l’image continue (la scène) mais une approximation échantillonnée de cette image.

Triplet idéal

Bruit : bruit quantification.

FTM idéale : correspond à l’échantillonnage idéal

Difficulté liée au principe d’incertitude d’Heisenberg (précision temps%fréquence). Impossibilité d’avoir un support borné en espace et en fréquence.

Optimisation de la fonction d’échantillonnage pour avoir la compacité spatiale Optimisation de la fonction d’échantillonnage pour avoir la compacité spatialeet fréquentielle simultanément (concentration d’énergie). On n’utilise plus lafonction porte (sinc) mais une fonction à support borné en spatial et infini enfréquentiel mais telle que 94% à 99% de l’énergie soit dans la celluleréciproque.

Fonctions sphéroïdales aplaties : « prolate » (cercle inscrit, cerclecirconscrit).

[A. Lannes, E. Antérieux & K Bouyoucef « Fourier interpolation and reconstruction via Shannon-type techniques » Journal of modern optics, janv. 1996]

Discrétisation

On cherche à reconstruire

h = opérateur de flou discret( ) u=∗ dI uri

( ) ( )∗=∗∗= riri

RR →⊂Ω 2:u ( )NN×:u Continu discret

d’où

On a et

( ) ( )ddI uu ∗=∗∗= ririhg

uFTMuFTMFTM I ˆˆ. 0=

IFTM

FTMFTM 0= ( )( )dFTMF 1h −=

Bruit quantique : accumulation électrons, comptage de photons. Bruit de statistique de Poisson.

Bruit thermique et bruit de lecture : bruit gaussien.

Bruit de quantification : uniforme, variance faible relativement aux autres bruit.

Bruit de compression : coloré, corrélé, non stationnaire. Assimilé à du bruit gaussien en première approximation.

Bruit de transmission : perte de paquets…Difficile à prendre en compte, de même que le bruit de compression. On suppose transmission parfaite.

Bruits

Hypothèses (réalistes) : Indépendance des bruits entre eux et indépendance du bruit d’un pixel à l’autre (bruit blanc) et stationnarité de la loi (même loi en chaque pixel).

Bruit de Poisson + bruit gaussien → approximation par un bruit additif gaussien blancde moyenne nulle et de variance dépendant de l’intensité ui,j au pixel (i,j) considéré

Bruit de loi stationnaire normale, de variance non stationnaire.

A fort taux de compte (scène réelle en illumination normale), la loi de Poisson tend vers la loi gaussienne et le bruit est gaussien blanc N(0,σ2 Id)

( ) ( )( )∏ +=ji

P,

ji,2 IdBuA,0n/u N

Rappel Soit n le bruit. C’est une variable aléatoire multidimensionnelle sur un champ de

pixels (i,j) i,j=1,…N . Sa matrice d’autocorrélation est la matrice symétrique

( )

( ) ( ) ( )( ) ( )

( ) ( )

=

NNN1

2221

N12111

t

nnnn

.

.

nnnn

nn..nnnn

nn

EE

EE

EEE

E

Si v est une variable aléatoire scalaire, de densité de probabilité pv(v) et à valeurs dans R. E(v)désigne l’espérance mathématique de cette variable aléatoire, et est dénifie par

n est un bruit blanc si les variables aléatoires sont décorrélées d’un pixel à l’autre, c’est-à-dire que la matrice d’autocorrélation est diagonale. Si de plus le bruit est stationnaire, alors la matrice d’autocorrélation s’écrit

Si la loi du bruit est normale N(m,Λ) , la densité de probabilité jointe des variables sur tous les pixels est

( ) Idσnn 2=tE

( ) ( ) dxxpxvE v∫=R

( )( )[ ]

( ) ( )2

mnΛmnexp

det2

1n

1t

2

1n

−−−Λ

=−

πP

Les images observées sont dégradées :

g = h * u + nBruit

blanc gaussien

Dégradation (modèle simple)

blanc gaussien(variance connue)

Noyau de convolutionImage originale

Image observée

Notations variables discrètes/continues

2R⊂Ω sous-ensemble ouvert borné variables continues : ( )xu

( )xux

u

→→Ω R:

niveau de gris au point x=(x ,x )

2N⊂Ω sous-ensemble borné de points discretsvariables discrètes : pixel i,j

( ) Njiyjxii,j K0,,,uu =∆∆=

( )xux → niveau de gris au point x=(x1,x2)

g : image observée, dégradée de u

Restauration

Retrouver u, ayant observé g =Hu+n Statistiques (moyenne et variance) connues pour le bruit

Si l’opérateur H est connu : Restauration = déconvolution. Si l’opérateur H est connu : Restauration = déconvolution.

si H=id : débruitage

Si l’opérateur H est imparfaitement connu : Restauration = déconvolution aveugle ou myope

Restauration

Restauration : débruitage, déconvolution.

Inverser est un problème inverse mal-posé.

Problème bien posé au sens d ’Hadamard (1923): la solution

existe

est unique

nuhg +∗=

est unique

dépend continûment des données.

Formulation matrice vecteur :

H peut être inversible, mais on a toujours instabilité de la solution par rapport aux

données

nHug +=

Dans le plan de Fourier

La convolution discrète circulaire est transformée en un produit simple dans Fourier (conditions de bords périodiques):

écriture matrice/vecteur

nuhgnuhg ˆˆ.ˆˆ +=→+∗=

Remarque : en pratique on utilise plutôt des conditions aux bords symétriques, donc

on utilise plutôt une DCT.

Rappel : transformée discrète de ui,j, i,j ∈0,…,N-1

nuλdiaggnHug k +=→+=

( ) ( )

∑∑∑∑−

=

+−

=

−

=

+−−

=

==1

0

2

,

1

02,

1

0

2

,

1

0, u

1uuu

N

l

N

jliki

lk

N

kji

N

j

N

jliki

ji

N

ilk e

Ne

ππ

et

Analyse dans Fourier

Les valeurs propres λk sont données par la transformée de Fourier de la PSF (fonction de flou) :

Forme gaussienne, atténuation des hautes fréquences.

∃ k, λk =0, le problème en u a une infinité de solutions

nug += kdiag λ

fe/2-fe/2

kλ

∃ k, λk =0, le problème en u a une infinité de solutions

∀k, λk ≠0, le problème en u a une unique solution, mais instable.

k

k

k

kk

ngu

λλ+=

Inversion

Image déconvoluéesans régularisation

Y

Image floue

≠

Conditionnement de matrice Si H est régulière, le conditionnement de H est :

où la norme matricielle est

Avec la norme euclidienne et pour H régulière

( ) 1H.HHcond −=

=

≠ x

HxH sup

0x

g

1.H

u

1oùd'u.HgdoncHug ≤≤=

( )min

maxcondλλ=H

( )

( )g

δg.Hcond

u

δusoit

g

δg.H.H

u

δufinalementδg.HδuHδδg

δuuHδggδgnpertubatiopetite

gu

11

≤

≤≤=

+=+→

−−u

Moindres carrés et maximum de vraisemblance La solution des moindres carrés est celle qui résout le problème :

Dans l’approche stochastique, cette solution est équivalente au maximum de

vraisemblance dans le cas d’un bruit gaussien.

G, U et N sont considérées comme étant des champs de variables aléatoires. Le bruit N

est blanc gaussien de loi N(0,σ 2 Id), donc

2

uHugmin −

est blanc gaussien de loi N(0,σ 2 Id), donc

La vraisemblance est définie par la probabilité conditionnelle des observations sachant u.

On cherche l’image u qui maximise la probabilité d’avoir observé g, soit

Voir cours Jérôme Idier

( )g/umaxu

P

( ) ( )

−

−=−==2

2

2

Hugexp

2

1Hugng/u

σπσPPavec

( ) ∑=

==−=N

ji

tt

n jiP

1,

22

22 ,nnnn

2

nnexp

2

1n où

σπσ

Minimum d’une fonction convexe. Condition premier ordre nécessaire et suffisante pour trouver le minimum

Solution dans le domaine spatial

Moindres carrés

( ) gHHHu *1* −=est

02 =−

∂∂

Hugu

Calcul dérivée en 1D

Terme non nul quand i=l-k soit l-i=k.

( ) ( ) ( )∑ ∑

−−∂∂

−=l

K

Kki

klukhlgu

2

( ) ( ) ( ) ( ) ( )uhghklukhlgilhl

K

Kk

∗−∗=

−−−∑ ∑−=

*22

Moindres carrés

( ) gHHHu *1* −=est

Solution dans le domaine spatial

Solution dans le domaine fréquentiel

gu 2

*

FTM

FTMest =

Méthodes itératives Descente de gradient

⇔ Shéma dynamique → u(t) ( )t

Jt

nn

δuu

uu 1−≈−∇=

∂∂ +

( )gHuH(u),Hug(u) *2 −=∇−= JJ

( ) 20HugHuu *1 <<−+=+ αα avecnnn

(Algorithme de Landweber)

Accélération par gradient conjugué

Régularisation par arrêt des itérations

tt δ∂

Méthodes avec contraintes

( )[ ]nnC

n P HugHuu *1 −+=+ α

• PC : opérateur de projection

• Ex.: contrainte de positivité C=u/ ui,j >0

• On peut aussi introduire des contraintes dans le domaine fréquentiel. Projecteur dans le • On peut aussi introduire des contraintes dans le domaine fréquentiel. Projecteur dans le domaine fréquentiel par exemple si la cellule réciproque (liée à l’échantillonnage) est mal adaptée à la fonction instrument (FTM):

Support FTM

Cellule réciproque

Filtre de Wiener

[ ]2

g/u uumin −vraieu

E Solution linéaire gu L=

( ) 1−

• Solution dans le domaine spatial (Ru matrice d’autocorrélation de u)

g

r

u

2

u

22

*

σ+=

FTM

FTMest

( ) gHRRHHu *11un

* −−+=est

de u)

• Solution dans le domaine fréquentiel

Régularisation linéaire (Tikhonov)

≤− 22

2Hug

1u / σ

N

Chercher une solution dans un ensemble de solutions admissibles :

Choisir une solution régulière pour stabiliser le processus d’inversion :

∑ ∇=∇ji

ji,

2

,u

2

u

uminumin

Minimisation d’un critère (pénalisation) :

22uHug(u) ∇+−= λJ

Attache aux données Terme de régularisation

Régularisation linéaire(Tikhonov)

Critère convexe, conditions du premier ordre : 0∆uλg)(HuH* =−−

( )∆uHu)(gHuu *n

n1n λδ +−+=+ Descente de gradient

Résultat

Image originale @CNES

Image floue et bruitée

(@CNES, simulation SPOT5)

Une image restaurée

58

CONTENU global du cours

Introduction Formation des images en satellitaire, échantillonnage

Déconvolution : ex de pb mal posé

Régularisation linéaire

♦Minimisation de critère : approche variationnelle Espace fonctionnel pour la minimisation

Existence, unicité de solution

Introduction au calcul des variations,

Introduction aux EDP en traitement d’ image

=∂∂

=∆−−→

Ω∂

0

0)(*

n

uugHuH λ

( )

==

∇∇=∂∂

→),()0,,(

,, 2

yxgtyxu

uuxFt

u

On va s’intéresser à la minimisation du critère

C’est- à-dire

Régularisation linéaire

( ) 22uHuguJ ∇+−=

59

C’est- à-dire

( ) ( )( )[ ] ( )∫∫ΩΩ

∇+−= dxxudxxHuguJ22

2R⊂Ω sous-ensemble ouvert borné

( )xux

u

→→Ω R:

niveau de gris au point x=(x1,x2)

Problème modèle

avec ( ) ( )( )[ ] ( )∫∫ ∇+−= dxxudxxHuguJ22

Ce problème est-il bien posédu point vue mathématique?

60

( )uJXu∈

inf

avec

Questions :

Existe-t-il un point minimum ?

Est-il unique ?

Quelle est la régularité du minimum ?

Comment le calculer numériquement ?

( ) ( )( )[ ] ( )∫∫ΩΩ

∇+−= dxxudxxHuguJ

Quelques définitions (rappel)

Espaces Lp pour

La norme est

( )

+∞<

→Ω=Ω ∫

Ω

ppp dxuuuL

1

R,: t.q.mesurable

( ) ( )p

p

pLdxxuuu p

1

== ∫

ΩΩ

+∞<≤ p1

61

L∞ est défini par

et

Lp est un espace de Banach (complet, normé) pour

∫Ω

( ) ( ) Ω≤∃→Ω=Ω∞ surt.qmesurable ppCxuCuuL ,R,:

( ) ( ) Ω∈≤==∞Ω∞ xppCxuCuu

L/inf

+∞≤≤ p1

Lp(Ω) et dualité Si X est un espace de Banach, son dual X’ est l’espace des formes linéaires

continues sur X :

La norme duale est

On a

continue linéaire,R,: →=′ XlX

( ) 1,,sup ≤∈=′ XXxXxxll

( )XX

ulul ′≤

11′

62

Pour 1<p<∞

Pour 1<p<∞ , Lp est réflexif :

L1(Ω)’= L∞(Ω), mais L∞(Ω)’ = ? … il est strictement plus grand que L1(Ω)

Cas particulier important : p=2 alors L2(Ω)’= L2(Ω) et L2(Ω) est un espace de Hilbert pour le produit scalaire

( ) ( ) 111 =+Ω=′Ωqp

LL qp où

( ) ( )Ω=′

′Ω pp LL

( ) ( )∫Ω

= dxxgxfgf ,

Topologies

Sur un espace de Banach X, on peut mettre trois topologies: La topologie forte sur X :

La topologie faible sur X :

La topologie faible* sur X’ :

0→−Xn xx

( ) ( ) Xlxlxl n ′∈∀→ ,

( ) ( ) Xxxlxl ∈∀→ ,

63

La topologie faible* sur X’ :

Pourquoi toutes ces topologies? Si X est un espace réflexif et si une suite xn est bornée, alors on peut

extraire une sous suite convergente pour la topologie faible.

Si une suite est bornée dans le dual X’, alors on peut en extraire une sous-suite convergente pour la topologie faible*.

Ces notions servent pour la démonstration de l’existence d’une solution au problème

( ) ( ) Xxxlxln ∈∀→ ,

( )uFXu∈

inf

Convexité et semi-continuité inférieure

Soit X une espace de Banach et F : X→R.

F est convexe si

F est semi-continue inférieurement (sci) si

( )( ) ( ) ( ) ( ) [ ]1,0,11 ∈∈∀−+≤−+ λλλλλ etXyxyFxFyxF

64

F est semi-continue inférieurement (sci) si

( ) ( )xFxF nxxn

≥→inflim

X

Coercivité

F est coercive si

Utilité de ces définitions ? Définir l’existence d’un minimum

( ) +∞=+∞→

xFxlim

65

Définir l’existence d’un minimum

Si F est sci et coercive dans un espace réflexif alors F admet un minimum…

Méthode directe du calcul des variations

On considère le problème de minimisation

Considérer une suite minimisante un ∈ X, c’est-à-dire une suite satisfaisant

Si F est coercive, on obtient une borne uniforme sur la suite u :

( )uFXu∈

inf

( ) ( )uFuFXu

nn ∈∞→

= inflim

66

un :

Si X est réflexif alors on en déduit l’existence d’une sous suiteet tels que converge faiblement vers u0

Si F est sci on en déduit

ce qui implique que

Kun ≤

jnu Xu ∈0 jnu

( ) ( ) ( )0infliminf uFuFuF nnXu

≥=∞→∈

( ) ( )uFuFXu∈

= min0

Remarque Cas où F est une fonctionnelle intégrale

)(avecsoit 22 RRRR: ⊂Ω→××Ωf

( ) llefonctionne la considère onpour Ω∈ pWu ,1

( ) ( ) ( )( )∫Ω

= dxxDuxuxfuF ,,

67

Si f est sci et coercive, F l’est aussi.

On en déduit l’existence d’un minimum dans H1 (=W1,2) pour le critère

Ω

( ) ( )( )[ ] ( )∫∫ΩΩ

∇+−= dxxudxxHuguJ22

Définition : dérivée de Gateaux

Si cette limite existe pour tout v ∈X et s’il existe un élément de , que l’on notera , tel que

Gateaux différentiabilité68

( ) ( )ε

εε

uFvuF −++→0

lim

X’ , que l’on notera F’(u) , tel que

alors F est dérivable au sens de Gateaux.

( ) ( ) ( ) vuFuFvuF

Xv ,lim,0

′=−+∈∀+→ ε

εε

Application : si F est différentiable au sens de Gateaux et si le problème

a une solution u, alors nécessairement la solution vérifie :

Equation d’Euler-Lagrange 69

( )uFXu∈

inf

( ) 0=′ uF

La réciproque est vraie si F est convexe.

Cette équation est l’équation d’Euler-Lagrange.

⇒ Calcul de l’équation d’Euler Lagrange pour J(u).

( ) 0=′ uF

J est convexe, l’infimum existe et vérifie

Calcul de

Equation d’Euler-Lagrange( ) ( )( )[ ] ( )∫∫

ΩΩ

∇+−= dxxudxxHuguJ22

70

( ) 0=′ uJ

( ) ( ) ( ) vuJuJvuJ

,lim0

′=−++→ ε

εε

( )uJ′

Pour le deuxième terme de J , utiliser la formule de Green (intégration par partie) :

∫∫ ∫Ω∂Ω Ω ∂

∂+∆−=∇∇ dsn

uvdxuvdxvu,

( ) vuJ ,lim0

=+→ εε

Equation d’Euler-Lagrange

J est convexe, l’infimum existe et vérifie

soit

( ) ( )( )[ ] ( )∫∫ΩΩ

∇+−= dxxudxxHuguJ22

71

( ) 0=′ uJ

∂=∆−− 0)(*

uugHuH λ

=

∂∂

Ω∂

0n

u

uhHuu

XXH

*

:

=→→

)()(*

:***

*

xhxhuhuHu

XXH

−==→→

où

Unicité

La fonctionnelle est convexe non strictement.

Soient deux solutions u1 et u2. Elles vérifient toutes les deux l’équation d’Euler Lagrange.

En soustrayant les deux équations on obtient :

72

( ) ( )2121* uuuuHH −∆=− λ

En multipliant les deux membres par (u1-u2) et en intégrant par partie, on trouve

donc u1 = u2+cst, et si H n’annule pas les constantes on en déduit u1 = u2

si H n’annule pas les constantes, il y a unicité.

( ) ( )

( ) ( ) 00 2121

2

21

2

21

=−∇=−⇒

−∇−=− ∫∫ΩΩ

uuuuH

uuuuH

et

λ

uHugHt

u ∆+−=∂∂ λ)(*

Equation dynamique (EDP)♦ Equation d’Euler

)(uJt

u −∇=∂∂

0)(* =∆−− ugHuH λ0=

∂∂

Ω∂n

u

♦ Schéma dynamique : u(i,j,t)

∂0=

∂∂

Ω∂n

u

♦ Diffusion isotrope (Laplacien équation de la chaleur)

Résultat

Image originale @CNES

Image floue et bruitée

(@CNES, simulation SPOT5)

Une image restaurée

Comment introduire les EDP dans le traitement de l’image?

Filtrage linéaireSi u0 une image est corrompue par du bruit, un moyen simple pour la lisser est de faire des moyennes locales :

75

moyennes locales :

ou plus généralement de faire une convolution discrète :

( ) ( ) ( ) ( ) ( ) ( )( )yxgyxgyxgyxgyxgyxu ,1,1,,1,15

1, +++−+++−=

( ) ( ) ( )∑ −−=lk

lykxglkhyxu,

,,,

Introduction des EDPEt dans la formulation continue

Pour que cette intégrale ait un sens il faut préalablement étendre l’image initiale à R2 tout entier :

76

( ) ( ) ( )∫ ′′′−′−′′=2R

,,, ydxdyyxxgyxhyxu

l’image initiale à R2 tout entier :

- Par symétrie

- Par périodicité

Exemple de noyau h : le noyau gaussien

( ) ( ) ( )∫ ′′′−′−′′=2R

,,, ydxdyyxxgyxGyxu t

Introduction des EDPoù

t = taille du filtre = paramètre d’échelle

Une remarque fondamentale (due à Konderink) : calculons

77

( )( )

t

yx

t et

yxG 4

22

4

1,

′+′−

=′′π

Une remarque fondamentale (due à Konderink) : calculons au point (x,y,t)

Alors on trouve que ces dérivées vérifient l’EDP

...,,y

u

x

u

t

u

∂∂

∂∂

∂∂

( ) ( ) ( )( ) ( )

==∂∂+

∂∂=

∂∂

yxgtyxu

tyxx

utyx

x

utyx

t

u

,0,,

,,,,,,2

2

2

2

Introduction des EDPC’est –à dire l’équation de la chaleur

78

( ) ( )( ) ( )

=

∆=∂∂

yxgyxu

tyxutyxt

u

,0,,

,,,,

Et donc filtrer une image par convolution avec une gaussienne est équivalent à résoudre l’équation de la chaleur. Cette remarque a été le point de départ de l’introduction des EDP en traitement d’images.

Mais l’équation de la chaleur est-elle une “bonne” EDP pour le traitement d’images ?

Propriétés de l’équation de la chaleur

- Si g est bornée alors il y a existence et unicité d’une solution vérifiant

- Si on note Tt l’opérateur alors :

79

( ) ( ) ( )yxgtyxuyxg ,sup,,,inf22

RR≤≤

00 uTuu t=→

( ) ( ) ( ) ( ) cgTcgTT ttt +=+= et00:1I

( ) ( ) ( )( )( )( ) ( ) ( )2121 ,,,,

:2I

hhhhyhxfyxf

gTgT

h

thht

=++==

τττ

où

( ) ( ) ( )( )( )( ) ( )( )

eorthogonal

ation transformuneoù RyxRfyxRf

gTRRgT tt

∀==

,,,

:3I

Propriétés de l’équation de la chaleur

MAIS

80

( ) ( ) ( )( )gTTgT stst =+:4I

( ) ( ) ( )fTgTfg tt ≤≤ alors:5I

-

⇒ lissage instantané

⇒ perte des contours

- Si u est une solution, alors h(u) avec h strictement croissante, n’est pas une solution.

⇒ pas d’invariance morphologique

( )( ) 0,,0R2 >∀×∈ ∞ TTCu

Exemple avec l’équation de la chaleur

81

Introduction de l’effet de flou dans le processus

⇒ vers un modèle non linéaire.

Filtrage non linéaire :le modèle de Malik et Perona

Quelques notations

82

( ) ( ) ( ) ( )

...

,,,,R,,,:

=∂∂=

∂∂=∈→

xx

yx

u

yxy

uuyx

x

uuyxuyxu

...=xxu

( ) adientvecteur gr

=∇

y

x

u

uXu

( ) hessienne matrice

=∇

yyxy

xyxx

uu

uuXu2

courbe de niveau de u

: vecteur tangent unitaire à C

83

Notations (suite)

( ) ( ) cyxuyxC =∈= ,;R, 2

−∇

=x

y

u

u

u

1ξ

: vecteur normal unitaire à C

ηξ

u

uu

u

u y

x

∇∇=

∇= 1η

ηξ ⊥

84

Notations (suite)

( )

( )

−+∇

=∇=

++∇

=∇=

xyyxxxyyyxt

xyyxyyyxxxt

uuuuuuuu

uu

uuuuuuuu

uu

21

21

222

2

222

2

ξξ

ηη

ξξ

ηη

Dérivée seconde dans la direction orthogonale η et tangentielle ξ.

Remarque :

En fait on a pour toutes directions V et W orthogonales et unitaires

∇u

uuu ∆=+ ξξηη

uuu WWVV ∆=+

L’équation de la chaleur est isotrope : aucune direction n’est privilégiée

⇒ Vers un modèle anisotrope

85

Conséquences

∂On a :

Un modèle plus général : on introduit un coefficient de diffusion c(s)

( )udivuuut

uyyxx ∇=+=∆=

∂∂

86Diffusion non linéaire :le modèle de Malik et Perona

( )

==

∇∇=∂∂

),()0,,(

)(2

yxgtyxu

uucdivt

u (PM)

où c(s)vérifie les hypothèses :

( ) ( ) ( ) ( ) tedécroissan scsccc ,0,0,10 >=∞+=

1c(s)

Propriétés formelles de (PM)

Si , i.e. à l’intérieur de zones homogènes :

⇒ lissage isotrope

87

( ) 0, ≅∇ yxu

( )( ) ut

uyxuc ∆=

∂∂≅∇ , et 1,

⇒ lissage isotrope

Si , i.e. au voisinage des contours :

⇒ on ne fait rien : les contours sont préservés

( )( ) 00, =∂∂≅∇

t

uyxuc et ,

( ) ∞≅∇ yxu ,

Quel est le « meilleur » choix pour c(s)

D’un point de vue analyse d’images : un développement formel

donc le modèle correspond à un lissage dans la direction ξ plus un

( ) ( ) ηηξξ uucuucuucuucdiv )(2)()()(22222 ∇′∇+∇+∇=∇∇

donc le modèle correspond à un lissage dans la direction ξ plus un lissage dans la direction η. Un bon choix serait :

- c(0)= 1 correspond à un lissage isotrope dans les zones homogènes

- Aucune diffusion dans la direction normale η :

+∞→≅′+ sscssc lorsque0)(2)( 222

Choix de c(s)

C’est-à-dire

et dans ce cas

)()( +∞→≈ ss

asc

),)(( (PM) yxucurvau

divau

adivu =

∇=

∇=∂≈

où

est la courbure de la ligne de niveau de u passant par (x,y).

),)(( (PM) yxucurvau

divau

adivt

=

∇

=

∇

=∂

≈

ξξuuu

udivyxucurv

∇=

∇∇= 1

),)((

Choix de c(s) (résumé) Du point de vue de l’analyse d’image, il serait souhaitable que

Et d’un point de vue mathématique ? Le problème principal concerne l’existence et l’unicité d’une solution.

L’équation de (PM) peut encore s’écrire sous la forme :

tedécroissan css

sccsc ),(1

)(,1)0(,0)( +∞→≈=>

u∂

Une bonne théorie pour aborder ce type d’équation est celle des EDP paraboliques, c’est-à-dire que les coefficients aij(s) vérifient l’égalité

yyxyxx uuauuauuat

u)()(2)(

2

22

2

12

2

11 ∇+∇+∇=∂∂

( ) 0,R,0 2

2,1,

>∀∈∀≥∑=

ssaji

jiij ννν

Choix de c(s) (point de vue mathématique)

ce qui est équivalent à

En résumé on veut :

0,0)(2)( >∀>′+ sscsc

[ [ ] [ +∞→+∞ ,,0,0: cc tedécroissan En résumé on veut :

Un choix qui convient est

[ [ ] [( ) ( )( ) ( )

>′+

+∞→≈=

+∞→+∞

02

110

,,0,0:

scssc

ss

sc,c

cc

quand

tedécroissan

( )s

sc+

=1

1

Modèle de Perona Malik (fin)

On peut montrer en utilisant la théorie des opérateurs monotones l’existence et l’unicité d’une solution

[H Brezis, “Opérateurs maximaux monotones et semi-

92

[H Brezis, “Opérateurs maximaux monotones et semi-groupes de contraction dans les espaces de Hilbert” North-Holland Publishing Compagny, 1973]

Quelques résultats expérimentaux93

Originale bruitée / chaleur / Perona-Malik

Résultats 94

Minimisation de critère

Terme d’attache aux données

Norme ou semi-norme dans un espace

( )uJHugq

qXXu J

+−∩∈

min

95

Quelles sont les normes, les bons espaces régularisant adaptés aux images ?

Quelle norme choisir pour le terme de données ? existence, unicité d’une solution ? Algorithme de minimisation ? Evaluation des résultats ?

aux données dans un espace régularisant

CONTENU (suite)

♦ Régularisation non linéaire

Régularisation L2/L1

Espace BV, Variation Totale

Solutions dans l’espace BV, dualité, algorithmes

( )∫Ω

∇+− dxuHug ϕλ2

2

∫Ω

+− DuHug λ2

2

♦ Segmentation d’image, approche variationnelle♦ Fonctionnelle de Mumford et Shah

♦ Notion de Γ-convergence : lien restauration/segmentation

♦ Et les représentations parcimonieuses ? Régularisation dans le domaine de la transformée en ondelettes

Solution dans un espace de Besov (et algorithmes)

Modèles de régularisation / parcimonie

Norme l1 et l2

Diminuer le poids des forts gradients dans le processus de minimisation. En variables discrètes :

remplacer la norme l2 par la norme l1.

( ) ( )2

1ji,ji,

2

j1,iji,,,1

1

2

2

uuuuuuu

uHug(u)

−− −+−=∇∇=∇

∇+−=

∑ jiji

E

avec

λ( ) ( )1ji,ji,j1,iji,,

,,1

uuuuuuu −− −+−=∇∇=∇ ∑ jiji

jiavec

♦ Normes l2 et l1 : un petit exemple en 1D. ∑ −−=∇i

ii uu 11u

||.||22=9

||.||1 =3

||.||22=5

||.||1 =3||.||22=3

||.||1 =3||.||22=11

||.||1=5 ∑ −−=∇i

ii uuu 11

o

3

∑ −−=∇i

ii uuu2

1

2

2

98

Minimisation dans L1

♦ Equation d’Euler

∫Ω

∇=∇

∇+−=

dxuu

uλHugE(u)

1

1

2

2

∇+−=∂udivλHu)(gH

u * 1

( )udivλHu)(gH∆uλHu)(gHt

u ** ∇+−=+−=∂∂

♦ Equation d’Euler

2

2

2

2uλHugE(u) ∇+−=♦ Rappel dans l2

∇∇

+−=∂∂

uu

divλHu)(gHt

u * 1

Conditions aux bords de Neuman Ω∂=∂∂

sur0n

ur

Régularisation L2

Terme de régularisation l2 :

Lissage isotrope

( ) uudivuJdxuuJ regreg ∆−=∇−=∇∇= ∫Ω

)()(2

( ) ( ) ( )ηηξξ uuuuuJt

uyyxxreg +=+=−∇=

∂∂

ξ et η vecteurs unitaires orthogonaux, ξest dans la direction tangentielle à la η

ξ

est dans la direction tangentielle à la

ligne de niveau, η est orthogonal à la

ligne de niveau, dans la direction du

gradient

η

ηξη ⊥∇∇=

u

u

( )

( )

−+∇

=∇=

++∇

=∇=

2121112221

2121222111

21

21

222

2

222

2

xxxxxxxxxxt

xxxxxxxxxxt

uuuuuuuu

uu

uuuuuuuu

uu

ξξ

ηη

ξξ

ηη

Régularisation L1

∂∂+

∂∂=

∇∇

21 xx uuudiv

♦ terme de régularisation l1 :

où Remarquons que

∇∇−=∇∇= ∫

Ω u

udivuJdxuuJ regreg )()(

( )2

2

1

1

x

v

x

vvdiv

∂∂+

∂∂=r ( ) uudiv ∆=∇

+∂

+

+∂

=

∇ 22

222

12121 xxxx uuxuuxu

div

♦ Le lissage est uniquement dans la direction tangentielle à la courbe de niveau, il n’y

a donc pas de diffusion dans la direction du gradient.

( ) ( )ucurvuu

uJt

ureg =

∇=−∇=

∂∂

ξξ1Le lissage est anisotrope

ξξηη uu

uuu

u

u

udiv .

1.

1

∇=

∇−

∇∆=

∇∇

Régulariser et préserver les contours

( )∑ ∇ji

ji,

,uα

Minu

1<α 1>α

)0( α<

1=α

( )∑ ∇+−=ji

jiJ

,,

2uHug(u) ϕλ

On cherche u qui minimise J(u) :

Zones homogènes régularisation )1( αϕ α <≈ t

Contours préservation )1( αϕ α ≥≈ t

ϕ fonction de régularisation

Classe des fonctions de régularisation ϕ

♦ Equation d’Euler( )

∇

∇∇

+−=∂∂

uu

u'Hu)(gH

u * ϕλ div

tCoefficient de pondération

0u ≈∇ Lissage des zones homogènes : ( )

1u

u'≈

∇∇ϕ

∞≈∇ u ( )0

u

u'≈

∇∇ϕ

Préservation des contours :

Fonctions ϕ : l2/l1

ϕ non quadratique :préservationdes contours

Modèle explicite de contours♦ Développements semi-quadratiques, sous certaines conditions en ϕ

(principalement ϕ(√t) concave)

Ψ quadratique en t

Ψ convexe en b,

expression analytique du minimum

),()( btInft Ψ=ϕb

♦ Développement de ϕ(∇ui,j) en tout i,j

♦ variable auxiliaire bi,j : contours

♦ Minimisation de J*(u,b)

( )∑ ∇Ψ+−=ji

jijiJ

,,,

22* b,uHugb)(u, λ

[ D. Geman & G.Reynolds « Constrained restoration and the recovery of discontinuities » IEEE Trans. on PAMI, 14(3), p. 367-383, 1992].

[D. Geman & C.Yang « Nonlinear image recovery with half-quadratic regularization » IEEE Trans. on Image Processing, 4(7), p.932-946, 1995].

♦ Minimisations alternées en u et b

u fixé expression de b

b fixé minimum en u quadratique (gradient conjugué).

Algorithme semi-quadratique

[P.Charbonnier, L. Blanc-F’éraud, G. Aubert, M. Barlaud, « Deterministic Edge-Preserving Regularization in Computed Imaging » IEEE Trans. On Image Processing, 6(2), 1997].

[ G. Aubert, L. Vese « A variational method in image recovery » SIAM Journal of Numerical analysis, 35(4), 1997 ].

[A. Delaney, Y. Bresler « Globally convergent edge-preserving regularized reconstruction : An application to limited-angle tomography » IEEE Trans. On Image Processing, 7(2), 1998].

♦ Initialisation u0=0 ou u0=g

♦ convergence (en fonction de la convexité de ϕ)

fonction hypersurface

Algorithme semi-quadratique( )

[ ]( ) ( )

( )bbtbt

t

tbbbtt

b

ψ

ϕψϕ

+=Ψ

′=+=

∈

2

inf2

1,0

),(

inf

soit

avec♦ Développement multiplicatif

♦ exemples

( ) ( ) ( )2 25111

tbbψtt =

′−+=−+= ϕϕ ( ) ( ) ( )

2

2

1

2

2

5

2

111

tt

t

bbbψtt

+=

′−+=−+= ϕϕ

fonction Geman & McClure

( ) ( ) ( ) ( )( )22

2

2

2

1

21

1 tt

tbbψ

t

tt

+=

′−=

+= ϕϕ

Algorithme semi-quadratique( )

[ ]( ) ( )

( )bbtbt

t

tbbbtt

b

ψ

ϕψϕ

+=Ψ

′=+=

∈

2

inf2

1,0

),(

inf

soit

,♦ Avec

on minimise le critère augmenté :

( )∑ +∇+−= i,ji,ji,j bψubλHug(u,b)J222*

♦ Minimisations alternées en u et b

u fixé

b fixé minimum en u quadratique (gradient conjugué).

( )

∇

∇

∇+−+= +++ 121*1 u

u

u')Hu(gHuu n

n

n

nnn divtϕ

λδ

∑i,j

i,ji,ji,j

( )ji

jiji u

ub

,

,, ∇

∇′=

ϕ

♦ Schéma semi-implicite de résolution de l’EDP

Modèle de contours

bi,j =1 zone homogène : régularisation en

bi,j =0 contour : pas de régularisation

( )∑ +∇+−=i,j

i,ji,ji,j bψubλHug(u,b)J222*

2

i,ju∇

♦ Minimisation

♦ Diffusion

( )ubdivλHu)(gHt

u * ∇+−=∂∂ 2

bi,j =1 zone homogène : diffusion isotrope en

bi,j =0 contour : pas de diffusionu∆

Fonctions de pondérations b

110

Saturn (Hubble

telescope)

observed Wiener

edgepreserving b

111

Nîmes, image originale 512 x 512 (@CNES)

112

Nîmes, image dégradée: flou + bruit gaussien σ~1.4

113

Nîmes, image restaurée, λ=0.5, δ=10

114

Image originale Régularisation L2

Image observée g Régularisation semi-quadratiqueλ=0.5, δ=10

Interprétation stochastique

g, u = champ de NxN variables aléatoires (pixels)

Cadre discret : u(x) ui,j

• Étude des probabilités

• Estimateurs statistiques

• Contraintes : introduites sur la loi P(u)

Interprétation stochastique : attache aux données

cas additif blanc gaussien indépendant des observations

♦ Loi du bruit

♦ Estimateur du maximum de vraisemblance :

Max P(g| u)u

P(g/u) = P(g-Hu=n)P(g/u) ∝ exp(-||g-Hu||2/2σ2)

g=Hu+nn ~ N(0,σ2I)

cas additif blanc gaussien indépendant des observations

uMax P(g | u) Min ||g-Hu||2/2σ2

u

H et σ supposés connus

♦ Choix de la probabilité P(u)

Contraintes locales champ de Markov

Interprétation stochastique :terme de régularisation

( )T

TT e

ZP

u1)u(

Φ−= où ( ) ( )∑=Φ

c

D δϕλ /uu c2

T

Cliques c : groupes de pixels voisins deux à deux

Exemple : voisinage ordre 1 / cliques as sociées

Opérateur de différencesur les cliques c

+

=Φ ∑ δ

ϕδ

ϕλ jiy

ji

jix ,

,

,2uDuD

)u(

Interprétation stochastiqueMaximum a posteriori : Max P(u/g)

u

P(u)P(g/u)P(u/g) ∝ (Bayes)

Vraisemblance : loi du bruit n=g-Hucas gaussien ∝ exp(-||g-Hu||2/2σ2)

Loi a priori : modèle de Markov 2D∝ exp(-Φ(U))

[Hebert & Leahy 94, Green 90, Geman & Reynolds 92…]

( )

+

+−= ∑∑ δ

ϕδ

ϕλ jiy

ji

jix

jiji

DDJ ,

,

,2

,

2,

uuHug)u(

Choix des paramètres ?

λ=0.1, δ=5

λ=0.3, δ=50

λ=0.3, δ=0.5

λ=2, δ=5

Estimation stochastique

120

Espace de minimisation ?

A priori il faut minimiser dans l’espace

♦ Critère en variables continues :

( )xux

u

→→⊂Ω RR2:

dxudxHuguJ ∫∫ΩΩ

∇+−= λ2

)(

( ) ( ) 212 , Ω∈∇Ω∈ LuLHuA priori il faut minimiser dans l’espace

Un tel espace, comme l’espace de Sobolevest

Non reflexif : difficulté pour montrer existence d’une solution trop régulier, il ne contient pas des fonctions qui ont des sauts.

[Evans & Gariepy “MeasureTheory and Fine properties of functions” Studies in advanced mathematics,CRCPress, Berlin 1992].

Un espace de minimisation contenant des fonctions qui peuvent avoir desdiscontinuités à travers des courbes → BV

Espace des fonctions à variations bornées.

( ) ( ) , Ω∈∇Ω∈ LuLHu

( ) ( ) ( ) 2111,1 , Ω∈∇Ω∈=Ω LuLuW

Espace BV Le gradient est considéré comme une mesure et on calcule la variation

totale de cette mesure.

( ) ( )

≤Ω∈==∞

ΩΩ∫∫ 1,),(sup 21/ pCppdivuDuuJ cTV R

La norme du sup est définie par :

C1C est l’ensemble des fonctions C1 à support compact dans Ω.

L’opérateur de dérivation est reporté sur une fonction test régulière.

[Luigi Ambrosio, Nicola Fusco, Diego Pallara “Functions of bounded variation and free discontinuity problems“ Oxford ; New York : Clarendon Press, cop. 2000].

( )xppx

supΩ∈

∞=

Exemples

alors ainsi

)(1 Ω∈Cu

dxpudxpudiv ∫∫ΩΩ

∇−= .)( ∫∫ΩΩ

∇= dxuDu

<≤−− 011 xsi u définie sur [-1,1] par

alors et

≤<<≤−−

=101

011)(

xsi

xsixu

02δ=Du 21

1=∫− Du

1

-1

Exemple en 2D : χA une fonction caractéristique d’ensemble :

Espace BV

( ) 1 AxxA

∈=χ

si1

0( )

)(

0

APerD

x

A

A

ΩΩ

==

∫ χ

χ sinon

A

Ω

10

Espace BV

♦ Le critère à minimiser est défini par

qui est alors minimisé dans l’espace

∫∫ΩΩ

+−= DudxHuguJ λ2

)(

( ) ∫ ∞<Ω∈→Ω DuLHuRu ,/: 2

♦ si H est un opérateur linéaire continu n’annulant pas les constantes alors il y a existence et unicité d’une solution au problème de minimisation dans BV.

[A. Chambolle, P-L. Lions, Numer. Math. 76(2),p.167-188,1997]

Espace BV

( )1

,,

uuDuuJji

jiTV ∇=∇== ∑∫Ω

♦ En discret, ou si u régulière

♦ Alors…intérêt de BV ??? ♦ Alors…intérêt de BV ???

Bon espace de fonctions pour les images géométriques (cartoon)

Résultats d’existence et unicité de solution

Nouveaux algorithmes de minimisation

[A. Chambolle “An Algorithm for Total Variation Minimization and Applications.”

Journal of Mathematical Imaging and Vision 20 (1-2): 89-97, January - March, 2004.]

Formule de la co-aire

Formule de la co-aire.

( ) alorsetLipschitzestsi 212 RRR: Lgu ∈→

( ) ( ) ( )∫ ∫ ∫

=∇ ρddsxgdxxuxg

Extension pour u dans BV et sur un domaine borné Ω

la VT de u est la somme des longueurs de ses lignes de niveaux.

( ) ( ) ( )∫ ∫ ∫

=∇=2R R

ρρ

ddsxgdxxuxgu

( ) ∫ ∫ ∫Ω =

=

R /

ρρ

ddsDuxux

Exemple

originale bruitée

régularisation régularisation

L2 L1

originale

Lignes de niveaux

régularisation L2 régularisation L1

Définition des sauts

Pour toute fonction on a pour p.p.:

(*)

1Lu∈ Ω∈x

∫→=

),(0

)(),(

1lim)(

rxBr

dyyurxB

xu

Points de Lebesgues

où B(x,r) est la boule unité de centre x et rayon r. Un point x où (*) est vrai est appelé

un point de Lebesgue de u.

Le complément des points de Lebesgue de u, noté Su, est appelé l’ensemble des sauts de u.

Sauts

Limite approchée

Si on peut dire plus que (*). Si , on peut définir p.p. une normalenu(x) et des limites

Limite supérieure

Limite inférieure

BVu∈ uSx∈

∫+

+→

+ =),(

0)(

),(

1lim)(

rxBr

dyyurxB

xu

1∫

−−→

− =),(

0)(

),(

1lim)(

rxBr

dyyurxB

xu

nu(x)

xSu

B+

B-

On a toujours u+(x) ≥ u-(x).L’ensemble des sauts de u est Su,

l’ensemble des x où u+(x) ≠ u-(x).

Décomposition dans BV

)()(.)( 1 uCdnuudxuDuuSu +−+∇=Ω −+

H

[Giusti 84, Evans & Gariepy 92, Ambrosio 98]

Partie absolument continue Partie Cantor

Partie singulière (sauts)

Su = ensemble des sauts de u = ensemble des points xoù u+(x) ≠ u-(x)

( ≈ ensemble des points de discontinuité de u). H 1 : mesure de Hausdorff (longueur pour des courbes non régulières).

nu (x) : (x ∈ Su ) normale orientée vers la plus grande valeur de u.

B+

B-

Su

nu (x)

x

Décomposition dans BV ou SBV

∫∫∫∫Ω

−+

ΩΩ

+−+∇=ff SS

uCduudxuDu\

1 )()( H

Dans SBV, avec ϕ convexe

( ) ( ) ∫∫∫−+∞

ΩΩ

−+∇=fS

duudxuDu 1)()1( Hϕϕϕ

Partie régularisation sur

le gradient

Longueur pondéréedes courbes de discontinuité

( )s

ss

ϕϕ+∞→

∞ = lim)1(

133

Régularisation dans BV

BV est le “bon” espace de fonctions pour les images, car c’est un espace de fonctions qui peuvent être discontinues sur des courbes, donc qui peuvent représenter des images avec des contours.

Difficultés : Pas d’équation d’Euler simple dans BV (on travaille avec des mesures) Comment numériquement appréhender les solutions dans BV ? Comment numériquement appréhender les solutions dans BV ?

Solutions : Algorithme de projection proposé par A.Chambolle [Workshop MIA 02] Plus généralement algorithme en dualité Variable auxiliaire et Γ-convergence, Modèle explicite des contours par des courbes représentées par des ensembles

de niveaux. …

134

Variables discrètes

En variables discrètes, la variation totale (TV) est l’ensemble des accroissements de f

On choisit

∑∫∫ ∇≈∇=ΩΩ ji

jiudxuDu

,,

( ) ( ) ( )( )∇∇=∇ uuu , 21( ) ( ) ( )( )( )

( )

=<−

=∇

=<−

=∇

∇∇=∇

+

+

Nj

Njuuu

Ni

Niuuu

uuu

jijiji

jijiji

jijiji

si

sisi

si

0

0

,

,1,2,

,,11,

2,

1,,

135

Variables discrètes

La norme discrète L1 recommandée est

( ) ( )2,1,

2,,1, jijijijiji

uuuuu −+−=∇ ++

Il est préférable de discrétiser en bout de chaîne. Si on considère le gradient dans L1, l’équation d’Euler est

( )

0

0'

)( 2*

=∂∂

=

∇

∇∇

−−

n

u

uu

udivgHuH

ϕλ

136

Variables discrètes

On introduit la divergence discrète, par analogie à la divergence continue, par

On vérifie facilement que

2N2N2N

222

RRR

NNN

*

up,udiv(p),RuRRp.

×∇=−∈∀×∈∀

−∇=et

div

<<− − Ni1pp 1

j1,i1

ji, si

=−=

<<−+

=−=

<<−=

−

−

−

−

Njp

1jp

Nj1pp

Nip

1ip

Ni1pp

(p)

21ji,

2ji,

21ji,

2ji,

1j1,i

1ji,

j1,iji,

ji,

si

si

si

si

si

si

div

137

Minimisation dans L1

Problème de linéarisation du terme de régularisation.

Algorithme itératif

( )

∇

∇∇

+−=∂∂

uu

udivHugH

t

u ')( 2* ϕ

λ

( )

∇∇

+−+=+ uu

divHugHtuu nn ')( 2*1 ϕ

λδ

Pour ϕ(t)= |t|, Rudin Osher Fatemi (ROF 92) ont proposé un algorithme résolvant l’équation d’Euler associée, numériquement stable. Estimation du paramètre λ en utilisant la contrainte

( )

∇

∇∇

+−+=+ uu

udivHugHtuu nn '

)( 2*1 ϕλδ

( )∫Ω

=−Ω

221 σdxHug

138Algorithme ROF

( ) ( )( )( )

( ) ( )( )( ) ( )ijnij

n

21

2nn2n

nijn

ij

21

2nij

nij

2nij

nijn

ijnij

1nij

gu∆tλu,uu

uu

u,uu

uu

h

∆tuu

−−

∆∆+∆

∆∆

+

∆∆+∆

∆∆+=

+−

−++

+−

+

xxy

yy

yyx

xx

m

m

( ) estitérationunesi tn∆jh,ih,unij u=

( ) ( )( )( ) 2nij

nij

nij u,uu

∆∆+∆ −++

xxy m

( ) ( ) ( ) ( )stabilitélapouret

etavec

c

baba

babamx

≤

+==−±=∆ ±±

2

ijj1iij

h

∆t

,min2

sgnsgn,modmin,uuu

La fonction minmod est un limiteur qui permet d’obtenir un schéma numérique non oscillant. Par exemple ( ) ( ) ( )−+−+ ∆≠∆=∆∆ sgnsgn0,modmin si

139

Algorithme de A. Chambolle Vraie minimisation dans BV (et non gradient dans L1)

( ) ( ) ∫∫∫−+∞

ΩΩ

−+∇=fS

duudxuDu 1)()1( Hϕϕϕ

Partie régularisation sur le

Longueur pondéréedes courbes de

On s’intéresse à la minimisation de la fonctionnelle (bruit uniquement)

Algorithme de projection, obtenu par dualité.

∫Ω

+− DuguMinu

2

2

1

λ

≤== ∞∫∫ 1/)(sup)( ppdivuDuuTV

régularisation sur le gradient

des courbes de discontinuité

Quelques notions de dualité[Rockafellar, R.T., Convex Analysis, Princeton University Press, 1970]

Soit X un espace de Hilbert, et soit f : X → R ∪ +∞ telle que f≠ +∞

Définition : Conjuguée de Legendre-Fenchel (ou fonction polaire) :

140

∞+∪→ RXf :*

Propriété : La fonction conjuguée f* est une fonction convexe sci

(NB : pas d’hypothèse sur f, on peut avoir f*≡+∞).

Théorème : Si f est une fonction convexe et sci, alors f * ≠ +∞ f * * = f

∞+∪→ RXf :

( ) ( ) xfxssfXx

−=∈

,sup*

Quelques notions de dualité

Exemple : fonction duale de est( ) 2

2

1guuf −=

λ

( ) 22*

2

1

2

1ggqqf

λλ

λ−+=

En effet

Soit

Le maximum est atteint en u=λ(q+g)

141

( )

( )

−−+=

−−=

22*

2*

2

1

2

1,sup

2

1,sup

gugquqf

guquqf

u

u

λλ

λ

Fonctions d’appui et indicatrice

xss ,sup)( =δ

Si K est un ensemble convexe fermé non vide de X .

La fonction indicatrice est

La fonction d’appui est :

∞+∈

=ℵsinon

si KvvK

0)(

xssKx

K ,sup)(∈

=δLa fonction d’appui est :

Les fonctions indicatrice et d’appui sont convexes et sci, et conjuguées l’une del’autre.

KKKKK ℵ==ℵ=ℵ **** δδ et

Fonctions d’appui et indicatrice

Théorème :

Toute fonction d’appui associée a un convexe fermé

non vide K est convexe sci et homogène de degré un

( ) ( )xftxtfXxt =∈∀>∀ ,,0

xssKx

K ,sup)(∈

=δ

Inversement toute fonction convexe, homogène de degré un et sci est la fonction d’appui d’un ensemble convexe fermé Kf défini par

+∞≠f

( ) xfxsXxXsK f ≤∈∀∈= ,,,

Quelques notions de dualité Propriété: Inégalité de Fenchel

soit f : X → R ∪ +∞

Théorème : Dualité de Fenchel

Soient f et g deux fonctions X → R ∪ +∞ convexes.

On suppose que (contraintes de qualification) :

( ) ( ) ( ) xssfxfXXsx ,, * ≥+×∈∀

( ) ( ) xfxxfXx g , en continue et que tel +∞<+∞<∈∃

Alors on a

NB : Le problème dual a toujours une solution (si hypothèse thm OK), même si le problème primal n’en a pas, et même lorsque l’inf = - ∞

144

( ) ( ) 0000 xfxxfXx g , en continue et que tel +∞<+∞<∈∃

( ) ( ) ( ) ( ) sgsfxgxfXsXx

−+−=+∈∈

**mininf

Pb primal Pb dual

Quelques notions de dualité

Relations d’extrémalité

Soient f et g deux fonctions X → R ∪ +∞ vérifiant les hyopthèses du théorème de dualité de Fenchel.

Alors le problème dual a toujours une solution. Soit s une telle solution.Alors le problème dual a toujours une solution. Soit s une telle solution.

Alors les solutions x du problème primal, s’il en a, sont caractérisées par les relations d’extrémalité :

145

( )( )

−=−+=+

sxsfxf

sxsgxg

,)(

,)(*

*

146

Algorithme de A. Chambolle

TV est la fonction d’appui d’un ensemble convexe KTV

∫∫

quuuTVTV

TV KqK ,sup)()(

∈== δ

≤×∈= ∞ 1/)( pXXppdivKTV

≤== ∞∫∫ 1/)(sup)( ppdivuDuuTV

TV est une fonction d’appui :

Sa polaire est

Le problème dual

quuTVTVKq

,sup)(∈

=

∞+∈

=ℵ=sinon

si TVTV

KvvvTV

0)()(*

C’est la fonction caractéristique de l’ensemble KTV.

Et comme la fonction duale de est ( ) 2

2

1guuf −=

λ

( ) 22*

2

1

2

1ggqqf

λλ

λ−+=

Alg. Chambolle

)(2

1 2uTVugMin

u+−

λProblème primal

+−λλq

TVgqMinq

*2

2

1Problème dual

Comme TV* est la fonction caractéristique de KTV, le pb dual estune projection orthogonale

2

2

1gqMin

KTVq

−∈ λ

λ ( )gguTVKλ∏−=

( )gqTVKλ∏=

λλq 2

Calcul de la projection ΠK

( ) ∏≤≤

→=r

nXQQuuTV

θ

θ1

1:, R

≤∈=

∞≤≤

∏ 1,1

ppBr

n

θ

θRSoit qpqqBp

,sup,1

∈=∀. On a

On considère

( ) pQupQuQuuTVBpBp

*

1,sup,sup

∈∈===

( ) suuuTVTV

TV KsK ,sup)(

∈== δOr donc BQKTV

*=

2*2 λλ

gpQMingqMinBp

TVq K

−⇔−∈∈

Calcul de la projection ΠK

Pour calculer numériquement projection on copie l’algorithme de itératif de A. Chambolle : on doit calculer

( )fJKη∏

qui est une minimisation contrainte. En utilisant les multipiccateurs de Lagrange on obtient

( )( )nn * ητ −+

2*

1,

ηfpQMinji

p−

≤

( )( )( )( ) ji

n

jinn

jinji

fpQQ

fpQQpp

,*

,*

,1,

1 ητητ

−+

−+=+

Si alors

Pas différence numérique sur les résultats de restauration…

2*1 Q≤τ ( )fpQpQ Kn

ηηη Π=→ ˆ**

Class of BV-lp problems

when p=2, it is the Rudin Osher Fatemi (ROF) problem.

Restoration/decomposition models via duality

( ) +∞<<−+∈

puguTVp

pXu1inf λ

case p=1 is treated separately.

when 1<p<∞ , a solution exists and is unique.

the minimization is not easy due to the non-differentiability of TV.

we use duality to rewrite the problem in the form

( ) α≤−=∞∈

uguKuJKu

/,inf

BV-lp model and duality

The dual problem is defined by

( ) ( ) p

pXqXXqqdivgqdiv

′

′≤×∈+−

∞

β,inf1,

( ) ( ) ( ) 111

11

=+−= ′−−−

pp pp andwhere λλλβ

Using the extremality relations, the solution u* of the primal problem is deduced from the solution q* of the dual problem :

The dual problem is a differentiable problem under a convex constraint, which can be minimized by using standard or accelerated algorithm.

( ) ( ) ( ) 111

11

=′

+−= ′−−

pppp pp andwhere λλλβ

( ) ( )***2

qdivqdivpgup −′′−= β

Généralisation à un problème inverse linéaire

Résoudre le problème de minimisation

( )uJHugMinXu

+− 2

12

1

λoù J est une norme ou une semi norme dans un espace régularisant.

Typiquement, en discret

Généralisation de l’algorithme de A. Chambolle [Chambolle-MIA02]

où A=I et ( ) TVuJ =

( )1

QuuJ =

Algorithme général

L’algorithme peut être réécrit ;

( ) ( )nK

n vIuJλµ∏−=+1

( )nnn HugHuv −+= *µ Descente de gradient à pas fixe sur2

Hug −

Débruitage sur vn

[Demol-Defrise-Daubechies04, Figueiredo-Nowak04, Bect-Blanc-Féraud-Aubert Chambolle04]

On peut réécrire encore

Algorithme de « type proximal », Forward-Backward[Wajs-Combettes05, Chaux-Pesquet-Combettes-Wajs07…]

mais sur critère à l’analyse [Combettes 2009]

.

( ) ( )( )nn HugHuIuJK

n −+∏−=+ *1 µλµ

Algorithmes pour régularisation L1

Des dizaines d’articles sur le sujet Dualité

Second ordre

1

2

22

1QuHugInf

u+−

λ( ) ( )ugufInf

u+

Second ordre

Point intérieurs [Goldfarb, Yin 2005] Second Order Cone Beam Programming [Boyd, Vandenberhe 2004]

Ensemble de niveaux et algo. graph-cut [Darbon, Sigelle 2005]

Sous-gradients projeté [Polyak 1987]

Forward-Backward spitting [Lions 1979, Combettes 2005]

Méthodes rapides par algorithme de Nesterov [P.Weiss 2008]

Douglas-Rachford [Lions 1979, Combettes 2007]

....

CONTENU (suite)

♦ Régularisation non linéaire

Régularisation L2/L1

Espace BV, Variation Totale

Solutions dans l’espace BV, dualité, algorithmes

♦ Segmentation d’image, approche variationnelle Fonctionnelle de Mumford et Shah

Notion de Γ-convergence : lien restauration/segmentation

♦ Et les représentations parcimonieuses ? Régularisation dans le domaine de la transformée en ondelettes

Solution dans un espace de Besov (et algorithmes)

Modèles de régularisation / parcimonie

Segmentation d’image

♦ Segmentation : trouver une description de l’image en termes de régions homogènes et de contours.

♦ Littérature très importante. Synthèse des méthodes variationnelles dans [Morel & Solimini 94].

♦ Formalisation mathématique : problème de minimisation globale qui combine des ♦ Formalisation mathématique : problème de minimisation globale qui combine des mesures appropriées pour les régions et les contours.

( ) ( ) ( )Γ+∇+−=Γ ∫∫ΓΩΩ

1

\

22, HαdxudxuguJMS

( ) ( ) ( ) ΓΩ∈∇ΓΩ∈=ΓΩ∈ \,\\ 221 LuLuHu

Γ ⊂ Ω, fermé dans Ω = ensemble des bords des régions homogènes.

H 1 mesure de Hausdorff de dimension 1, (longueur pour des courbes non régulières).

Analogie segmentation/régularisation

Formulation faible :minimisation pour de

( ) ( ) ( )SdxudxuguJ 122~Hα+∇+−= ∫∫

SBVu∈

( ) ( ) ( )Γ+∇+−=Γ ∫∫ΓΩΩ

1

\

22, HαdxudxuguJMS

( ) ( ) ( )uMS SdxudxuguJ 122~Hα+∇+−= ∫∫

ΩΩ[De Giorgi, Carriero & Leaci 89]

(u,Su) où u∈ SBV, est minimum de ( )uJMS

~

(u,Γ) avec Γ= Su ∪ N (N H 1 négligeable) est minimum de ( )Γ,uJMS

Analogie segmentation/régularisation

Formulation faible :minimisation de

( ) ( ) ( )uMS SdxudxuguJ 122~Hα+∇+−= ∫∫

ΩΩ

SBVu∈

Régularisation dans BV :

( ) ( ) ∫∫∫−+∞

ΩΩ

−+∇=fS

duudxuDu 1)()1( Hϕϕϕ

Régularisation dans BV :

Régularisation par Variation Totale :

∫∫∫−+

ΩΩ

−+∇=fS

duudxuDu 1)( H

Minimisation Difficultés:

Non convexité de la fonctionnelle en (u,Γ)

Non unicité de la solution

Difficulté pour modéliser des courbes dans R2 et minimiser par rapport à des surfaces et des courbes.

Il existe des résultats de régularité de la solution (Γ est une union de courbes régulières) dans R2 mais pas dans R3.

Approximation par Γ-convergence : la fonctionnelle est approchée par une suite de fonctionnelles elliptiques. Des la fonctionnelle est approchée par une suite de fonctionnelles elliptiques. Des

mesures sur des hypersurfaces de dimension n-1 (comme H n-1(Γ)) peuvent être approchée par des fonctionnelles elliptiques définies dans Rn.

L’idée de base est d’introduire une nouvelle variable b définie de Ω ⊂ R2 dans R qui contrôle l’ensemble inconnu Su.

Exemple d’approximation: [Ambrosio Tortorelli 90]

Variable auxiliaire modélisant les contours, régularisation sur les contours (équivalent minimisation de la longueur des courbes de disconitnuités)

( ) ( ) ( ) ∫∫∫∫ΩΩΩΩ

∇+−+∇+−= dxbbdxubdxugbuJAT

222222 11

, εε

λε

161

Γ-convergence de fonctionnelles Voir dans [Ambrosio Tortorelli 90] La suite de fonctionnelles Jε

tend vers JMS au sens de la Γ-convergence

( ) ( ) ( ) ∫∫∫∫ΩΩΩΩ

∇+−+∇+−= dxbbdxubdxugbuJAT

222222 11

, εε

λε

Définition : Jε (u) Γ-converge vers J0 (u) si ∀u0∈L1 (Ω) :

( ) ( )000

0 inflim uJuJuu ≥→∀→ εεεε

( ) ( )000

0 lim uJuJuu =→∃→ εεεε

Γ-convergence de fonctionnelles

Propriété « utile » : Toute suite de minimiseurs uε de Jε admet une sous-suite convergente dont la limite u0 est un minimiseur de la fonctionnelle limite.

Pour trouver un minimiseur de JMS, on minimise successivement les fonctionnelles Jε pour ε décroissant. Ainsi on ne minimise que

162

les fonctionnelles Jε pour ε décroissant. Ainsi on ne minimise que des approximations régulières de la fonctionnelle limite.

Γ-converge vers

( ) ( ) ( ) ∫∫∫∫ΩΩΩΩ

∇+−+∇+−= dxbbdxubdxugbuJAT

222222 11

, εε

λε

( ) ( ) ( )Γ+∇+−=Γ ∫∫ΓΩΩ

1

\

22, HαdxudxuguJMS

163

Lien avec la restauration Pour la segmentation, une fonctionnelle d’approximation est

Pour la restauration avec la variable auxiliaire modélisant les contours, la

fonctionnelle est pour

( ) ( ) ( ) ∫∫∫∫ΩΩΩΩ

∇+−+∇+−= dxbbdxubdxugbuJAT

222222 11

, εε

λε

( ) ( ) ( )22

2

1−=+

= bbψt

tGMϕfonctionnelle est pour

et après changement de variable b en b2 :

lissage de la variable b

( ) ( ) ( )2

11

−=+

= bbψt

tGMϕ

( ) ( ) ( )∫∫∫ΩΩΩ

−+∇+−= 22222 1, bdxubdxugbuJ λ

Un résultat

débruitage

Image originale

Synthétique constante par morceaux

coupe Image bruitée

Bruit gaussien

SNR=15 db

Un résultat Fonctionnelle de débruitage : ( ) ( ) ∫∫

ΩΩ

∇+−= dx

udxuguJ GM δ

ϕλ22

( ) ( ) ( )∫∫∫ΩΩΩ

−+

∇+−= dxbdx

ubdxugbuJ

22

22* 1,δ

λ

Image restaurée

par modèle semi-quadratique avec

coupe Variable auxiliaire b à convergence

(sur l’image restaurée)( ) ( ) ( )2

2

2

11

−=+

= bbψt

ttGMϕ

Un résultat avec d’autres paramètres

Autre jeu de paramètres (λ,δ) pour plus de lissage

Image restaurée

par modèle semi-quadratique avec

coupe Variable auxiliaire b à convergence

(sur l’image restaurée)

( ) ( ) ( )22

2

11

−=+

= bbψt

ttGMϕ

Lissage de la variable b

Lissage de b avec ϕGM

( ) ( ) ( ) ( )∫∫∫∫ΩΩΩΩ

+−+∇+−= dxbdxbdxubdxugbuJ GMϕλ 22222* 1,

Image restaurée coupe Variable auxiliaire b

Lissage de la variable b avec ε

Lissage de b avec ϕGM

( ) ( ) ( ) ( )∫∫∫∫ΩΩΩΩ

+−+∇+−= dxbdxbdxubdxugbuJ GMϕεε

λ 22222* 11

,

Image restaurée coupe Variable auxiliaire b

169

Du discret au continu Difficulté en discret (en 2D) pour modéliser des courbes

Fonctionnelle 1D discrétisée avec un pas h

( ) ( ) ∑∑∑∑

−+−+

−+− ++

i

i1i

i

2i

i

2

i1i2i

i

2ii h

bbhεαb1

ε

h

h

uubhguh ϕ

Pour que les résultats théoriques et pratiques soient corrects, il faut que le pas de discrétisation tende vers 0 avec ε. Sinon le terme

impose

Résultat théorique de Γ-convergence sous les hypothèse adéquates vers la fonctionnelle de Mumford et Shah

[Aubert Blanc-Féraud March 2006]

0εi1bi →∀→ quand

CONTENU (suite)

Régularisation non linéaire

Régularisation L2/L1

Espace BV, Variation Totale

Solutions dans l’espace BV, dualité, algorithmes

Segmentation d’image, approche variationnelle Fonctionnelle de Mumford et Shah

Notion de Γ-convergence : lien restauration/segmentation

Et les représentations parcimonieuses ? Régularisation dans le domaine de la transformée en ondelettes

Solution dans un espace de Besov (et algorithmes)

Modèles de régularisation / parcimonie

∑−

+−kj

kj

j

uHug,

,22

2,2 ψλ

Régularisation par ondelettes

Domaine des ondelettes : Représentation parcimonieuse du signal → bonne séparation signal/bruit

Débruitage : nug cccnug +=→+=

1

2

21,

,

2

2, uHuguHug

M

jiji Ψ+−=+− ∑

=

λψλ

( )

≤>

=Tt

TtttH

T si

si

0θ seuillage dur :

TT−

HTθ( )gu cc θ= Par seuillage :

Le seuillage dur préserve les forts coefficients (supérieurs à T) = contours

→ pas de lissage des contours.

Les petits coefficients (inférieurs à T) sont mis à 0 : dans les zones où les transitions del’image sont faibles, on fait une moyenne locale des coefficients bruités.

Débruitage par ondelettes

seuillage mou : ( )

≤−<+

>−=

Tt

TtTt

TtTt

tST

si

si

si

0

θTT−

STθ

Les forts coefficients sont atténués de T.Les forts coefficients sont atténués de T.

La fonction de seuillage est plus régulière (continue).

L’estimateur de seuillage est optimal (au sens risque minimax) pour le seuil , parmi les opérateurs diagonaux dans une base d’ondelettes. [D. Donoho I. Johnstone, 1994 - …]

2log2 MT σ=

Interprétation variationnelle du seuillage des coefficients en ondelettes

• Domaine des ondelettes : Représentation parcimonieuse du signal→Trouver u qui minimise

0c

2u#ug

≠+− λ

0c

2guu#cc

≠+− λ

Solution : cu = θλ(cg) seuillage dur.Solution : cuopt = θλ(cg) seuillage dur.

1

u2

2

gu ccc λ+−⇔

Solution : cuopt = θλ(cg) seuillage doux

1

u2

2cgu λ+−

→ Trouver u qui minimise

Extension à la déconvolution, modèle de régularisation par ondelettes (Analyse)

(1)

Si Ψ est une base, il y a équivalence avec le modèle de parcimonie (Synthèse)

(2)

Régularisation par TO

1

2

2min uHug

u

Ψ+− λ

1

2

2

*min uu ccHg λ+Ψ−(2)

Algorithmes en deux temps de « type proximal »

[Demol-Defrise-Daubechies04, Figueiredo-Nowak04, Bect-Blanc-Féraud-Aubert-Chambolle04, Combettes 2009 ] pour le critère de régularisation (1)

[Wajs-Combettes05, Chaux-Pesquet-Combettes-Wajs07…] pour le critère de parcimonie (2)

12 uucu

♦ Modèle de régularisation

♦ Modèle de parcimonie

Comparaison ?

1

2

2

*min uuc

ccHgu

λ+Ψ−

1

2

2min uHug

u

Ψ+− λ

Equivalence si transformée sur une base orthogonale

Utilisation de transformée redondante pour l’invariance par translation (arbre dual, complexe, curvelet…)

Quel modèle choisir et quelle transformée?

u

Une question ouverte

♦ Un résultat [Elad, Milanfar, Rubinstein 07]

Régularisation

Comparaison ?

2

1

2

2minarg uHugU

u

Ψ+−= λ

Parcimonie

Pour tout Ψ de rang plein, il existe R tel que

L’inverse n’est pas vrai.

Les a priori de parcimonie sont plus généraux mais pas nécessairement mieux adaptés

1

2

2minarg uu

c

cHRcgVu

λ+−=

RVUg =∀ ,

Deconvolution results

Lena image blurred imageLena image blurred image

blurred+noisy Wavelet regul.

Modèle de régularisation par ondelettes

1

2

2min uHug

u

Ψ+− λΨ est redondante pour l’invariance par translation, c’est une trame et non une

base.

image floue et bruitée Image restaurée avec régularisation par

transformée en ondelette complexe

sur arbre dual (N. Kingsbury)

Modèle de parcimonie

1

2

2

*min uuc

ccHgu

λ+Ψ−

Ψ est un dictionnaire de formes, un ensemble de transformée en ondelettes par exemple. La minimisation se fait directement sur les coefficients en ondelettes

image floue et bruitée Image restaurée avec régularisation par

transformée en ondelette complexe

sur arbre dual (N. Kingsbury)

Image observée

Comparaison TV, Ondeletteset Parcimonie

Restaurée par modèlede parcimonie

Les ondelettes sont les ondelettes complexes sur arbre duales de N. Kingsbury, c’est une trame et on une base, il y a de la redondance. Cette transformée est pratiquement invariante par translation et rotation

Restaurée par modèle de régularisation TV

Restaurée par modèle de régularisation ondelettes

On peut montrer que

C’est-à-dire que la norme BV s’encadre par deux normes de Besov

TV et ondelettesBesov et BV

[ ]( ) [ ]( ) [ ]( )1,01,01,0 1,1

11,1 +∞⊂⊂ BBVB

≤≤ uBuuABBVB 11

Besov

∫

∑ ∑

∑

+=

=

=

≤≤

+

=

−

=

−

−

=

−

+≤

−

−

+∞

+∞

Duuu

uu

uu

uBuuA

BV

J

j mmj

j

B

mmj

j

JjB

BBVB

j

j

1

1

0

12

0,

2

12

0,

2

1

,2

,2sup

11,1

1,1

11,1

1,1

ψ

ψ

Modèle BV-L1

Résultat pour du bruit poivre et sel 40%

112

1uugMin

u∇+−

λ

Attache aux données l1 Restauration (flou et bruit) et passage d’un échantillonnage irrégulier à une

grille régulière. Restauration par minimisation de fonctionnelle avec régularisation par Variation totale et décomposition en ondelettes complexes sur un arbre dual de Nick Kingsbury

[I W Selesnick, R G Baraniuk, and N G Kingsbury: "The Dual-Tree Complex Wavelet Transform," IEEE Signal Processing Magazine, vol 22, no 6, pp 123-151, Nov. 2005].

Image observée régularisation par VT régularisation par/ image originale BV-l1 ondelettes complexes

l1 -l1

En résumé

Quel est l’espace Z (et la norme) à utiliser à la place de L2, pour modéliser les textures et/ou le bruit dans un algorithme de restauration ?

( )uJAug YZ+−

algorithme de restauration ? Quel est l’espace Y (et la norme) à utiliser pour la

régularisation ? Interprétation stochastique : estimation des paramètres ? Analyse théorique du problème de minimisation ? Algorithmes de minimisation ? Évaluation, analyse des erreurs ? Et le multispectral / hyperspectral ?

Remerciements

Gilles Aubert, J-A Dieudonné Laboratory, University of Nice-Sophia Antipolis

Antonin Chambolle, CMAPX, Ecole Polytechnique Paris,

Jean-François Aujol, CMLA, ENS Cachan, Paris

Julien Bect, ex master student in Ariana

Pierre Charbonnier, LCPC, Strasbourg

Pierre Weiss, LMT, Toulouse

Mikael Carlavan, Ariana, Sophia Antipolis

et les autres collaborateurs

186

Peyresq juillet 2009