4. Bildentrauschen: Filtertechniken

→ FILTER →

Originalbild B Verrauschtes Bild

BF = Filter(B) + η

FILTER: Scanner, digitale Cameras, Internetübertragung ...

η: additives Rauschen = unvorhersehbare Filterfehler

Ziel: Umkehrung der Filtertransformation und Rauschunterdrückung

4. Bildentrauschen: Filtertechniken für additives Rauschen

→ FILTER →

Verrauschtes Bild Entrauschtes Bild

BF = B + η ≈ B

FILTER: Transformation zur Rauschunterdrückung

4.1 Datenunabhängiges Rauschen: Gaußsches weißes Rauschen

η ∼ N(0, σ2)

Originalbild σ2 = 3 σ2 = 10 σ2 = 13

4.1 Datenunabhängiges Rauschen: Salt-und-Pepper, Schnee

Originalbild p = 0.1 p = 0.3 p = 0.5

p :=Anzahl von fehlerbehafteten Pixeln

Anzahl von Pixeln

4.2 Lineare zeitinvariante Filter: 2-dim Faltung

Filter hF :

Berechnung von(h ∗ B)[1, 1] = i ∗ B[0, 0] + h ∗ B[1, 0] + g ∗ B[2, 0] + f ∗ B[0, 1] + ..

4.2 Lineare zeitinvariante Filter:

Definition (2-dim Faltung): Seien h, B ∈ ℓ(Z2).

(H ∗ B)[m, k ] =∑

n,ℓ∈Z

B[n, ℓ]H[m − n, k − ℓ], m, n ∈ Z.

Satz (Faltungseigenschaft):

Seien h ∈ ℓ1(Z2) und B ∈ ℓp(Z

2), 1 ≤ p ≤ ∞. Dann gilt

‖H ∗ B‖ℓp ≤ ‖H‖ℓ1 · ‖B‖ℓp , d.h H ∗ B ∈ ℓp(Z2).

Beweis:

4.2 Lineare zeitinvariante Filter (LTI–Filter)

Einheits-Impulsfolge δ ∈ ℓ0(Z2)

Impulsantwort eines Filters ist eine Folge h = hF (δ) ∈ ℓ(Z2).

Stabilität: hF : ℓp(Z2) → ℓp(Z2)

Stabile LTI–Filter: hF (B) = h ∗ B ∈ ℓp(Z2) für B ∈ ℓp(Z2).

4.2 Lineare zeitinvariante Filter: Fourier–Transformation

Definition: Sei h ∈ ℓ(Z2). Die 2π−periodische Funktion

h(ξ) =∑

m,k∈Z

h[m, k ]e−im·ξ1e−ik·ξ2 , ξ = (ξ1, ξ2) ∈ R2,

heißt die F–Transofmierte von h, falls die Reihe konvergiert.

Bemerkung: h ∈ ℓ1(Z2) ⇒ h : R → C ist gleichmäßig stetig.

Satz (Faltungssatz): Seien h, B ∈ ℓ1(Z2), dann gilt h ∗ B ∈ ℓ1(Z

2) und

(h ∗ B)(ξ) = h(ξ) · B(ξ), ξ ∈ R2.

Beweis: Definition der Faltung und Indexsubstitution m′ = m − n,k ′ = k − ℓ ergeben

(h ∗ B)(ξ) =∑

k ′,m′∈Z

h[m′, k ′]e−i(m′,k ′)·ξ ·∑

n,ℓ∈Z

B[n, ℓ]e−i(n,ℓ)·ξ

4.2 LTI–Filter: Gaußsches weißes Rauschen σ2 = 1

Verrauschtes Bild Gauß–Filter: 3×3 Gauß–Filter 5×5

4.2 LTI–Filter: Gaußsches weißes Rauschen σ2 = 1

Verrauschtes Bild Mittelwert–Filter: 3 × 3 5 × 5

4.2 LTI–Filter: Salt–und–Pepper 25%

Verrauschtes Bild Gauß–Filter: 3×3 Gauß–Filter 5×5

4.2 LTI–Filter: Salt–und–Pepper 25%

Verrauschtes Bild Mittelwert–Filter: 3 × 3 5 × 5

4.3 Nichtlineare Rangordnungsfilter: Salt–und–Pepper 25%

Verrauschtes Bild Median–Filter: 3 × 3 5 × 5

4.3 Nichtlineare Rangordnungsfilter: Gaußsches weißesRauschen σ2 = 1

Verrauschtes Bild Median–Filter: 3 × 3 5 × 5

4.4 Inverse Filter und Wiener-Filter

→ dig. Camera →

Originalbild B BF = Blur(B) + η

Ziel: Umkehrung der Filtertransformation und Rauschunterdrückung

Satz (Existenz von hinv ): Seien h ∈ ℓ1(Zs) und h(ξ) 6= 0, ξ ∈ Rs. Dann

existiert hinv ∈ ℓ1(Zs), so dass

hinv (ξ) =1

h(ξ), ξ ∈ R

s.

Beweis:

Beispiel: Sei h(ξ) = 1 − 12 e−iξ, ξ ∈ R. Die entsprechende

Impulsantwort h ∈ ℓ0(Z) ⊂ ℓ1(Z) und h(ξ) 6= 0, ξ ∈ R. Dann gilt

hinv (ξ) =1

1 − 12 e−iξ

=

∞∑

k=0

(e−iξ

2

)k

und die Folge hinv = (hinv [k ])k∈Z∈ ℓ1(Z) mit

hinv [k ] =

2−k k ≥ 0,

0 sonst.

4.4.1 Inverse und Pseudoinverse Filter

Originalbild B Blur(B) + η Näherung an B

h†(ξ) =

1bh(ξ)

, h(ξ) 6= 0,

0, h(ξ) = 0,mit Filter hF = Blur.

Nachteile: Rauschverstärkung

4.4.2 Wiener-Filter

Originalbild B Blur(B) + η Näherung B an B

Ziel: E( ∣∣∣B[m, k ] − B[m, k ]

∣∣∣2 )

→ min! ∀m, k = 0, . . . , N − 1.

Beispiel (bedingter Erwartungswert): 2 dreiseitige Würfelwurden 400 mal zusammen geworfen. Ereignisraum

Ω = (1, 1), (1, 2), (1, 3), (2, 1), (2, 2), (2, 3), (3, 1), (3, 2), (3, 3)

Augensumme X : Ω → 2, 3, 4, 5, 6 und Y : Ω → 1, 2, 3,Y (i , j) = mini , j, (i , j) ∈ Ω,

X 2 3 4 5 6P(X = x) 1

929

39

29

19

Y 1 2 3P(Y = y) 5

939

19

und die gemeinsame Wahrscheinlichkeitsverteilung von X und Y

Y \ X 2 3 4 5 61 1

929

29 0 0

2 0 0 19

29 0

3 0 0 0 0 19

Der bedingte Erwartungswert E(X |Y ) : 1, 2, 3 → R ist eine ZV mitWerten

E(X |Y )(j) = E(X |Y = j) =∑

x∈2,3,4,5,6

x ·P(X = x |Y = j), j = 1, 2, 3.

Also mit P(X = x |Y = y) = P(X=x,Y=y)P(Y=y) gilt

E(X |Y = 1) = 2 · 19· 9

5+ 3 · 2

9· 9

5+ 4 · 2

9· 9

5=

165

E(X |Y = 2) = 4 · 19· 9

3+ 5 · 2

9· 9

3=

143

E(X |Y = 3) = 6 · 19· 9

1= 6

und die Wahrscheinlichkeitsverteilung von E(X |Y ) ist

E(X |Y ) 165

143 6

P(

E(X |Y ) = E(X |Y = y))

59

39

19

Beachte: P(

E(X |Y ) = E(X |Y = y))

= P(Y = y) gilt nur weil

E(X |Y = y1) 6= E(X |Y = y2) für y1 6= y2, y1, y2 ∈ 1, 2, 3. Sonst sollman die entsprechenden Wahrscheinlichkeiten von Y addieren.

Satz: Seien X : Ωx → Ω′x und Y : Ωy → Ω′

y ZVen mit WVen

(x , P(X = x)

)

x∈Ω′

x

und(

y , P(Y = y))

y∈Ω′

y

,

und T : Ω′y → R eine ZVe mit WV

(T (y), P(Y = y)

)

y∈Ω′

y

.

Dann gilt

E((X − E(X |Y ))2|Y = y

)≤ E

((X − T (Y ))2|Y = y

), y ∈ Ω′

y .

Beweis:

Korollar: E((X − T (Y ))2

)ist minimal, wenn E

((X − T (Y ))2|Y

)

minimal ist.

Beweis:

Bemerkung: Diese Resultate gelten auch für stochastische N × NFelde X = B und Y = hF (B). Der Wiener-Filter ist dann die ZVe(Abbildung)

E(X |Y ) : Ω′y → R

N×N .

Beispiel:(i) Seien X ∼ N (0, σ2

x ), η ∼ N (0, σ2) unkorreliert, Y := X + η. Für

λ =σ2

x

σ2x + σ

sind die ZVen X − λY und Y stochastisch unabhängig und

E(|X − E(X |Y )|2

)= E

(|X − λY |2

)is minimal.

(ii) Seien X ∼ N(

0, diag(σ2jj )

), η ∼ N (0, σ2 · IN) unkorrelierte

stochastische N × 1 Felde und Y := X + η. Dann gilt

E

∥∥∥∥∥X − diag(σ2

jj

σ2jj + σ2

)Y

∥∥∥∥∥

2

2

is minimal.

4.4.2 Wiener Filter

Originalbild B Gauss-Filter(B) + η Näherung an Bmit Wiener-Filter

Nachteil: funktioniert nur für hF = Blur

5. Bildentrauschen, Variationsmethoden.

Ab jetzt: Bild ist eine Funktion B : [0, 1]2 → R.

5.1 Welche Funktionsräume benutzt man, um die Bilder zuklassifizieren?

Ziel: Bildkanten (Unstetigkeiten) zu erfassen.

Definition+Resultate: Sei Ω ⊂ R2 offen, beschränkt, mitLipschitz-Rand ∂Ω. Die Funktionsräume

Lp(Ω) :=

f : Ω → R | ‖f‖Lp =

(∫

Ω

|f (x , y)|pdxdy)1/p

< ∞

, 1 ≤ p < ∞,

L∞ :=

f : Ω → R | ‖f‖L∞= esssup(x,y)∈Ω|f (x , y)|

,

W 1,p(Ω) := f ∈ Lp(Ω) | distributionelle Ableitungen ∂(1,0)f , ∂(0,1)f ∈ Lp(Ω),

W k,p(Ω) := f ∈ Lp(Ω) | ∂αf ∈ Lp(Ω), 0 < |α| = |α1| + |α2| ≤ k

sind Banachräume mit

‖f‖W k,p :=

‖f‖p

Lp+

∑

0<|α|≤k

‖∂αf‖pLp

1/p

, 1 ≤ p < ∞, k ∈ N.

Beispiele:

Bemerkungen:

(i) Es gilt Lp(Ω) ⊂ Lq(Ω), 1 < q < p.

(ii) Die Lp−Räume lassen die stückweise konstante Funktionen zu,die entsprechenden Normen messen nur die Gesamtintensität(Helligkeit) eines Bildes. Damit kann man die Kanten nicht erfassen.

(iii) Sei D ⊂ Ω ein Gebiet mit C1−Rand. Dann ist die Funktion

f (x) =

1, x ∈ D,

0, x ∈ Ω \ D,

nicht in W 1,p(Ω), p ≥ 1. Also stückweise konstante Funktionen unddamit Unstetigkeiten (Kanten) sind nicht zugelassen.

Definition+Resultate: Sei Ω ⊂ R2 offen, beschränkt, mitLipschitz-Rand ∂Ω. Der Funktionsraum

BV (Ω) := f : Ω → R | f ∈ L1(Ω), TV[f ] < ∞

Funktionen beschränkter Variation ist ein Banachraum mit

‖f‖BV := ‖f‖L1 + TV[f ],

TV[f ] = sup∫

Ω

f div(ϕ)dxdy | ϕ ∈(C∞

0 (Ω; R2))2

, ‖ϕ‖∞ ≤ 1

.

Lemma: Falls ∇f ∈ L1(Ω), gilt

TV[f ] =

∫

Ω

|∇f (x , y)|dxdy .

Beweis:

Definition: Sei f : Ω → R und

Eβ := (x , y) ∈ Ω | f (x , y) ≤ β, β ∈ R.

Die Rände

∂Eβ := (x , y) ∈ Ω | f (x , y) = β, β ∈ R,

der Mengen Eβ heißen die Höhenlinien von f .

Höhenlinien eines Bildes mit Matlab:

50 100 150 200 250 300

20

40

60

80

100

120

140

160

180

200

Bild B contour(B);

Satz (Co-Area-Formel): Sei f ∈ BV (Ω). Dann gilt

TV[f ] =

∫ ∞

−∞

TV[χEβ]dβ =

∫ ∞

−∞

Per(Eβ)dβ.

Beweis:

Beispiele:

Bemerkung: Um TV[f ] zu minimieren, soll man die Rände von Eβ

glätten.

5.2 Bildentrauschen: Variationsmethoden und Filtermethoden

BF (x , y) = B(x , y)︸ ︷︷ ︸Originalbild

+ η(x , y)︸ ︷︷ ︸Rauschen

, (x , y) ∈ Ω.

Grundform des Variationsproblems:

Gegeben: BF : Ω → R, V Banachraum und ein Funktional

J = JBF ,λ : V → R+.

Bestimme: B∗ mit J(B∗) = minu∈V J(u).

Beispiele:

(i) V = W 1,2(Ω) und J(u) = λ2 ‖u − BF‖2

L2+ 1

2‖|∇u|2‖2L2

, λ > 0.

(ii) V = BV (Ω) und J(u) = λ2 ‖u − BF‖2

L2+ TV[u], λ > 0.

Lineares Modell: minimiere

J(u) =λ

2‖u − BF‖2

L2+

12‖|∇u|2‖2

L2, u ∈ W 1,2(Ω).

50 100 150 200 250 300

20

40

60

80

100

120

140

160

180

200

Originalbild B BF = B + η ≈ minu J(u)

ROF-Modell (Rudin, Osher, Fratermi): minimiere

J(u) =λ

2‖u − BF‖2

L2+ TV[u], u ∈ BV (Ω).

50 100 150 200 250 300

20

40

60

80

100

120

140

160

180

200

Originalbild B BF = B + η ≈ minu J(u)

ROF-Modell (Rudin, Osher, Fratermi): Glättung der Höhenlinien

ROF-Modell (Rudin, Osher, Fratermi): Wahl von λ in

J(u) =λ

2‖u − BF‖2

L2+ TV[u], u ∈ BV (Ω).

BF B∗, λ1 > 0 B∗, λ2 < λ1

Definition: Ein Funktional J : V → R heißt strikt konvex, falls

J((1 − α)u + αv

)< (1 − α)J(u) + αJ(v)

für alle u, v ∈ V , u 6= v , und α ∈ (0, 1).

Beispiele:

Satz (Eindeutigkeit des Minimums):

Seien V konvex und J : V → R strikt konvex. Dann existierthöchstens ein globales Minimum von J in V .

Beweis:

Satz (Existenz des Minimums):

Sei J : V → R ein Funktional auf einem topologischen Raum V mitTopologie τ und erfülle

(i) (Folgen-Unterhalbstetigkeit) Für uk → u in der Topologie τ gelte

J(u) ≤ liminfk∈NJ(uk ).

(ii) (Kompaktheitsvoraussetzung) Es existiere λ ∈ R, so dass

Eλ = u ∈ V | J(u) ≤ λ 6= ∅

und Eλ kompakt in der Topologie τ .

Dann besitzt J ein Minimum J(B∗), B∗ ∈ V .

Beweis: siehe Satz 2.2 inwww .math.uni − muenster .de/num/Vorlesungen/MathemBV_SS07/Kapitel2.pdf

lineares Modell: Charakterisierung und Existenz des Minimums

Definition: Seien V ein Banachraum, U ⊂ V offen und

J : V → R.

Dann ist das Gateaux-Differential dJ(u; v) von J an der Stelle u ∈ Uin der Richtung v ∈ V , falls es dort existiert, definiert durch

dJ(u; v) = limt→0

J(u + tv) − J(u)

t, t ≥ 0.

Definition: Seien V ein Banachraum, U ⊂ V offen. Dann heißt

J : U → R

Fréchet-differenzierbar an der Stelle u ∈ U, falls es einenbeschränkten linearen Operator J ′ : V → R derart gibt, dass

limv→0

|J(u + v) − J(u) − J ′(u)|‖v‖V

= 0, v 6= 0,

gilt.

Beispiele:

Satz: IstJ : V → R

ein konvexes Funktional und ist J überall auf VFrechet-differenzierbar, dann gilt

J(B∗) = minu∈V

J(u) ⇐⇒ J ′(B∗) = 0.

Beweis:

1-dim Fall, V = W 1,2(0, 1):

J(B∗) = minu∈V

J(u) ⇐⇒

B∗ lösst die lineare Dgl. 2.Ordnung mit konstanten Koeffitienten

−u′′(x) + λu(x) = λBF (x), x ∈ (0, 1),

und erfüllt die Neumann-Randbedingungen

u′(0) = u′(1) = 0.

Beispiel: Sei BF gerade und

BF (x) =a0

2+

∞∑

k=1

ak cos (kπx), x ∈ (0, 1).

Dann gilt

B∗(x) =a0

2+

∞∑

k=1

λak

(πk)2 + λcos (kπx), B∗ ∈ W 2,2(0, 1).

Euler-Lagrange-Dgl.:

(i) lineares Modell:

−∆u + λu = λBF , (x , y) ∈ Ω,

mit Randbedingung ∇u · n|∂Ω = 0.

(i) ROF-Modell (TV-Minimierung):

−div( ∇u|∇u |2

)+ λu = λBF , (x , y) ∈ Ω,

mit Randbedingung ∇u · n|∂Ω = 0.

Bemerkungen:

(i) Divergenz des Normalenvektorfeldes ∇u(x,y)|∇u(x,y)|2

ist die Krümmung Kder Höhenlinie von u an der Stelle (x , y).

(ii) Ist K ∈ L2(Ω), so dürfen die Kantenmengen von u keine Eckenhaben.

Berechnung der Lösung von Variationsansätzen:

I. Primales Optimierungsproblem

II. Duales Optimierungsproblem

III. Primales-Duales Optimierungsproblem

IV.(a) Euler-Lagrange-Dgl. und ”lagged” Diffusion

1. Wähle u0

2. Für k = 0, 1, 2, . . . löse:

−div( ∇uk+1

|∇uk |2

)+ λuk+1 = λBF , (x , y) ∈ Ω,

mit Randbedingung ∇uk+1 · n|∂Ω = 0.

IV.(b) Euler-Lagrange-Dgl. → Anfangsrandwertproblem für u(t , x , y)

∂u∂t

− div( ∇u|∇u |2

)+ λu = λBF , (t , x , y) ∈ (0,∞) × Ω,

u(0, x , y) = u0(x , y)

∇u · n|∂Ω = 0

u(t0, x , y), t0 > 0 u(t1, x , y), t1 > t0 u(t2, x , y), t2 > t1

Gauß- vgl. Bilateral-Filter: Sei Gσ(r) =1

2σ√

πe− r2

4σ2 , (x , y) ∈ R2.

Faltung mit Gauß-Filter:

BG[m, k ] =∑

n,ℓ∈Z

Gσ(|(m − n, k − ℓ)|2)BF [n, ℓ], m, k ∈ Z.

Faltung mit Bilateral-Filter (Tomasi, Manduchi, 1998):

BB[m, k ] = C∑

n,ℓ∈Z

Gσ1(|(m−n, k−ℓ|2))Gσ2(|BF [m, k ]−BF [n, ℓ]|)BF [n, ℓ], m, k ∈ Z,

mit passendem Gewicht C > 0.

Bilateral-Filter:

Datenabhängiger Filter

Bilateral-Filter vgl. anisotrope Diffusion:

Originalbild gefaltet mit Bilateral-Filter