Από τον μεταπτυχιακό φοιτητή της 1ης κατεύθυνσης Μουζακίδη Αλέξανδρο

Α.Μ. Μ853

Παρουσίαση της δημοσίευσης

Photometric and Geometric Restoration of Document Images Using Inpainting and Shape-from-Shading

των ερευνητών

Li Zhang School of Computing, National University of SingaporeAndy M. Yip Department of Mathematics, National University of SingaporeChew Lim Tan School of Computing, National University of Singapore

Για το μεταπτυχιακό μάθημα Προηγμένη Τεχνητή Νοημοσύνη

Περιεχόμενα παρουσίασης

Αποκατάσταση της γεωμετρίας και του φωτισμού εγγράφων που έχουν ψηφιοποιηθεί από φωτογραφική μηχανή ώστε να διορθωθούν τα λάθη που προκύπτουν

•Εξαγωγή κειμένου και περιεχομένου•Παράγωγη εικόνας σκίασης•Φωτομετρική αποκατάσταση•Αποκατάσταση γεωμετρίας•Ανακατασκευή του έγγραφου

Πειραματικά αποτελέσματα

Αποκατάσταση της γεωμετρίας και του φωτισμού ενός έγγραφου

Απομάκρυνση κειμένου, σχημάτων με χρήση inpainting τεχνικών

Ψηφιακές inpainting και surface fitting τεχνικές για την εξαγωγή μιας ομαλής εικόνας σκίασης

Απομάκρυνση των σκιών από την αρχική εικόνα φωτισμού ώστε να μείνει μόνο η εικόνα με την ένταση της ανάκλασης.

Μόλις εξαχθεί η εικόνα σκίασης, μπορεί επίσης να χρησιμοποιηθεί για κατασκευή της 3Δ μορφής του έγγραφου χρησιμοποιώντας αλγόριθμους Shape From Shading (SFS).

Χρήση της αρχικής εικόνας ως texture πάνω στο 3Δ μοντέλο, αφαίρεση των γεωμετρικών αναδιπλώσεων του μοντέλου και αναδημιουργία της εικόνας με τεχνικές ξεδιπλώματος (flattening )

Αποκατάσταση της γεωμετρίας και του φωτισμού ενός έγγραφου

Εξαγωγή κειμένου και περιεχομένου

Πρέπει να δημιουργηθεί μια μάσκα που να εντοπίζει το χρώμα του υπόβαθρου

1)Μετατροπή της αρχικής εικόνας πλήρους χρώματος σε γκρίζας διαβάθμισης.2)Ανίχνευση άκμων με χρήση του αλγόριθμου canny edge 3)Εφαρμογή μορφολογικής διαστολής (morphological dilation)

Παράγωγη εικόνας σκίασης

Γέμισμα των κενών περιοχών που δημιούργησε η μάσκα με βάση τις τιμές των γειτονικών εικονοστασίων του υποβάθρου χρησιμοποιώντας harmonic and Total Variation (TV) inpainting

Harmonic

Total Variation

dxIdxIIIE 2

ΩΩ

20 ||λ)(χ)(

dxIdxIIIE ||λ)(χ)(ΩΩ

20

otherwise,0

1\x,1)( Hx

Όπου λ είναι ο συντελεστής εξομάλυνσης , Ω\ΩΗ είναι η περιοχή των κενών και πρέπει να βρεθεί ένα Ι που να ελαχιστοποιεί την Ε(Ι)

Μια fitted surface μπορεί να περιγραφεί ως

Εξαγωγή σκίασης-απομάκρυνση θορύβου

Η παραπάνω διαδικασία για την παραγωγή της εικόνας σκίασης μπορεί να έχει ως αποτέλεσμα μια εικόνα με θόρυβο

Απομάκρυνση θορύβου χρησιμοποιώντας αλγόριθμους surface fitting με radial basis functions (RBF). Ως radial basis function μπορεί να χαρακτηριστεί οποιαδήποτε πραγματική συνάρτηση της οποίας καλύπτει την σχέση φ(x,c) = φ(||x-c||) ,c είναι σταθερά.Είσοδος ενα σύνολο από 3Δ σημεία {(xi, f(xi)), i =1, 2, … ,m}

otherwise,0

1\x,1)( Hx

n

jjj yxhaxg

1

)()(

Όπου h είναι μια συνάρτηση ακτίνας βάσης και yi (i = 1…n) είναι ένα σύνολο από συσχετιζόμενα σημεία.

Σκοπός είναι να βρεθούν τα οι παράμετροι ai για τα οποία ελαχιστοποιείται το τετραγωνικό σφάλμα

2

1,...1

))()((min i

m

ii

anaxfxge

Εξαγωγή σκίασης-απομάκρυνση θορύβου

otherwise,0

1\x,1)( Hx

Στην παρούσα εργασία χρησιμοποιείται η συνάρτηση

22||x||h(x) c

Όπου το c είναι μια σταθερά

Tα πλεονεκτήματα της χρήσης τεχνικής με surface fitting και RBF είναι 1)Δίνει την παράγωγο της εικόνας ακριβέστερα από ότι υπολογιζόμενη με πεπερασμένες διαφορές,2) Αντίθετα από το πολυωνυμικό ταίριασμα, οι RBF είναι πιο εύκαμπτες και μπορούν να χρησιμοποιηθεί για να αναπαραστήσουν πιο περίπλοκες επιφάνειες.

Φωτομετρική αποκατάσταση

Θεωρείται ότι οι επιφάνειες είναι Lambertian οπού η ένταση φωτισμού της εικόνας είναι παράγωγο μόνο της έντασης σκίασης και της έντασης ανάκλασής.

Αν υποθέσουμε ότι έχουμε το HSB πρότυπο χρωματισμού I = Is ・ Ir

Αν γνωρίζουμε τη ένταση σκίασης Is η ένταση ανάκλασης θα υπολογίζεται από το τύπο

Ir = elog I−log Is Η φωτομετρικά αποκατεστημένη εικόνα υπολογίζεται από το τύπο

Ip = k ・ Ir, όπου k ∈ [0, 1].

otherwise,0

1\x,1)( Hx

Αποκατάσταση γεωμετρίας

Χρήση τεχνικής shape from shading πάνω στην εικόνα σκίασης με την υπόδεση ότι το έγγραφο ψηφιοποιήθηκε με προοπτική προβολή.

Με την υπόθεση ότι η επιφάνεια εγγράφου ακολουθεί την αντανάκλαση Lambertian, έχουμε την εξίσωση ακτινοβολίας εικόνας ως εξής:

(u,v) είναι οι κοινωνικοποιημένες συντεταγμένες της εικόναςΙ(u,v) είναι η ένταση στο εικονοστοιχείο u,v(−p,−q, 1) είναι το κανονικό διάνυσμα της επιφάνειας F είναι το εστιακό μήκος (focal length), δηλαδή την απόσταση από το οπτικό κέντρο στο σημείο εστίασης

Όπου z είναι η απόσταση του σημείου x,y της επιφάνειας από το επίπεδο u-v

22222 1p

qv-pu-v)Ι(u,

fvuq

f

v

zu

zp

q

Αποκατάσταση γεωμετρίας – Πέρασμα 1 Viscosity Framework

Η εξίσωση ακτινοβολίας εικόνας ξαναγράφεται σαν στατική εξίσωση Hamilton-Jacobi

Ω είναι το επίπεδο της εικόνας, Γ είναι ένα υποσύνολο των σημείων του Ω όπου η τιμή z(u, v) ονομάζεται ως B(u, v), και καλείται συνοριακή τιμή αλλά μπορεί να βρίσκονται και στο εσωτερικό της εικόνας Ω.

Χρησιμοποιώντας μία επαναληπτική μέθοδο για την εύρεση των z(u, v) βασισμένη στoν τύπο Lax-Friedrichs Hamiltonian υπολογίζονται

(Δu,Δv) είναι το μέγεθος του πλέγματος, σu,σv τα τεχνητά viscosities

Γ),(,0),(

),(),,(),,(

vuvuz

vuvuRzvuH

f - qv pu f v u1 q pIz) v,H(u, 22222

Δv2,

Δu2

Δv2,

Δu2

)σσq)H(p,-v)R(u,(

Δv

σ

Δu

σ1

z

1,1,,1,1

1,1,,1,1

vuvu

1bvu,

vuvum

vuvum

vuvuvuvu

mm

zzu

zzu

zzq

zzp

vu

222p

pp,

qp,v,u,upp,

qp,v,u,u

I

|}} v. I||, v I{max{||q

|max σ,|}}u . I||,u I{max{|||max σ maxmax

fvuI

H

p

H

vuvu

Αποκατάσταση γεωμετρίας – Πέρασμα 1 Viscosity Framework

Η επαναληπτική μέθοδος είναι βασισμένη σε ένα γρήγορα επαναληπτικό σχήμα Κατ' αρχάς, υπολογίζονται οι τιμές των όρων B(u, v). Έπειτα, τα z(u, v) ενημερώνεται με τη σάρωση του πλέγματος από τις τέσσερις εναλλασσόμενες κατευθύνσεις. Τέλος, μετά από κάθε .σάρωση οι τιμές ύψους αξιολογούνται στα όρια όπου ο τύπος αναπροσαρμογών αποτυγχάνει να υπολογίσει. Η πολυπλοκότητα είναι O(N) όπου το N είναι ο αριθμός σημείων πλέγματος.

Αποκατάσταση γεωμετρίας – Πέρασμα 2 Ελαχιστοποίηση με κοινωνικοποίηση

Το πρώτο πέρασμα παράγει τα ιξώδη( viscosities ) τού SFS προβλήματος αλλά η υπαρξη θορηβου στην εικόνα σκίασης πολλές φορές προκαλεί μεγάλα σφάλματα.Τα αποτελέσματα του πρώτου περάσματος μπορούν να χρησιμοποιηθούν σε μια μέθοδο ελαχιστοποίησης αλγορίθμου SFS με συνάρτηση για τον υπολογισμό των p,q

Ω

22

Ω Ω

2

i2

1 ]|[|[λλ|v)E(u,-p)I(q,|),(F dudvqpdudvu

q

u

pdudvpq s

I(p, q) η ακτινοβολίαE(u, v) είναι η ένταση εικόνας, λi συντελεστής της integrability και λs συντελεστής εξομάλυνσηςΓια των υπολογισμό των υψών z στα αντίστοιχα q και p χρησιμοποιείται η συνάρτηση

dydvqv

zp

u

zz

Ω

222 )()()(F

Περνάει ως είσοδος τα αποτελέσματα των (p, q) από το πρώτο πέρασμα και επαναλαμβάνεται μια διαδικασία για των υπολογισμό καλύτερων (p, q)m που ελαχιστοποιούν την F1 που είναι είσοδος της F2 και παίρνουμε νέα ύψη z.

Physically-based Flattening

Χρήση της διορθωμένης ως προς τον φωτισμό εικόνας έγγραφου ως ύφη (texture)Χαρτογράφηση της υφής (texture mapping) πάνω στο 3Δ ανακατασκευασμένο σχήμα Η χαρτογράφηση γινεταί χρησιμοποιώντας τον μετασχηματισμό της προοπτικής προβολήςx/u = y/v = z/f.

Το ξεδίπλωμα του 3Δ μοντέλου θα δώσει την διορθωμένη εικόνα.

Πειραματικά αποτελέσματα

(a) Original warped image (b) Inpainting mask; (c) Extracted shading imageafter surface fitting; (d) Reconstructed shape after pass I; (e) Shape after pass II;(f) Surface mesh with texture; (g) Photometrically restored image with k = 0.9; (h) Geometrically restored image; (i) Final restored image.

(a) (b) (c)

(d) (e)

(g) (h)

(f)

(i)