Υπολογιστική Όραση

Computational Imaging Laboratory

Υπολογιστική Όραση

ΤΜΗΥΠ

ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ

ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

Υπολογιστική ΌρασηΠαραμετρικές Τεχνικές

Area-based (direct) τεχνικές– Αντιστοίχιση βασισμένη στην ένταση φωτεινότητας

όλων των εικονοστοιχείων της ROI Απευθείας αναζήτηση παραμετρικού μοντέλου

Featured-based τεχνικές– Αντιστοίχιση βασισμένη σε επιλεγμένα

χαρακτηριστικά (γωνίες, ακμές) της ROI Χρήση τελεστή αναγνώρισης χαρακτηριστικών Αντιστοίχιση κοινών χαρακτηριστικών Χρήση παραμετρικού μοντέλου για τη συνολική

αντιστοίχιση δοθείσης της αντιστοίχισης χαρακτηριστικών

Παραμετρικό μοντέλο

Αντιστοίχιση

Αντιστοίχιση

Παραμετρικόμοντέλο

Παράδειγμα

Υπολογιστική ΌρασηArea-based παραμετρικές τεχνικές

Ορισμός παραμετρικού μοντέλου– Βάσει της φύσης και των απαι-

τήσεων του προβλήματος

Ορισμός συνάρτησης κόστους

Βελτιστοποίηση συνάρτησης κόστους– Υπολογισμός των παραμέτρων που

βελτιστοποιούν τη συνάρτηση κό-στους

1 2 3

4 5 6

1 2 6

( ; ) ,

[ , ] , [ , ,..., ]t t

p p p xW

p p p y

x y p p p

x p

x p

2

1 2( ) ( ; )E I I W

x ROI

p x x p

min ( )Ep

p

Υπολογιστική ΌρασηΤεχνικές Βελτιστοποίησης

Μέθοδοι πλήρους αναζήτησης (full search)– Αναλυτική αναζήτηση των Ν παραμέτρων στον Ν-Δ χώρο– (-) Υψηλό υπολογιστικό κόστος– (-) Πεπερασμένη ακρίβεια– (+) Αντιστάθμιση μεγάλων μετατοπίσεων

Μέθοδοι βασισμένες στην κλίση της έντασης των εικόνων (gradient-based)– (+) Μεγαλύτερη ακρίβεια (θεωρητικά ίση με το eps της μηχανής)– (+) Μικρό υπολογιστικό κόστος– (+) Δυνατότητα χρήσης επαναληπτικού σχήματος

εγκλωβισμός– (-) Αδυναμία διαχείρισης μεγάλων μετατοπίσεων

Χρήση πυραμιδικού σχήματος Υβριδικές μέθοδοι

Υπολογιστική ΌρασηΓενικό πρόβλημα Ευθυγράμμισης εικόνων

Ορισμός παραμετρικού μοντέλου W(x;p)– x=[x,y]t, p=[p1,p2,…,pn]t

Ορισμός μέτρου ομοιότητας μεταξύ:• εικόνας αναφοράς IR (reference image) και

γεωμετρικά παραμορφωμένης εικόνας IW (warped image)

– Αντιστάθμιση φωτομετρικών παραμορφώσεων

Υπολογιστική ΌρασηΑντιστάθμιση φωτομετρικών παραμορφώσεων (contrast-brightness)

2

1 2 1 2( , , ) ( ) ( ( ; ))FM r wROI

E a a I a I T a

x

p x x p

2

1 2 1 2( , , ) ( ) ( ( ; ))LK r wROI

E a a a I a I T

x

p x x p

1 21 2

, ,min ( , , )LKa a

E a ap

p

1 21 2, ,

min ( , , )FMa aE a a

pp

Lucas – Kanade ‘81

Fuh – Maragos ‘91

ECC ‘08

( ( ; ))ˆ( ) ( )( ( ; ))

t wr

w

T

T

i x pp i x

i x p

max ( )p

p Επαναληπτικός αλγόριθμος

Επαναληπτικός αλγόριθμος

Αξαντλητική Αναζήτηση

Υπολογιστική ΌρασηΣχέση μεταξύ αλγορίθμων

Ελαχιστοποίηση ως προς τις φωτομετρικές παραμορφώσεις (separable variables)

– LK:

– FM:

1 2

22

1 2, ,

ˆmin ( , , ) min ( ) 1 ( )LK wa a

E a a p p

p i p p

1 2

22

1 2, ,

ˆmin ( , , ) min 1 ( )FM ra a

E a a p p

p i p

Κανένα από τα δύο προβλήματαδεν είναι ισοδύναμο με το

max ( )p

p

Μόνη περίπτωση ισοδυναμίας:

1 21 20, ,

min ( , , ) max ( )FMa aE a a

p pp p

Υπολογιστική ΌρασηΑλγόριθμος ECC – Βασική ιδέα

Κανόνας ενημέρωσης:

Προσέγγιση

η Ιακωβιανή μήτρα του ως προς τις παραμέτρους

Ακολουθία υποδεέστερων μη γραμμικών προβλημάτων βελτιστοποίησης

0 p p p

0 2

ˆ ˆ( ) ( ; )

2

t tr w r

t t tww ww

i i i G pp p p

i i G p p G G p

G wi

0 0( ) ( ) ( )w w i p i p G p p

1max ( ; )j

j j

pp p

Η συνάρτηση μεγιστοποιείται για

• Αν τότε το είναι ολικό μέγιστο για

όπου• Αν τότε το είναι το άκρο ενός διαστήματος και το μπορεί να πάρει οποιαδήποτε τιμή ικανοποιεί τους περιορισμούς

Υπολογιστική ΌρασηΥπολογισμός βέλτιστης λύσης

ˆ ( ) 0tr N G ww i I P i

p

ΘΕΩΡΗΜΑ

1 ˆt tr ww

p G G G i i

1( ; )j j p p

p2

ˆ ˆ

tw w G ww

t tr ww r G w

i i P i

i i i P i

ˆ ( ) 0tr N G ww i I P i

1t tG

P G G G G

1 1( ; ) ( ; )oj j j p p 0 p

1( ; ) 0oj j p p

Υπολογιστική ΌρασηΥπολογισμός βέλτιστης λύσης

Μια ικανή συνθήκη για να ισχύουν οι περιορισμοί είναι:

όπου

,

ΛΗΜΜΑ

1 2max ,

1 ˆ

tw G wwtr G r

i P i

i P i2

ˆ ˆ

ˆ

t tr G w r w

tr G r

i P i i i

i P i

Υπολογιστική ΌρασηΒήματα Αλγορίθμου FA-ECC

Αρχικοποίηση p0

– j=1 Επαναληπτική διαδικασία

1. Υπολόγισε την εικόνα Iw(W(x;pj-1))

2. Υπολόγισε την Ιακωβιανή μήτρα G(pj-1)

3. Υπολόγισε τη βέλτιστη λύση Δpj σύμφωνα με το θεώρημα και το λήμμα

4. Ενημέρωσε τις παραμέτρους pj=pj-1+Δpj

– Αν ||Δpj||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

Υπολογιστική ΌρασηΑντίστροφο πρόβλημα – Σύνθεση μετασχηματισμών

Αντίστροφο πρόβλημα [Hager-Belhumeur ’98]– Υπολόγισε πως πρέπει να μετασχηματίσεις την

IR για να αντιστοιχιστεί με την IW – Εφάρμοσε τον αντίστροφο μετασχηματισμό

στην IW

Σύνθεση μετασχηματισμών [Shum-Szeliski ’00]– Κανόνας ενημέρωσης

W(x;pj)=W(x;pj-1)oW(x;Δpj)

H Hessian μήτρατης βέλτιστης λύσηςγίνεται ανεξάρτητητων παραμέτρων

H Ιακωβιανή του μετασχηματισμού

γίνεται ανεξάρτητητων παραμέτρων

Υπολογιστική ΌρασηΒήματα Αλγορίθμου IC-ECC

Αρχικοποίηση p0

– j=1– Υπολόγισε την Ιακωβιανή μήτρα Gr(pj-1) και τον αντίστροφο

(GrTGr)-1

Επαναληπτική διαδικασία1. Υπολόγισε την εικόνα Iw(W(x;pj-1)

2. Υπολόγισε τη βέλτιστη λύση Δpj σύμφωνα με το θεώρημα και το λήμμα

3. Ενημέρωσε τo μοντέλο W(x;pj)=W(x;pj-1)oW(x;Δpj)-1

Αν ||Δpj||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

Υπολογιστική ΌρασηΕπαναληπτικοί Αλγόριθμοι-Σύγκριση

Πολυπλοκότητα(Ν: αριθμός παραμέτρων

Κ: αριθμός εικονοστοιχείων)

ΔυνατότηταΕφαρμογής

Ευαισθησία στο θόρυβο

Lucas-Kanade ’81 (Forwards Additive LK)

O(KN2) Οποιοδήποτεμοντέλο

Μικρή

Haager-Belhumeur ’98 (Inverse Additive LK)

O(KN) Γραμμικό 2-Δ Μεγάλη

Shum-Szeliski ’00(Forwards – Compositional LK)

O(KN2) Ημι-ομάδα Μικρή

Baker-Matthews ’04 (Inverse Compositional LK)

O(KN) Ομάδα Μεγάλη

FA-ECC (2008) O(KN2) Οποιοδήποτεμοντέλο

Μικρή

IC-ECC (2008) O(KN) Ομάδα Μεγάλη

Υπολογιστική ΌρασηΠειραματική Διαδικασία

Μετασχηματισμός Συγγένειας

– Γραμμικός

Ιακωβιανή

– Ανεξάρτητη από τις παραμέτρους

Μετασχηματισμός Προβολής

– Μη-γραμμικός– P≠0

Ιακωβιανή

– Συνάρτηση των παραμέτρων

1 2 3

4 5 6

( ; )1

p p pT

p p p

xx p

1 2 3

4 5 6

7 8

1' ( ; )

1

1, ' [ ', ']t

p p pT

p p pP

P p x p y x y

xx x p

x

1 0 0 0 ' '( ; ) 1

0 0 0 1 ' '

x y x x x yT

x y y x y yP

x p

p

1 0 0 0( ; ) 1

0 0 0 1

x yT

x yP

x p

p

Υπολογιστική ΌρασηΠειραματική Διαδικασία

Δημιουργία εικόνων προς αντιστοίχιση (Simon-Baker ’04)– Θεώρηση συστήματος συντεταγμένων– Επιλογή 4(3) κανονικών σημείων– Προσθήκη θορύβου Ν(0,σp

2) στις συντεταγμένες– Ανάκτηση του μετασχηματισμού προβολής

(συγγένειας) pr

– Μετασχηματισμός συντεταγμένων και παρεμβολή της αρχικής εικόνας για τη δημιουργία εικόνας αναφοράς

– Αρχικοποίση p0=0 και εκκίνηση διαδικασίας αντιστοίχισης IwIR

Σφάλμα αντιστοίχισης

– C: σύνολο κανονικών σημείων– Κριτήριο σύγκλισης:

Μέτρα αξιολόγησης αλγορίθμων– Μέση τετραγωνική απόσταση MSD (μέση τιμή σφάλματος αντιστοίχισης)

ως συνάρτηση του αριθμού επαναλήψεων– Πιθανότητα σύγκλισης (PoC) ως συνάρτηση της απόκλισης σp

Υπολογιστική ΌρασηΠειραματική αξιολόγηση αλγορίθμων

21( ) ( ; ) ( ; )

8(6) r jC

e i T T

x

x p x p

2max( ) 1pixele i

( )e i

Υπολογιστική ΌρασηΑποτελέσματα προσομοίωσης

Χαρακτηριστικά– Μετασχηματισμός

συγγένειας– Απουσία θορύβου– 5000 υλοποιήσεις– 15 επαναλήψεις

Σύγκριση αλγορίθμων– Γρηγορότερη σύγκλιση– Μεγαλύτερη πιθανότητα

σύγκλισης

2p





σύγκλισης

6p





σύγκλισης

10p





σύγκλισης





σύγκλισης

6p

10p

2p

Χαρακτηριστικά– Μετασχηματισμός προβολής– Απουσία θορύβου– 5000 υλοποιήσεις– 15 επαναλήψεις


σύγκλισης



Χαρακτηριστικά– Μετασχηματισμός συγγένειας– Προσθετικός θόρυβος Ν(0,σi

2) (σi=8 gray levels)

– 5000 υλοποιήσεις– 15 επαναλήψεις

Σύγκριση αλγορίθμων– Γρηγορότερη σύγκλιση– Μεγαλύτερη πιθανότητα σύγκλισης

2p






6p






10p


6p

10p

2p Χαρακτηριστικά– Μετασχηματισμός συγγένειας– Προσθετικός θόρυβος Ν(0,σi





Χαρακτηριστικά– Μετασχηματισμός προβολής– Προσθετικός θόρυβος Ν(0,σi




σύγκλισης


Χαρακτηριστικά– Προσθετικός θόρυβος Ν(0,σi


– 500 υλοποιήσεις– 15 επαναλήψεις– Παραμόρφωση συγγένειας– Υπερ-μοντελοποίηση

Πλεονεκτήματα ECC– Καλύτερη συμπεριφορά σε

περιπτώσεις υπερ-μοντελοποίησης – Γρηγορότερη και πιθανότερη

σύγκλιση

Υπολογιστική ΌρασηΦωτομετρικές Παραμορφώσεις-Προσομοίωση

Μετασχηματισμός προβολής Φωτομετρική παραμόρφωση:

– – Γραμμική (γ=1)– Μη – γραμμική

Προσθήκη θορύβου Ν(0,σi2)

1 2( )I a I a

(0,1)w N


γ=1, σi=12, α1=0,75

Παραμόρφωση εικόνας αναφοράς Παραμόρφωση εικόνας μετασχηματισμού

1 2( )I a I a


γ=0.9, σi=12, α1=0,75

1 2( )I a I a



Solid: γ =1, σi=8, α1=1

1 2( )I a I a


Dashed:γ=1, σi=12, α1=1.5


Solid: γ =0.9, σi=8, α1=1

1 2( )I a I a


Dashed:γ=0.9, σi=12, α1=1.5

Υπολογιστική ΌρασηΣυμπεράσματα

Σύγκριση FA-ECC και FA-LK– Μεγαλύτερη πιθανότητα σύγκλισης– Σύγκλιση σε χαμηλότερο επίπεδο

Αρκετά μεγαλύτερη ακρίβεια– Ίδιο υπολογιστικό κόστος– Καλύτερη συμπεριφορά σε περιπτώσεις υπερ-μοντελοποίησης– Ποιο ανθεκτικός σε μη γραμμικές φωτομετρικές παραμορφώσεις

Σύγκριση IC-ECC και SIC– Σχετικά παρόμοια ακρίβεια λύσης και πιθανότητα σύγκλισης– Σχετικά μικρότερο υπολογιστικό κόστος

Δεν απαιτείται η εκτίμηση φωτομετρικών παραμέτρων– Παρόμοια ευαισθησία στο θόρυβο

Υπολογιστική Όραση

Documents

Transcript of Υπολογιστική Όραση