Computational Imaging Laboratory

Υπολογιστική Όραση

ΤΜΗΥΠ

ΕΡΓΑΣΤΗΡΙΟ ΕΠΕΞΕΡΓΑΣΙΑΣ

ΣΗΜΑΤΩΝ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

Στερεοσκοπική Αντιστοίχιση Ανασταλτικοί Παράγοντες Βασικές Υποθέσεις Μοντέλο κάμερας Προβολική Γεωμετρία Τεχνικές Στερεοσκοπικής Αντιστοίχισης

Υπολογιστική ΌρασηΕπισκόπιση Μαθήματος

Γενικό πρόβλημα: Αντιστοίχισε το προφίλ αναφοράς I(x,y) με τo προφίλ εισόδου J(x,y)

Πρόβλημα I(x,y) J(x,y) Σκοπός

Στερεοσκοπική Αντιστοίχιση(Stereo Correspondence)

Αριστερή εικόναL(x,y)

Δεξιά εικόναR(x,y)

Χάρτης Ανομοιότητας

Υπολογιστική ΌρασηΣτερεοσκοπική Αντιστοίχιση

Υπολογιστική ΌρασηΒασικό ερώτημα (Γενική Περίπτωση)

Δοθέντων δύο εικόνων, – ποια είναι τα αντίστοιχα σημεία τους;

Αντίστοιχα σημεία: προβολές του ίδιου σημείου της σκηνής στις εικόνες– ποιος είναι ο μετασχηματισμός, που εφαρμοζόμενος στη μία εικόνα, παρέχει

την άλλη; Η γεωμετρία του χώρου και ο προσανατολισμός του(ων)

αισθητήρα(ων) όρασης δεν είναι γνωστά Μόνη πηγή πληροφορίας: η ένταση φωτεινότητας των εικόνων

Υπολογιστική ΌρασηΑνασταλτικοί παράγοντες

Ψηφιακή Εικόνα– Θόρυβος καταγραφής– 1 εικονοστοιχείο αντιστοιχεί σε πολλά σημεία της

σκηνής Προοπτίκη Προβολή

– Προβολή 3D σε 2D (απώλεια πληροφορίας) Κίνηση Κάμερας/Σκηνής

– Παραμόρφωση αντικειμένων Μη ομοιόμορφος (φυσικός) φωτισμός

– -Μη λαμπερτιανές επιφάνειες Ασυνέχειες Βάθους

– Ημι-αποκλεισμένες περιοχές Παραμόρφωση φακού

– Ευθείες μετατρέπονται σε καμπύλεςΤιμή Pixel

Περιοχή

pixel

Λαμπερτιανήεπιφάνεια

Μη λαμπερτιανήεπιφάνεια

Σταθερή ένταση φωτεινότητας (Brightness Constancy Assumption) [Horn and Schunk ‘81]

– Ένα σημείο της σκηνής απεικονίζεται με την ίδια ένταση φωτεινότητας σε όλες τις εικόνες

– Αδυναμία ισχύος σε πρακτικές εφαρμογές– Καλή προσέγγιση αν

t2-t10 Δx0 Δy0 Video με μεγάλο fps

0 0 1 0 0 2( , , ) ( , , )I x y t I x x y y t

2( , , )I x y t

1( , , )I x y t

x0,y0

Δx

Δy

1 2( , , ) ( , , )

( , )

I x y t I x x y y t

x y ROI

ROI

Υπολογιστική ΌρασηΒασική Υπόθεση

Υπολογιστική ΌρασηΜοντέλο Κάμερας

Υπολογιστική ΌρασηΠροβολική Γεωμετρία

f

X

P Y

Z

x

p y

f

∏x

p y

f

Υπολογιστική ΌρασηΣυμβολισμοί

O – Εστιακό Κέντρο

π – Επίπεδο Εικόνας

Z – Οπτικός Άξονας

f – Εστιακή Απόσταση

π

(Χ,Υ,Ζ)

Υπολογιστική ΌρασηΠροβολή

x y f

X Y Z

fx

y

ZX

Y

(Χ,Υ,Ζ)

Υπολογιστική ΌρασηΣυστήματα Δύο Αισθητήρων

Επιπολικές γραμμές

Τυχαίος Προσανατολισμός Αισθητήρων

Υπολογιστική ΌρασηΚανονικό Στερεοσκοπικό Σύστημα

Παράλληλοι οπτικοί άξονες Οι οριζόντιοι άξονες (x) των δύο συστημάτων

ταυτίζονταιΕπιπολικές γραμμές

Οι επιπολικές γραμμές ταυτίζονται με τις γραμμές των εικόνων

Κανονικός Προσανατολισμός

Υπολογιστική ΌρασηΚανονική Διάταξη Αισθητήρων

Η Αρχή του Σ.Σ. στο μέσο του Ε.Τ. που ενώνει τα οπτικά κέντρα

( / 2),

( / 2),

( ) ( ),

2 2

l l

r r

l r

l r l r

l r l r l r

f X b fYx y

Z Zf X b fY

x yZ Z

fbx x

Zb x x b y y fb

X Y Zx x x x x x

Υπολογιστική ΌρασηΑνομοιότητα (Disparity)

Η διαφορά ονομάζεται ανομοιότητα Το d είναι αντιστρόφως ανάλογο του Ζ Το d είναι ανάλογο του b

l r

fbZ

x x

l rd x x

Υπολογιστική ΌρασηΣτερεοσκοπική Αντιστοίχιση

Υπολογισμός ανομοιότητας ως προς την εικόνα αναφοράς (π.χ. αριστερή)

– Ανομοιότητα: η απόσταση σε εικονοστοιχεία συζυγών ζευγών όταν τοποθετήσουμε τη μία εικόνα πάνω από την άλλη

Αναζήτηση συζυγών ζευγών (αντιστοίχων σημείων) κατά μήκος των επιπολικών γραμμών

Επιλογή κανονικού συστήματος( , ) ( , )

0

left rightI x y I x dx y

dx

( , ) ( , )left rightI x y I x dx y dy

0dy

Υπολογιστική ΌρασηΜέθοδοι Στερεοσκοπικής Αντιστοίχισης

Τοπικές μέθοδοι (pixel-wise)– Απαραίτητη χρήση παραθύρου (window-based)– Επιλογή αντίστοιχου σημείου από πολλά υποψήφια

(winner takes all) Ημι-ολικές μέθοδοι

– Δυναμικός προγραμματισμός (row by row)– Αναζήτηση βέλτιστου μονοπατιού στο επίπεδο

Ολικές μέθοδοι– Αναζήτηση βέλτιστης επιφάνειας στο χώρο

ανομοιότητας (disparity space image)

Χάρτης Ανομοιότητας

Ομα

λότη

τα

(-)

(+)

Ακρ

ίβει

α

(+)

(-)

Πολ

υπλο

κότη

τα

(+)

(-)

Υπολογιστική ΌρασηΤοπικές μέθοδοι

100 100

50 50L R

Ελάχιστοd(100,50)=4

d(100,50)=4L(100,50)=R(96,50) E(d)

Υπολογιστική ΌρασηΣτερεοσκοπική Αντιστοίχιση

Υπολογισμός ανομοιότητας ως προς την εικόνα αναφοράς (π.χ. αριστερή)

– Ανομοιότητα: η απόσταση σε εικονοστοιχεία συζυγών ζευγών όταν τοποθετήσουμε τη μία εικόνα πάνω από την άλλη

Αναζήτηση συζυγών ζευγών (αντιστοίχων σημείων) κατά μήκος των επιπολικών γραμμών

Επιλογή κανονικού συστήματος( , ) ( , )

0

left rightI x y I x dx y

dx

( , ) ( , )left rightI x y I x dx y dy

0dy

Υπολογιστική ΌρασηΠεριορισμοί και Υποθέσεις

Περιορισμοί– Μοναδικότητα: κάθε σημείο της αριστερής εικόνας έχει μοναδικό

αντίστοιχο στη δεξιά Υποθέσεις

– Σειρά προβολής: η σειρά εμφάνισης δύο σημείων στην αριστερή και δεξιά εικόνα δεν αλλάζει.

– Η ανομοιότητα σε γειτονικά σημεία δεν μπορεί να ποικίλει έντονα

μειώνει το χώρο αναζήτησης αντίστοιχων σημείωνΗ υϊοθέτηση

περιορισμών και υποθέσεων μπορεί να προκαλέσει

διάδοση σφαλμάτων

:-) :-(

Υπόθεση: Σειράς προβολής

Υπολογιστική ΌρασηΠεριορισμοί και Υποθέσεις

Υπολογιστική ΌρασηΥπόθεση Σειρας Προβολής

Περιοχές μη έντονης υφής Ασυνέχειες Βάθους

ΠεριοδικότητεςΦωτομετρικές Παραμορφώσεις

Υπολογιστική ΌρασηΠροβλήματα-Ανασταλτικοί Παράγοντες

Υπολογιστική ΌρασηΑκρίβεια χάρτη ανομοιότητας

Παρεμβολή στη συνάρτηση έντασης φωτεινότητας– Δημιουργία εικόνων υψηλότερης ανάλυσης

Αντιστοίχιση στο πεδίο συχνοτήτων– Χρήση πληροφορίας φάσης

Παρεμβολή στη συνάρτηση κόστους– Πολυωνυμική παρεμβολή

Διαφορική αντιστοίχηση– Χρήση πληροφορίας παραγώγου/κλίσης

Ακρ

ίβει

α

(-)

Υπο

λογι

στικ

όκό

στος

(+)

(-)(+)

Υπολογιστική ΌρασηΠαρεμβολή και Διαφορική Αντιστοίχιση

Παρεμβολή της συνάρτηση κόστους [Anandan ’89]– π.χ. παρεμβολή 2ου βαθμού

– Βέλτιστη ανομοιότητα: d0+t

Διαφορική αντιστοίχιση [Lucas-Kanade ’81]– Χρήση Taylor expansion

– επαναληπτική διαδικασία

0 0

0 0 0

( 1) ( 1)

4 ( ) 2 ( 1) 2 ( 1)

C d C dt

C d C d C d

d0 d0-1d0+1

θέση ελαχίστου

t

C(d)

Αρχικοποίηση:Εκτίμηση:

ενημέρωση( )

( , ) ( , ) ( , ) . . .RL R R

I x dI x y I x d d y I x d y d h o t

x

Υπολογιστική ΌρασηΤροποποιημένος συντελεστής συσχέτισης-ECC

Συντελεστής συσχέτισης

– Ακρίβεια εικονοστοιχείου

Πυρήνας παρεμβολής

Ενσωμάτωση πυρήνα στο συντελεστή συσχέτισης

– Ακρίβεια μικρότερη του εικονοστοιχείου– Ανεξαρτησία από γραμμικές φωτομετρικές παραμορφώσεις

, ˆ ˆ( ) ( , ) ( , )tn m L Rd n m n m d w w

W7x7

n

3, 3

2, 3

3, 3

( , )

n m

n m

n m

W

Wn m

W

w

m,0max ( )n m

d Dd

( , ) ( , ) ( , ) ( , 1)R R R Rw n m w n m w n m w n m ( , ) ( , )

ˆ ( , )( , ) ( , )

n m n mn m

n m n m

w w

ww w

, ˆ ˆ( , ) ( , ) ( , )tn m L Rd n m n m d w w Πρόβλημα Βελτιστοποίησης

,0max max ( , )n m

d Dd

Υπολογιστική ΌρασηΒελτιστοποίηση ECC

Συνάρτηση κόστους:

όπου ,

Δοθέντος d0,

Κλειστού τύπου λύση οδηγεί σε μηδαμινή αύξηση της πολυπλοκότητας

0max ( )d

1

2 2( )

(1 2 ) 2(1 ) 1

d d dd

r r

( , 1) ( , 1)

( , ) ( , )R R

R R

n m d w n m d

n m d w n m d

w

wˆ ˆ( , ) ( , 1)t

R Rr n m d n m d w w

Θεώρημα:

Η συνάρτηση παρουσιάζει μοναδικό ακρότατο στη θέση

Το ακρότατο αυτό αντιστοιχεί σε ολικό μέγιστο, αν και μόνο αν ο παρανομαστής του είναι αρνητικός. Στην περίπτωση αυτή, η μέγιστη τιμή της συνάρτησης είναι:

0 0 0 0

0

2 21 1

2

2( )

(1 )d d d d

d

r

r

0( )d

0 0

0 0 0 0

1

1 1

.( )

d d

d d d d

r

r r

Υπολογιστική ΌρασηΥπολογισμός Βέλτιστης Λύσης

Υπολογιστική ΌρασηΑποτελέσματα Προσομοίωσης

( , ) 120sinc( ( 50,1))sinc( ( 50,1))

( , ) ( , )

x y

j

R i j k i k j

L i j R i j t

2 21 1( , ) cos cos

2 4

( , ) ( , )j

i jR i j

P P

L i j R i j t

Form I

Form II

Τεχνητές εικόνες

NCC ENCCti=0.4333ti=0.4333

Ολική Μετατόπιση

Εικόνων

Υπολογιστική ΌρασηΣτερεοσκοπικές Εικόνες

Venus

Map

Sawtooth

Αριστερή εικόνα Δεξιά εικόναΧάρτης

ΑνομοιότηταςΑσυνέχειες

Αποκλεισμοί

Τύπος μέτρησης σφάλματος

– Περιοχή ενδιαφέροντος:

( , )

1( , ) ( , )C G

x y

B d c y d x yN

RRR

( , )Cd x y( , )Gd x y

NR

: εκτίμηση ανομοιότητας

: πραγματική ανομοιότητα

: μέγεθος περιοχής ενδιαφέροντος

R D OD : περιοχή ασυνεχειών

O: περιοχή αποκλεισμών

ΑρχικέςΕικόνες

Φωτομετρικάπαραμορφωμένεςεικόνες

ENCC

NCC

Λανθασμένεςαντιστοιχίσεις(δ=1) χωρίς τη

διόρθωση τ

%BR

%BR

Υπολογιστική ΌρασηΑποτελέσματα Προσομοίωσης

Pixel locking effect (Shimizu-Okutomi ’01)– Η τάση της κατανομής εκτιμήσεων να δημιουργεί λοβούς γύρω από

ακέραιες τιμές– Μερική ακύρωση του φαινομένου με πρωθύστερη δράση

NCC

SOMENCC

Ground

Κατανομή εκτιμήσεων ανομοιότητας στην περιοχή [15-,17+] για την εικόνα Sawtooth

SOM: Shimizu-Okutomi Modification

Υπολογιστική ΌρασηΑποτελέσματα Προσομοίωσης

Εύρωστη σε φωτομετρικές παραμορφώσεις Παροχή ανομοιοτήτων με ακρίβεια μικρότερη του

εικονοστοιχείου Μικρό υπολογιστικό κόστος

– Κλειστού τύπου λύση Απαλλαγή από το pixel locking effect Χρήση της βέλτιστης λύσης ως ανιχνευτή προβληματικών

σημείων (ημι-αποκλεισμένες περιοχές)

Υπολογιστική ΌρασηΣυμπεράσματα

Υπολογιστική ΌρασηΠαραμετρικές Τεχνικές

Area-based (direct) τεχνικές– Αντιστοίχιση βασισμένη στην ένταση φωτεινότητας

όλων των εικονοστοιχείων της ROI Απευθείας αναζήτηση παραμετρικού μοντέλου

Featured-based τεχνικές– Αντιστοίχιση βασισμένη σε επιλεγμένα

χαρακτηριστικά (γωνίες, ακμές) της ROI Χρήση τελεστή αναγνώρισης χαρακτηριστικών Αντιστοίχιση κοινών χαρακτηριστικών Χρήση παραμετρικού μοντέλου για τη συνολική

αντιστοίχιση δοθείσης της αντιστοίχισης χαρακτηριστικών

Παραμετρικό μοντέλο

Αντιστοίχιση

Αντιστοίχιση

Παραμετρικόμοντέλο

Παράδειγμα

Υπολογιστική ΌρασηArea-based παραμετρικές τεχνικές

Ορισμός παραμετρικού μοντέλου– Βάσει της φύσης και των

απαιτήσεων του προβλήματος

Ορισμός συνάρτησης κόστους

Βελτιστοποίηση συνάρτησης κόστους– Υπολογισμός των παραμέτρων που

βελτιστοποιούν τη συνάρτηση κόστους

1 2 3

4 5 6

1 2 6

( ; ) ,

[ , ] , [ , ,..., ]t t

p p p xW

p p p y

x y p p p

x p

x p

2

1 2( ) ( ; )E I I W

x ROI

p x x p

min ( )Ep

p

Υπολογιστική ΌρασηΤεχνικές Βελτιστοποίησης

Μέθοδοι πλήρους αναζήτησης (full search)– Αναλυτική αναζήτηση των Ν παραμέτρων στον Ν-D χώρο– (-) Υψηλό υπολογιστικό κόστος– (-) Πεπερασμένη ακρίβεια– (+) Αντιστάθμιση μεγάλων μετατοπίσεων

Μέθοδοι βασισμένες στην κλίση της έντασης των εικόνων (gradient-based)– (+) Μεγαλύτερη ακρίβεια (θεωρητικά ίση με το eps της μηχανής)– (+) Μικρό υπολογιστικό κόστος– (+) Δυνατότητα χρήσης επαναληπτικού σχήματος

εγκλωβισμός– (-) Αδυναμία διαχείρισης μεγάλων μετατοπίσεων

Χρήση πυραμιδικού σχήματος Υβριδικές μέθοδοι

Υπολογιστική ΌρασηΓενικό πρόβλημα Ευθυγράμμισης εικόνων

Ορισμός παραμετρικού μοντέλου W(x;p)– x=[x,y]t, p=[p1,p2,…,pn]t

Ορισμός μέτρου ομοιότητας μεταξύ εικόνας αναφοράς IR (reference image) και γεωμετρικά παραμορφωμένης εικόνας IW (warped image)– Αντιστάθμιση φωτομετρικών παραμορφώσεων

Υπολογιστική ΌρασηΑντιστάθμιση φωτομετρικών παραμορφώσεων (contrast-brightness)

2

1 2 1 2( , , ) ( ) ( ( ; ))FM r wROI

E a a I a I T a

x

p x x p

2

1 2 1 2( , , ) ( ) ( ( ; ))LK r wROI

E a a a I a I T

x

p x x p

1 21 2

, ,min ( , , )LKa a

E a ap

p

1 21 2, ,

min ( , , )FMa aE a a

pp

Lucas – Kanade ‘81

Fuh – Maragos ‘91

ECC ‘08

( ( ; ))ˆ( ) ( )( ( ; ))

t wr

w

T

T

i x pp i x

i x p

max ( )p

p Επαναληπτικός αλγόριθμος

Επαναληπτικός αλγόριθμος

Αναλυτική Αναζήτηση

Υπολογιστική ΌρασηΣχέση μεταξύ αλγορίθμων

Ελαχιστοποίηση ως προς τις φωτομετρικές παραμορφώσεις (separable variables)

– LK:

– FM:

1 2

22

1 2, ,

ˆmin ( , , ) min ( ) 1 ( )LK wa a

E a a p p

p i p p

1 2

22

1 2, ,

ˆmin ( , , ) min 1 ( )FM ra a

E a a p p

p i p

Κανένα από τα δύο προβλήματαδεν είναι ισοδύναμο με το

max ( )p

p

Μόνη περίπτωση ισοδυναμίας:

1 21 20, ,

min ( , , ) max ( )FMa aE a a

p pp p

Υπολογιστική ΌρασηΑλγόριθμος ECC – Βασική ιδέα

Κανόνας ενημέρωσης:

Προσέγγιση

η Ιακωβιανή μήτρα του ως προς τις παραμέτρους

Ακολουθία υποδεέστερων μη γραμμικών προβλημάτων βελτιστοποίησης

0 p p p

0 2

ˆ ˆ( ) ( ; )

2

t tr w r

t t tww ww

i i i G pp p p

i i G p p G G p

G wi

0 0( ) ( ) ( )w w i p i p G p p

1max ( ; )j

j j

pp p

Η συνάρτηση μεγιστοποιείται για

• Αν τότε το είναι ολικό μέγιστο για

όπου• Αν τότε το είναι το άκρο ενός διαστήματος και το μπορεί να πάρει οποιαδήποτε τιμή ικανοποιεί τους περιορισμούς

Υπολογιστική ΌρασηΥπολογισμός βέλτιστης λύσης

ˆ ( ) 0tr N G ww i I P i

p

ΘΕΩΡΗΜΑ

1 ˆt tr ww

p G G G i i

1( ; )j j p p

p2

ˆ ˆ

tw w G ww

t tr ww r G w

i i P i

i i i P i

ˆ ( ) 0tr N G ww i I P i

1t tG

P G G G G

1 1( ; ) ( ; )oj j j p p 0 p

1( ; ) 0oj j p p

Υπολογιστική ΌρασηΥπολογισμός βέλτιστης λύσης

Μια ικανή συνθήκη για να ισχύουν οι περιορισμοί είναι:

όπου

,

ΛΗΜΜΑ

1 2max ,

1 ˆ

tw G wwtr G r

i P i

i P i2

ˆ ˆ

ˆ

t tr G w r w

tr G r

i P i i i

i P i

Υπολογιστική ΌρασηΒήματα Αλγορίθμου FA-ECC

Αρχικοποίηση p0

– j=1 Επαναληπτική διαδικασία

1. Υπολόγισε την εικόνα Iw(W(x;pj-1))

2. Υπολόγισε την Ιακωβιανή μήτρα G(pj-1)

3. Υπολόγισε τη βέλτιστη λύση Δpj σύμφωνα με το θεώρημα και το λήμμα

4. Ενημέρωσε τις παραμέτρους pj=pj-1+Δpj

– Αν ||Δpj||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

Υπολογιστική ΌρασηΑντίστροφο πρόβλημα – Σύνθεση μετασχηματισμών

Αντίστροφο πρόβλημα [Hager-Belhumeur ’98]

– Υπολόγισε πως πρέπει να μετασχηματίσεις την IR για να αντιστοιχιστεί με την IW

– Εφάρμοσε τον αντίστροφο μετασχηματισμό στην IW

Σύνθεση μετασχηματισμών [Shum-Szeliski ’00]

– Κανόνας ενημέρωσης W(x;pj)=W(x;pj-1)oW(x;Δpj)

H Hessian μήτρατης βέλτιστης λύσηςγίνεται ανεξάρτητητων παραμέτρων

H Ιακωβιανή του μετασχηματισμού

γίνεται ανεξάρτητητων παραμέτρων

Υπολογιστική ΌρασηΒήματα Αλγορίθμου IC-ECC

Αρχικοποίηση p0

– j=1– Υπολόγισε την Ιακωβιανή μήτρα Gr(pj-1) και τον αντίστροφο

(GrTGr)-1

Επαναληπτική διαδικασία1. Υπολόγισε την εικόνα Iw(W(x;pj-1)

2. Υπολόγισε τη βέλτιστη λύση Δpj σύμφωνα με το θεώρημα και το λήμμα

3. Ενημέρωσε τo μοντέλο W(x;pj)=W(x;pj-1)oW(x;Δpj)-1

Αν ||Δpj||>ε, τότε j++ και πήγαινε στο 1. Διαφορετικά σταμάτα.

Υπολογιστική ΌρασηΕπαναληπτικοί Αλγόριθμοι-Σύγκριση

Πολυπλοκότητα(Ν: αριθμός παραμέτρων

Κ: αριθμός εικ/χίων)

ΔυνατότηταΕφαρμογής

Ευαισθησία στο θόρυβο

Lucas-Kanade ’81 (Forwards Additive LK)

O(KN2) Οποιοδήποτεμοντέλο

Μικρή

Haager-Belhumeur ’98 (Inverse Additive LK)

O(KN) Γραμμικό 2D Μεγάλη

Shum-Szeliski ’00(Forwards – Compositional LK)

O(KN2) Ημι-ομάδα Μικρή

Baker-Matthews ’04 (Inverse Compositional LK)

O(KN) Ομάδα Μεγάλη

FA-ECC (2007) O(KN2) Οποιοδήποτεμοντέλο

Μικρή

IC-ECC (2008) O(KN) Ομάδα Μεγάλη