Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

ΔΡΓΑΙΑ ΣΟ ΜΑΘΗΜΑ

“ΑΝΑΓΝΩΡΙΗ ΠΡΟΣΤΠΩΝ Ι”

ΜΔ ΘΔΜΑ

“AUTOMATIC DETECTION OF

INSTRUMENTS IN LAPAROSCOPIC

IMAGES”

ΠΑΣΡΑ 2013

ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΣΗ: Κ.ΔΤΑΓΓΔΛΟ ΓΔΡΜΑΣΑ

ΤΛΟΠΟΙΗΗ: Κ.ΓΔΩΡΓΙΟ-ΜΑΡΙΟ ΠΑΠΑΓΟΠΟΤΛΟ

Α.Μ: 227356

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

ΠΕΡΙΕΥΟΜΕΝΑ

1. ΔΙΑΓΩΓΗ

2. ΜΙΚΡΟΔΠΔΜΒΑΣΙΚΗ ΥΔΙΡΟΤΡΓΙΚΗ

3. ΓΙΑΓΝΩΗ ΜΔ ΒΑΗ ΣΟ ΗΜΔΙΟ ΣΟΜΗ

4. ΓΙΑΓΝΩΗ ΜΔ ΒΑΗ ΣΟ COLOR TRACKING

5. ΓΙΑΓΝΩΗ ΠΟΛΛΑΠΛΩΝ ΜΗΥΑΝΗΜΑΣΩΝ

6. SEGMENTATION

7. ΒΙΒΛΙΟΓΡΑΦΙΑ

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

1. ΔΙΑΓΩΓΗ

Η παροφςα εργαςία ζγινε ςτα πλαίςια του μακιματοσ “Αναγνώριςη Προτφπων Ι” από τον κ. Γεϊργιο-Μάριο Παπαδόπουλο υπο τθν επίβλεψθ του κ.Ευάγγελου Δερματά. Αρχικά, να ευχαριςτιςω τον επιβλζποντα που μου ζδωςε τθ δυνατότθτα ο κεματικόσ άξονασ τθσ εργαςίασ μου να είναι ςυμβατόσ με το κζμα τθσ διπλωματικισ μου εργαςίασ. Στισ παρακάτω ςελίδεσ κα διαπραγματευτϊ τθν “Αυτόματη διάγνωςη των (ιατρικών) μηχανημάτων ςτισ λαπαροςκοπικζσ εικόνεσ”. Το περιεχόμενο τθσ εργαςίασ είναι αποτζλεςμα τθσ βιβλιογραφικισ αναηιτθςθσ που πραγματοποιικθκε για αρκετό διάςτθμα. Παρατθρικθκε ότι αρκετοί ερευνθτζσ (κυρίωσ από τθ Γαλλία, Αμερικι-Καλιφόρνια, Ιαπωνία και Γερμανία) ςτισ αρχζσ τθσ δεκαετίασ του 1990 με τθν ανάπτυξθ τθσ μικροεπεμβατικισ χειρουργικισ άρχιςαν να αςχολοφνται εκτενϊσ με τθν αυτόματθ διάγνωςθ των ιατρικϊν μθχανθμάτων από λαπαροςκοπικζσ εικόνεσ. Η ζρευνα γίνεται μζχρι και ςιμερα κακϊσ θ ανάπτυξθ νζων μεκόδων βοθκάει πολφ τθν περαιτζρω διερεφνθςθ του προβλιματοσ. Η πορεία που κα ακολουκθκεί παρακάτω είναι θ παρουςίαςθ τθσ μικροεπεμβατικισ χειρουργικισ και δθ τθσ λαπαροςκοπικισ και ςτθ ςυνζχεια οι μζκοδοι που μποροφν να χρθςιμοποιθκοφν για τθν εργαςία μου.

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

2. ΜΙΚΡΟΔΠΔΜΒΑΣΙΚΗ ΥΔΙΡΟΤΡΓΙΚΗ

Οι λαπαροςκοπικζσ επεμβάςεισ αποτελοφν κλάδο τθσ

μικροεπεμβατικισ χειρουργικισ, θ οποία ζχει γνωρίςει τεράςτια άνκιςθ

τα τελευταία 25 χρόνια. Πραγματοποιοφνται με τθ βοικεια μιασ κάμερασ

και με λεπτά, άκαμπτα (ςυνικωσ) κοντά ιατρικά μθχανιματα. Στα

πλεονεκτιματα τθσ ρομποτικισ λαπαροςκοπικισ χειρουργικισ είναι το

μικρότερο τραφμα για τον αςκενι (μικρζσ τομζσ ςυνικωσ τρεισ ι τζςςερισ

για πθγθ φωτόσ, κάμερα και τα χειρουργικά εργαλεία), λιγότερθ εκροι

αίματοσ ,μικρότερθ παρουςία ςτο νοςοκομείο (23-25 ϊρεσ) και λιγότεροσ

πόνοσ μετά τθν επζμβαςθ. Οι λαπαροςκοπικζσ επεμβάςεισ είναι αρκετά

περίπλοκεσ και προχποκζτουν τθν εμπειρία του χειροφργου και 2-D

εικόνεσ-αυτό ςθμαίνει ζλλειψθ depth-information κακϊσ θ επζμβαςθ και

οι κινιςεισ του γίνονται ςε 3-D. Ο χειριςμόσ τθσ κάμερασ μπορεί να

πραγματοποιθκεί είτε με τθ βοικεια του ανκρϊπινου παράγοντα είτε με

αυτόματο τρόπο με χριςθ ρομποτικϊν βραχιόνων. Στα μειονεκτιματα

τθσ πρϊτθσ μεκόδου είναι θ δυςκολία επικοινωνία χειροφργου και

βοθκοφ, θ κοφραςθ κατά τθ διάρκεια τθσ επζμβαςθσ, το τρεμοφλιαςμα

που είναι κρίςιμο ςε real-time και θ εμπειρία που απαίτειται να ζχει ο

δεφτεροσ. Οπότε γίνεται εφκολα αντιλθπτό ότι με τθ χριςθ αυτόματθσ

μεκόδου μποροφμε να υπερκεράςουμε αυτά τα εμπόδια.

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

3. ΓΙΑΓΝΩΗ ΜΔ ΒΑΗ ΣΟ ΗΜΔΙΟ

ΣΟΜΗ

Σε αυτό το κεφάλαιο κα αναφερκοφμε ςε διάγνωςθ με βάςθ το

ςθμείο τομισ για τθ λααροςκοπικι επζμβαςθ. Χρθςιμοποιϊντασ 3-D

αναπαραςτάςεισ και κεωριςεισ ςχετικά με το ςχιμα μποροφμε να

παρακολουκιςουμε και να διαγνϊςουμε τα ιατρικά μθχανιματα. Σε αυτι

τθ μζκοδο δεν χρθςιμοποιείται κακόλου ςαν χαρακτθριςτικό το χρϊμα

και θ επιρροι του ςτθν εικόνα, παραμονάχα το ςχιμα του μθχανιματοσ.

Με αυτό τον τρόπο,

γνωρίηοντασ το ςθμείο τομισ

μειϊνουμε τθν πικανι

περιοχι ενδιαφζροντασ

(Region Of Interest – ROI) και

αυξάνουμε τθν πικανότθτα

να βροφμε πιο εφκολα το/α

μθχανιμα/τα.

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

Προκειμζνου να παρακολουκιςει ο χειροφργοσ ζνα μθχάνθμα, το

επιλζγει χρθςιμοποιϊντασ το ςθμείο τομισ. Η 3-D απεικόνιςθ τθσ εικόνασ

προβάλλεται ςτο πλάνο τθσ εικόνασ για να ψάξει ο χειροφργοσ για το

μθχάνθμα.

Ο αλγόρικμοσ που χρθςιμοποιείται είναι ο παρακάτω:

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

Ψάχνουμε ςτθν εικόνα για ςτοιχεία ςτισ γραμμζσ (l1 και l2) τα οποία

ανικουν ςτα ιατρικά μθχανιματα. Για να βροφμε τισ ακμζσ

χρθςιμοποιοφμε gradient μζκοδο ςφμφωνα με το οποίο υπολογίηουμε το

gradient για κάκε ςθμείο ςτο επίπεδο τθσ εικόνασ. Στθ ςυνζχεια κρατάμε

το μζγιςτο από το gradient τα οποία μασ δίνουν αςυνζχειεσ ςτθν εικόνα

και κρατάμε το μζτρο και τθν κατεφκυνςθ αυτϊν των gradient. Αυτά τα

ςθμεία είναι οι ακμζσ. Αφοφ ζχουμε βρει τισ ακμζσ διϊχνουμε τα ςθμεία

τα οποία δεν ανικουν ςτο μθχάνθμα και κολϊνουν τθν εικόνα. Για να

γίνει κατανοθτό το παραπάνω , κεωροφμε ζνα διάςτθμα ςτο οποίο αν

βρίςκεται εκεί μζςα το gradient αποτελεί ςθμείο δεκτό αλλιϊσ το

απορρίπτουμε από τθν εικόνα μασ. Μετά με βάςθ τα ςτοιχεία που ζχουν

επιλεγεί, βρίςκουμε τον άξονα, το tip (άκρθ του μθχανιματοσ) και τισ

άκρεσ του μθχανιματοσ. Για να βροφμε τον άξονα του μθχανιματοσ

χρθςιμοποιοφμε τον αλγόρικμο του Hough.

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

Οι δυο edges Ι1,Ι2 ζχουν gradients G1,G2 και παρζχουν μζςω τθσ

μεςοκακζτου τον άξονα d του μθχανιματοσ. Ο άξονασ χαρακτθρίηεται

από δυο μεταβλθτζσ τισ (ρ,κ) οι οποίεσ είναι αυτζσ τθσ Hough Method με

κζντρο το P. Αν τα παραπάνω Gradients ζχουν αντίκετεσ κατευκφνςεισ

τότε μποροφν να αποτελοφν edges ενόσ μθχανιματοσ, αλλιϊσ δεν

γίνεται.

Ωςτόςο, αν γνωρίηουμε τισ edges δεν ζχουμε τελειϊςει τθ διαδικαςία μασ

αφοφ χρειάηεται να δοφμε που ακριβϊσ είναι το tip του μθχανιματοσ για

να ςτρίψουμε τθν κάμερα ςτθν κατάλλθλθ κατεφκυνςθ. Πάρα πολλοί

ερευνθτζσ προςπάκθςαν να διαγνϊςουν το tip του μθχανιματοσ με

χριςθ πλθροφοριϊν χρϊματοσ. Προςπάκθςαν, δθλαδι, να ταξινομιςουν

τα χρϊματα που εφριςκαν ςτο τζλοσ του symmetry axis ςε δυο

κατθγορίεσ. Σε μεν αυτά του background τθσ εικόνασ και ςε αυτά του

μθχανιματοσ. Ωςτόςο αυτι θ μζκοδοσ αποτφγχανε ςυχνά εξαιτίασ των

αποφράξεων και των ανακλάςεων του φωτόσ (τα μθχανιματα είναι από

μζταλλο και εξαιτίασ του φωτόσ που ρίχνουμε, ζχουμε ανακλάςεισ).

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

Στο τζλοσ, αφοφ ζχουμε καταφζρει να διαγνϊςουμε το tip του

μθχανιματοσ αποκθκεφουμε τθ ηϊνθ με τα χρϊματα του background και

με αυτά του instrument για μελλοντικό tracking και detection. Επίςθσ,

μζςω των γωνιϊν των edges μποροφμε να βροφμε το depth του tip για

μεγαλφτερθ ακρίβεια.

Στα πλεονεκτιματα τθσ μεκόδου είναι ότι είναι αποτελεςματικι ςτθ

χριςθ CO2 που χρθςιμοποιείται για να φουςκϊςει θ περιοχι και να

βοθκιςει το χειροφργο ςτθν επζμβαςθ. Επίςθσ, όταν ζχουμε ςτθν εικόνα

παραπάνω από ζνα μθχανιματα βλζπουμε ότι θ μζκοδοσ παρουςιάηει

εξαιρετικά αποτελζςματα.

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

Στα μειονεκτιματα τθσ είναι θ δυςκολία διάγνωςθσ όταν το tip είναι

μαφρου χρϊματοσ. Επίςθσ, αποτυγχάνει όταν ζχουμε υψθλζσ ταχφτθτεσ

κίνθςθσ του χειροφργου (ςυνίςταται για smooth tracking) και όταν ζχουμε

reflections και occlusions όπου και ο άξονασ δεν μπορεί να διαγνωςτεί

επιτυχϊσ. Τζλοσ, αν το χρϊμα του μθχανιματοσ είναι πολφ ςυναφζσ ςε

αυτό του background τότε ο αλγόρικμοσ παρουςιάηει προβλιματα.

4. ΓΙΑΓΝΩΗ ΜΔ ΒΑΗ ΣΟ COLOR

TRACKING

Πολλοί ερευνθτζσ προςπάκθςαν να διαγνϊςουν τθν φπαρξθ

ιατρικϊν μθχανθμάτων καταςκευάηοντασ ςυςκευζσ που ζκαναν color

tracking. Μια τζτοια αυτο-οδθγοφμενθ ρομποτικι κάμερα που

καταςκευάςτθκε το 1999 βαςιςμζνθ ςε ςφςτθμα παρακολοφκθςθσ

χρϊματοσ ιταν το SGRCCS και χρθςιμοποιικθκε για να διαπιςτωκεί αν

πράγματι τα ρομπότ μποροφν ςε αυτό το κομμάτι να αντικαταςτιςουν

τον άνκρωπο (ςυνζκριναν δθλαδι τισ επιδόςεισ ανκρϊπου-μθχανισ ςε 20

επεμβάςεισ χολισ).

Το αποτζλεςμα ιταν ςε 71% των περιπτϊςεων το ρομπότ να ζχει

καλφτερεσ επιδόςεισ από τον άνκρωπο. Επίςθσ, ο χρόνοσ που χρειαηόταν

να προετοιμαςτεί ο άνκρωποσ για τθν επζμβαςθ ιταν διπλάςιοσ ςε ςχζςθ

με το ρομπότ (setup time).

O τρόποσ λειτουργείασ του ρομπότ βαςίηεται ςτο γεγονόσ ότι ςτθν

άκρθ του ιατρικοφ μθχανιματοσ ζχουμε βάλει ζνα color marker το οποίο

και παρακολουκεία αυτόματα το ρομποτ και δίνει τθ δυνατότθτα ςτο

χειροφργο να παρακολουκεί ςυνεχϊσ και εφκολα το εργαλείο του χωρίσ

να χρειάηεται να δίνει εντολζσ. Το ςφςτθμα μασ δθλαδι αποτελζιται από

το ιατρικό μθχάνθμα το οποίο ζχει ζνα color marker (10mm μικουσ

χρωματιςτό πλαςτικό) ςτθν άκρθ του και τθ μονάδα που περιλαμβάνει

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

τθν κάμερα. Αναλφοντασ τθν κατανομι των χρωμάτων παρατθρικθκε ότι

ιταν διαφορετικι όταν είχε προςτεκεί ζνασ color marker.

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

To ρομπότ αποτελείται από ζνα CCD-stereo-laparoscope, το οποίο

παρζχει απευκείασ εικόνεσ ςτο χειροφργο. Αυτζσ οι εικόνεσ παρζχουν

οριηόντια και κάκετα πλθροφορίεσ για το που βρίςκεται το ιατρικό μασ

μθχάνθμα με βάςθ το color marker. Αυτζσ οι εικόνεσ ζχουν RGB signals.

Ωςτόςο, επειδι θ HSV (hue-saturation value) αναπαράςταςθ είναι πιο

εφαρμοςμζνθ για κατάτμθςθ χρϊματοσ απ’ότι θ RGB, τα ςιματα

μετατρζπονται ςε αυτι με ζνα μετατροπζα. Στθ ςυνζχεια με ζνα δυαδικό

ταξινομθτι, τα κατθγοριοποιϊ ςε αυτά του background και ςε αυτά του

ιατρικοφ μθχανιματοσ (άςπρα και μαφρα αντίςτοιχα). Μετά κακορίηω με

ζνα localizer τθν περιοχι ενδιαφζροντοσ (Region Of Interest – ROI).

Επειδι, ςτισ περιςςότερεσ επεμβάςεισ λαμβάνονται εικόνεσ ανα τακτά

χρονικά διαςτιματα πχ 120 msec χρθςιμοποιοφνται αλγόρικμοι οι οποίοι

μποροφν με βάςθ τθν προθγοφμενθ κζςθ του βραχίονα να κακορίςουν

τθν επόμενθ. Οπότε, ςτον αλγόρικμο κατάτμθςθσ μποροφμε ςαν

επιβεβαίωςθ να χρθςιμοποιιςουμε τθν μελλοντικι πικανι κζςθ του

ρομπότ.

5. ΓΙΑΓΝΩΗ ΠΟΛΛΑΠΛΩΝ

ΜΗΥΑΝΗΜΑΣΩΝ

Στο παρϊν χωρίο, παρουςίαηεται θ ζρευνα που διεξιχκει τον

τελευταίο χρόνο ςχετικά με τθν αναγνϊριςθ πολλαπλϊν ιατρικϊν

μθχανθμάτων ςε μια λαπαροςκοπικι εικόνα. Χρθςιμοποιοφνται

ςυνδυαςμόσ τεχνικϊν υπολογιςτικισ όραςθσ, οι οποίεσ περιλαμβάνουν

ταξινόμθςθ μεταλλικϊν ιδιοτιτων χρθςιμοποιϊντασ τον αλγόρικμο k-

means και παρακολοφκθςθ τθσ κίνθςθσ των μθχανθμάτων με μετριςεισ

ομοιότθτασ, υπολογιςμοφσ Ευκλείδιασ απόςταςθσ και τον αλγόρικμο του

φίλτρου Kalman.

Ο προτινόμενοσ αλγόρικμοσ εκτελείται ςε τρια βιματα:

i. Διάγνωςθ των μθχανθμάτων χρθςιμοποιϊντασ τισ μεταλλικζσ ιδιότθτεσ

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

ii. Παρακολοφκθςθ των μθχανθμάτων με μετριςεισ ομοιότθτασ

ςυνεχόμενων εικόνων και ζνα προςαρμοςτικό φίλτρο.

iii. Ζνα ςιμα κινδφνου βαςιςμζνο ςτον υπολογιςμό τθσ Ευκλείδιασ

απόςταςθσ.

Παρακάτω αναλφουμε ζνα-ζνα τα βιματα του ελγορίκμου:

i. Διάγνωςη των μηχανημάτων

Χρθςιμοποιοφμε διαφορετικοφσ χρωματιςμοφσ για τα όργανα και για τα

μθχανιματα. Κάτω από κανονικζσ ςυνκικεσ φωτιςμοφ, τα ιατρικά

μθχανιματα ζχουν χρωματιςμοφσ με μεταλλικά χαρακτθριςτικά όπωσ το

γκρι χρϊμα. Χρθςιμοποιϊντασ τον αλγόρικμο του k-means, εκτελοφμε τθν

ταξινόμθςθ μασ ςτα διάφορα αντικείμενα τθσ εικόνασ. Με αυτι τθ

μζκοδο ζχουμε τα καλφτερα αποτελζςματα όταν θ εικόνα μετατρζπεται

ςε LAB space όπου L=φωτιςμόσ, και Α,Β τα άλλα δυο κανάλια χρωμάτων.

Στθ ςυνζχεια εφαρμόηουμε μια ςειρά από εφαρμογζσ επεξεργαςίασ

εικόνασ για να διϊξουμε το κόρυβο του background όπωσ ο αλγόρικμοσ

του Canny (canny edge detection) για να ορίςουμε τα άκρα.

ii. Παρακολοφθηςη των μηχανημάτων

Αρχικά αφοφ ζχουμε βρει ςτθν πρϊτθ μασ εικόνα ζνα μθχάνθμα, το

κζτουμε ςαν “new”. Στισ επόμενεσ εικόνεσ, αν το ξαναζχουμε το βάηουμε

“updated”, ενϊ όταν το χάνουμε από τθν είκονα εμφανίηεται ζνα “lost”.

Στθ ςυνζχεια, με το φίλτρο Kalman μποροφμε να διϊξουμε τα λάκθ που

μπορεί να οφείλονται ςε occlusions. Με το φίλτρο αυτό, και με τθν

ευκλείδια απόςταςθ ανάμεςα ςτθν προθγοφμενθ και τθν τωρινι εικόνα

των μθχανθμάτων μποροφμε να διορκϊςουμε λάκθ ι και να τα

αποφφγουμε.

iii. Σήμα κινδφνου

Όταν ζχουμε περιςςότερα του ενόσ μθχανιματα ςε μια εικόνα

παρουςιάηεται ο κίνδυνοσ να υπάρξει collision μεταξφ τουσ και να

δθμιουργθκοφν επιπλοκζσ ςτο χειρουργείο. Με τθν ευκλείδια απόςταςθ,

κεωρϊντασ μια περιοχι κινδφνου (Region of Danger) μποροφμε να

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

υπολογίςουμε τθν απόςταςθ των μθχανθμάτων και να προειδοποιιςουμε

τον χειροφργο όταν ειςζλκει ςε αυτι τθν περιοχι ϊςτε να τθν αποφφγει.

6. SEGMENTATION

Μια άλλθ μζκοδοσ που χρθςιμοποιικθκε από πολλοφσ ερευνθτζσ ιταν θ

μζκοδοσ τθσ κατάτμθςθσ (Segmentation). Ο αλγόρικμοσ που

χρθςιμοποιικθκε είναι ο ακόλουκοσ και περιλαμβάνει τρεια βιματα:

i) Αρχικά οι εικόνεσ προ-επεξεργάηονται με ζνα homomorphic

φίλτρο (είναι απαραίτθτο λόγο τθσ μεγάλθσ ποικιλίασ ςε lighting and

focusing conditions).

ii) Η ζξοδοσ του παραπάνω φίλτρου χρθςιμοποιείται για να

υπολογιςτεί ο αρχικόσ χάρτθσ κατάτμθςθσ (initial segmentation map).

ii) Οι περιοχζσ ταξινομοφνται ςαν να είναι μζροσ του background

(δομζσ του ςϊματοσ – anatomical structures) ι του ιατρικοφ

μθχανιματοσ- classification.

Στθ ςυνζχεια αναλφονται τα παραπάνω τρεια βιματα του αλγορίκμου:

i. Pre-processing - Homomorphic Φίλτρο

Τα Homomorphic Φίλτρα επιλζχτθκαν επειδι ταιριάηουν καλά ςτα

προβλιματα φωτιςμοφ που αντιμετωπίηουμε ςτα λαπαροςκοπικά

χειρουργεία. Η βαςικι ιδζα ενόσ τζτοιου φίλτρου είναι να το

φανταςτοφμε ςαν το γινόμενο δυο ςθμάτων: ενόσ φωτιςμοφ και μιασ

ανακλάςεωσ.

ii. Segmentation Map

H δθμιουργία αυτοφ του χάρτθ ζχει ςαν ςκοπό να βοθκιςει ςτθ

ςυνζχεια να δθμιουργιςουμε περιοχζσ που ανικουν ςτο background και

άλλεσ που ανικουν ςτο μθχάνθμα. Επειδι κζλουμε να ζχουμε πλιρθ

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

αυτοματοποίθςθ τθσ μεκόδου δεν εξετάηουμε μεκόδουσ που

χρθςιμοποιοφν αρχικοποιιςεισ. Με αυτό τον τρόπο χρθςιμοποιοφμε τα

κριτιρια JSEG για να κάνουμε ζναν αρχικό χάρτθ κατάτμθςθσ. Διαλζγουμε

ζνα κατϊφλι (threshold) tq που ελζγχει τθν κβαντοποίθςθ των χρωμάτων,

τον αρικμό των κλιμάκων ns (scales) που χρθςιμοποιοφνται και ζνα άλλο

κατϊφλι (threshold) tm που χρθςιμοποιεί το διαμοιραςμό επεξεργαςίασ

τθσ περιοχισ.

iii. Classification

Για να ταξινομιςουμε τισ περιοχζσ που βρζκθκαν από τον αρχικό

χάρτθ κατάτμθςθσ χρθςιμοποιοφμε ςαν μζκοδο ταξινόμθςθσ Support

Vector Machines (SVM). Επιλζχτθκαν τα SVM γιατί ελαχιςτοποιοφν ζνα

bound ςτο δομικό ρίςκο (structural risk) – θ πικανότθτα κακισ

ταξινόμθςθσ δεδομζνων που δεν ζχουμε λάβει υπόψθν αντι του

εμπειρικοφ ρίςκου (κακι ταξινόμθςθ ςτα παραδείγματα εκπαίδευςθσ –

training set). Επίςθσ, κα μποροφςαν να χρθςιμοποιθκοφν αλγόρικμοι μθ-

γραμμικοί όπωσ ο K-NN και τα Νευρωνικά Δίκτυα (Neural Networks). Τα

χαρακτθριςτικά που επιλζγονται για τθν περιοχι ταξινόμθςθσ είναι

βαςιςμζνα ςτθ γεωμετρία τθσ περιοχισ και ςτθν κατανομι των

χρωμάτων. Είναι επικυμθτό αλλά και χριςιμο να χρθςιμοποιθκοφν

γεωμετρικά χαρακτθριςτικά επειδι ο φωτιςμόσ, θ γεωμετρία και τα υλικά

καταςκευισ των μθχανθμάτων ςυχνά δθμιουργοφν αναγνωρίςιμα

ςχιματα περιοχϊν.

Η εκπαίδευςθ πραγματοποιικθκε χρθςιμοποιϊντασ ςαν training

set τα δυο τρίτα τθσ εικόνασ και το υπόλοιπο για ζνα τρίτο για testing. H

κατανομι των επιλεγμζνων χαρακτθριςτικϊν κάνει τθν γραμμικι

ταξινόμθςθ δφςκολθ.

Στα μεινοκτιματα τθσ μεκόδου είναι ότι και ςε αυτι τθν περίπτωςθ τα

cluttered backgrounds, occlusions, ανακλάςεισ και θ αναλογία saturated

pixels που παρουςιάηονται ςτισ εικόνεσ κατά τθ διάρκεια πραγματικϊν

λαπαροςκοπικϊν χειρουργείων προκάλεςαν χαμθλισ ποιότθτασ αρχικοφσ

χάρτεσ κατάτμθςθ που αποτφγχαναν να κάνουν ταξινόμθςθ.

Πανεπιςτήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ Τηλζφωνο Επικοινωνίασ: 6949925866

Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr

7. ΒΙΒΛΙΟΓΡΑΦΙΑ

1. Sandrine Voros, Jean-Alexandre Long and Philippe Cinquin (2007).

Automatic Detection of Instruments in Laparoscopic Images: A First Step

Towards High-level Command of Robotic Endoscopic Holders

2. Sandrine Voros, Jean-Alexandre Long and Philippe Cinquin (2006).

Automatic Localization of Laparoscopic Instruments for the Visual Servoing

of an Endoscopic Camera Holder

3. Jonathan Boisvert, Farida Cheriet and Guy Grimard (2003).

Segmentation of Laparoscopic Images for Computed Assisted Surgery

4. Joan Climent and Pere Mares (2004). Automatic Instrument localization

in laparoscopic surgery

5. Christophe Doignon, Florenta Nageotte and Michel de Mathelin (2006).

The role of Insertion Points in the Detection and Positioning of Instruments

in Laparoscopy for Robotic Tasks

6. Kazuhito Omote, Hubertus Feussner, Andreas Ungeheuer, Klaus Arbter,

Guo-Qing Wei,and Rudiger Siewert and Gerd Hirzinger (1999). Self-Guided

Robotic Camera Control for Laparoscopic Surgery Compared with Human

Camera Control.

7. Jiwon Ryu, Jaesson Choi and Hee Chan Kim (2012). Endoscopic Vision-

Based Tracking of Multiple Surgical Instruments During Robot-Assisted

Surgery.