Download - Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

Transcript
Page 1: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας σε ήχο

Ηλίας Μαργαριτίδης

Πτυχιακή Εργασία HOU-CS-PGP-2014-15

Επιβλέπων: Ευγενία ΑδαμοπούλουΜέλος ΕΚ: Γεώργιος Παλαιγεωργίου

Page 2: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/09/2015 Ηλίας Μαργαριτίδης (HOU-CS-UGP-2015-10) 2

Επισκόπηση

Θέμα (στόχοι) 1 slide Μεθοδολογία

Μεθοδολογία-γενικά 2 slides Βασικά προβλήματα – ζητήματα 5 slides Υλοποίηση 9 slides

Αποτελέσματα 3 slides Συμπεράσματα 3 slides

Σύνοψη 1 slide Επεκτάσεις 2 slides

Page 3: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

3ημερομηνία Ηλίας Μαργαριτίδης (HOU-CS-UGP-2015-10)

Θέμα - Στόχοι

Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας σε ήχο Ανάπτυξη πρωτότυπου απόδειξης λειτουργικότητας (proof-of-

concept) για τη μεταγλώττιση νοημάτων της Ελληνικής Νοηματικής Γλώσσας (ΕΝΓ)

Ανάλυση των κυριότερων μεθόδων ταξινόμησης και αναγνώρισης προτύπων και επιλογή της καταλληλότερης μεθόδου και εργαλείων για την αναγνώριση νοημάτων της ΕΝΓ

Τεκμηρίωση δυνητικών χρήσεων του συστήματος μεταγλώττισης σε χώρους εκπαίδευσης και εργασίας

Page 4: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 4Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Μεθοδολογία-γενικά Ανάλυση βασικών χαρακτηριστικών της Ελληνικής

Νοηματικής Γλώσσας και της Ελληνικής κοινότητας των νοηματιστών (Κωφών) Μελέτη ελληνικής και ξένης βιβλιογραφίας, για τα

χαρακτηριστικά των νοηματικών γλωσσών και ιδιαίτερα της ΕΝΓ

Μελέτη ελληνικής και ξένης βιβλιογραφίας για τα χαρακτηριστικά της κοινότητας των Κωφών

Επιλογή καταλληλότερων μεθόδων και εργαλείων Μελέτη ελληνικής και ξένης βιβλιογραφίας για τις

γνωστότερες μεθόδους ταξινόμησης και αναγνώρισης προτύπων

Page 5: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 5

Μεθοδολογία-γενικά

Σχεδίαση και ανάπτυξη πρωτότυπου λογισμικού μεταγλώττισης της ΕΝΓ (περιορισμένης λειτουργικότητας) Μελέτη ελληνικής και ξένης βιβλιογραφίας, εργασιών

ανάπτυξης συστημάτων μεταγλώττισης νοηματικών γλωσσών

Σχεδίαση και ανάπτυξη εφαρμογής Καταγραφή δεδομένων εκπαίδευσης Έλεγχος αποτελεσμάτων με σημαντικό αριθμό

δοκιμαστικών μεταγλωττίσεων

Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Page 6: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 6

Βασικά προβλήματα

Κατανόηση βασικών χαρακτηριστικών Κοινότητας Κωφών:

Ξεχωριστή πολιτισμική και κοινωνική ομάδα. Μέλη μιας γλωσσικής κοινότητας ΌΧΙ ομάδα ανθρώπων με κοινό ιατρικό πρόβλημα Χαρακτηριστικά κλειστής κοινότητας (πχ υψηλή ενδογαμία)

αποκλεισμένης από πολλές κοινωνικές δραστηριότητες Η γλωσσική διαφοροποίηση οδηγεί σε κοινωνικό

αποκλεισμό

Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Page 7: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 7

Βασικά προβλήματα

Κατανόηση Βασικών Χαρακτηριστικών ΕΝΓ: Πλήρες αυτόνομο γλωσσικό σύστημα με δικούς του

γραμματικούς και συντακτικούς κανόνες Όχι απλή μεταφορά της ελληνικής φθογγογλώσσας σε νοήματα

Όλες οι νοηματικές γλώσσες στον κόσμο δεν είναι ίδιες Σε κάθε χώρα οι κοινότητες των Κωφών ανέπτυξαν τη δική τους

γλώσσα, εξ’ ου και ο προσδιορισμός ελληνική

Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Page 8: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

8ημερομηνία Ηλίας Μαργαριτίδης(HOU-CS-UGP-2015-10)

Βασικά προβλήματαΚατανόηση Βασικών Χαρακτηριστικών ΕΝΓ:

Κάθε έννοια εκφράζεται με ένα νόημα, το οποίο δύναται να συντίθεται από: τη χειρομορφή την κίνηση των χεριών την κατεύθυνση της παλάμης τη θέση σχηματισμού του

νοήματος στο χώρο ή σε σχέση με το σώμα του νοηματιστή

τις εκφράσεις του προσώπου τη στάση του σώματος.

Page 9: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

9ημερομηνία Ηλίας Μαργαριτίδης(HOU-CS-UGP-2015-10)

Βασικά ΠροβλήματαΕπιλογή καταλληλότερης μεθόδου ταξινόμησης:

Κρυφά Μαρκοβιανά Μοντέλα Δημοφιλής μέθοδος με πολύ ικανοποιητικά αποτελέσματα Αιτίες απόρριψης στην παρούσα εργασία:

α) για διαφορετικού τύπου χειρονομίες θα έπρεπε να αναπτυχθεί ξεχωριστό μοντέλο

β) η ανάπτυξη κάθε μοντέλου είναι επίπονη και χρονοβόρα διαδικασία γ) ο επεξεργαστικός φόρτος αυτών των λύσεων είναι μεγάλος

Τεχνητά Νευρωνικά Δίκτυα Πολύ ικανοποιητικά αποτελέσματα Αιτίες απόρριψης στην παρούσα εργασία:

απαιτείται μεγάλος όγκος δεδομένων εκπαίδευσης η κατασκευή τους βασίζεται περισσότερο στη διαίσθηση και όχι σε σαφείς

κανόνες.

Page 10: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

105/9/2015 Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Βασικά προβλήματα.Επιλογή καταλληλότερης μεθόδου ταξινόμησης: Simple Vector Machines.

Πολύ αποτελεσματική μέθοδος χαμηλό υπολογιστικό κόστος. Αιτίες απόρριψης στην παρούσα εργασία:

μεγάλος απαιτούμενος όγκος δεδομένων εκπαίδευσης η προσθήκη νέων δεδομένων, απαιτεί επανεκπαίδευση του συστήματος για

όλα τα δεδομένα. Αλγόριθμος Δυναμικής Χρονικής Στρέβλωσης.

Πολύ ικανοποιητικά αποτελέσματα. Ευκολία ανάπτυξης και υλοποίησης. Μικρός επεξεργαστικός φόρτος Μικρό σύνολο δεδομένων εκπαίδευσης. Πρόσθετο κριτήριο επιλογής:

επιλύει το πρόβλημα της διαφορετικής διάρκειας μιας χειρονομίας από χρήστη σε χρήστη ή και από επανάληψη σε επανάληψη στον ίδιο χρήστη. Η χρήση του αισθητήρα Kinect, τον καθιστά πολύ αποτελεσματικό.

Microsoft Office User
Η επιλογή καταλληλότερης μεθόδου ταξινόμησης δεν ειναι ακριβως προβλημα αλλά μεθοδολογία για την υλοποιηση.. Κράτα τα τώρα εδώ και βλέπουμε
Page 11: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 11

Υλοποίηση

Επιλογή εργαλείων: Αισθητήρας Microsoft Kinect.

Οικονομικός Γρήγορος Μεγάλη ακρίβεια καταγραφής Ενσωματώνει πολλαπλούς αισθητήρες προσφέροντας ο,τι

δεδομένα μπορεί να χρειαστεί οποιαδήποτε εφαρμογή που χρησιμοποιεί φυσικές επιφάνειες διεπαφής.

Προσφέρει πλούσια Εργαλειοθήκη Ανάπτυξης Λογισμικού (SDK) και διεπαφές προγραμματισμού εφαρμογών (API) για αρκετές γλώσσες προγραμματισμού

Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Page 12: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 12

Υλοποίηση

Επιλογή εργαλείων Visual Studio 2012 και Visual C#.

Γρήγορη στην εκτέλεση . Μπορεί να μεταφερθεί σε διαφορετικές πλατφόρμες. Εύκολη στην εκμάθηση και στην ανάπτυξη εφαρμογών. Στη γλώσσα C# προσφέρεται η πληρέστερη επίσημη

προγραμματιστική διεπαφή από τη Microsoft για τον αισθητήρα.

Η. Μαργαριτίδης(HOU-CS-UGP-2015-10)

Page 13: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 13

Υλοποίηση

Η. Μαργαριτίδης(HOU-CS-UGP-2015-10)

Φυσική Αρχιτεκτονική Συστήματος

Page 14: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 14

Υλοποίηση

Η. Μαργαριτίδης(HOU-CS-UGP-2015-10)

Αισθητήρας

ΕφαρμογήΝοηματιστής

Καταγραφή Δεδ.

Εκπαίδευσης

ΝΑΙ

Αποθήκευση χειρονομίας σε

αρχείο txt

OXIΚαταγραφή

Δεδ. Ελέγχου

Ροή Σκελετικών Δεδομένων

Αποθήκευση χειρονομίας στη μνήμη

Σύγκριση Δεδ. Ροής με Δεδ. Εκπαίδευσης με

αλγόριθμο ΔΧΣ

Οθόνη Επιλεχθείσα χειρονομία

ΝΑΙ

Λειτουργική Αρχιτεκτονική Συστήματος

Page 15: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 15

ΥλοποίησηΗ διεπαφή:

Ηλίας Μαργαριτίδης(HOU-CS-UGP-2015-10)

Page 16: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 16

ΥλοποίησηΠεριβάλλοντα χρήσης της εφαρμογής:

Ηλίας Μαργαριτίδης (HOU-CS-UGP-2015-10)

Page 17: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 17

ΥλοποίησηΤα δεδομένα εκπαίδευσης

Η. Μαργαριτίδης (HOU-CS-UGP-2014-15)

• 84 Καταγραφές συνολικά (14 χειρονομίες, 6 καταγραφές για κάθε μία από δύο χρήστες).

• Κάθε χειρονομία καταγράφεται σε ξεχωριστό αρχείο

• Κάθε καταγραφή διακρίνεται από τις άλλες με το χαρακτήρα #

• Σε κάθε καταγραφή αποθηκεύονται, το λεκτικό της χειρονομίας και για κάθε χρονική στιγμή οι τιμές Χ, Υ, Ζ, στον τρισδιάστατο χώρο με αρχή των αξόνων το ισχίο του χρήστη, δέκα διαφορετικών αρθρώσεων. Επίσης καταγράφονται δεδομένα ιεραρχικού προσανατολισμού 9 οστών που σχηματίζονται από τις 10 αρθρώσεις αν και δεν αξιοποιούνται από τον αλγόριθμο.

• Τα δεδομένα κανονικοποιούνται για να μην επηρεάζονται από τη θέση του χρήστη προς τον αισθητήρα και το μέγεθος του.

• Καταγράφονται οι χειρονομίες: Άλφα, δέκα, δεν μπορώ, ευρώ, ευχαριστώ, έψιλον, θέλω, καλημέρα, κωφός, μηδέν, νοηματική, στενοχωριέμαι, σχολείο, ψυχίατρος. Οι χειρονομίες χωρίζονται σε 3 κατηγορίες.

Page 18: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 18

ΥλοποίησηΤα δεδομένα εκπαίδευσης

Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Page 19: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 19

ΥλοποίησηΟ αλγόριθμος δυναμικής χρονικής στρέβλωσης

Η. Μαργαριτίδης(HOU-CS-UGP-2015-10)

Αλγόριθμος ΔΧΣ- Περιορισμοί:

Συνθήκη μονοτονίας. Το μονοπάτι δε γυρίζει πίσω

Συνθήκη συνέχειας. Το μονοπάτι προχωράει το μέγιστο ένα βήμα κάθε φορά

Συνθήκη ορίων Μέγεθος «παραθύρου». Το

μονοπάτι κινείται μέσα σε κάποια όρια γύρω από τη διαγώνιο.

Συνθήκη περιορισμού Ολίσθησης. Ο μέγιστος αριθμός βημάτων προς μια κατεύθυνση.

Page 20: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 20

Αποτελέσματα

Δεδομένα ελέγχου: 168 καταγραφές ελέγχου για όλα τα νοήματα (12

καταγραφές για κάθε νόημα από δύο διαφορετικούς χρήστες).

Συνολικός ρυθμός επιτυχίας 88% κρίνεται ικανοποιητικός με δεδομένο ότι υπάρχουν δυνατότητες

βελτιστοποίησης των καταγραφών του αισθητήρα και των παραμέτρων του αλγόριθμου.

Η. Μαργαριτίδης(HOU-CS-UGP-2015-10)

Microsoft Office User
Καλό θα είναι προν τα αποτελέσματα να βάλεις και ένα άλλο slide "Δυσκολίες-Προκλήσεις" με τα προβληματα που συνάντησες και τον τρόπο που τα αντιμετώπισες
Page 21: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 21

Αποτελέσματα

Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Page 22: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 22

ΑποτελέσματαΠίνακας αποτελεσμάτων

Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Επιτυχία Αποτυχία Ποσοστό Επιτυχία Αποτυχία Ποσοστό Επιτυχία Αποτυχία ΠοσοστόΆλφα 6 0 100,00% 6 0 100,00% 12 0 100,00%Δέκα 4 2 66,67% 6 0 100,00% 10 2 83,33%Δεν μπορώ 6 0 100,00% 6 0 100,00% 12 0 100,00%Ευρώ 6 0 100,00% 6 0 100,00% 12 0 100,00%Ευχαριστώ 4 2 66,67% 6 0 100,00% 10 2 83,33%Έψιλον 6 0 100,00% 3 3 50,00% 9 3 75,00%Θέλω 6 0 100,00% 6 0 100,00% 12 0 100,00%Καλημέρα 5 1 83,33% 5 1 83,33% 10 2 83,33%Κωφός 6 0 100,00% 4 2 66,67% 10 2 83,33%Μηδέν 3 3 50,00% 6 0 100,00% 9 3 75,00%Νοηματική 6 0 100,00% 6 0 100,00% 12 0 100,00%Στενοχωριέμαι 2 4 33,33% 6 0 100,00% 8 4 66,67%Σχολείο 5 1 83,33% 6 0 100,00% 11 1 91,67%ψυχίατρος 5 1 83,33% 6 0 100,00% 11 1 91,67%

Σύνολο 70 14 83,33% 78 6 92,86% 148 20 88,10%

Έμπειρος Νοηματιστής

Αρχάριος Νοηματιστής ΣΥΝΟΛΟ

Page 23: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 23

Συμπεράσματα

Σύνοψη-Αξιολόγηση Το πρόβλημα της μεταγλώττισης των νοηματικών

γλωσσών είναι πολύ πιο σύνθετο από ένα πρόβλημα αναγνώρισης χειρονομιών

Οι Κωφοί αποτελούν μια ιδιαίτερη κοινωνική και πολιτισμική κοινότητα και όχι μια ομάδα ανθρώπων με κοινή «ασθένεια».

Τα κοινωνικά χαρακτηριστικά της κοινότητας των Κωφών επιβεβαίωσαν την αναγκαιότητα ανάπτυξης μέσων για την επικοινωνία τους με τους ακούοντες

Η. Μαργαριτίδης (HOU-CS-UGP-2015-10)

Page 24: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 24

ΣυμπεράσματαΣύνοψη-Αξιολόγηση:

Ο αλγόριθμος ΔΧΣ μπορεί να αποτελέσει μια αποτελεσματική μέθοδο αναγνώρισης και ταξινόμησης νοημάτων της ΕΝΓ

Οι στατικές χειρονομίες (Α κατηγορία) όπως αναμενόταν έχουν μικρότερο ρυθμό επιτυχίας (83,3%) σε σχέση με τις δυναμικές

Ο ρυθμός επιτυχίας είναι μεγαλύτερος στον αρχάριο νοηματιστή (92,86%) σε σχέση με τον έμπειρο (83,33%)

Η προτεινόμενη λύση μπορεί να αποτελέσει τη βάση για ένα σύστημα μεταγλώττισης νοημάτων της ΕΝΓ

Εμπορικά διαθέσιμοι αισθητήρες προσφέρουν μεγάλες δυνατότητες καταγραφής πρόσθετων αρθρώσεων με μεγάλη ακρίβεια.

Η. Μαργαριτίδης(HOU-CS-UGP-2015-10)

Page 25: Ανάπτυξη συστήματος μεταγλώττισης νοηματικής γλώσσας

01/05/2023 25

Συμπεράσματα

Επεκτάσεις-μελλοντικές βελτιώσεις: Βελτιστοποίηση ρυθμίσεων εξομάλυνσης των

σκελετικών δεδομένων του αισθητήρα Αξιοποίηση δεδομένων ιεραρχικού προσανατολισμού. Προσθήκη δεδομένων παρακολούθησης δαχτύλων Ποιοτική και ποσοτική βελτίωση δεδομένων

εκπαίδευσης. Κατηγοριοποίηση δεδομένων εκπαίδευσης σε ομάδες

χειρονομιών με κοινά χαρακτηριστικά για την υποστήριξη μεγάλου αριθμού χειρονομιών.

Αναγνώριση χειρονομιών σε φυσική ροή.

Η. Μαργαριτίδης(HOU-CS-UGP-2015-10)