Ουζούνης Γεώργιος

Εξατομικευμένη Αυτόματη Αναγνώριση Φωνής

Ουζούνης Γεώργιος

Επιβλέποντες:

Συμεωνίδης Ανδρέας

Τσαρδούλιας Εμμανουήλ

Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης

Πολυτεχνική Σχολή

Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών

Εργαστήριο Επεξεργασίας της Πληροφορίας και Υπολογισμών

4 Νοεμβρίου 2016

Ουζούνης Γεώργιος PASR 4 Νοεμβρίου 2016 1 / 29

Περιεχόμενα

1 Αυτόματη αναγνώριση φωνής

Τι είναι

Εφαρμογές

Διαθέσιμα εργαλεία

2 Η εφαρμογή Ε.Α.Α.Φ.

Γενική περιγραφή

Επιμέρους τμήματα

ControllerDatabaseModelGUI

3 Πειράματα

4 Σύνοψη


Αυτόματη αναγνώριση φωνής



Τι είναι

Εφαρμογές







4 Σύνοψη


Αυτόματη αναγνώριση φωνής Τι είναι



Τι είναι

Εφαρμογές







4 Σύνοψη


Αυτόματη αναγνώριση φωνής Τι είναι

Είναι η διαδικασία κατανόησης της ανθρώπινης φωνής

από ηλεκτρονικά συστήματα.

Βήματα διαδικασίας

Εξαγωγή χαρακτηριστικών από το ηχητικό σήμα.

Εύρεση παύσεων της ομιλίας.

Αντιστοίχιση των επιμέρους τμημάτων σε

ακολουθίες λέξεων.

Επιλογή του πιθανότερου συνδυασμού βάσει

στατιστικών ή/και άλλων μοντέλων.


Αυτόματη αναγνώριση φωνής Εφαρμογές



Τι είναι

Εφαρμογές







4 Σύνοψη



Ιατρική

Εκτενής καταγραφή συμβάντων.

Συμπλήρωση φόρμας ασθενούς.

Καθοδήγηση ρομποτικών συστημάτων.

Συστήματα αυτοκινήτων

Σχεδιασμός πορείας (δήλωση τελικού προορισμού,

στάσεων, κτλ...).

Διαχείριση εισερχόμενων/εξερχόμενων κλήσεων

κατά την οδήγηση.

Αναζήτηση σε χάρτες για σταθμούς

ανεφοδιασμού, ξενοδοχεία, κτλ...



Αλλα

Αυτόματη μετάφραση σε διεθνή συνέδρεια,

πανεπιστήμια, κτλ...

Χρήση από ανθρώπους με προβλήματα ακοής σε

διαλέξεις, εκδηλώσεις, κτλ...

Internet of Things: Διαχείριση οικειακώνσυσκευών.


Αυτόματη αναγνώριση φωνής Διαθέσιμα εργαλεία



Τι είναι

Εφαρμογές







4 Σύνοψη


Αυτόματη αναγνώριση φωνής Διαθέσιμα εργαλεία

Για τους χρήστες

Intelligent personal assistants: Siri, Cortana, GoogleVoice, MLS IQTalk.

Desktop εφαρμογές για δημιουργία εγγράφων,e-mail, καταγραφή σημειώσεων κ.α. μέσω τηςφωνής.

Για τους προγραμματιστές

Ελεύθερο ή εμπορικό λογισμικό για αυτόματη

αναγνώριση φωνής: CMU Sphinx, HTK, Kaldi.

APIs: Google Cloud Speech, Cortana, Siri.


Η εφαρμογή Ε.Α.Α.Φ.



Τι είναι

Εφαρμογές







4 Σύνοψη


Η εφαρμογή Ε.Α.Α.Φ. Γενική περιγραφή



Τι είναι

Εφαρμογές







4 Σύνοψη


Η εφαρμογή Ε.Α.Α.Φ. Γενική περιγραφή

Εφαρμογή για τη συγγραφή e-mail στην αγγλικήγλώσσα με υπαγόρευση.

CMU Sphinx για την υλοποίηση της αυτόματηςαναγνώρισης φωνής.

Επεξεργασία του αποτελέσματος και διόρθωση

βάσει των e-mail του χρήστη.

Επιπλέον...

Δυνατότητα προσαρμογής στη φωνή και το ηχητικό

περιβάλλον του χρήστη βάσει ηχογραφήσεων.

Ομαδοποίηση e-mail ανά θεματικές ενότητες.


Η εφαρμογή Ε.Α.Α.Φ. Επιμέρους τμήματα



Τι είναι

Εφαρμογές







4 Σύνοψη





Τι είναι

Εφαρμογές







4 Σύνοψη



Controller

Αναλαμβάνει την ενορχήστρωση και τη συνεργασία

των επιμέρους τμημάτων.

Επικοινωνεί με τον πάροχο των μηνυμάτων

ηλεκτρονικού ταχυδρομείου.

Επικοινωνεί με τη βάση δεδομένων για την

αποθήκευση και την ανάκτηση δεδομένων.





Τι είναι

Εφαρμογές







4 Σύνοψη



Database

Αποθηκεύει και ανακτά τα μοντέλα της εφαρμογής.

Διατηρεί τα δείγματα φωνής του χρήστη.

Προσαρμόζει τα μοντέλα του CMU Sphinx στηφωνή του χρήστη.





Τι είναι

Εφαρμογές







4 Σύνοψη



CMU Sphinx

Υλοποιεί την αναγνώριση φωνής.

Παραμετροποίηση

Ακουστικό μοντέλο (acoustic model)

Γλωσσικό μοντέλο (language model)

Λεξικό (dictionary)

Δυνατότητα προσαρμογής του ακουστικού μοντέλου

χρησιμοποιώντας ηχογραφήσεις.



Pre-processing

Στάδιο δημιουργίας των μοντέλων του CMU Sphinx.

Δημιουργία γλωσσικού μοντέλου με βάση τα

e-mails του χρήστη.

Δημιουργία λεξικού με βάση το γλωσσικό μοντέλο.

Προσαρμογή του υπάρχοντος ακουστικού

μοντέλου.

Αποθήκευση των παραπάνω για μελλοντική χρήση.



Post-processing

Στάδιο επεξεργασίας της εξόδου του CMU Sphinx.

Διαδικασία διόρθωσης πρότασης

Εύρεση πιθανώς εσφαλμένων λέξεων.

Εύρεση πιθανών αντικαστατών για κάθε

εσφαλμένη λέξη.

Βαθμολόγιση και επιλογή αντικαταστάτη.

Μετρικές ομοιότητας

Απόσταση Levenshtein

Fuzzy matching

Part of speech tagging





Τι είναι

Εφαρμογές







4 Σύνοψη


Πειράματα



Τι είναι

Εφαρμογές







4 Σύνοψη


Πειράματα

Ακρίβεια

Σετ δεδομένων 1000 προτάσεων

ΠροσαρμογήWord Accuracy

ASR Post-processing0% 0.22% 27.91%

0%1

26.49% 59.14%

10% 60.67% 83.13%

20% 62.81% 84.77%

50% 66.36% 87.34%

75% 67.84% 88.15%

100% 68.85% 88.83%

1custom language modelΟυζούνης Γεώργιος PASR 4 Νοεμβρίου 2016 27 / 29

Σύνοψη



Τι είναι

Εφαρμογές







4 Σύνοψη


Σύνοψη

Personalized Automatic Speech Recognition

Υλοποίηση

Δημιουργία εφαρμογής για συγγραφή e-mails στηνΑγγλική με υπαγόρευση.

Εργαλεία - Τεχνικές

CMU Sphinx για αυτόματη αναγνώριση φωνής.

Post-processing για βελτίωση των αποτελεσμάτων.

Αποτελέσματα

Αποτελέσματα της τάξης του 80% με προσαρμογή

του ακουστικού μοντέλου.


Ουζούνης Γεώργιος

Software

Transcript of Ουζούνης Γεώργιος