Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί +...

38
M lti d lI t f M lti d lI t f MultimodalInterfaces MultimodalInterfaces & systems & systems & systems & systems Πολυτροπικές ∆ιεπαφές & συστήματα Πολυτροπικές ∆ιεπαφές & συστήματα Πολυτροπικές ∆ιεπαφές & συστήματα Πολυτροπικές ∆ιεπαφές & συστήματα Νάνου ∆ώρα ΓΤΠ 61, Απρίλιος 2008

Transcript of Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί +...

Page 1: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

M lti d l I t fM lti d l I t fMultimodal InterfacesMultimodal Interfaces& systems& systems& systems& systems

Πολυτροπικές ∆ιεπαφές & συστήματαΠολυτροπικές ∆ιεπαφές & συστήματαΠολυτροπικές ∆ιεπαφές & συστήματαΠολυτροπικές ∆ιεπαφές & συστήματα

Νάνου ∆ώρα

ΓΤΠ 61, Απρίλιος 2008

Page 2: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΠεριεχόμεναΠεριεχόμεναΠεριεχόμεναΠεριεχόμεναΕισαγωγήΕισαγωγήΟρισμοί και έννοιες– Multimodal vs Multimedia– Πεδία Εφαρμογής– Πλεονεκτήματα - Μειονεκτήματα

Εφαρμογές– Κινητό σύστημα πλοήγησης– Βοηθός διασκέδασηςη ς ης

Κατηγορίες πολυτροπικών διεπαφώνMultimodal framework architecture & StandardsΠαρόν & μέλλονΠαραδείγματα σε βίντεοΒιβλιογραφία

Page 3: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΕισαγωγήΕισαγωγήΕισαγωγήΕισαγωγή∆ύ λ δί έ Π λ ώ ∆ ώ∆ύσκολο πεδίο έρευνας των Πολυτροπικών ∆ιεπαφών -MMI (βιβλία, άρθρα, παρουσιάσεις)

Ε ό δί Αλλ λ ίδ Α θ ώΕρευνητικό πεδίο της Αλληλεπίδρασης Ανθρώπου-Υπολογιστή (HCI)

Ισ ορία έρε ας & α ά ξηςΙστορία έρευνας & ανάπτυξης [1]

– HCI: 25 περίπου χρόνια– MMI: 8 -10 χρόνιαχρ

Μεγάλη ανάπτυξη πολυτροπικών διεπαφών και συστημάτων αλλά [2]ημ

... σύγχυση για το τι πραγματικά είναι

∆ιεπαφές Συστήματα∆ιεπαφές Συστήματα

Page 4: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΦαντασίαΦαντασία ή πραγματικότηταή πραγματικότηταΦαντασίαΦαντασία ή πραγματικότηταή πραγματικότητα

... ένας «ανθρώπινος» υπολογιστής ...

Page 5: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Ορισμοί και έννοιεςΟρισμοί και έννοιες

Page 6: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΟρισμοίΟρισμοί (1/2)(1/2)ΟρισμοίΟρισμοί (1/2)(1/2)

M lti d l lti l d / d litiMultimodal = multiple + modes/modalities [2]

Ψ λ ί ό d liti έ

τρόπος / μορφή ύπαρξης, ενέργειας

Ψυχολογία: ο όρος modalities αναφέρεται στις αισθήσεις (sensory modalities) [1]

τρόπο έκφρασης/αντίληψης μιας ιδέαςρ φρ ης ηψης μ ς ςτρόπο εκτέλεσης μιας ενέργειας [3]

Επιστήμη υπολογιστών: τύπος καναλιού/μέσου επικοινωνίας που χρησιμοποιείται κατά την ς χρη μ ηαλληλεπίδραση

Page 7: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΟρισμοίΟρισμοί (2/2)(2/2)ΟρισμοίΟρισμοί (2/2)(2/2)

M lti d l lti l + d / d litiMultimodal = multiple + modes/modalities [2]

Π λ ό Σύ (M lti d l t )

Πολλαπλοί + τρόποιΠΟΛΥΤΡΟΠΙΚΟ

Πολυτροπικό Σύστημα (Multimodal system )Υποστηρίζει επικοινωνία με το χρήστη μέσω δύο ή περισσοτέρων διαφορετικών τρόπων επικοινωνίας, όπως φωνήφωνή, , χειρονομίεςχειρονομίες, , φ ρ ρ ς, ς φ ήφ ή,, χ ρ μ ςχ ρ μ ς,,εκφράσεις του προσώπουεκφράσεις του προσώπου, , πληκτρολόγησηπληκτρολόγηση κειμένουκειμένου,, στάση στάση σώματοςσώματος κ.α. [3], [1]

Μπορεί δηλαδή ναΜπορεί δηλαδή να

αντιλαμβάνεται την «πολυτροπική» επικοινωνία του χρήστη (input) ή/και να ανταποκρίνεται με πολλαπλά εκφραστικά μέσα (output)

Page 8: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Multimedia vs MultimodalMultimedia vs Multimodal (1/2)(1/2)Multimedia vs. MultimodalMultimedia vs. Multimodal (1/2)(1/2)

Μέσο (Media): μορφή κωδικοποιημένης πληροφορίας π.χ. Βίντεο, σχεδιοκίνηση, μουσική, φωνητικά μηνύματα, ήχος, κείμενο, στατικά γραφικά, κ.α. [4]

Πολυμεσικό σύστημα (Multimedia system): μπορεί να αποκτήσει, να διαχειριστεί και να παρουσιάσει

δ ο ο η έ η ληροφορία σε δ άφορες ορφέςκωδικοποιημένη πληροφορία σε διάφορες μορφές π.χ. οπτική ή ακουστική ή γραπτή πληροφορία. [5] [6]

Πολυτροπικό σύστημα (Multimodal system): μπορεί να υποστηρίξει πολλαπλούς τρόπους μ ρ ηρ ξ ς ρ ςεπικοινωνίας με τον χρήστη (π.χ. Σύνθεση ομιλίας, δημιουργία γραφικών)

αλλά και να κατανοήσει «πολυτροπικές εντολές» από ήτον χρήστη (π.χ. Ομιλία, χειρονομίες, εκφράσεις προσώπου) [5] [6] [7]

Page 9: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Multimedia vs MultimodalMultimedia vs Multimodal ((22/2)/2)Multimedia vs. MultimodalMultimedia vs. Multimodal ((22/2)/2)

Επιφανειακά μοιάζουν[5] : – Χρησιμοποιούν ίδιες συσκευές εισόδου και εξόδου δεδομένων

(π χ Πληκτρολόγιο ποντίκι ηχεία οθόνη)(π.χ. Πληκτρολόγιο, ποντίκι, ηχεία, οθόνη)

– Λαμβάνουν, διαχειρίζονται και παρουσιάζουν οπτικές, ηχητικές και γραπτές πληροφορίες

Περιέχει, διαχειρίζεται και MULTIMEDIAMULTIMEDIA

∆ιαχειρίζεται και αναλύει MULTIMODALMODAL

παρουσιάζει διάφορες μορφές πληροφορίας (οπτικοακουστική)

σημασιολογικά διάφορες μορφές πληροφορίας (αντιλαμβάνεται) νόημα

∆εν έχει γνώση του σημασιολογικού περιεχομένου

λειτουργία

Επιλέγει τον τρόπο ί ήεπικοινωνίας με το χρήστη

(π.χ. Σύνθεση ομιλίας, δημιουργία 3∆ μοντέλων)

Page 10: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Πεδία εφαρμογήςΠεδία εφαρμογήςΠεδία εφαρμογήςΠεδία εφαρμογήςΕ έ ά δ έ ά ( ή ξΕφαρμογές για άτομα με ειδικές ανάγκες (υποστήριξη των προβληματικών αισθήσεων) [8]

Κινητές συσκευές [1] [10]Κινητές συσκευές [1] [10]

Εφαρμογές εικονικής πραγματικότητας

Παιχνίδια [1] [2]Παιχνίδια [1] [2]

Εφαρμογές προσομοίωσης και εκπαίδευσης

Συστήματα ασφάλειας (π χ αναγνώριση ατόμων βιομετρικάΣυστήματα ασφάλειας (π.χ. αναγνώριση ατόμων, βιομετρικά συστήματα) [1] [2] [8]

Ιατρικά συστήματα (π.χ. Καταγραφή και οργάνωση ιατρικών ρ ήμ ( χ γρ φή ργ η ρδεδομένων, κλινική ψυχολογία, διάγνωση ασθενειών όπως ο αυτισμός, οφθαλμολογία) [9]

Έξυπνα σπίτιαΈξυπνα σπίτια [9]

Page 11: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΠλεονεκτήματαΠλεονεκτήματαΠλεονεκτήματα Πλεονεκτήματα [4], [8], [11], [12], [13]

Ε ύ ό ( ί δ έ δ ξ ό δ ά βλήΕυρύτερο κοινό (χωρίς ειδικές δεξιότητες, με διάφορα προβλήματα π.χ. όρασης, κίνησης, ακοής)

Ευκολία εκμάθησης και χρήσηςΕυκολία εκμάθησης και χρήσης

Ευχρηστία σε «δύσκολες» συνθήκες (φασαρία, εν κινήσει)

Κ λύ δ ί λ θώ ( λ όΚαλύτερη διαχείριση λαθών (π.χ. συμπληρωματικότητα σε περιπτώσεις διφορούμενων/ασαφών δεδομένων, ο χρήστης επιλέγει τον πιο αποτελεσματικό τρόπο, αλλαγή τρόπου σε περίπτωση λάθους)

Ο συνδυασμός διαφορετικών τρόπων επικοινωνίας επιτρέπει πιο αποτελεσματική εκφραστική και φυσική επικοινωνίααποτελεσματική, εκφραστική και φυσική επικοινωνία

Ο χρήστης έχει την αίσθηση ελέγχου και επιλογής

Page 12: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΜειονεκτήματαΜειονεκτήματαΜειονεκτήματαΜειονεκτήματα [4], [8], [11], [12], [13]

Η λ ί ώ δ ό θ ώ θήΗ τεχνολογίες αναγνώρισης διαφόρων ανθρώπινων αισθήσεων (π.χ. γεύση, όσφρηση) δεν έχουν ακόμη πλήρως αναπαρασταθεί ή ενσωματωθεί σε εφαρμογές

Μεγάλη πολυπλοκότητα υλοποίησης (συγχρονισμός και γ η η η ης ( γχρ μ ςσυνδυασμός διαφορετικών ερεθισμάτων)

Μεγάλες απαιτήσεις σε υπολογιστική ισχύ

Ανεπαρκή πρότυπα, κατακερματισμένα και συνεχώς μεταβαλλόμενα

Page 13: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΕφαρμογέςΕφαρμογές

Page 14: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Κινητό Σύστημα ΠλοήγησηςΚινητό Σύστημα ΠλοήγησηςΚινητό Σύστημα ΠλοήγησηςΚινητό Σύστημα ΠλοήγησηςΧ ή Θέλ ά ξ δ ί HiltΧρήστης: Θέλω να πάω στο ξενοδοχείο «Hilton»

Σύστημα: (αναγνωρίζει το σκοπό του χρήστη, ψάχνει διαδρομές με βάση το σημείο και βρίσκει πληροφορίες για την κίνηση) Έχει πολλή β η ημ βρ ηρ φ ρ ς γ η η η) χ ήκίνηση στην κοντινή διαδρομή, γι’ αυτό θα σου δώσω μια εναλλακτική. Είναι περίπου 4 km.

Χρήστης: ∆είξε μου τη διαδρομή και τα εστιατόρια που υπάρχουν σεΧρήστης: ∆είξε μου τη διαδρομή και τα εστιατόρια που υπάρχουν σε «αυτή» την περιοχή

Είσοδος: Ομιλία, δεικτική συσκευής μ ή ή

Έξοδος: Ομιλία, Γραφικά, κείμενο

Page 15: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Βοηθός ∆ιασκέδασηςΒοηθός ∆ιασκέδασηςΒοηθός ∆ιασκέδασης Βοηθός ∆ιασκέδασης [1]

Γιώργος: Λέω να πάω σινεμά απόψε Σύστημα: Αυτή είναι η λίστα με τις Σύστημα: Αυτή είναι η λίστα με τις Γιώργος: Μμμμ, δεν μου φαίνεται Σύστημα: Αυτό είναι το σημερινό Σύστημα: Αυτό είναι το σημερινό Γιώργος: μαγνητοσκόπησέ μου αυτή Σύστημα: ΟΚ!Σύστημα: ΟΚ!αποψινές ταινίες στα αποψινές ταινίες στα Γιάννενα (δείχνει τη λίστα)Γιάννενα (δείχνει τη λίστα)

καμία ενδιαφέρουσα. Για δείξε μου τι παίζει η τηλεόραση ...

πρόγραμμα τηλεόρασηςπρόγραμμα τηλεόρασης

Page 16: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΚατηγορίεςΚατηγορίες

Page 17: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΚατηγορίεςΚατηγορίεςΚατηγορίεςΚατηγορίες

α. Αποκλειστικές πολυτροπικές διεπαφές(exclusive multimodal) [5], [6]

∆ θέ λλ λ ύ ό ί ή– ∆ιαθέτουν πολλαπλούς τρόπους επικοινωνίας στο χρήστη

– Μια έκφραση εισόδουέκφραση εισόδου (π.χ. Εντολή του χρήστη σύστημα) ή εξόδουεξόδου (παρουσίαση αποτελεσμάτων χρήστη)ή εξόδουεξόδου (παρουσίαση αποτελεσμάτων χρήστη)

δημιουργείται μόνο με ένα τρόπο κάθε φοράμόνο με ένα τρόπο κάθε φορά (π.χ. Οπτικά ή ακουστικά)

Παράδειγμα: Xspeak, 1990, MIT

Ε ή δ ί Wi dΕφαρμογή διαχείρισης των WindowsΠοντίκι ή πληκτρολόγιο ή φωνητικές εντολές (π χ άνοιξε το

Page 18: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΚατηγορίεςΚατηγορίεςΚατηγορίεςΚατηγορίες

β. Συνεργατικές πολυτροπικές διεπαφές(Synergic Multimodal)– ∆ιαθέτουν πολλαπλούς τρόπους επικοινωνίας στο χρήστη

– Μια έκφραση εισόδου έκφραση εισόδου ή εξόδουεξόδου δημιουργείται με πολλούς τρόπους ταυτόχροναταυτόχροναταυτόχροναταυτόχρονα

Παράδειγμα 1: Εφαρμογές τύπου «Βάλε-αυτό-εκεί»,[14]

Παράδειγμα 2: Χρήση ομιλίας και βλέμματος για άτομα με ειδικές ανάγκες [15].

Page 19: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΚατηγορίεςΚατηγορίεςΚατηγορίεςΚατηγορίες

α. Συμμετρικές πολυτροπικές διεπαφές(Symmetric Multimodality)– Όλοι οι τρόποι εισαγωγής δεδομένων στο σύστημα (π.χ. Ομιλία, χειρονομία, έκφραση προσώπου, κτλ) διατίθενται και για έξοδοδεδομένων προς το χρήστη (π.χ. Σύνθεση φωνής, εκφράσεις και μ ρ ς χρή η ( χ η φ ής φρ ςχειρονομίες 3∆ avatars) [1]

Παράδειγμα: SmartKom Communication Companion

Page 20: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΚατηγορίεςΚατηγορίεςΚατηγορίεςΚατηγορίες

β. Ασύμμετρες πολυτροπικές διεπαφές(Asymmetric Multimodality)– Όλοι οι τρόποι εισαγωγής δεδομένων στο σύστημα (π.χ. Ομιλία, χειρονομία, έκφραση προσώπου, κτλ) ∆ΕΝ∆ΕΝ διατίθενται και για έξοδο δεδομένων προς το χρήστη (π.χ. Σύνθεση φωνής, ξ μ ρ ς χρή η ( χ η φ ήςεκφράσεις και χειρονομίες 3∆ avatars) [1]

Παράδειγμα: Ένα απλό σύστημα αναγνώρισης φωνής

Page 21: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Πολυτροπικό ΠλαίσιοΠολυτροπικό ΠλαίσιοΠολυτροπικό Πλαίσιο Πολυτροπικό Πλαίσιο ΑλληλεπίδρασηςΑλληλεπίδρασηςη ρ ηη ρ η

Multimodal Interaction FrameworkMultimodal Interaction Framework

W3CW3CW3CW3C

Page 22: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Πολυτροπικό πλαίσιο αλληλεπίδρασηςΠολυτροπικό πλαίσιο αλληλεπίδρασηςΠολυτροπικό πλαίσιο αλληλεπίδρασηςΠολυτροπικό πλαίσιο αλληλεπίδρασης

Κοινοπραξία W3C ∆ράση Πολυτροπικής [16]

Αλληλεπίδρασης δημιουργία προδιαγραφών συστημάτων πολυτροπικής αλληλεπίδρασης στο Webσυστημάτων πολυτροπικής αλληλεπίδρασης στο Web

Πλαίσιο: Αφαιρετική μορφή μιας αρχιτεκτονικής σ σ ή α οςσυστήματος

ΕΙΣΟ∆ΟΣΕΙΣΟ∆ΟΣ ΣυναρτήσειςΣυναρτήσειςΕΙΣΟ∆ΟΣΕΙΣΟ∆ΟΣ Συναρτήσεις Συναρτήσεις ΕφαρμογώνΕφαρμογών

ΥποσύστημαΥποσύστημασυνεδρίαςσυνεδρίας

∆ιαχειριστής Αλληλεπίδρασης

Σύστημα & Σύστημα & περιβάλλονπεριβάλλον

ΕΞΟ∆ΟΣΕΞΟ∆ΟΣ

Page 23: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Υποσυστήματα ΕισόδουΥποσυστήματα ΕισόδουΥποσυστήματα ΕισόδουΥποσυστήματα ΕισόδουΣημασιολογική

ίΕνοποίησηΑναγνώριση

( ή)

Κείμενο

Κείμενο

Συναρτήσεις Εφαρμογών

Ερμηνεία

Προφορική ομιλία

Χειρόγραφο κείμενο

(Γραμματική)

ΟΜΙΛΙΑ

ΓΡΑΦΗ

(x,y)

Εκφράσεις Υποσύστημασυνεδρίας

μ

Κινήσεις ματιού

Εικόνες προσώπου

ΓΡΑΦΗ

ΟΡΑΣΗ

ΣΤΟΙΧΕΙΑ ΠΡΟΣΩΠΟΥ

Χαρακτήρες κειμένου

GPS

συνεδρίας

Συσκευές, Προτιμήσεις &

Πάτημα πλήκτρων

ΠΛΗΚΤΡΟΛΟΓΗΣΗ

ΠΡΟΣΩΠΟΥ

∆ιαχειριστής Αλληλεπίδρασης

GPS,

ON/OFF, ΜΠΑΤΑΡΙΑ

Προτιμήσεις & Περιβάλλον

ΕΞΟ∆ΟΣΕΞΟ∆ΟΣ

∆Ε∆ΟΜΕΝΑ ΣΥΣΤΗΜΑΤΟΣ

Page 24: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Υποσυστήματα ΕξόδουΥποσυστήματα ΕξόδουΥποσυστήματα ΕξόδουΥποσυστήματα Εξόδου

Συναρτήσεις Συναρτήσεις ΕφαρμογώνΕφαρμογώνΕΙΣΟ∆ΟΣΕΙΣΟ∆ΟΣ

ΥποσύστημαΥποσύστημασυνεδρίαςσυνεδρίας∆ημιουργίαΜορφοποίηση

Απόδοση –Παρουσίαση συνεδρίαςσυνεδρίας

∆ιαχειριστής Αλληλεπίδρασης

στυλ(συσκευές)

ΗΧΟΣ

Συνθετική ΚείμενοΣυσκευές,

Προτιμήσεις &ΦΩΝΗ

ΓΡΑΦΙΚΑ

Συνθετική Φωνή

Σχήμα [(Χ1, Υ1), (Χ2, Υ2)…]

Προτιμήσεις & Περιβάλλον

Ηχογραφημένα

μηνύματα

Page 25: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΠρότυπαΠρότυπα XMLXML προδιαγραφέςπροδιαγραφές (1/2)(1/2)ΠρότυπαΠρότυπα –– XML XML προδιαγραφές προδιαγραφές (1/2)(1/2)

Κανένα διεθνώς αποδεκτό πρότυπο για Πολυτροπική Αλληλεπίδραση [17]

XML προδιαγραφές όπως:– ΕΜΜΑ – Extensible Multi-Modal AnnotationsΜ ί ά ξύ ά όδΜορφοποίηση μηνυμάτων μεταξύ των υποσυστημάτων εισόδου και του ∆ιαχειριστή Αλληλεπίδρασης. [18 ] [19] [20]

Αναπαριστούν τη σημασιολογία των δεδομένων αυτών.

– InkML [19], [20] [21]

Μορφοποίηση μηνυμάτων που προέρχονται από συστήματα αναγνώρισης γραφής (χειρόγραφα, ίχνη από ηλεκτρονικό στυλό/

<destination>san diego

</destination>γ ρ ης γρ φής (χ ρ γρ φ χ η η ργραφίδα).

Page 26: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΠρότυπαΠρότυπα XMLXML προδιαγραφέςπροδιαγραφές ((22/2)/2)ΠρότυπαΠρότυπα –– XML XML προδιαγραφές προδιαγραφές ((22/2)/2)

Άλλες πρότυπες προδιαγραφές και γλώσσες σήμανσης: – VoiceXML και CCXML για φωνή, τηλεφ. κλήσεις και κινητές συσκευέςσυσκευές [22],

– SCXML για την περιγραφή της κατάστασης συσκευών (on/off, paused, running) [23]

– CC/PP (Composite Capabilities/Preference Profiles) δομή και λεξιλόγιο για την περιγραφή των δυνατοτήτων συσκευών και των προτιμήσεων των χρηστώντων προτιμήσεων των χρηστών

– XHTML και CSS για τη μορφοποίηση των γραφικών [24],

– SVG για 2∆ γραφικά στατικά και κινούμεναSVG για 2∆ γραφικά, στατικά και κινούμενα

– SSML για την παραγωγή συνθετικής ομιλίας με βάση χαρακτη-

Page 27: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΕΕ και Πολυτροπική αλληλεπίδρασηΕΕ και Πολυτροπική αλληλεπίδρασηΕΕ και Πολυτροπική αλληλεπίδρασηΕΕ και Πολυτροπική αλληλεπίδραση

Πλ ί ά (F k P FP) δ άΠλαίσια προγραμμάτων (Framework Programmes-FP) και δράσεις όπως ESPRIT, Telematics [28]

FP5 ESPRIT Telematics:FP5, ESPRIT, Telematics: – Τεχνολογίες φυσικής γλώσσας (ομιλία, πολυγλωσσικότητα, μετάφραση)– Πολυτροπικά, πολυαισθητηριακά συστήματα– Τεχνικές επεξεργασίας σήματος (π.χ. επεξεργασία ήχου)– Ρομποτική, Συναισθηματικός Η/Υ, Machine vision, Disappearing

computer, Neuroinformaticscomputer, Neuroinformatics

FP6:– Πολυτροπικές διεπαφές (MMI): 14 έργα, 73 Meuro– Γνωστικά συστήματα (CS): 8 έργα, 25 Meuro

Πέ ό ή ή ίλ ώ

Page 28: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

Παρόν και μέλλονΠαρόν και μέλλονΠαρόν και μέλλον Παρόν και μέλλον [8]

Κ ί ά έά έ λ ό ά ϊόΚυρίως ερευνητικά έργαερευνητικά έργα και λιγότερα «εμπορικά» προϊόντα

Πραγματική «πολυτροπικότητα» δύσκολα επιτυγχάνεταιδύσκολα επιτυγχάνεται (2 ή 3 τρόποι εισόδου δεδομένων)τρόποι εισόδου δεδομένων)

Καλύτερη ισορροπία ισορροπία μεταξύ μεθόδων εισόδου μεθόδων εισόδου και εξόδουεξόδου (π.χ. έμφαση σε οθόνες παρουσίασης, σχεδιοκίνηση, τεχνολογίες μφ η ς ρ ης, χ η η, χ γ ςκείμενο ομιλία, δημιουργία 3∆ κινούμενων χαρακτήρων)

Η συμβολή της Γνωσιακής ΕπιστήμηςΓνωσιακής Επιστήμης (Cognitive Science) είναι απαραίτητη στην κατανόηση της ανθρώπινης αντίληψης και συμπεριφοράς

Συνδυασμός άμεσωνάμεσων (π χ εντολές χρήστη) και έμμεσωνέμμεσωνΣυνδυασμός άμεσωνάμεσων (π.χ. εντολές χρήστη) και έμμεσων έμμεσων ερεθισμάτωνερεθισμάτων από το χρήστη και το περιβάλλον του (π.χ. Ενιαία

Page 29: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

VideoVideo

http://www.smartkom.org/http://www.smartkom.org/

http://video.google.com/http://video.google.com/

Page 30: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

SmartKom mobile assistantSmartKom mobile assistant. SmartKom mobile assistant. SmartKom mobile assistantΕ ή λ ή ή ήλ ή ή ή ( ί PDA)Εφαρμογή πλοήγησης σε κινητή συσκευήπλοήγησης σε κινητή συσκευή (αυτοκίνητο, PDA)

Είσοδος: ομιλία, ενδείξεις (γραφίδα), δεδομένα θέσης χρήστη (GPS)

Έξοδος: φωνητικές οδηγίες, κείμενο, γραφικά (διαδραστικός χάρτης, 3∆ εκφραστικός χαρακτήρας)

Σ άΣ ά ή έ Χ ϊδ λβέΣενάριοΣενάριο: ο χρήστης επισκέπτεται τη Χαϊδελβέργη.

Ζητάει αρχικά πληροφορίες για το κάστρο (εμφανίζονται φωτογραφίες + πληροφορίες) Ζητάει να πάει στην «Παλιά Γέφυρα»φωτογραφίες + πληροφορίες) . Ζητάει να πάει στην «Παλιά Γέφυρα» (σχεδιάζει διαδρομή και αρχίζει να το καθοδηγεί)

Αποφασίζει να πάει με τα πόδια (αυτόματα ενημέρωση του PDA, φ ζ μ ( μ ημ ρ ηπροσαρμογή διαλόγου στη νέα οθόνη. Καθοδηγεί το χρήστη που να στρίψει των ενημερώνει για παραπλήσια αξιοθέατα Αν χάσει το

Page 31: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

2a Google Earth2a Google Earth2a. Google Earth2a. Google EarthG l E h λ ήλ ή ή λ ύ ώλ ύ ώGoogle Earth: πλοήγηση πλοήγηση και παροχή πλούσιων γεωγραφικών πλούσιων γεωγραφικών δεδομένωνδεδομένων (δορυφορικές εικόνες, χάρτες, 3∆ κτίρια, έδαφος)

∆ημιουργία «πολυτροπικής διεπαφής» σε υπάρχουσα εφαρμογήυπάρχουσα εφαρμογή∆ημιουργία «πολυτροπικής διεπαφής» σε υπάρχουσα εφαρμογήυπάρχουσα εφαρμογή

Ψηφιακό τραπέζι, πολλοί χρήστες

Εί δ λί δ ίξ ίΕίσοδος: ομιλία, ενδείξεις, χειρονομίες

Έξοδος: γραφικά (διαδραστικός χάρτης, διαδρομές), κείμενο

ΣενάριοΣενάριο: ο χρήστης ζητάει διάφορα πράγματα όπως– Να κάνει zoom in και out, ή να περιστρέψει την εικόνα κατά την

πλοήγησηήγη η

– Να επισκεφτεί τη Βοστώνη

Page 32: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

22ββ Warcraft IIIWarcraft III22ββ. Warcraft III. Warcraft IIIΈ ό δ λή ίδ λ ήίδ λ ή (2002)Ένα από τα πιο δημοφιλή παιχνίδια υπολογιστήπαιχνίδια υπολογιστή (2002)

Εφαρμογή της προηγούμενης «πολυτροπικής διεπαφής» στο παιχνίδι

oogle Earth & Warcraft III video: oogle Earth & Warcraft III video:

tp://video.google.com/videoplay?docid=6420668728353654549&hltp://video.google.com/videoplay?docid=6420668728353654549&hl=en=en=en=en

Page 33: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΒιβλιογραφίαΒιβλιογραφία (1/5)(1/5)ΒιβλιογραφίαΒιβλιογραφία (1/5)(1/5)

W hl t W (2006) S tK F d ti f M lti d l Di lWahlster, W., (2006). SmartKom: Foundations of Multimodal Dialogue Systems (Cognitive Technologies), Springer-Verlag Berlin Heidelberg.

Tzovaras, D. (2008). Multimodal User Interfaces: From Signals to Interaction , ( ) g(Signals & Communication Technology). Springer.

Maes S. & Saraswat V. (2003). Multimodal Interaction Requirements. Available at http://www w3 org/TR/mmi reqs/#modalityAvailable at http://www.w3.org/TR/mmi-reqs/#modality.

Report for COST278, (2003). Design Guidelines and Tools for the Design of Multimodal Interfaces, “Spoken Language Interaction for Telecommunication”. Available at http://cost278.org/meetings/2003_09_Geneva/cost278-guidelines-v1.pdf

Coutaz, J., Caelen, J. (1991), A Taxonomy for Multimedia and MultimodalCoutaz, J., Caelen, J. (1991), A Taxonomy for Multimedia and Multimodal User Interfaces. Available at http://citeseer ist psu edu/coutaz91taxonomy html

Page 34: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΒιβλιογραφίαΒιβλιογραφία (2/5)(2/5)ΒιβλιογραφίαΒιβλιογραφία (2/5)(2/5)

C b ll N (2006) A bi t lti d lit t d d i tCarbonell, N. (2006). Ambient multimodality: towards advancing computer accessibility and assisted living. Universal Access in the Information Society (UAIS), Vol. 5, No. 1., pp. 96-104.

Intel, (2008). Glossary. Available at http://www.intel.com/products/glossary/body.htm

Oviatt S (2002) Multimodal Interfaces Chapter in the Handbook ofOviatt, S. (2002). Multimodal Interfaces. Chapter in the Handbook of Human-Computer Interaction. Available at http://www.milab.dk/dokumentation/public/Artikler%20og%20rapporter/Oviatt %20Sharon%20-%20Multimodal%20Interfaces pdfatt,%20Sharon%20-%20Multimodal%20Interfaces.pdf

http://www.eyegaze.com/SOLUTIONS.htm

. Hariharan, R. & Vetek, A. (2004). W3C Workshop on Multimodal. Hariharan, R. & Vetek, A. (2004). W3C Workshop on Multimodal Interaction. Presentation by Nokia. Available at http://www w3 org/2004/02/mmi-workshop/hariharan-nokia pdf

Page 35: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΒιβλιογραφίαΒιβλιογραφία (3/5)(3/5)ΒιβλιογραφίαΒιβλιογραφία (3/5)(3/5)

C l J (2003) M lti d l I t f A il bl t. Caloza, J. (2003). Multimodal Interfaces. Available at ww2.cs.fsu.edu/~jocaloza/cen5720/proj/MultimodalInterfaces.ppt

. Kamboj, S. (2003). A Tale of Two Dialogue Models. CISC882: Natural j, ( ) gLanguage Processing. Available at www.cis.udel.edu/~kamboj/presentations/cisc882.dialogue.models.ppt

3 Hu J (2004) Multimodal interfaces Presentation available at3. Hu, J., (2004). Multimodal interfaces. Presentation available athttp://hci.stanford.edu/cs376/2004/11-09/Hu.ppt

. Schapira, E. & Sharma, R. (2001). Experimental evaluation of vision and speech based multimodal interfaces. ACM International Conference Proceeding Series; Vol. 15. Workshop on Perceptive user interfaces.

5. LC Technologies Inc., (2008). EYEGAZE technology. Available at5. LC Technologies Inc., (2008). EYEGAZE technology. Available at http://www.eyegaze.com/SOLUTIONS.htm

Page 36: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΒιβλιογραφίαΒιβλιογραφία (4/5)(4/5)ΒιβλιογραφίαΒιβλιογραφία (4/5)(4/5)

7 K M (2007) P li ti i lti d l i t f I P di7. Kurze, M. (2007). Personalization in multimodal interfaces. In Proceedings of the 2007 Workshop on Tagging, Mining and Retrieval of Human Related Activity information. Available at http://portal.acm.org/citation.cfm?id=1330592&jmp=cit&coll=&dl=ACM#http://portal.acm.org/citation.cfm?id 1330592&jmp cit&coll &dl ACM#

8. Wikipedia®, (2008). W3C MMI. Available at http://en.wikipedia.org/wiki/W3C_MMI

9. Dahl, D. (2002). Standards for Multimodal Standards for Multimodal Interaction: Activities in the W3C Multimodal Interaction Working Group. Presentation available at http://www.conversational-technologies com/images/tvuimmi pdftechnologies.com/images/tvuimmi.pdf

. W3C, (2004). Multimodal Interaction Working Group Charter. Available at http://www.w3.org/2004/03/mmi-charter.html

. Watt, S., (2005). InkML Activity. ICDAR 2005. Available at http://www.orcca.on.ca/PenMath/materials/talks/Watt-ICDAR-2005-inkml.pdf

Page 37: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία

ΒιβλιογραφίαΒιβλιογραφία ((55//55))ΒιβλιογραφίαΒιβλιογραφία ((55//55))

3 Wikipedia® (2008) SCXML Available at http://en wikipedia org/wiki/SCXML3. Wikipedia®, (2008). SCXML. Available at http://en.wikipedia.org/wiki/SCXML. W3C, (2002). What is XHTML? Available at

http://www.w3.org/TR/xhtml1/#xhtml5. W3C, (2004). Speech Synthesis Markup Language. Available at

http://www.w3.org/TR/speech-synthesis/6. W3C, (2008). Scalable Vector Graphics (SVG). Available at , ( ) p ( )

http://www.w3.org/Graphics/SVG/7. Baillie, L. et al., (2005). Designing Mona: User Interactions with Multimodal

Mobile Applications. HCI International 2005, 11th International Conference ppon Human-Computer Interaction. Available at http://mona.ftw.at/papers/designingmona_final.pdf

8. Ljungqvist, M. (2004). EU research initiatives in multimodal interaction. Presentation of the European Commission Information Society DG, Interfaces. Available at http://mmm.idiap.ch/mlmi04/MLMI-Talk-014/ lid / lid t

Page 38: Mlti dlMultimodal It fI nterfaces - eap.gr · ΠΟΛΥΤΡΟΠΙΚΟ Πολλαπλοί + τρόποι Πολυτροπικό στημα Multimodal system Υποστηρίζει επικοινωνία