10-1

Κεφάλαιο 10 – Επαυξημένη Πραγματικότητα Σύνοψη Στο κεφάλαιο αυτό θα μελετήσουμε τις έννοιες, το υλικό, τα μέσα και τις εφαρμογές που συνιστούν αυτό που αποκαλούμε Επαυξημένη Πραγματικότητα (Augmented Reality). Με τον όρο Επαυξημένη Πραγματικότητα (ΕπΠ) αναφερόμαστε σε εφαρμογές υπολογιστών που ενσωματώνουν στον πραγματικό κόσμο, όπως αυτός εκλαμβάνεται από το χρήστη μέσα από τις αισθήσεις του, πληροφορία και υλικό κυρίως εικόνας και ήχου, δημιουργημένα από μια υπολογιστική μονάδα. Ειδικότερα στις επόμενες παραγράφους θα περιγράψουμε τι σημαίνει Επαυξημένη Πραγματικότητα, ποιες είναι οι βασικές απαιτήσεις σε υλικό και λογισμικό που χρησιμοποιείται ώστε να υλοποιήσουμε εφαρμογές ΕπΠ, καθώς και τι είδους υλικό περιεχομένου μπορούμε να χρησιμοποιήσουμε. Τέλος, θα αναφερθούμε στα στοιχεία διεπαφής που επιτρέπουν το χειρισμό τέτοιων εφαρμογών, σε ποιους τομείς εφαρμόζονται οι εφαρμογές ΕπΠ, ενώ θα παραθέσουμε και ορισμένα παραδείγματα υλοποιήσεων.

Προαπαιτούμενη Γνώση Απαιτείται ένα στοιχειώδες επίπεδο αντίληψης των βασικών εννοιών της ΕπΠ και των σύγχρονων εφαρμογών της. Αν και δεν απαιτείται προηγούμενη προσωπική εμπειρία από τη χρήση της ΕπΠ, ωστόσο αναμένεται να είναι γνωστές οι δυνατότητες και οι περιορισμοί των σχετικών τεχνολογιών.

10.1. Εισαγωγή Οι άνθρωποι αλληλεπιδρούν με διαφορετικά μέσα και με διαφορετικούς τρόπους.

• Διαβάζουν ένα βιβλίο. • Παρακολουθούν μια ταινία. • Ακούν μουσική.

Η ειδοποιός διαφορά με την επαυξημένη πραγματικότητα είναι ότι ο τρόπος αλληλεπίδρασης με αυτή

είναι να την βιώσουν. Η επαυξημένη πραγματικότητα μπορεί να ερεθίσει πολλές από τις αισθήσεις μας, αν και ώς τώρα είναι πρωτίστως οπτικό μέσο. Απαιτείται λοιπόν αλληλεπίδραση με την ΕπΠ, προκειμένου να αποκτηθεί η εμπειρία που παρέχει. Η επαυξημένη πραγματικότητα μπορεί να υποστηρίξει πολλές διαφορετικές περιοχές εφαρμογής. Μπορεί να εφαρμοστεί στην εκπαίδευση, την ψυχαγωγία, την ιατρική, και σε πολλές ακόμα περιοχές. Καθένα από αυτά τα πεδία εφαρμογής και αντίστοιχα συγκεκριμένες εφαρμογές αποτελούν μια εμπειρία.

Τι αποτελεί, λοιπόν, μια εμπειρία επαυξημένης πραγματικότητας; Εν συντομία, ο πυρήνας μιας εμπειρίας επαυξημένης πραγματικότητας έγκειται στο ότι ο χρήστης αλληλεπιδρά με το φυσικό κόσμο με τον ίδιο τρόπο που θα αλληλεπιδρούσε ανεξάρτητα από την ύπαρξή της. Μέσω της ΕπΠ αλληλεπιδρούμε με τον κανονικό κόσμο, ως συνήθως, αλλά υπάρχουν προσθήκες σε αυτόν, που αποτελούνται από ψηφιακές συνήθως πληροφορίες, οι οποίες τοποθετούνται στον κόσμο για να τον επαυξήσουν με πράγματα που κανονικά δε θα βλέπαμε, ακούγαμε, αγγίζαμε ή αισθανόμασταν κανονικά.

Για να κατανοήσουμε καλύτερα τα προαναφερόμενα ας θεωρήσουμε το ακόλουθο παράδειγμα. Φανταστείτε ότι επισκέπτεστε έναν αρχαιολογικό χώρο και ενώ βρίσκεστε μπροστά από τα ερείπια του αρχαιολογικού χώρου, μπορείτε με τη χρήση της τεχνολογίας να δείτε πάνω στις ακριβείς θέσεις των ερειπίων πώς ήταν τα κτίρια στην αρχική τους μορφή στο παρελθόν. Ουσιαστικά, βιώνετε μια εμπειρία επαυξημένης πραγματικότητας. Μπορείτε να περπατήσετε στο χώρο και να δείτε από όλες τις διαφορετικές όψεις, ακριβώς πώς ήταν κάθε δωμάτιο και προαύλιος χώρος, τα έπιπλα που χρησιμοποιούσαν, σκεύη, διακοσμήσεις κλπ. Μπορείτε, επίσης, να αλληλεπιδράσετε με διάφορα αντικείμενα της εποχής, να ανοίξετε πόρτες και να χρησιμοποιήσετε κάποιον αρχαίο μηχανισμό ενέργειες που θα μπορούσατε να κάνετε έτσι ακριβώς όπως και στον πραγματικό κόσμο. Ωστόσο, οι εμπειρίες ΕπΠ μπορούν ακόμη να προσφέρουν τη δυνατότητα να βιώσετε εμπειρίες που δεν είναι δυνατό να τις ζούσατε αλληλεπιδρώντας με τον πραγματικό κόσμο. Ίσως για παράδειγμα θα θέλατε να δείτε το κτίριο με διαφορετικό χρώμα στους τοίχους ή να δείτε πώς λειτουργούσαν μέσα σε αυτό οι άνθρωποι της εποχής, ή ακόμα να δείτε τη διαδικασία στο χρόνο μέσα από την οποία

10-2

μετατράπηκε το κτίριο αυτό από την αρχική του μορφή στα σημερινά ερείπια. Όλα αυτά είναι δυνατά χρησιμοποιώντας την επαυξημένη πραγματικότητα. 10.2. Τι είναι η Επαυξημένη Πραγματικότητα; Από την αρχή του χρόνου, η ανθρωπότητα επιδίωξε να αλλάξει και να βελτιώσει το περιβάλλον της. Οι πρώτες προσπάθειες για να τροποποιήσει και να ενισχύσει το φυσικό κόσμο αφορούσαν το χειρισμό φυσικών αντικειμένων. Αργότερα, έμαθαν να συμβολίζουν την πληροφορία και να δημιουργούν εικόνες, όπως πίνακες ζωγραφικής στους τοίχους σπηλιών για λειτουργικούς σκοπούς, για να υποδείξουν ένα χάρτη για μια τοποθεσία, να πουν μια ιστορία, ή μόνο για λόγους αισθητικής.

Καθώς η ανθρωπότητα και η τεχνολογία προχώρησε, οι ιδέες έγιναν πολύ πιο σημαντικές και εκφράστηκαν συμβολικά, είτε με ρεαλιστικό τρόπο (όπως ένα κύριο λεκτικό σχέδιο) είτε συμβολικά (όπως ένας χάρτης). Σ’ αυτό το σημείο της ιστορίας, ο κόσμος αποτελείται από φυσικές οντότητες, αλλά και ιδέες και αντιπροσωπεύσεις των ιδεών αυτών με διάφορα φυσικά μέσα. Οι διάφορες ιδέες εκφράστηκαν με διάφορους τρόπους όπως μέσα από πίνακες ζωγραφικής, γλυπτική, μουσική, χορό κλπ. Μέχρι τον 20ο αιώνα, εάν ήταν επιθυμητό να προσθέσουμε πληροφορία σε ένα συγκεκριμένο φυσικό χώρο, ο μόνος τρόπος για να γίνει αυτό ήταν να δημιουργήσουμε ένα φυσικό αντικείμενο που είτε συνιστούσε τη δική του υπόσταση, είτε είχε ως στόχο την αναπαράσταση πληροφοριών. Για παράδειγμα, αν θέλαμε να προσδιορίσουμε τις διόδους διαφυγής σε ένα συγκεκριμένο κτίριο σε περίπτωση ανάγκης, έπρεπε να αναρτήσουμε πινακίδες που να προσδιορίζουν τις εξόδους πάνω από τις αντίστοιχες πόρτες, να τοποθετήσουμε χάρτες που να δείχνουν σε κάτοψη τη διαδρομή από κάθε όροφο του κτιρίου προς τις εξόδους και να συντάξουμε σε κείμενο τις οδηγίες προς τους ενοίκους, καθώς και να τοποθετήσουμε συναγερμούς που να ειδοποιούν ηχητικά σε περίπτωση ανάγκης.

Στην περίπτωση όμως που θα έπρεπε να αλλάξουμε τις πληροφορίες σχετικά με αυτό το μέρος ή την κατάσταση που επικρατούσε, θα ήταν απαραίτητο να κατασκευάσουμε από την αρχή πινακίδες και χάρτες του κτιρίου, ή τουλάχιστον να μεταβάλλουμε τις οδηγίες. Με την πρόοδο της τεχνολογίας κατέστη δυνατή η κατασκευή πινακίδων με μεταβαλλόμενο μήνυμα, που θα μπορούσε να αλλάξει κατά βούληση. Έτσι, αναφορικά με το προαναφερόμενο παράδειγμα, αν υπήρχε ανάγκη να αλλάξουμε την κατεύθυνση προς μία πιο ασφαλή έξοδο διαφυγής, θα μπορούσαμε χρησιμοποιώντας π.χ. πινακίδες LED και με το πάτημα μερικών διακοπτών να ορίσουμε είτε μόνιμα είτε προσωρινά ένα νέο βέλος κατεύθυνσης ή ένα μήνυμα. (Εικόνα 10.1).

Εικόνα 10.1. Παράδειγμα μεταβαλλόμενης πινακίδας ανάγκης (Πηγή: Wikimedia Commons, Chris.rider81, CC BY 3.0)

Η έλευση της εποχής της πληροφορίας και οι ψηφιακοί υπολογιστές επέτρεψαν την ψηφιακή αναπαράσταση πληροφοριών. Με τους υπολογιστές, μεγάλοι όγκοι δεδομένων μπορούν να αποθηκεύονται, να υπόκεινται σε επεξεργασία και να ανακτώνται με μεγάλη ταχύτητα, απαιτώντας ελάχιστο χώρο αποθήκευσης. Με αυτήν την ικανότητα άμεσης μεταβολής και ανάκτησης της πληροφορίας δημιουργείται παράλληλα και ένας πιο ισχυρός τρόπος τροποποίησης και επαύξησης του περιβάλλοντός μας. Επιπρόσθετα, με την αύξηση της ισχύος και τη μείωση του κόστους και του μεγέθους των υπολογιστικών συσκευών, η ικανότητα να υπολογίζουμε προσομοιώσεις φυσικών ή/και φανταστικών γεγονότων που καθιστά τη διαφορά μεταξύ του «πραγματικού» και του «εικονικού» ολοένα και πιο μικρή. Ακόμη, με την ικανότητα για όλο και πιο περίπλοκες υπολογιστικά προσομοιώσεις, καθίσταται δυνατή η αντικατάσταση ορισμένων φυσικών αντικειμένων και συσκευών με προσομοιώσεις που συμπεριφέρονται με τον ίδιο τρόπο.

Η ικανότητα παραγωγής και απεικόνισης τρισδιάστατων (3D) γραφικών υπολογιστή σε πραγματικό χρόνο μας παρείχε πλέον τη δυνατότητα να δημιουργού με σκηνές που δεν ήταν δυνατόν να δημιουργήσουμε σε έναν καθαρά φυσικό κόσμο. Ενώ στο παρελθόν φωτογραφικά και κινηματογραφικά τεχνάσματα μας έδωσαν απλώς μια ιδέα από τους φανταστικούς κόσμους, ή εικόνες κόσμων που φαντάζουν πραγματικοί, τα γραφικά υπολογιστών μας επέτρεψαν οτιδήποτε φανταζόμαστε, να μπορεί να δημιουργηθεί και απεικονιστεί με τόση ακρίβεια, σε σημείο που να ξεγελά τις αισθήσεις μας. Πλέον, ο περισσότερος

10-3

κόσμος έχει έρθει σε επαφή με εμπειρίες τρισδιάστατων απεικονίσεων, όπως ταινίες και ηλεκτρονικά παιχνίδια∙ σε αρκετές περιπτώσεις χρησιμοποιούνται συστήματα στερεοσκοπικής απεικόνισης ή ακόμη και φυσικής αλληλεπίδρασης μέσα από συσκευές όπως το Nintendo Wii και το Microsoft Kinect (Εικόνα 10.2).

Ακόμη και με τα συστήματα που περιγράφηκαν πιο πάνω, (3D ταινίες, ηλεκτρονικά παιχνίδια κλπ.), η εικόνα εμφανίζεται σε μια οθόνη που υφίσταται στον πραγματικό κόσμο. Αν μετακινηθεί η οθόνη, η απεικόνιση κινείται μαζί της. Ομοίως, συμπεριφέρονται ο υπολογιστής ή η κονσόλα ηλεκτρονικών παιχνιδιών∙ αυτό που προβάλλεται στην οθόνη μπορεί να τοποθετεί χαρακτήρες, αντικείμενα και χώρους σε μια συγκεκριμένη τοποθεσία, αλλά η τοποθεσία αυτή παραμένει ανεξάρτητη από τον τόπο που προβάλλονται στον πραγματικό κόσμο. Για παράδειγμα, ας φανταστούμε μια ταινία που παίζει στην Αθήνα. Τα αντικείμενα και οι χαρακτήρες εμφανίζονται σε μια οθόνη σε έναν κινηματογράφο που βρίσκεται στην Αθήνα. Η ίδια ταινία θα μπορούσε να παίζει στη Θεσσαλονίκη, και τα αντικείμενα και οι χαρακτήρες στην ταινία είναι σε μια οθόνη σε έναν κινηματογράφο στη Θεσσαλονίκη, αλλά η ιστορία που εμφανίζεται στην οθόνη εκτυλίσσεται στο ίδιο μέρος, όπως και όταν προβαλλόταν στην Αθήνα. Αντίστοιχα, κάποιος που παίζει Wii στο σαλόνι του στο Ηράκλειο, βλέπει τους χαρακτήρες και τα αντικείμενα του παιχνιδιού στην τηλεόραση του στο Ηράκλειο. Το παιχνίδι μπορεί να εκτυλίσσεται σε διαφορετική τοποθεσία, αλλά αυτή η τοποθεσία δε συνδέεται γεωγραφικά με τη θέση του παίκτη στον πραγματικό κόσμο.

(α) Nintendo Wii (Πηγή: Wikimedia Commons, Evan-Amos, Public Domain)

(β) Microsoft Kinect (Πηγή: Wikimedia Commons, The Community-Pop Culture Geek, CC BY 2.0)

Εικόνα 10.2. Συσκευές που επιτρέπουν τη φυσική αλληλεπίδραση

Είδαμε στο προηγούμενο κεφάλαιο ότι η Εικονική Πραγματικότητα ορίζεται ως "Ένα αλληλεπιδραστικό, τρισδιάστατο περιβάλλον, κατασκευασμένο από υπολογιστή, στο οποίο μπορεί κάποιος να εμβυθιστεί". Η Επαυξημένη Πραγματικότητα, αντίθετα, αντιστρέφει τον παραπάνω ορισμό που βασίζεται στην «εμβύθιση» του χρήστη σε ένα φανταστικό κόσμο, ενσωματώνοντας την πληροφορία που παράγει ο υπολογιστής στον πραγματικό κόσμο του χρήστη.

Σύμφωνα με τον Ronald Azuma [Azuma, 1997], τα τρία χαρακτηριστικά που καθορίζουν την επαυξημένη πραγματικότητα είναι τα εξής:

1. Συνδυάζει το πραγματικό και το εικονικό 2. Είναι διαδραστική σε πραγματικό χρόνο 3. Η πληροφορία χωροθετείται στις τρεις διαστάσεις

Με τη χρήση σύγχρονων τεχνολογιών χωροθέτησης, όπως το GPS (Global Positioning System),

αισθητήρων κίνησης, αδράνειας και διεύθυνσης, καμερών ενσωματωμένων σε συσκευές και αισθητήρων βάθους, είναι δυνατό πλέον να ορίσουμε την ΕπΠ ως:

«την τεχνολογία η οποία γνωρίζοντας πού βρίσκεται ο χρήστης, προς τα πού κοιτάει, πώς είναι ο χώρος στον οποίο βρίσκεται και τι είναι το αντικείμενο με το οποίο αλληλεπιδρά στον πραγματικό κόσμο, επιτρέπει τη χωρική και χρονική συσχέτιση πληροφορίας που παράγει ο υπολογιστής και την εμφανίζει σε τρισδιάστατη υπέρθεση με το φυσικό κόσμο, σε πραγματικό χρόνο».

10-4

Στην επόμενη ενότητα θα δούμε τις βασικές τεχνολογίες και έννοιες που επιτρέπουν τη συσχέτιση αυτή σε μεγαλύτερη λεπτομέρεια. 10.3. Βασικές Έννοιες και Υλικό Επαυξημένης Πραγματικότητας

Ας δούμε λοιπόν, πώς υλοποιούνται τα χαρακτηριστικά που διέπουν την Επαυξημένη Πραγματικότητα. Έχουμε αρχικά υπόψη μας πως οι εφαρμογές επαυξημένης πραγματικότητας μπορούν να περιγραφούν ως μια διαδικασία δύο σταδίων και στη συνέχεια θα συμπληρώσουμε με περισσότερες λεπτομέρειες τι εμπλέκεται σε καθένα από αυτά τα δύο βήματα και τους διάφορους τύπους τεχνολογιών που μπορεί να χρησιμοποιούνται για την εκτέλεση αυτών των βημάτων.

Σε γενικές γραμμές, για κάθε χρονικό βήμα μιας εφαρμογής επαυξημένης πραγματικότητας θα πρέπει η εφαρμογή:

1. Να καθορίσει την τρέχουσα κατάσταση του φυσικού κόσμου καθώς και του εικονικού

κόσμου. 2. Να εμφανίσει την εικονική πληροφορία με χωρική και χρονική συσχέτιση με τον πραγματικό

κόσμο κατά τρόπο που θα επιτρέψει στο χρήστη να αντιληφθεί τα εικονικά στοιχεία ως μέρος του φυσικού κόσμου και στη συνέχεια να επιστρέψει στο βήμα1,για να προχωρήσουμε στο επόμενο χρονικό βήμα.

Υπάρχουν τρία δομικά στοιχεία σε ένα σύστημα επαυξημένης πραγματικότητας για την υποστήριξη

των βημάτων που μόλις αναφέρθηκαν. Αυτά συνίστανται σε:

1. Έναν ή περισσότερους αισθητήρες, για να καθοριστεί η κατάσταση του φυσικού κόσμου όπου έχει αναπτυχθεί η εφαρμογή

2. Έναν επεξεργαστή, ώστε να αξιολογηθούν τα δεδομένα των αισθητήρων, να υλοποιηθεί η εφαρμογή των φυσικών και άλλων κανόνων του εικονικού κόσμου, και να παραχθούν τα σήματα που απαιτούνται για την οδήγηση της οθόνης

3. Μια παρουσίαση κατάλληλη που να δημιουργεί την αίσθηση ότι ο εικονικός και ο πραγματικός κόσμος συνυπάρχουν και να εντυπωθεί στις αισθήσεις του χρήστη ο συνδυασμός φυσικού και εικονικού κόσμου.

Στη συνέχεια θα δούμε με τη σειρά που τα θέσαμε, το ρόλο που καθένα από αυτά τα στοιχεία παίζει

στο συνολικό σύστημα της επαυξημένης πραγματικότητας. 10.3.1. Αισθητήρες Για να είναι σε θέση να ανταποκριθεί σωστά στο φυσικό κόσμο, μια εφαρμογή Επαυξημένης Πραγματικότητας πρέπει να παρέχει πληροφορίες σχετικά με τον κόσμο αυτό σε πραγματικό χρόνο. Τρείς κύριες κατηγορίες αισθητήρων χρησιμοποιούνται σε συστήματα ΕπΠ:

• αισθητήρες που χρησιμοποιούνται για παρακολούθηση (tracking), • αισθητήρες για τη συλλογή περιβαλλοντικών πληροφοριών, • αισθητήρες για διάδραση του χρήστη.

Στα προηγούμενα Κεφάλαια είδαμε πώς στα τρισδιάστατα συστήματα συντεταγμένων έχουμε έξι βαθμούς ελευθερίας, δηλαδή θέση στις διαστάσεις X, Y και Ζ και περιστροφή γύρω από τους άξονες X, Y και Ζ. Επειδή η ΕπΠ εξαρτάται από τη χωρικά εγγεγραμμένη πληροφορία, πρέπει να υπάρχει κάποιος μηχανισμός για τον προσδιορισμό πληροφοριών σχετικά με τη θέση του χρήστη, του πραγματικού κόσμου, και οποιονδήποτε συσκευών ΕπΠ. Τη λειτουργία αυτή την αποκαλούμε χωρική τοποθέτηση και παρακολούθηση (registration and tracking). Σχηματικά η διαδικασία απεικονίζεται στην Εικόνα 10.3.

Τα παρακάτω είναι τα βασικότερα συστήματα αισθητήρων χωρικής τοποθέτησης και παρακολούθησης:

10-5

Εικόνα 10.3. Σχηματική απεικόνιση της χωρικής τοποθέτησης και παρακολούθησης 10.3.2. Κάμερα (Υπολογιστική όραση)

Προκειμένου να καταστεί δυνατή η όραση μέσω υπολογιστή, ο αισθητήρας που απαιτείται είναι μια κάμερα. Η κάμερα "βλέπει" τον πραγματικό κόσμο και, με βάση αυτό που «βλέπει», μπορεί να προσδιοριστεί ο τόπος όπου βρίσκεται η κάμερα και πώς είναι προσανατολισμένη σε σχέση με τη σκηνή. Για να υλοποιηθεί η υπολογιστική όραση, απαιτείται λογισμικό για την ανάλυση των εικόνων που συλλέγονται από την κάμερα ώστε να καθοριστεί τι "βλέπει" η κάμερα. Με βάση τις πληροφορίες αυτές, το λογισμικό υπολογίζει πού βρίσκεται η κάμερα σε σχέση με αυτό που κοιτάζει. Για το σκοπό αυτό, πρέπει να υπάρχουν κατάλληλα σύμβολα στο περιβάλλον τα οποία η κάμερα μπορεί να χρησιμοποιήσει ως ορόσημα για τον καθορισμό της θέσης και του προσανατολισμού σε σχέση με τα εν λόγω ορόσημα. Τα ορόσημα μπορεί να είναι φυσικά χαρακτηριστικά του περιβάλλοντος ή μπορεί να τοποθετηθούν τεχνητά στο περιβάλλον.

Πολλές εφαρμογές για να δώσουν λύση στο πρόβλημα της υπολογιστικής όρασης, χρησιμοποιούν εδικά ορόσημα ΕπΠ, τα οποία τοποθετούνται τεχνητά στο περιβάλλον∙ αυτά αποτελούν εικόνες τις οποίες η εφαρμογή μπορεί εύκολα να αναγνωρίσει. Οι εικόνες που χρησιμοποιούνται ειδικά για το σκοπό αυτό καλούνται καθοδηγητικοί δείκτες (fiducial markers) [Kato, 1999] (Εικόνα 10.4).

Εικόνα 10.4. Παράδειγμα καθοδηγητικού δείκτη και εφαρμογής που χρησιμοποιεί δείκτη για χωρική τοποθέτηση (Πηγή: Wikimedia Commons, Kippelboy, CC BY-SA 3.0)

Οι καθοδηγητικοί δείκτες είναι συνήθως φυσικά αντικείμενα, όπως κομμάτια από χαρτί με μελάνι

τυπωμένο πάνω τους, αλλά μπορούν ακόμα και να απεικονίζονται ηλεκτρονικά, όπως σε μια οθόνη φορητού υπολογιστή, ένα tablet ή ένα smartphone. Σε αυτούς τους τύπους των συσκευών οι δείκτες μπορούν να δημιουργούνται δυναμικά, έτσι ώστε να μπορεί να αλλάξουν με βάση την κατάσταση, ή να αλλάζουν κατά την πάροδο του χρόνου, κλπ. Αυτή η δυνατότητα είναι διαφορετική από αυτήν της αλλαγής των αντικειμένων που συνδέονται με το δείκτη, ωστόσο και οι δύο αυτές μέθοδοι μπορούν να επιτύχουν ένα παρόμοιο αποτέλεσμα (Εικόνα 10.5). Κάμερες Ορατού Φωτός Οι κάμερες ορατού φωτός ανιχνεύουν τα αντικείμενα μέσω επεξεργασίας της εικόνας στο επίπεδο του χρώματος RGB, ψάχνοντας για συγκεκριμένα μοτίβα που αντιστοιχούν σε γνωστά αντικείμενα. Οποιαδήποτε κάμερα (π.χ. ενσωματωμένη σε κινητή συσκευή, webcam, ψηφιακή βιντεοκάμερα κλπ.) μπορεί να επιτελέσει

10-6

το ρόλο αυτό, με μοναδικό περιορισμό την ταχύτητα λήψης κάθε καρέ και της ανάλυσης της εικόνας, που θα πρέπει να είναι τέτοια ώστε να επιτρέπει στο υπολογιστικό σύστημα να μπορεί να επεξεργαστεί την εικόνα σε πραγματικό χρόνο (Εικόνα 10.6).

Εικόνα 10.5. Παράδειγμα μεταβαλλόμενου καθοδηγητικού δείκτη σε οθόνη κινητού (Πηγή: sankalp, Interactive Art and Computational Design, Carnegie Mellon University - CC BY-NC-SA 3.0)

Εικόνα 10.6. Παράδειγμα χρήσης κάμερας RGB κινητού τηλεφώνου για καθορισμό της θέσης και του προσανατολισμού και παρακολούθηση (Πηγή: Wikimedia Commons, ownwork, Okseduard, CC BY-SA 3.0.)

Κάμερες Υπέρυθρου Φάσματος Οι κάμερες υπέρυθρου φάσματος έχουν το πλεονέκτημα έναντι αυτών του ορατού φωτός ότι δεν επηρεάζονται από το φωτισμό του χώρου, δηλαδή λειτουργούν και στο σκοτάδι. Επίσης, μπορούν να χρησιμοποιούν ειδικούς αλλά απλούς καθοδηγητικούς δείκτες οι οποίοι είναι ανακλαστικοί ως προς το υπέρυθρο φως και παρέχουν ακριβή θέση και περιστροφή πολλαπλών αντικειμένων ταυτόχρονα. Ως εκ τούτου επιλέγονται σε πολλές εφαρμογές που απαιτούν ακρίβεια (π.χ. παρακολούθηση κίνησης) (Εικόνα 10.7).

10-7

(α) Παράδειγμα κάμερας υπέρυθρου φωτός για καθορισμό της θέσης και του προσανατολισμού (Πηγή: WikimediaCommons, AtsKurvet, ownwork, CC-BY-SA 4.0)

(β) Παράδειγμα καθοδηγητικών δεικτών IR (Πηγή: Wikimedia Commons, D. Gordon E. Robertson, own work, CC BY-SA 3.0)

Εικόνα 10.7. Κάμερες υπέρυθρου φάσματος σε εφαρμογές ακριβείας

Κάμερες Βάθους Μια ειδική κατηγορία καμερών που χρησιμοποιείται τα τελευταία χρόνια για παρακολούθηση, αποτελούν οι κάμερες βάθους. Το πιο αντιπροσωπευτικό παράδειγμα τέτοιων καμερών αποτελεί η κάμερα Kinect της Microsoft. Οι κάμερες αυτές που αποκαλούνται και αισθητήρες βάθους, μπορούν να χρησιμοποιηθούν για την παρακολούθηση σε εφαρμογές επαυξημένης πραγματικότητας, παρέχοντας πληροφορία σχετικά με την απόσταση ενός αντικειμένου από τον αισθητήρα. Αυτή η πληροφορία μπορεί να χρησιμοποιηθεί σε συνδυασμό με άλλες τεχνολογίες παρακολούθησης για τον έλεγχο ως προς τη θέση και περιστροφή ενός αντικειμένου. Οι υποκείμενες τεχνολογίες που χρησιμοποιούνται σε κάμερες βάθους μπορούν να είναι οπτικές, ακουστικές (υπέρηχος), ραντάρ, κλπ. (Εικόνα 10.8).

Εικόνα 10.8. Κάμερα βάθους Microsoft Kinect 2 (Πηγή: Wikimedia Commons, Evan-Amos, Public Domain)

Το βασικό πρόβλημα με όλα τα οπτικά συστήματα παρακολούθησης είναι ότι εισάγουν χρονικές καθυστερήσεις στο σύστημα. Χρειάζεται χρόνος για να αποκτήσουν μια εικόνα, να μεταφέρουν την εικόνα στον επεξεργαστή, και στη συνέχεια να αναλυθεί η εικόνα για να καθορίσει την επιθυμητή πληροφορία. Επίσης, βασίζονται στη διαρκώς απευθείας θέαση του αντικειμένου που παρακολουθείται, ειδάλλως όταν αυτό π.χ. κρυφθεί έστω και μερικώς, τότε αποτυγχάνει η παρακολούθηση. Εντούτοις, λόγω του μικρού τους κόστους και της ενσωμάτωσής τους σε φορητές συσκευές, αποτελούν την κυριότερη λύση για παρακολούθηση σε εφαρμογές ΕπΠ.

10.3.3. GPS (Global Positioning System)

Το GPS είναι ένα σύστημα πλοήγησης που χρησιμοποιεί ένα δίκτυο από 24 δορυφόρους στο διάστημα. Ο δέκτης μπορεί να καθορίσει τη θέση του στην επιφάνεια της Γης σε συντεταγμένες Χ και Υ αλλά και την

10-8

ταχύτητα με την οποία κινείται, εάν μπορεί να συνδεθεί με τουλάχιστον 3 δορυφόρους κάνοντας χρήση της μέτρησης του χρόνου που χρειάζεται για το σήμα GPS να ταξιδέψει από το δορυφόρο στο δέκτη. Συγκρίνοντας το χρόνο που χρειάζεται να επικοινωνήσει με πολλούς δορυφόρους, η θέση του δέκτη μπορεί να υπολογιστεί με ακρίβεια μερικών μέτρων. Εάν υπάρχουν διαθέσιμα 4 ή περισσότερα σήματα δορυφόρου, το υψόμετρο του δέκτη μπορεί, επίσης, να υπολογιστεί.

Τα συστήματα ΕπΠ μπορούν να επωφεληθούν από τις πληροφορίες θέσης που παρέχονται από έναν δέκτη GPS, για να αποκτήσουν πληροφορίες σχετικά με τη θέση του στο Χ, Υ και δυνητικά και στον Z άξονα. Ωστόσο, σε γενικές γραμμές, ένα GPS δεν είναι τόσο χρήσιμο για τον προσδιορισμό του προσανατολισμού του δέκτη ως προς την περιστροφή γύρω από τους άξονες. Αυτό περιορίζει το ρόλο ενός GPS σε συστήματα ΕπΠ σε γενικές γραμμές, ωστόσο οι πληροφορίες του GPS εξακολουθούν να αποτελούν μεγάλο πλεονέκτημα, εάν είναι διαθέσιμες. Ένα παράδειγμα για το πώς οι πληροφορίες από το GPS μπορούν να χρησιμοποιηθούν σε εφαρμογές ΕπΠ είναι ότι επιτρέπουν στο σύστημα να γνωρίζει περίπου πού βρίσκεται γεωγραφικά, και κατά συνέπεια ποια αξιοθέατα περιμένει να αναγνωρίσει στη συνέχεια, χρησιμοποιώντας ένα σύστημα υπολογιστικής όρασης [Feiner, 1997].

Εικόνα 10.9. Χρήση GPS σε εφαρμογή ΕπΠ (Πηγή: Wikimedia Commons, VirtueelPlatform, CCBY-SA 2.0)

Στο προηγούμενο παράδειγμα σχετικά με τη χρήση ενός αξιοθέατου ως καθοδηγητικό δείκτη, ένα GPS μπορεί να παρέχει πληροφορίες σχετικά με την πόλη στην οποία βρίσκεται το σύστημα. Αυτό μπορεί να μειώσει δραστικά το χρόνο της αναζήτησης που θα χρειαστεί το σύστημα για να χρησιμοποιήσει τις σωστές πληροφορίες αξιοθέατων. Ωστόσο το GPS δεν δε θα μπορούσε να αποτελέσει το μόνο μηχανισμός χωρικής ανίχνευσης και παρακολούθησης για εφαρμογές ΕπΠ που απαιτούν πληροφορίες σχετικά με τη διεύθυνση ή / και πληροφοριών υψηλής ακρίβειας αναφορικά με τη θέση της συσκευής πέρα από τη γεωγραφική τους τοποθεσία (Εικόνα 10.9). 10.3.4. Γυροσκόπια, Επιταχυνσιόμετρα και άλλοι τύποι Αισθητήρων

Ένα πλήθος άλλων τύπων αισθητήρων μπορούν να είναι χρήσιμα σε εφαρμογές επαυξημένης πραγματικότητας. Ο στόχος είναι να ληφθούν πληροφορίες σχετικά με το φυσικό κόσμο και να χρησιμοποιηθούν οι πληροφορίες αυτές για να ενημερωθεί η εφαρμογή αντίστοιχα. Μερικοί από τους πιο κοινούς αισθητήρες που χρησιμοποιούνται, ιδιαίτερα σε εφαρμογές ΕπΠ σε κινητές συσκευές, και πολλές τέτοιες συσκευές είναι ήδη εξοπλισμένες με αυτά, περιλαμβάνουν επιταχυνσιόμετρα, πυξίδες, και γυροσκόπια. Τα γυροσκόπια επιστρέφουν τιμές που σχετίζονται με τον προσανατολισμό, δηλαδή, μπορούν να παρέχουν πληροφορίες ως προς τις γωνίες περιστροφής γύρω από τους τρεις άξονες, αλλά δεν παρέχουν πληροφορίες τοποθεσίας. Μπορούν, όμως, να χρησιμοποιηθούν στη μέτρηση του προσανατολισμού μιας φορητής συσκευής. (Εικόνα 10.10).

Οι πυξίδες παρέχουν πληροφορίες σχετικά με τη διεύθυνση ως προς τον κόσμο. Ακριβώς όπως μια κλασική πυξίδα, μια ηλεκτρονική πυξίδα μπορεί να αναφέρει αν η συσκευή έχει βόρεια, νότια, ανατολική, δυτική, ή οποιαδήποτε ενδιάμεση διεύθυνση.

10-9

Εικόνα 10.10. Συσκευή Wiimote με το πρόσθετο γυροσκόπιο MotionPlus (Πηγή: Wikimedia Commons, Evan-Amos, Public Domain)

Τα επιταχυνσιόμετρα κάνουν ακριβώς αυτό που υποδηλώνει το όνομά τους: αναφέρουν επιτάχυνση.

Μπορούν να χρησιμοποιηθούν για να προσδιοριστεί η κατεύθυνση ως προς την οποία κινείται κάποιος καθώς και για την ανίχνευση αλλαγών στην ταχύτητα κίνησης, χωρίς να εξαρτώνται από την παρουσία σήματος GPS. Ωστόσο, η χρήση των επιταχυνσιόμετρων σε σύστημα πλοήγησης είναι επισφαλής, επειδή οι εκάστοτε μετρήσεις από το επιταχυνσιόμετρο εξαρτώνται από τις προηγούμενες μετρήσεις. Ως εκ τούτου, τα τυχόν λάθη προσαυξάνονται με την πάροδο του χρόνου. Οπότε είναι σημαντικό να έχουν κάποιο τύπο διόρθωσης σφάλματος ή να συνδυάζονται με άλλο αισθητήρα που να μπορεί να παρέχει έναν ελεγκτικό μηχανισμό για τα επιταχυνσιόμετρα. Το πλεονέκτημα που έχουν τα επιταχυνσιόμετρα είναι ότι αποτελούν φθηνή λύση που μπορεί να παράσχει χρήσιμα δεδομένα σε συστήματα ΕπΠ. (Εικόνα 10.11).

Εικόνα 10.11. Τυπικό κύκλωμα επιταχυνσιόμετρου κινητών συσκευών (Πηγή:Wikimedia Commons, ZeptoBars,CC BY 3.0)

10.3.5. Αισθητήρες Διεπαφής Χρήστη

Οι αισθητήρες για τους οποίους έγινε λόγος προηγουμένως είναι κυρίως παθητικοί αισθητήρες από την πλευρά του συμμετέχοντος αναφορικά με την εμπειρία ΕπΠ∙ δηλαδή, αυτοί οι αισθητήρες θα επιτελέσουν τη λειτουργία τους χωρίς ο συμμετέχων να διαδράσει συνειδητά μαζί τους. Βέβαια, είναι σημαντικό να τονιστεί ότι καθώς ο χρήστης κινείται, οι αισθητήρες καταγράφουν τις μεταβολές της κίνησης και ενημερώνουν τα στοιχεία της εφαρμογής ΕπΠ κατάλληλα∙ ωστόσο δεν αποτελεί συνειδητή δράση εκ μέρους του χρήστη να χρησιμοποιήσει ενεργά έναν αισθητήρα.

Μερικοί από τους πιο συνηθισμένους αισθητήρες που συγκεντρώνουν τα δεδομένα εισόδου του χρήστη, περιλαμβάνουν κουμπιά, οθόνες αφής, πληκτρολόγια και άλλες συσκευές τυπικές διεπαφές απτικής μορφής. Οι περισσότερες φορητές συσκευές όπως τα smartphones και tablets έχουν μια σειρά από αισθητήρες, με τη μορφή των κουμπιών και πληκτρολόγια (πραγματικών ή εικονικών) που ο σχεδιαστής της εφαρμογής ΕπΠ μπορεί να χρησιμοποιήσει για να παράσχει στο χρήστη έναν τρόπο για να αλληλεπιδράσει άμεσα και να ελέγξει την εφαρμογή. Αυτοί οι αισθητήρες είναι χρήσιμοι όταν ένας χρήστης ελέγχει την εμπειρία καθώς και όταν ο συμμετέχων έχει τη δυνατότητα να αποφασίσει συνειδητά για το πώς θα

10-10

προχωρήσει με την εμπειρία. Είναι επίσης ,χρήσιμοι σε εργασίες όπου ο χρήστης υποδεικνύει κάτι, όπως μια θέση στο χάρτη σε μια οθόνη αφής ή σε περίπτωση που θέλει να μεγεθύνει την άποψη της εικόνας που εμφανίζεται στην οθόνη κλπ. (Εικόνα 10.12).

Εικόνα 10.12. Παράδειγμα διεπαφής μέσω οθόνης αφής (Πηγή: Wikimedia Commons, Bin im Garten, CC BY-SA 3.0)

Ας έχουμε υπόψη μας ότι οι κάμερες που αναφέρθηκαν πρωτύτερα μπορούν, επίσης, να χρησιμοποιηθούν ως αισθητήρες διεπαφής εισόδου του χρήστη, εάν παρέχεται ένα σύστημα αναγνώρισης χειρονομίας. Στην περίπτωση αυτή, η κάμερα παρακολουθεί τα χέρια ή τα δάχτυλα του χρήστη και ερμηνεύει τις κινήσεις του, ως άμεση εισαγωγή του. (Εικόνα 10.13).

Εικόνα 10.13. Παράδειγμα αισθητήρα αναγνώρισης χειρονομιών – Leap Motion Sensor (Πηγή: Iwan Gabovitch - CC BY 2.0) 10.3.6. Επεξεργαστής

Στην καρδιά κάθε συστήματος επαυξημένης πραγματικότητας είναι ένας επεξεργαστής που συντονίζει και αναλύει εισόδους αισθητήρων, αποθηκεύει και ανακτά δεδομένα, εκτελεί τα καθήκοντα του προγράμματος εφαρμογής ΕπΠ, και παράγει τα κατάλληλα σήματα, για να εμφανιστεί στην οθόνη η εφαρμογή σε συσχέτιση με τον πραγματικό κόσμο. Με άλλα λόγια, κάθε σύστημα επαυξημένης πραγματικότητας περιλαμβάνει έναν υπολογιστή κάποιου είδους. Τα υπολογιστικά συστήματα επαυξημένης πραγματικότητας μπορεί να κυμαίνονται σε πολυπλοκότητα από απλές φορητές συσκευές όπως smartphones και tablets, σε φορητούς υπολογιστές, επιτραπέζιους υπολογιστές και μηχανήματα της κατηγορίας σταθμού εργασίας, αλλά ακόμα και σε ισχυρά κατανεμημένα συστήματα. Σε ορισμένες περιπτώσεις, ένας υπολογιστής χειρός είναι σε επικοινωνία με ένα ισχυρό διακομιστή ο οποίος θα μπορούσε να βρίσκεται σε μια απόσταση. Σε όλες τις

10-11

περιπτώσεις, ο υπολογιστής πρέπει να έχει αρκετή υπολογιστική ικανότητα ώστε να επιτελεί τα καθήκοντα που έχει αναλάβει, σε πραγματικό χρόνο.

Με τον όρο «πραγματικό χρόνο» εννοούμε ότι κάθε φορά που εκτελείται μια ενέργεια, όπως το πάτημα ενός κουμπιού ή αλλαγή στον προσανατολισμό μιας φορητής συσκευής ή αλλαγή στην άποψη, το σύστημα πρέπει να ανταποκρίνεται με μια ενημερωμένη οθόνη του συνδυασμού του φυσικού και εικονικού κόσμου, χωρίς προφανείς χρονικές καθυστερήσεις ή σύγχυση. Με άλλα λόγια, η σκηνή θα πρέπει να ενημερώνεται ομαλά και με ένα ρυθμό ανανέωσης που ο συμμετέχων αντιλαμβάνεται ως μια σταθερή ροή πληροφοριών. Σε αναλογία, μια τυπική ταινία κινηματογράφου παίζεται με ρυθμό 24 καρέ ανά δευτερόλεπτο, ο οποίος είναι ο ελάχιστα επαρκής ρυθμός ανανέωσης για το θεατή προκειμένου να αντιληφθεί την κίνηση στην οθόνη ως ομαλή. Αν ο ρυθμός ανανέωσης μειωθεί σε περίπου 10 καρέ ανά δευτερόλεπτο, ο θεατής θα αντιληφθεί την ταινία ως μια σειρά από μεμονωμένες εικόνες και όχι ως μια ενιαία εικόνα κίνησης. Οι εφαρμογές ΕπΠ απαιτούν ένα σταθερό ρυθμό ανανέωσης οθόνης τουλάχιστον 15 καρέ ανά δευτερόλεπτο ενώ ιδεατά το νούμερο αυτό πρέπει να ξεπερνάει τα 30 καρέ το δευτερόλεπτο προκειμένου ο χρήστης να αντιλαμβάνεται την ανανέωση της σκηνής ως συνεχόμενη. Για το λόγο αυτό χρησιμοποιούμε πλέον τις δυνατότητες των επεξεργαστών γραφικών (GPU) για να επιταχύνουμε αυτή τη διαδικασία, καθώς και ειδικά κυκλώματα ενσωματωμένα σε κάμερες που αναλαμβάνουν την υλοποίηση της παρακολούθησης απευθείας χωρίς να εμπλέκεται ο κεντρικός επεξεργαστής.

10.3.7. Προβολή Ως προβολή ορίζουμε το μέσο που επιτρέπει ένα κατάλληλο σήμα να γίνει αντιληπτό από τις αισθήσεις ενός χρήστη. Για παράδειγμα, μια οπτική προβολή εμφανίζει οπτικές εικόνες στο χρήστη. Παράδειγμα οπτικής προβολής αποτελεί μια οθόνη του υπολογιστή. Μια ακουστική προβολή επιτρέπει οι ήχοι που δημιουργεί το σύστημα να ακούγονται από το χρήστη. Ένα παράδειγμα μιας συσκευής ακουστικής προβολής είναι τα ακουστικά ή ένα μεγάφωνο. Μια μεγάλη ποικιλία από συσκευές προβολής είναι διαθέσιμη για την παρουσίαση σημάτων στο χρήστη, και πολλές διαφορετικές τεχνολογίες μπορούν να χρησιμοποιηθούν για την εφαρμογή αυτών των παρουσιάσεων.

Στην περίπτωση της ΕπΠ, κυρίως, μάς απασχολούν οι οπτικές προβολές, ενώ οι ακουστικές, απτικές και οσφρητικές προβολές παίζουν δευτερεύοντα ρόλο. Οι κύριες κατηγορίες οθονών οπτικής προβολής που χρησιμοποιούνται σε εφαρμογές ΕπΠ είναι σταθερές, κινητές και εφαρμοζόμενες στο χρήστη. Σταθερές Στην πρώτη κατηγορία ανήκουν οι κλασικές οθόνες υπολογιστή και τηλεοράσεις και τα συστήματα προβολής όπου, συνήθως, συνδυάζονται και με μία ή περισσότερες κάμερες (είτε οπτικές είτε βάθους) που παρακολουθούν το χρήστη και εισάγουν εικονική πληροφορία είτε πάνω στο σώμα του είτε με τη μορφή εικονικών αντικειμένων που εμφανίζουν στο χώρο του χρήστη (Εικόνα 10.14).

Εικόνα 10.14. Παράδειγμα σταθερής οθόνης προβολής (Πηγή: flickr, ‘augmented reality with LEGO’, antjeverena, CC BY-SA 2.0).

10-12

Κινητές: Στην κατηγορία αυτή συγκαταλέγονται όλες οι οθόνες προβολής που ο χρήστης μπορεί να κρατάει στα χέρια του και μετακινούνται μαζί με το χρήστη αλλά ταυτόχρονα αποτελούν και το «παράθυρο θέασης» του πραγματικού κόσμου. Σήμερα, αυτό αποτελεί και το πιο διαδεδομένο είδος της οθόνης για εφαρμογές επαυξημένης πραγματικότητας λόγω της ευρείας υιοθέτησης των smartphones (όπως το iPhone και Android τηλέφωνα) και tablets (όπως το iPad και παρόμοιες συσκευές). Πολλοί προγραμματιστές αναγνωρίζουν ότι ένα μεγάλο μέρος του πληθυσμού φέρει αισθητήρες, επεξεργαστές και οθόνη ως μέρος των συσκευών που έχουν στην τσέπη ή στην τσάντα τους σε τακτική βάση. Ως εκ τούτου, ακόμη και αν αυτές οι συσκευές είναι πιο περιορισμένες σε ορισμένα χαρακτηριστικά όπως (επεξεργαστής, μνήμη, μέγεθος της οθόνης, επιτάχυνση γραφικών κλπ.), η φορητότητα και ευκολία χρήσης τους τα καθιστούν πρωταρχικό στόχο σε εφαρμογές επαυξημένης πραγματικότητας (Εικόνα 10.15).

Εικόνα 10.15. Παράδειγμα κινητής οθόνης προβολής (Πηγή: Wikimedia Commons, Kippelboy, CC BY-SA 3.0)

Εφαρμοζόμενες στο χρήστη Τα πιο κοινά είδη των εφαρμοζόμενων στο χρήστη οθονών φοριούνται στο κεφάλι (head-mounted display/ HMD) με τη μορφή ενός κράνους ή γυαλιών. Άλλοι τύποι είναι παραλλαγές αυτών των δύο βασικών διαμορφώσεων. Για παράδειγμα, μερικές οθόνες προσαρμόζονται με κλιπ σε ένα υπάρχον ζευγάρι γυαλιών. Οι οθόνες HMD για εφαρμογές ΕπΠ διαφέρουν από αυτές που προορίζονται για συστήματα εικονικής πραγματικότητας λόγω του ότι σε συστήματα εικονικής πραγματικότητας, ο συμμετέχων δε βλέπει τον πραγματικό κόσμο. Μάλιστα, τα συστήματα εικονικής πραγματικότητας βασίζονται στο ότι ο χρήστης δεν μπορεί να δει (τουλάχιστον κατά τρόπο που να μη διαταράσσεται η οπτική ψευδαίσθηση) τον πραγματικό κόσμο. Στην επαυξημένη πραγματικότητα είναι απαραίτητο ο συμμετέχων να είναι σε θέση να δει τον πραγματικό κόσμο.

Υπάρχουν δύο βασικά σενάρια με HMD στον τρόπο με τον οποίο ο χρήστης βλέπει τον πραγματικό κόσμο. Ένα στυλ χρησιμοποιεί διαφανείς οθόνες προβολής ώστε ο χρήστης να μπορεί απευθείας να δει τον πραγματικό κόσμο, και ένα άλλο χρησιμοποιεί την τεχνολογία βίντεο για να συλλάβει μέσα από μια κάμερα τον πραγματικό κόσμο και αφού ενσωματώσει στην εικόνα τα εικονικά στοιχεία, να τα προβάλλει στο χρήστη. Αυτές οι δύο μορφές που αναφέρονται ως οπτικά διαφανής και βίντεο-διαφανής (see-through), φαίνονται αντίστοιχα στην Εικόνα 10.16. Κυριότερο και πιο πρόσφατο παράδειγμα οπτικά-διαφανούς συσκευής αποτελεί το Google Glass που ενσωματώνει αρκετά από τα στοιχεία υλικού τα οποία επιτρέπουν την εκτέλεση εφαρμογών ΕπΠ (Εικόνα 10.17).

10-13

(α) Παράδειγμα οπτικά διαφανούς οθόνης (Πηγή: flickr, Microsoft HoloLens, JorgeFigueroa,CCBY 2.0)

(β) Παράδειγμα HMD οθόνης προβολής ΕπΠ. (Πηγή: Steve Mann, University of Toronto)

Εικόνα 10.16. Παράδειγμα δύο διαφορετικών τρόπων αντίληψης του πραγματικού κόσμου

Εικόνα 10.17. Oπτική see-through συσκευή Google Glass (πηγή: flickr, Loïc Le Meur, CC BY 2.0)

Με τη σειρά τους, οι τρεις αυτές κατηγορίες συσκευών οπτικής προβολής μπορούν να διακριθούν σε στερεοσκοπικής ή μονοσκοπικής προβολής. Στην περίπτωση των σταθερών και των κινητών οθονών, αυτό συνεπάγεται τη χρήση είτε αυτοστερεοσκοπικών οθονών που εμφανίζουν απευθείας τρισδιάστατες εικόνες με τρόπο τέτοιο, ώστε ο θεατής να αντιλαμβάνεται βάθος σε αυτές είτε τη χρήση ειδικών γυαλιών που φοράει ο χρήστης και παράγουν το αντίστοιχο αποτέλεσμα χρησιμοποιώντας συμβατικές οθόνες. Η στερεοσκοπική προβολή σε συστήματα βίντεο-διαφανή (όπως η χρήση π.χ. HMD σε συνδυασμό με κάμερα τοποθετημένη στο κεφάλι του χρήστη, μπορεί να προβάλλει τόσο τον πραγματικό όσο και τον εικονικό κόσμο στερεοσκοπικά (αν χρησιμοποιούνται στερεοσκοπικές κάμερες για την καταγραφή του πραγματικού κόσμου) ή να συνδυάζει μονοσκοπική με στερεοσκοπική απεικόνιση πραγματικού/εικονικού.

10.4. Στοιχεία Λογισμικού Συστημάτων Εικονικής Πραγματικότητας

Κατά κύριο λόγο τα στοιχεία λογισμικού που εμπλέκονται στα συστήματα ΕπΠ είναι τα ακόλουθα:

• βιβλιοθήκη οδηγού συσκευών αισθητήρων και παρακολούθησης, • βιβλιοθήκη λογισμικού παρακολούθησης (tracking), • χειρισμός τρισδιάστατων μοντέλων και κινηματικής (animation), • μηχανή προσομοίωσης και εκτέλεσης διεργασιών, • μηχανή απεικόνισης γραφικών και ήχου, • βιβλιοθήκη λογισμικού διεπαφής.

10-14

Οι διαλειτουργικότητες των παραπάνω στοιχείων λογισμικού παρουσιάζονται στην Εικόνα 10.18. Τα στοιχεία αυτά, από μόνα τους δεν αποτελούν ένα πλήρες σύστημα εικονικής πραγματικότητας χωρίς την παρουσία μιας μηχανής εφαρμογών που να τα ενοποιεί, καθώς και την παρουσία του κατάλληλου υλικού που θα δημιουργηθεί για να επαυξήσει τον πραγματικό κόσμο και βάσει του οποίου θα υλοποιηθεί μια εφαρμογή ΕπΠ. Στο διάγραμμα αποτυπώνονται οι σχέσεις μεταξύ των βασικών εξαρτημάτων (hardware και software) ενός συστήματος επαυξημένης πραγματικότητας. Η κατάσταση του περιβάλλοντος αξιολογείται από τους αισθητήρες και τα αποτελέσματα αυτά ενώνονται και τροφοδοτούνται στην κύρια εφαρμογή ΕπΠ. Με βάση την κατάσταση του συνολικού περιβάλλοντος, το σύστημα προωθεί την πληροφορία ως σήματα τα οποία κατόπιν τροφοδοτούνται σε διάφορες προβολές. Αυτή η διαδικασία επαναλαμβάνεται συνεχώς, και οι προβολές ενημερώνονται κάθε φορά που κάποιο κομμάτι των πληροφοριών αλλάζει. Η αλλαγή μπορεί να συνίσταται στο ότι ο χρήστης αλλάζει ελαφρώς τη θέση του ή σε κάποια άλλη αλλαγή του περιβάλλοντος ή και σε αλλαγή της κατάστασης της εφαρμογής ΕπΠ.

Εικόνα 10.18. Δομή αρχιτεκτονικής υψηλού επιπέδου μιας Μηχανής Εφαρμογών ΕπΠ

Η μηχανή εφαρμογής είναι η βασική δομή και το πλαίσιο για την εφαρμογή ΕπΠ με την οποία οι χρήστες θα αλληλεπιδρούν. Η μηχανή εφαρμογής συγκεντρώνει τις εισόδους από τη βιβλιοθήκη οδηγού συσκευών αισθητήρων και παρακολούθησης και από το χρήστη και παράγει τις πληροφορίες που θα δοθούν στη μηχανή απεικόνισης γραφικών και ήχου για να δημιουργήσει τα σήματα για τη συσκευή (ες) παρουσίασης. Παρέχει, επίσης, μια μηχανή προσομοίωσης και εκτέλεσης διεργασιών και υποστήριξη της αλληλεπίδρασης χρήστη. 10.5. Διεπαφές Επαυξημένης Πραγματικότητας Ένα από τα βασικά χαρακτηριστικά της επαυξημένης πραγματικότητας είναι ότι είναι ένα διαδραστικό μέσο. Ως διαδραστική, η αλληλεπίδραση παίζει ένα βασικό ρόλο στη συνολική εμπειρία του χρήστη. Η επαυξημένη πραγματικότητα είναι ένα σχετικά νέο μέσο και δεν έχει γίνει επεξεργασία μέχρι σήμερα όλων των λεπτομερειών που αφορούν τις δυνατότητες του μέσου. Αυτό σημαίνει ότι αυτό που βλέπουμε στις σημερινές εφαρμογές ΕπΠ δεν αποτελεί την πλήρη σουίτα των δυνατοτήτων που θα αναπτυχθούν στο μέλλον. Ορισμένες πτυχές της ΕπΠ θα είναι δυνατό να αναδειχτούν μόνο με τις νέες εξελίξεις σε εξοπλισμό και λογισμικό. Οι διεπαφές μπορεί να υφίστανται μεταξύ:

• χρήστη και εφαρμογής ΕπΠ, • μεταξύ χρηστών μέσω της εφαρμογής ΕπΠ, • εικονικού και πραγματικού κόσμου, • χρήστη και εικονικού κόσμου, • χρήστη και πραγματικού κόσμου.

Οι διεπαφές που αφορούν τον εικονικό κόσμο αναλύονται στις εξής βασικές κατηγορίες:

1. χειρισμός, 2. πλοήγηση, 3. επικοινωνία.

10-15

10.5.1. Χειρισμός Οι βασικοί τρόποι με τους οποίους μπορεί να εφαρμοστεί ο χειρισμός σε εφαρμογές Εικονικής Πραγματικότητας και κατ’ επέκταση και σε εφαρμογές Επαυξημένης Πραγματικότητας [Mine et al., 1995] είναι οι ακόλουθοι:

1. Άμεσος Χειρισμός: Ο χρήστης χειρίζεται τον εικονικό κόσμο με τον ίδιο τρόπο που θα χειριζόταν τον πραγματικό.

2. Φυσικός Χειρισμός: Ο χρήστης χειρίζεται τον εικονικό κόσμο μέσω φυσικών συσκευών (από κουμπιά και διακόπτες έως συσκευές απτικής και δυναμικής ανάδρασης, τα οποία επιτρέπουν στο χρήστη να νιώθει τις φυσικές ιδιότητες των εικονικών).

3. Εικονικός Χειρισμός: Ο χρήστης χειρίζεται τον εικονικό κόσμο μέσω εικονικών αντιπροσώπων των φυσικών συσκευών ανάδρασης (π.χ. εικονικά κουμπιά που μπορούν να πατηθούν στον εικονικό κόσμο).

4. Χειρισμός μέσω αντιπροσώπου: Μπορούμε, τέλος, να φανταστούμε και έναν τέταρτο τρόπο χειρισμού [Sherman et al., 2002]: Ο χρήστης δίνει εντολές χειρισμού σε έναν εικονικό χαρακτήρα, ο οποίος τις εκτελεί για λογαριασμό του χρήστη στον εικονικό κόσμο.

Η τάση στις σύγχρονες εφαρμογές ΕπΠ είναι να μιμηθούν με ακρίβεια τις αλληλεπιδράσεις στον

πραγματικό κόσμο, στο βαθμό που αυτό είναι δυνατό, μέσω μιας φορητής συσκευής, όπως ένα smartphone, για να παράσχουν στοιχεία εισόδου στο σύστημα, τα οποία, όμως, δεν είναι μέρος της διεπαφής με το φυσικό κόσμο (π.χ. για την εκκίνηση της εφαρμογής ΕπΠ που θα εκτελεστεί, για την επιλογή σεναρίου κλπ.). Η τάση αυτή, ωστόσο, δεν αξιοποιεί πλήρως τις δυνατότητες της ΕπΠ. Για παράδειγμα, μια αλληλεπίδραση στον πραγματικό κόσμο που περιλαμβάνει τη λήψη ενός αντικειμένου από απόσταση απαιτεί από το συμμετέχοντα να μετακινηθεί σε όλη την απόσταση ώστε να εκτελέσει την ενέργεια. Ωστόσο, η ΕπΠ έχει τη δυνατότητα να επιτρέψει στους συμμετέχοντες να εμπλακούν σε δραστηριότητες που δε θα μπορούσαν στον πραγματικό κόσμο, όπως π.χ. να καλέσουν με "μαγικό" τρόπο ή με τηλεκίνηση, μακρινά αντικείμενα για να έρθουν κοντά τους χωρίς να χρειάζεται να ταξιδέψουν.

Ο φυσικός έλεγχος εξαρτάται σε μεγάλο βαθμό από τις συσκευές που είναι διαθέσιμες στο χρήστη. Σε γενικές γραμμές, οι περισσότερες συσκευές που χρησιμοποιούνται σήμερα για εφαρμογές ΕπΠ έχουν κάποιο είδος της φυσικής διεπαφής με την οποία μπορεί να αλληλεπιδράσει ο χρήστης. Οι φορητοί υπολογιστές έχουν ένα πληκτρολόγιο και ένα ποντίκι (ή trackpad ή κάποιο άλλο είδος υποκατάστατο του ποντικιού). Τα smartphones και τα tablets διαθέτουν οθόνη αφής, ενώ μερικά έχουν φυσικά πληκτρολόγια και φυσικά κουμπιά. Τα περισσότερα έχουν ένα εικονικό πληκτρολόγιο που συμπεριφέρεται ακριβώς όπως ένα φυσικό πληκτρολόγιο και μπορεί να χρησιμοποιηθεί ως έχει (με τη διαφορά ότι καταλαμβάνει δυνητικά πολύτιμο χώρο στην οθόνη).

Καθώς οι συσκευές προβολής, όπως τα γυαλιά ΕπΠ ακόμα και φακοί επαφής διαδίδονται όλο και περισσότερο, είναι αναμενόμενο να υπάρχουν λιγότερα μέσα προφανούς φυσικού ελέγχου που θα μπορεί να χρησιμοποιήσει ο χρήστης με τις εφαρμογές ΕπΠ, εκτός κι αν ο συμμετέχων φέρει μια πρόσθετη συσκευή μέσω της οποίας αλληλεπιδρά με το σύστημα. Στην περίπτωση αυτή, ο εικονικός χειρισμός γίνονται πολύ πιο σημαντικός για την εφαρμογή. Ήδη βρίσκονται σε εξέλιξη αρκετές συσκευές που υλοποιούν πολύ εξελιγμένο λογισμικό όρασης υπολογιστή για να ερμηνεύσουν χειρονομίες και άλλες ενέργειες εκ μέρους του χρήστη (Εικόνα 10.19).

10.5.2. Πλοήγηση Η πλοήγηση στην επαυξημένη πραγματικότητα μπορεί να γίνει με τους ίδιους τρόπους που γίνεται στον πραγματικό κόσμο. Ωστόσο, ένα πλήθος πρόσθετων ενεργειών μπορούν να υλοποιηθούν σε εφαρμογές επαυξημένης πραγματικότητας για να βοηθήσουν αναφορικά με την πλοήγηση, που όμως δεν είναι δυνατές στον πραγματικό κόσμο.

Στον πραγματικό κόσμο, χρησιμοποιούμε πολλά μέσα ως βοηθήματα πλοήγησης. Οι ενισχύσεις αυτές κυμαίνονται από την απλή χρήση πινακίδων έως τις τεχνολογικές λύσεις, όπως το GPS εφαρμογές που μας κατευθύνουν. Δεδομένου ότι ένα βασικό συστατικό για μια εφαρμογή ΕπΠ είναι ότι το σύστημα πρέπει να γνωρίζει πού βρίσκεται ο χρήστης, είναι σχετικά απλό να προσθέσουμε βοηθήματα πλοήγησης σε μια εφαρμογή ΕπΠ, και η εμφάνιση ενός βοήθηματος πλοήγησης του πραγματικού κόσμου σε μορφή

10-16

Επαυξημένης Πραγματικότητας αποτελεί μια συναρπαστική εφαρμογή, όπως φαίνεται στο παράδειγμα της Εικόνας 10.20).

Εικόνα 10.19. Παράδειγμα συσκευής αναγνώρισης χειρονομιών με λογισμικό όρασης υπολογιστή (Πηγή: flickr, VernonChan, CCBY 2.0).

Ορισμένες μέθοδοι που μπορούν να χρησιμοποιηθούν ως βοηθήματα πλοήγησης σε εφαρμογές ΕπΠ

είτε συνιστούν βοηθήματα πλοήγησης στον πραγματικό κόσμο μέσω ΕπΠ, περιλαμβάνουν:

• Προβολή τρισδιάστατου εικονικού χάρτη σε υπέρθεση με τον πραγματικό κόσμο όπου εμφανίζεται η θέση του χρήστη σε αυτόν.

• Προβολή ενός εικονικού χαρακτήρα που περπατά μαζί με το χρήστη και παρέχει οδηγίες. • Προβολή δεικτών και δρομολογίων όπως π.χ. εμφάνιση γραμμών στους δρόμους που

δείχνουν τη σωστή κατεύθυνση, βέλη που δείχνουν πού να στρίψει ο χρήστης κλπ. • Προβολή πληροφοριών σε ορόσημα του περιβάλλοντος (π.χ. αγάλματα, πινακίδες, κτίρια

κλπ.) που βοηθούν στον προσανατολισμό του χρήστη. • Δυνατότητα τοποθέτησης προσωπικών οροσήμων από το χρήστη και εμφάνιση της

διαδρομής που έχει ήδη ακολουθήσει, ώστε να μπορεί να επιστρέψει στην αρχική του τοποθεσία.

• Εικονικά κιάλια που επιτρέπουν στο χρήστη να δει σε μακρινές αποστάσεις.

Εικόνα 10.20. Παράδειγμα πλοήγησης με χρήση ΕπΠ (Πηγή: flickr, Danievander Merwe (CCBY-NC-SA 2.0)

10-17

10.5.3. Επικοινωνία

Αν και οι περισσότερες τρέχουσες εφαρμογές ΕπΠ αποτελούν εμπειρίες ενός χρήστη, δεν υπάρχει κανένας λόγος για τον οποίο δεν μπορεί να είναι (και μερικές από τις πιο συναρπαστικές εφαρμογές είναι πιθανό να είναι) εμπειρίες με συμμετέχοντες περισσότερους του ενός. Κατά μία έννοια, οποιαδήποτε εφαρμογή ΕπΠ που λαμβάνει χώρα σε ένα χώρο όπου βρίσκονται και άλλοι άνθρωποι αποτελεί εμπειρία που την βιώνουν πολλοί άνθρωποι ταυτόχρονα, με τη διαφορά ότι οι υπόλοιποι άνθρωποι πέρα από το χρήστη της εφαρμογής ΕπΠ αλληλεπιδρούν μόνο με τον πραγματικό κόσμο. Ωστόσο, είναι απολύτως δυνατό, και συχνά επιθυμητό, να έχουμε πολλαπλούς συμμετέχοντες τόσο στον πραγματικό όσο και στον εικονικό κόσμο (και συνεπώς στην εμπειρία ΕπΠ).

Είναι σαφές ότι οι συμμετέχοντες που βρίσκονται στον ίδιο φυσικό χώρο μπορούν να επικοινωνούν μεταξύ τους με οποιαδήποτε από τις τυπικές μεθόδους με τις οποίες μπορούν να επικοινωνούν στον πραγματικό κόσμο. Ωστόσο, υπάρχουν περισσότεροι τρόποι με τους οποίους μπορούν δυνητικά να επικοινωνούν μέσα σε μια εφαρμογή ΕπΠ. Εάν καλυφθούν οι μηχανισμοί επικοινωνίας του πραγματικού κόσμου, τότε όλη η επικοινωνία επιτυγχάνεται με τη μεσολάβηση της εφαρμογής ΕπΠ. Ως εκ τούτου, αν το λογισμικό είναι αρκετά καλό, η εφαρμογή ΕπΠ θα μπορούσε να κάνει για παράδειγμα σε πραγματικό χρόνο μετάφραση μεταξύ των συμμετεχόντων. Τα υπάρχοντα λογισμικά μετάφρασης δεν είναι επαρκή για να επιτευχθεί πλήρως αυτό, αλλά αυτό είναι ένα παράδειγμα του είδους της διαμεσολάβησης που μπορεί να λάβει χώρα σε μια εμπειρία ΕπΠ.

Η δυνατότητα πολλών ατόμων να είναι σε θέση να δουν τα ίδια αντικείμενα ταυτόχρονα, ακόμα και από μόνη της, μπορεί να ενισχύσει την επικοινωνία στον πραγματικό κόσμο. Συχνά, όταν υπάρχει ένα αντικείμενο στο οποίο έχουν πρόσβαση ταυτόχρονα πολλά άτομα, π.χ. ένα γρανάζι, ένας πίνακας, ένα σκεύος κεραμικής, ή οποιοδήποτε άλλο απτό αντικείμενο, παρέχει ένα σημείο εστίασης και κοινής κατανόησης που μπορεί να βοηθήσει στην επικοινωνία. Η ΕπΠ είναι ιδιαίτερα καλή σε αυτό το είδος του σεναρίου. Είναι, επίσης, δυνατό για τους συμμετέχοντες να συμμετέχουν στην εμπειρία ΕπΠ από απομακρυσμένες περιοχές, σαν να βρίσκονται όλοι σε έναν κοινό χώρο (telepresence) και να συμμετάσχουν σε ουσιαστική συνεργασία. 10.6. Εφαρμογές Επαυξημένης Πραγματικότητας Πεδία Εφαρμογής Όπως αναφέρθηκε νωρίτερα σ’ αυτό το κεφάλαιο, υπάρχουν πολλοί διαφορετικοί τρόποι για να ταξινομήσει τις εφαρμογές ΕπΠ. Ένας από τους πλέον προφανείς τρόπους αφορά την περιοχή εφαρμογής που απευθύνονται. Για παράδειγμα, ορισμένες εφαρμογές ενδέχεται να καλύπτουν υλικό που αφορά γενικά ψυχαγωγικούς σκοπούς, ενώ άλλες εφαρμογές μπορεί να καλύπτουν υλικό που σχετίζεται με κάποια συγκεκριμένη περιοχή ενδιαφέροντος, όπως η τέχνη ή οι εμπορικές εφαρμογές [Ververidis et al., 2015]. Η λίστα που ακολουθεί απαριθμεί ορισμένες κατηγορίες εφαρμογών ΕπΠ που, (καθόλου τυχαία, όπως βλέπουμε αλληλοκαλύπτονται στο μεγαλύτερο βαθμό με τα αντίστοιχα πεδία εφαρμογής που αναφέρθηκαν στο προηγούμενο κεφάλαιο όπου έγινε αναφορά στην Εικονική Πραγματικότητα:

• εκπαίδευση και επαγγελματική κατάρτιση [Kangdon, 2010; Chang et al., 2010], • επιστήμες και έρευνα [Chi et al., 2013; Olshannikova et al., 2015], • ιατρική [Harders et al., 2007; Beichel et al., 2004], • βιομηχανία και κατασκευές [Wang, 2007; Regenbrecht et al., 2005], • αρχιτεκτονική και διακόσμηση [Cirulisetal., 2012; Siltanen & Oksman, 2013], • δημόσια ασφάλεια και στρατιωτικές εφαρμογές [Livingston et al., 2006; Kaklauskas et al.,

2013], • τέχνες και Πολιτισμός [Caarls et al., 2009; Tillon et al., 2011; Holzinger et al., 2010], • διαφήμιση [Kim & Kim, 2014; Singh & Pandey, 2014], • ψυχαγωγία [Özbeketal., 2004; Oda et al., 2008]. • Διάφορες άλλες συνδιαστικές χρήσεις

Είναι σαφές ότι η παραπάνω δεν είναι μια πλήρης λίστα όλων των δυνατών πεδίων εφαρμογής, αλλά

ο κατάλογος αυτός αναφέρεται σε ορισμένες ευρείες κατηγορίες που καλύπτουν πολλές από τις εφαρμογές

10-18

ΕπΠ που διατίθενται σήμερα. Έχοντας, ήδη, αναφερθεί στις διαφορές ανάμεσα στην Εικονική και την Επαυξημένη Πραγματικότητα και δεδομένων των κοινών χαρακτηριστικών μεταξύ τους, είναι αναμενόμενη η εφαρμογή και των δύο τεχνολογιών στους ίδιους πάνω κάτω τομείς με διαφορετική, ίσως, σκοπιά και αναμενόμενα οφέλη.

Για παράδειγμα, ενώ σε στρατιωτικές εφαρμογές, ο στόχος χρήσης της Εικονικής Πραγματικότητας είναι, κυρίως, η εκπαίδευση σε συνθήκες που είτε είναι δύσκολο, είτε οικονομικά απαγορευτικό, είτε ανεπιθύμητο να αναπαραχθούν στον πραγματικό κόσμο όπως οι προσομοιώσεις μαχητικών αεροσκαφών, συνθηκών μάχης για στρατιώτες ή στρατηγικής, οι στρατιωτικές εφαρμογές Επαυξημένης Πραγματικότητας στοχεύουν συνήθως στην παροχή πληροφοριών σε πραγματικό χρόνο σε υπέρθεση με το οπτικό πεδίο των χρηστών σε πραγματικές συνθήκες∙ στο σημείο αυτό η επαύξηση του πραγματικού περιβάλλοντος με εικονικές πληροφορίες παρέχει συγκριτικά καλύτερη επίγνωση των συνθηκών [Livingston et al., 2002].

Υπάρχουν μερικές γενικές μορφές εφαρμογών επαυξημένης πραγματικότητας που προκύπτουν, οι οποίες περιγράφουν σε γενικές γραμμές τους διαφορετικούς τύπους υλοποίησης ανεξαρτήτως πεδίου εφαρμογής. Αυτές οι μορφές μπορεί να ακούγονται πολύ περιορισμένες, αλλά ας θεωρήσουμε ότι αντιπροσωπεύουν μια πολύ ευρεία κάλυψη των πολλών διαφορετικών στυλ εφαρμογών. Μετά την απαρίθμηση των στυλ εφαρμογών, θα δούμε τι αναπαριστά κάθε στυλ και παράδειγμα καθενός:

• επαυξημένη πραγματικότητα αντικειμενικής θέασης, • μαγικά βιβλία, • μαγικοί καθρέφτες, • μαγικά παράθυρα και πόρτες, • μαγικοί φακοί, • βοηθήματα πλοήγησης, • μη-αναφορική επαύξηση.

Επαυξημένη πραγματικότητα αντικειμενικής θέασης Η επαυξημένη πραγματικότητα αντικειμενικής θέασης είναι ένα σενάριο στο οποίο οι συμμετέχοντες βλέπουν μια αναπαράσταση του εαυτού τους στην επαυξημένη σκηνή. Δηλαδή, αντί να βλέπουν τον κόσμο, όπως συνήθως, μέσα από τα μάτια τους, οι συμμετέχοντες βλέπουν τον πραγματικό κόσμο, συμπεριλαμβανομένων των ψηφιακών βελτιώσεων, καθώς επίσης βλέπουν τους εαυτούς τους μέσα στο χώρο, σαν η σκηνή να παρατηρείται από κάποιον άλλο. Το παράδειγμα του μαγικού καθρέφτη που περιγράφεται αργότερα είναι μια μορφή επαυξημένης πραγματικότητας αντικειμενικής θέασης, αλλά υπάρχουν και άλλα σενάρια που χαρακτηρίζονται, επίσης, ως ΕπΠ αντικειμενικής θέασης. Μαγικά βιβλία Τα «μαγικά βιβλία» ήταν μια από τις πρώτες μορφές της επαυξημένης πραγματικότητας που εμφανίστηκε και σίγουρα από τις πρώτες που είδε το ευρύ κοινό. Είναι ευρέως γνωστό ότι ο Δρ. Marc Billinghurst ήταν ο εφευρέτης του «μαγικού βιβλίου» επαυξημένης πραγματικότητας, δημιουργώντας το πρώτο βιβλίο για παιδιά, στο οποίο κινούμενα σχέδια εμφανίζονται μέσα στις σελίδες όταν αυτές παρατηρούνται χρησιμοποιώντας μια οθόνη προβολής see-through (είτε κινητή είτε HMD) [Billinghurstet, 2002].

Ένα βιβλίο ανατομίας, για παράδειγμα, μπορεί να υπάρχει ως ένα παραδοσιακό βιβλίο που είναι εξίσου καλό όσο οποιοδήποτε κανονικό βιβλίο. Αλλά αν το βιβλίο είναι κατασκευασμένο ως ένα μαγικό βιβλίο, οι μαθητές μπορούν, επίσης, να δουν τα διάφορα μέρη το σώματος ως τρισδιάστατες οντότητες χρονικά μεταβαλλόμενες και δίνουν και τη δυνατότητα αλληλεπίδρασης με προσομοιώσεις και άλλες ασκήσεις του μαγικού βιβλίου. (Εικόνα 10.21) Μαγικοί καθρέφτες Η βασική ιδέα του στυλ εφαρμογών «μαγικού καθρέφτη» είναι ότι υπάρχει ένας «καθρέφτης» στον οποίο αυτό που αντανακλάται είναι τόσο ό,τι περιλαμβάνεται στον πραγματικό κόσμο, όσο και οι επαυξήσεις του πραγματικού κόσμου. Σημειώστε ότι οι περισσότερες υλοποιήσεις εφαρμογών ΕπΠ αντικειμενικής θέασης ανήκουν στη σφαίρα των μαγικών καθρεπτών. Υπενθυμίζουμε ότι στην επαυξημένη πραγματικότητα

10-19

αντικειμενικής άποψης ο χρήστης βλέπει τον εαυτό του στον πραγματικό κόσμο να επαυξάνεται από μια εξωτερική γωνία θέασης (Εικόνα 10.22). Ωστόσο, με ένα μαγικό καθρέφτη, δεν είναι απαραίτητο να βλέπει τον εαυτό του πάντα στη σκηνή. Σε ένα καθρέφτη στον πραγματικό κόσμο, όταν στέκεται εκτός του άξονα του καθρέφτη, είναι πιθανό να δει μια αντανάκλαση του πραγματικού κόσμου, αλλά χωρίς τον εαυτό του. Για παράδειγμα, εάν χρησιμοποιήσουμε έναν καθρέφτη για να κοιτάξουμε γύρω από μια γωνία, μπορούμε να δούμε τον κόσμο γύρω από τη γωνία, αλλά δε βλέπουμε τον εαυτό μας στον καθρέφτη.

Εικόνα 10.21. Παράδειγμα εφαρμογής «Μαγικού Βιβλίου» (πηγή: Wikimedia Commons, Hagustin, GFDL)

Εικόνα 10.22. Παράδειγμα εφαρμογής «Μαγικού Καθρέφτη» (Πηγή: flickr, Amber Case,CC BY-NC 2.0) Μαγικά Παράθυρα και Πόρτες Ένα «μαγικό παράθυρο» ή «μαγική πόρτα» είναι ακριβώς αυτό που θα περίμενε κανείς να είναι. Μπορεί να είναι ένα παράθυρο ή μια πόρτα μέσω της οποίας μπορεί ο χρήστης να δει τον πραγματικό κόσμο, όπως φαίνεται μέσα από την πόρτα ή το παράθυρο, επαυξημένο από ψηφιακές πληροφορίες. Μπορεί, επίσης ,να δει τον πραγματικό κόσμο σε κάποια άλλη πραγματική τοποθεσία κοιτώντας μέσα από την πόρτα ή το παράθυρο, επαυξημένο από ψηφιακές πληροφορίες ή μπορεί να δει μια πλήρως ψηφιακή απόδοση που τοποθετείται σαν να είναι μέρος του πραγματικού κόσμου στη θέση της πόρτας ή του παραθύρου (Εικόνα 10.23).

10-20

Εικόνα 10.23. Παράδειγμα εφαρμογής «Μαγικού Παραθύρου» (πηγή: flickr, JCDecaux Creative Solutions, CC BY-NC-ND 2.0).

Μαγικοί Φακοί Ο «μαγικός φακός» μπορεί να πάρει (τουλάχιστον) δύο διαφορετικές μορφές. Η πρώτη μορφή είναι όταν οι συμμετέχοντες στην εμπειρία ΕπΠ αντιλαμβάνονται ότι χρησιμοποιούν ένα «φακό» κάποιου είδους για να δουν τον κόσμο, ώστε να αντιληφθούν τις πρόσθετες πληροφορίες που παρέχει η εφαρμογή ΕπΠ. Δηλαδή, υπάρχει κάτι στον κόσμο, είτε ένα φυσικό αντικείμενο ή ένα εικονικό αντικείμενο, που εξυπηρετεί το σκοπό του φακού, μέσω του οποίου ο συμμετέχων κοιτάζει ή ακούει. Για παράδειγμα, θα μπορούσε να υπάρχει ένα αντικείμενο που μοιάζει με ένα μεγεθυντικό φακό τον οποίο ο συμμετέχων παίρνει και στη συνέχεια εξετάζει αντικείμενα του πραγματικού κόσμου μέσω αυτού για να δει ψηφιακές βελτιώσεις στον πραγματικό κόσμο. Ορισμένες τεχνολογίες ΕπΠ συνεπάγονται την ύπαρξη ενός τέτοιου φακού βάση της μορφολογίας των συσκευών αλληλεπίδρασης που εμπεριέχουν. Για παράδειγμα, στις περισσότερες κινητές εφαρμογές ΕπΠ, ο συμμετέχων βλέπει τον κόσμο μέσα από ένα φακό, με τη μορφή ενός smartphone ή tablet υπολογιστή. (Εικόνα 24)

Εικόνα 10.24. Παράδειγμα εφαρμογής «Μαγικού Φακού» (Πηγή: Wikimedia Commons, QuestVisualInc., ZTebaykina,CC BY-SA 3.0).

10-21

Βοηθήματα Πλοήγησης Υπάρχει μια κατηγορία εφαρμογών ΕπΠ που χρησιμοποιούνται ειδικά με σκοπό να βοηθήσουν τους ανθρώπους να βρουν και να ακολουθήσουν μια διαδρομή μέσα στον πραγματικό κόσμο, παρέχοντας τεχνητά σημάδια που τους βοηθούν να γνωρίζουν ποια κατεύθυνση να ακολουθήσουν προς τον επιθυμητό προορισμό τους. Παραδείγματα αυτών των εφαρμογών συζητήθηκαν νωρίτερα σε αυτό το κεφάλαιο. Το σύστημα ΕπΠ θα μπορούσε να παράσχει τα «βέλη» κατεύθυνσης που πρέπει να ακολουθήσουν, έναν εικονικό οδηγό, ένα ίχνος της πορείας, ή διάφορους τρόπους, που επιδεικνύουν ποια κατεύθυνση θα πρέπει ο συμμετέχων να ακολουθήσει. Σημειώστε ότι πληροφορίες ήχου μπορεί επίσης να χρησιμοποιηθούν για την υλοποίηση των βοηθημάτων πλοήγησης (Εικόνα 10.25). Μη-αναφορική επαύξηση Η μη-αναφορική επαύξηση του πραγματικού κόσμου είναι μια περίπτωση της επαυξημένης πραγματικότητας στην οποία οι εικόνες που λαμβάνει ο συμμετέχων δεν είναι προσθήκες ή ριζικές αλλαγές στον πραγματικό κόσμο, αλλά μάλλον είναι βελτιώσεις υπαρχόντων αντικειμένων ή προσώπων. Για παράδειγμα, σε μια εφαρμογή μη-αναφορικής επαύξησης, τα χρώματα του κόσμου μπορεί να είναι φωτεινότερα, να ακούγεται πιο δυνατά ή με σαφέστερο τρόπο η ομιλία, και ούτω καθεξής. Ο όρος «μη-αναφορική» δεν είναι ένας συνήθης όρος που χρησιμοποιείται στον τομέα της ΕπΠ, αλλά είναι δανεισμένος από τη Σημειολογία.

Εικόνα 10.25. Παράδειγμα εφαρμογής Βοηθήματος Πλοήγησης (Πηγή: Wikimedia Commons, Glogger, own work, CC BY-SA 3.0.

10.7. Προτεινόμενες Ασκήσεις και Προβλήματα Άσκηση 1) Σχεδιάστε και υλοποιήστε ένα απλό σύστημα υπολογιστικής όρασης σε πραγματικό χρόνο που χρησιμοποιεί ένα Wiimote και μία πηγή υπέρυθρης ακτινοβολίας ως είσοδο σε ένα παιχνίδι. Προτείνεται η χρήση της μηχανής παιχνιδιών Unity. Άσκηση 2) Σχεδιάστε και υλοποιήστε μία εφαρμογή τύπου «Μαγικού καθρέφτη» χρησιμοποιώντας μία κάμερα και τη βιβλιοθήκη OpenCV. Μπορείτε να επιλέξετε οποιαδήποτε πλατφόρμα και μηχανή απεικόνισης 3D γραφικών επιθυμείτε.

10-22

Άσκηση 3) Σχεδιάστε και υλοποιήστε μία εφαρμογή τύπου «Μαγικού βιβλίου» χρησιμοποιώντας καθοδηγητικούς δείκτες. (Προτείνεται η χρήση της βιβλιοθήκης ARToolkit ή κάποιας ανάλογης) Άσκηση 4) Σχεδιάστε και υλοποιήστε μία εφαρμογή ΕπΠ σε κινητό τηλέφωνο που να συνδυάζει γεωγραφική πληροφορία σε συνδυασμό με την είσοδο από την κάμερα του τηλεφώνου για να παρουσιάσει σημεία ενδιαφέροντος στο χώρο.

Βιβλιογραφία/Αναφορές

Azuma RT. (1997). A Survey of Augmented Reality. Presence, 6.4, pp. 355-385.

Beichel R., Pock T., Janko C. et al. (2004). Liver segment approximation in CT data for surgical resection planning. In Proceedings of the SPIE Medical Imaging ’04, San Diego, vol. 5370, pp. 1435–1446.

Billinghurst M., Kato H., Poupyrev I. (2001). The Magic Book: An Interface that Moves Seamlessly between Reality and Virtuality, IEEE Computer Graphics and Applications, 21(3), pp. 6-8.

Bimber O., Encarnação LM., Branco P. (2006). The Extended Virtual Table: An Optical Extension for Table-Like Projection Systems, MIT Press Journal, 10(6), pp. 613–631.

Caarls J., Jonker P., Kolstee Y., Rotteveel J., van Eck W. (2009). Augmented Reality for Art, Design and Cultural Heritage, System Design and Evaluation, EURASIP Journal on Image and Video Processing, doi:10.1155/2009/716160.

Chang G., Morreale P., Medicherla P. (2010). Applications of augmented reality systems in education. In Proceedings of the Society for Information Technology & Teacher Education International Conference 2010, Chesapeake, pp. 1380-1385.

Chi H. L., Kang S. C., Wang X. (2013). Research trends and opportunities of augmented reality applications in architecture, engineering, and construction, Automation in Construction, 33, pp. 116-122.

Cirulis A., Brigmanis K. B. (2012). 3D Outdoor Augmented Reality for Architecture and Urban Planning. In Proceedings of the 2013 International Conference on Virtual and Augmented Reality in Education, Procedia Computer Science, 25, pp. 71-79.

Feiner S., MacIntyre B., Hollerer T., Webster A. (1997). A Touring Machine: Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban Environment. In proceedings of the ISWC ’97 (Int. Symp. on Wearable Computing), Cambridge, pp. 74–81.

Harders M., Bianchi G., Knoerlein B. (2007). Multimodal Augmented Reality in Medicine, Universal Access in HCI, HCII 2007, LNCS 4555, pp. 652-658.

Hirokazu Κ., Billinghurst Μ. (1999). Marker tracking and hmd calibration for a video-based augmented reality conferencing system. In Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR'99), IEEE.

Holzinger K., Lehner M., Fassold M., Holzinger A. (2010). Ubiquitous Computing for Augmenting the Learning Experience within an Urban Archaeological Tour in the City of Graz by use of an ArcheoApp for the iPhone. In Proceedings of the 15th International Conference on Cultural Heritage and New Technologies, Vienna, pp.348-356.

Kaklauskas K., Kutinis M., Kovachev L., Petkov P., Bartkiene L., Jackute I. (2013). Housing Health and Safety Decision Support System with Augmented Reality, Innovation in Medicine Healthcare, 6(1), pp. 131-143.

Kangdon L. (2012). Augmented Reality in Education and Training, Techtrends: Linking Research & Practice to Improve Learning, 56(2), pp. 13-21.

10-23

Kim Y. G., Kim W. J. (2014). Implementation of Augmented Reality System for Smartphone Advertisements, International Journal of Multimedia and Ubiquitous Engineering, 9(2), pp.385-392.

Livingston M. A., Rosenblum L. J., Julier S. J., Brown D. G., Baillot Y., Swan J. E., Gabbard J. L., Hix D. (2002). An Augmented Reality System for Military Operations in Urban Terrain. In Proceedings of the Interservice / Industry Training, Simulation, & Education Conference (I/ITSEC '02), available online at: http://www.nrl.navy.mil/itd/imda/sites/www.nrl.navy.mil.itd.imda/files/pdfs/cp_IITSEC02.pdf

Livingston M. A., Brown D. G., Julier S. J., Schmidt G. S. (2006). Mobile Augmented Reality: Applications and Human Factors Evaluations. In Proceedings of the Virtual Media for Military Applications, NATO Human Factors and Medicine Panel Workshop, pp. 25-1 – 25-16.

Mine M. R. (1995). Virtual environment interaction techniques, science technical report, University of North Carolina. Chapel Hill, NC.

Oda O., Lister L. J., White S., Feiner S. (2008). Developing an Augmented Reality Racing Game. In Proceedings of the 2nd International Conference on Intelligent Technologies for Interactive Entertainment (ICST INTETAIN ’08), Mexico.

Olshannikova E., Ometov A., Koucheryavy Y., Olsson T. (2015). Visualizing Big Data with augmented and virtual reality: challenges and research agenda, Journal of big data, 2:22, doi:10.1186/s40537-015-0031-2.

Özbek C., Giesler B., Dillmann R. (2004). Jedi Training: Playful Evaluation of Head-Mounted Augmented Reality Display Systems. In Proceedings of the Stereoscopic Displays and Virtual Reality Systems, XI-SPIE 5291 Conference Medical Imaging, pp. 454-463.

Regenbrecht H., Baratoff G. Wilke W. (2005). Augmented reality projects in the automotive and aerospace industries, Computer Graphics and Applications (IEEE), 25(6), pp. 48-56.

Sherman, W. R., Craig A. B. (2002). Understanding virtual reality: Interface, application, and design, The Morgan Kaufmann Series in Computer Graphics, Morgan Kaufmann.

Siltanen S., Oksman V. (2013). User-centered design of augmentedreality interior design service, International Journal of Arts & Sciences, 6(1), pp. 547–563.

Singh P., Pandey M. (2014). Augmented Reality Advertising: An Impactful Platform for New Age Consumer Engagement, IOSR Journal of Business and Management (IOSR-JBM), 16(2), pp. 24-28.

Tillon A. B., Marchal I., Houlier P. (2011). Mobile augmented reality in the museum: Can a lace-like technology take you closer to works of art? In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality-Arts, Media, and Humanities (ISMAR-AMH), pp. 41-47.

Ververidis D., Nikolopoulos S., Kompatsiaris I. (2015). Transforming your website to an augmented reality view. In Proceedings of the IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Fukuoka, 2015.

Wang X. (2007). Using Augmented Reality to Plan Virtual Construction Worksite, International Journal of Advanced Robotic Systems, 4(4), pp. 501-512.