Εισαγωγή στην Αλληλεπίδραση Ανθρώπου Υπολογιστή

Νικόλαος Τσέλιοςnitse@ece.upatras.grtselios.weebly.com Twitter: nitse1

Αλληλεπίδραση Ανθρώπου Υπολογιστή- Human Computer Interaction

Το επιστημονικό πεδίο που ασχολείται

διαδραστικών συστημάτων για τους ανθρώπους

σχεδιασμό υλοποίηση

Αξιολόγηση

Ορισμός ``Ευχρηστία: ο βαθμός στον οποίο ένα σύστημα μπορεί να

χρησιμοποιηθεί από συγκεκριμένους χρήστες για να επιτύχουν συγκεκριμένους σκοπούς με αποτελεσματικότητα, αποδοτικότητα και υποκειμενική ικανοποίηση, σε δοθέν πλαίσιο χρήσης.'‘ [ISO 9241]

Πηγή: www.useit.com

Ορισμός παραμέτρων ευχρηστίας κατά Nielsen ευκολία εκμάθησης υψηλή απόδοση εκτέλεσης έργου χαμηλή συχνότητα σφαλμάτων χρήστη και εύκολη

ανάνηψη από αυτά ευκολία συγκράτησης της γνώσης χρήσης του υποκειμενική ικανοποίηση χρήστη

Ερώτηση: ποιόν από τους {Απ,Ευκ,Εμπ} χρήστες αφορούν οι παραπάνω παράμετροι ;

Οικονομική διαστασιοποίηση του χρηστοκεντρικού σχεδιασμού: Παράδειγμα 1

Υποθέστε ότι ένας οργανισμός έχει 20 υπαλλήλους που συμπληρώνουν 80 φορές ο καθένας μια συγκεκριμένη φόρμα/ημέρα (Bias & Mayhew, 2005)

20*230 εργάσιμες*80= 368.000 συμπληρώσεις Αν ο επανασχεδιασμός της φόρμας μείωνε 10sec το χρόνο ολοκλήρωσης της

εργασίας->1022 ώρες->25.5 εργατοεβδομάδες 1022 ώρες*20 ευρώ/ώρα= 20,440 ευρώ Αν ο επανασχεδιασμός ΜΙΑΣ οθόνης μπορεί να εξοικονομήσει μισο ανθρωποέτος

μπορείτε να αντιληφθείτε τη δραματική επίδραση της αύξησης της ευχρηστίας σε ένα πληροφοριακό σύστημα μικρής επιχείρησης

Σκεφτείτε το taxisnet … 4.000.000*5 λεπτά= 333.333 ανθρωποώρες *20 ευρώ/ώρα= 6,7 εκατ. ΕυρώΟ κος Θεοχάρης ισχυριζόταν ότι δεν άξιζε να δώσουμε 15.000 ευρώ για να αναβαθμίσουμε το

server και να μην υπάρχουν καθυστερήσεις

Διαμορφωτική και συμπερασματική αξιολόγηση Formative evaluation (Διαμορφωτική αξιολόγηση)

Διαδικασία που βοηθάει τη διαμόρφωση (δηλαδή σχεδίαση) του συστήματος

Summative Evaluation (Συμπερασματική αξιολόγηση)Διαδικασία που έχει στόχο να συνάγει συμπεράσματα για την

αποτελεσματικότητα του συστήματος που υπάρχει ήδη Η διαμορφωτική αξιολόγηση είναι σημαντική φάση της

ανάλυσης και σχεδίασης

• Τεχνική αποκάλυψης σφαλμάτων ευχρηστίας με αξιολόγηση της διεπιφάνειας χρήσης από ένα σύνολο ειδικών (Heuristics)

• Διεξάγεται από έμπειρους αξιολογητές• Δουλεύουν μόνοι τους για να μην επηρεάζονται και να

διασφαλίζεται η ανεξαρτησία της γνώμης τους• Πρέπει να ‘περάσουν’ την διεπιφάνεια τουλάχιστον εις

διπλούν• Σύμφωνα με έρευνες (Nielsen) το κόστος/όφελος της μεθόδου

είναι 50/1. (μέσο κόστος 10k euro, μέσο όφελος 500k euros)

Ευρετική αξιολόγηση (1/3)

Ο Nielsen προτείνει 10 κανόνες για αξιολόγηση:

1. Ενημέρωση για τη κατάσταση του συστήματος. Οι χρήστες πρέπει να γνωρίζουν που βρίσκονται, την πορεία των ενεργειών τους. Πρέπει να ξέρουν αν οι αποστολές δεδομένων είναι επιτυχείς ή όχι

2. Αντιστοίχηση συστήματος-πραγματικού κόσμου: Να είναι κατανοητό το επίπεδο της γλώσσας και χρήση καθαρών συμβόλων και μεταφορών (π.χ. Πίσω αριστερό βέλος, μπροστά, δεξιό)

3. Ελευθερία και έλεγχος από το χρήστη: Καθαρές εξόδους (π.χ. Κουμπί για κεντρική σελίδα), υποστήριξη undo/redo, (π.χ. back, forward δεν υποστηρίζονται αν ανοίγει σελίδα σε νέο παράθυρο)

4. Συνέπεια και συνέχεια και χρήση στάνταρ: Συνεπές μοντέλο πλοήγησης και δόμηση σελίδας, κώδικας που να επιτρέπει την συμβατότητα με τους φυλλομετρητές

5. Αποφυγή λαθών: Έλεγχος για συνδέσμους που δεν οδηγούν πουθενά, έλεγχος εγκυρότητας δεδομένων πριν αποσταλούν στον εξυπηρετητή

Ευρετική αξιολόγηση (2/3)

6. Αναγνώριση αντί για ανάκληση: Σωστά ονόματα στα αντικείμενα πλοήγησης, ώστε να μην χρειάζεται περαιτέρω νοητική επεξεργασία

7. Προσαρμοστικότητα και αποδοτικότητα χρήσης: Να επιτρέπεται η χρήση σύνθετων τεχνικών αναζήτησης, η καταχώρηση μιας ιστοσελίδας στα αγαπημένα κλπ

8. Καλαίσθητος και μινιμαλιστικός σχεδιασμός: Να μην υπάρχει περιττή πληροφορία που να μπερδεύει τους χρήστες, ‘καθαρός’ σχεδιασμός

9. Αναγνώριση και ανάνηψη από λάθη: Εξήγηση των σφαλμάτων σε καθαρή γλώσσας παρά να χρησιμοποιούνται σφάλματα με κωδικούς

10. Βοήθεια: Σε μικρούς δικτυακούς τόπους όχι απαραίτητη. Χάρτες πλοήγησης, επεξήγηση ενεργειών

Ευρετική αξιολόγηση (3/3)

Heuristics – Hall of shame

Κατάλληλος αριθμός αξιολογητών

N ( 1 - (1-L) )n

Rule of thumb: 5 αξιολογητές απαιτούνται για να ανακαλύψουν ένα επαρκή αριθμό σφαλμάτων

Ένα πρώτο τεστ θα αποκαλύψει περίπου 80% των σφαλμάτωνΈνα δεύτερο τεστ περίπου 13% των εναπομεινάντων σφαλμάτωνL=0,19-0,51 (μέση τιμή 0,34), N=16-50 (μέση τιμή 35 σφάλματα)

Πηγή: http://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/ Credits to : Nielsen, J. (1/1/95).

Old Computinghome page

New Computinghome page

Παράδειγμα

Βάζουμε πραγματικούς χρήστες να ελέγξουν τη διεπιφάνεια χρήσηςΕξαιρετικά χρήσιμη αλλά δαπανηρή μέθοδος

1. Βάλτε αντιπροσωπευτικούς χρήστες να ελέγξουν τη διεπιφάνεια χρήσης

2. Δώστε τους αντιπροσωπευτικές εργασίες να εκτελέσουν3. Μην τους επηρεάζετε και μην παρεμβάλλεστε

Συχνά οι ενέργειες των χρηστών καταγράφονται, ή και βιντεοσκοπούνται για περαιτέρω ανάλυση σε ειδικούς χώρους (εργαστήρια ευχρηστίας)

Οι εργασίες βασίζονται στους στόχους που έχει ο αναμενόμενος χρήστης

Παρατήρηση Χρηστών

Αλληλεπίδραση Ανθρώπου-Υπολογιστή14

Eye tracking Βαθύτερη κατανόηση για το:

Που κοιτούν οι χρήστες Πόσο κοιτούν Με ποιά σειρά κοιτούν

Εντοπισμός οφθαλμικής εστίασης-Eye tracking

Katsanos, C., Tselios, N., & Avouris, N. (2010). Evaluating Web site Navigability: Validation of a tool-based approach through two eye-tracking studies. New review of Hypermedia and Multimedia, 16(1-2), pp. 195-214.

Δυϊσμός διαδικτύου: Software interface + hypertext system

Οπτική απεικόνιση κειμένου, αντικείμενα σελίδας και πλοήγησης

Hypertext system “look and feel”, διάταξη αντικειμένων, φυσικός σχεδιασμός

Software interface

Σχεδίαση αντικειμένων για υποβοήθηση της αλληλεπίδρασης με τις λειτουργίες

Σχεδίαση αντικειμένων για ευκολία μετάβασης στο πληροφοριακό χώρο

Σχεδίαση ροής εφαρμογής σύμφωνα με ανάλυση εργασιώνΚαταγραφή απαιτούμενων λειτουργιών για την υποστήριξη του χρήστηΑνάγκες χρήστη (εξωτερικές): Μέσω εθνογραφίας, έρευνες χρήσης κλπ

Δόμηση πληροφορίας για εύρεσή της με απρόσκοπτο τρόποΚαταγραφή απαιτήσεων περιεχομένουΣτόχοι δικτυακού τόπου (εσωτερικοί): Επιχειρηματικοί, επικοινωνιακοί κλπ.Information oriented –Παροχή

περιεχομένουTask oriented-Εκτέλεση εργασιών

Πηγή: Jesse James Garrett, The Elements of User Experience, 2000, http://www.jjg.net/elements/pdf/elements.pdf

Στατιστική απεικόνιση συμπεριφοράς χρηστών σε ένα δικτυακό τόπο

Οι χρήστες εισέρχονται σε ένα δικτυακό τόπο Αναζητούν πληροφορία μέχρι το προσδοκώμενο όφελος να πέσει κάτω από ένα όριο (threshold) Στη συντριπτική πλειοψηφία εκφράζεται στα log files με λίγα κλικ H μορφή της καμπύλης καθορίζει το βαθμό προσκόλλησης (stickiness) ενός δικτυακού τόπου

Huberman, B. A., Pirolli, P. L., Pitkow, J. E., & Lukose, R. M. (1998). Strong regularities in world wide web surfing. Science, 280(5360), 95-97.

Κόστος μη καταληπτής πληροφοριακής ‘μυρωδιάς’ Έστω δικτυακός τόπος με βάθος

d=10 και 10 διακλαδώσεις ανά επίπεδο

Για ένα υποθετικό p=0 λανθασμένων επιλογών για να φτάσω σε μια πληροφορία στο τελευταίο link θα επισκεφτώ 10 σελίδες

Εως και p<0,1 το κόστος μένει χαμηλό. Από εκεί και πέρα εκθετική αύξηση

Προτεινόμενες λύσεις Autocardsorter https://

www.youtube.com/watch?v=ly_4GsOMWmU

ISE tool https://www.youtube.com/watch?v=Ft6kN_rr3HU

Pirolli, P. (2007). Information Foraging Theory: Adaptive Interaction with Information, Oxford, UK:Oxford University Press.

Ταχύτητα πλοήγησης- χρόνος παραμονής

Weinreich et al, “Off the Beaten Tracks: Exploring Three Aspects of Web Navigation”, IW3C2 2006

Mοντέλα ανθρώπινης συμπεριφοράς

Νόμος της εξάσκησης (Power Law of Practice)

Νόμος του Hick Hyman Νόμος του Fitts,

Μοντέλο πληκτρολογήσεων (Keystroke-Level Model)

GOMS

Προβλεπτικά μοντέλα που μπορούν να χρησιμοποιηθούν στην αξιολόγηση σχεδίασης χωρίς χρήση πρωτοτύπων

20

Μοντέλα ερεθίσματος – απόκρισης

Μοντέλα γνωστικών λειτουργιών με βάση το μοντέλο HIP

Νόμος Fitts (1/2) Μονοδιάστατη κίνηση

21

d w

Νόμος Fitts (2/2) Ο χρόνος που απαιτείται για επιλογή στόχου που

βρίσκεται σε απόσταση d και είναι εύρους w είναι ανάλογος της απόστασης και αντιστρόφως ανάλογος του εύρους του στόχου

22

Τ = k1 + k2 *log2 (d/w + 1.0)

ID = log2 (d/w + 1.0) Index of difficulty, δείκτης δυσκολίας

Εφαρμογή νόμου Fitts

Ποιο είναι το βέλτιστο μέγεθος των επιλογών ενός μενού ή των υπερσυνδέσμων μιας ιστοσελίδας;

Μέγεθος εικονιδίων Μέγεθος μπάρας κύλισης σελίδας

23

Νόμος εξάσκησης-πρακτικής Power law of practice

Εάν επαναλάβουμε την ίδια εργασία n φορές ο χρόνος ολοκλήρωσής της κατά την n επανάληψη Tn δίδεται από τον τύπο:

Tn = T1n-a

T1 ο χρόνος της πρώτης επανάληψης Τυπική τιμή για το a = 0.4, (μεταξύ 0.2 και 0.6)

Παραδοχή: αφορά κυρίως εργασίες ρουτίνας (πχ ταχύτητα πληκτρολογήσεων, απόκτηση δεξιότητας στη χρήση του ποντικιού, πληκτρολόγηση ως απόκριση σε ερεθίσματα) Δεν αφορά μάθηση, αλλά ανάπτυξη αυτοματισμών

24

Παράδειγμα Έστω ότι ένας χρήστης εισάγει ένα κείμενο 100

χαρακτήρων σε ένα κινητό τηλέφωνο σε 30 δευτερόλεπτα την πρώτη φορά που εκτέλεσε την εργασία αυτή;

Σε πόσο χρόνο θα ολοκληρώσει την ίδια εργασία στην 5η επανάληψη; Ποια η βελτίωση στην αποδοτικότητά του;

Από την εξίσωση έχουμε T=30*5^(-0,4)=30*0.52=15,76 sec.

Συνεπώς, διαπιστώνουμε ότι μετά από 5 επαναλήψεις ο χρήστης έχει βελτιώσει την αποδοτικότητά του κατά (30-15.76)/30=47,46%

25

Νόμος Hick-Hyman (νόμος της επιλογής)

Ο χρόνος που απαιτείται για την επιλογή μιας από n εναλλακτικές επιλογές:

T = Ic log2(n+1)

Όπου Ic ~ 150 msecΠαραδοχή: Οι εναλλακτικές επιλογές (πχ στοιχεία μενού) είναι ταξινομημένες. Έτσι οι χρήστες διαδοχικά αγνοούν μέρη των διαθέσιμων επιλογών, εστιάζοντας στις εναπομείνουσες

26

Εφαρμογές του νόμου επιλογής

27

Αν είχαμε 64 αντικείμενα από τα οποία θα πρέπει ο χρήστης να επιλέξει ένα, • ποιος είναι ο καλύτερος συνδυασμός τους σε μενού; • ποιος είναι ο καλύτερος αριθμός υπερσυνδέσμων σε μια ιεραρχία

ιστοσελίδων ενός ιστοτόπου;

Απάντηση 4x4x4 = 3 Ic log2(4+1) = 1044msec

8x8 = 2 Ic log2(8+1) = 950msec

16x4 = Ic log2(16+1)+ Ic log2(4+1) = 613+348 = 961msec

2x2x2x2x2x2 = 6 Ic log2(2+1) = 1426msec

28

Μοντέλο KLM (χρόνος ακολουθίας πληκτρολογήσεων) Keystroke Level Model (Card Moran, & Newell,

1983) – Μοντέλο Ανθρώπινου επεξεργαστή (HIP-Human Information Processor)

Εμπειρικό Μοντέλο πρόβλεψης χρόνου ακολουθίας ενεργειών του χρήστη που επιτρέπει την πρόβλεψη της απόδοσης ενός συστήματος

Παραδοχή: έμπειρος χρήστης χωρίς σφάλματα

29

Βασικές κατηγορίες ενεργειών Keystroking TK

Mouse button press TΒ Pointing (typically with mouse) TP Hand movement between

keyboard and mouse TH

Drawing straight line segments TD

“Mental preparation” TM

System Response time TW

30

KLM Form Analyzer http://klmformanalyzer.weebly.com Εργαλείο αυτόματης αξιολόγησης

συμπλήρωσης διαδικτυακών φορμών

Εισάγοντας το url της φόρμας υπολογίζεται αυτόματα ο χρόνος ολοκλήρωσης της διαδικασίας της φόρμαςΣυμβολικός υπολογισμός (KLM)Αριθμητική τιμή

31

https://www.youtube.com/watch?v=XO7E5Ad3TzQ

Διερεύνηση επίδρασης μεγέθους οθόνης κινητών τηλεφώνων στην ευχρηστία 3 συσκευές με οθόνη 3.5, 4.3, 5,3 ιντσών (Raptis,

Tselios, Kjeldskov & Skov, 2013) 5 εργασίες, 60 συμμετέχοντες (20 ανά συσκευή),

εφαρμογή IMDB, Aalborg University, Denmark Στατιστικά σημαντική διαφορά στην αποδοτικότητα Δεν υπήρξε διαφορά στην αποτελεσματικότητα Παραδόξως: ούτε στην υποκειμενική

ικανοποίηση/φαινόμενη ευχρηστία Recommendation: Οθόνες > 4.3 ίντσες Η Apple ‘συμμορφώθηκε’ : 4.7 και 5.5 (Iphone 6, 6s) Αναλυτικά: http://

www.slideshare.net/nitse1/does-size-matter-34663474

Μοντελοποίηση κόστους οφέλους: Cost benefit analysis

Εκτιμώμενο όφελος: Μείωση στο χρόνο ολοκλήρωσης της εργασίας: 9.67 λεπτά. Επαναλήψεις το χρόνο 1.308.000 Εκτιμώμενο όφελος 6.800.000 $

Εκτιμώμενο κόστος Αμοιβή ειδικών αξιολογητών 23000$ Διεξαγωγή μελετών 9750 $ Διορθώσεις στο σύστημα 34950$ Σύνολο 68000$

Κόστος όφελος για το 1ο έτος: 68000$ για όφελος 6.800.000=1:100 Συνήθως μπορούμε να προβλέψουμε με εξαιρετική ακρίβεια το κόστος, με μικρότερη το όφελος Στο 2ο απαιτείται ‘educated guess’ Διόρθωση των 20 βασικότερων σφαλμάτων που θα εντοπίσετε οδηγούν σε βελτίωση ευχρηστίας άνω του

50% Όμως, βελτίωση 100% σε Task completion rate, και Time on task είναι συνηθισμένη

Μεθοδολογία κοστολόγησης πειράματος αξιολόγησης ευχρηστίας (Wong, 2003)

Υποθέσεις Μίσθωση εξοπλισμού 50GBP για κάθε συμμετέχοντα

Ο δικτυακός τόπος έχει 120.000 επισκέπτες 30% ψωνίζουν κάτι (εκτίμηση) Μέσο κέρδος από αγορά 5 λίρες Αν αυξηθεί 25% το conversion rate ->

25%*36.000=9000*5=45000 λίρες Άρα (περίπου) 4.5:1 (ROI: 350%)

Kοστολόγηση πειράματος αξιολόγησης ευχρηστίας

Wong, C. Y. (2003). Applying Cost-Benefit Analysis for Usability Evaluation Studies on an Online Shopping Website. In 19th International Symposium on Human Factors in Telecommunication.

Παράδειγμα 2 (Bias & Mayhew, 2005)

Η εκπαίδευση υπαλλήλων σε ένα νέο σύστημα απαιτεί συνήθως 3-10 ημέρες

Υποθέστε ότι σε μια εταιρεία εργάζονται 20 υπάλληλοι και εκπαιδεύονται σε 2 συστήματα το χρόνο.

Αν το σύστημα είχε βελτιωμένη ευχρηστία και documentation οδηγώντας σε 1.5 μέρα λιγότερη εκπαίδευση τότε θα μπορούσαν να εξοικονομηθούν 60 ανθρωποημέρες.

60*8*20 ευρώ/ώρα= 9600 ευρώ

Web site business success formula for website success: B = V × C × LΌπου B = Δείκτης επιχειρηματικής δραστηριότητας V = Μοναδικοί επισκέπτες στο δικτυακό τόπο C = conversion rate (ποσοστό επισκεπτών που γίνονται πελάτες). Δεν αφορά μόνο σε ecommerce sites

αλλά σε οποιαδήποτε υπηρεσία θέλουμε οι χρήστες να κάνουν κάτι Σήμερα (2015), περίπου 2%. Αυξήθηκε από 1% τα τελευταία 10 έτη L = loyalty rate (πόσο ‘πιστοί’ είναι οι επισκέπτες. Ποσοστό των επισκεπτών που επανεπισκέπτονται το

δικτυακό τόπο) Από δεδομένα χρηστοκεντρικού επανασχεδιασμού 42 δικτυακών τόπων

Metric Average ImprovementAcross Web Projects

Sales / conversion rate 100%Traffic / visitor count 150%

User performance / productivity 161%Use of specific (target) features 202%

Conversion rates: ποσοστό των επισκεπτών που αγόρασαν κάτι ή έγιναν συνδρομητές κλπ

Traffic numbers, όπως αριθμός page views User performance, χρόνος ολοκλήρωσης

συγκεκριμένων εργασιών Target feature usage, αριθμός χρηστών που

επέλεξαν ένα συγκεκριμένο, σημαντικό σύνδεσμο

Αποδοτικότητα της επένδυσης

Κόκκινη γραμμή αξιολογήσεις 2008/ Μπλε 2002 ( http://www.useit.com/alertbox/roi.html )

Από μεταανάλυση 863 έργων. Προυπολογισμός για χρηστοκεντρικό σχεδιασμό/αξιολόγηση: 8-13% του budget. Median value κοντά στο 10%

10% του προϋπολογισμού ανάπτυξης του web site για usability επιφέρει 83% αύξηση στο B (2008). Το 2002 ήταν στο 135% Πολύ πιο αποδοτική επένδυση από τη διαφήμιση! Αύξηση loyalty: απαιτεί μεγαλύτερη (και περισσότερο ακριβή) σε βάθος, μελέτη των χρηστών

Good intranet usability (Q1)

$7.5 M/year

Average intranet usability (median)

$9.9 M/year

Poor intranet usability (Q3)

$12.9 M/year

Success rates 2000: 61% (δηλαδή 39% των χρηστών δεν ολοκλήρωναν μια

εργασία) 2010: 78% Συλλογή δεδομένων από 262 websites

Βελτίωση 6% / έτος στην ευχρηστία των δικτυακών τόπων

Δείκτες ROIUser Effectiveness increase success rate and reduce users errors improve ease of use and ease of learning increase user productivity and user satisfaction reduce support costs and training costs increase user trust in the system

Development Costs reduce development costs and time reduce maintenance costs

Revenue increase product sales, revenue and market share increase site traffic and transactions/purchases attract and retain more customers

Κόστος πειράματος αξιολόγησης = κόστος προετοιμασίας+κόστος διεξαγωγής+κόστος συγγραφής τελικής έκθεσης

Μειωμένο κόστος υποστήριξης Πάνω από το 50% ενός έργου ανάπτυξης λογισμικού αφορά στο σχεδιασμό

της διεπιφάνειας χρήσης Μειωμένα κόστη συντήρησης και υποστήριξης

Παράδειγμα: Έστω εταιρεία με 600 πελάτεςΚάθε πελάτης καλεί για υποστήριξη με μέσο χρόνο επικοινωνίας 15 λεπτάΑν η βελτίωση της ευχρηστίας μείωνε κατά 4 τηλεφωνήματα την υποστήριξη/πελάτη,

τότε η εταιρεία θα είχε εξοικονομήσει 15 εργατοεβδομάδες / το χρόνο

Η Sun Microsystems υπολόγισε ότι εξοικονόμησε 7500$ για κάθε δολάριο που ξόδεψε σε ευχρηστία (www.useit.com )

Moore’s Law

transistorsspeeddiscscost

1950 1990 2030Slide idea by Bill Buxton

Computerabilities

Ψυχολογία

1950 1990 20302000BC

humanabilities

Slide idea by Bill Buxton

Που υφίσταται το ‘μποτιλιάρισμα’?

Slide idea by Bill Buxton

system performance

Συνιστώμενη βιβλιογραφία Bias, R. G., & Mayhew, D. J. (Eds.). (2005). Cost-justifying usability:

an update for an Internet age, 2nd edition. San Francisco: Morgan Kaufmann.

Dix, A., Finlay J., Abowd, G., & Russell, B. (2004). Human-computer interaction (3rd edition). Essex, England: Pearson Education Limited (2004).

Morville, P., & Rosenfeld, L. (2006). Information Architecture for the World Wide Web: Designing Large-Scale Web Sites 3rd ed., O'Reilly Media.

Tullis, T. & Albert, W. (2008). Measuring the User Experience. Burlington: Morgan Kaufmann.