Konstantina Orfanou SUS and LMS

ΜΠΣ στις Επιστήμες της Εκπαίδευσης Μεταπτυχιακή Διπλωματική Εργασία

Κωνσταντίνα Σ. Ορφανού ΑΜ 366Επιβλέπων: Επίκουρος Καθηγητής Νικόλαος Τσέλιος

ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝΣΧΟΛΗ ΑΝΘΡΩΠΙΣΤΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ

ΤΜΗΜΑ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΕΚΠΑΙΔΕΥΣΗΣ ΚΑΙ ΤΗΣ ΑΓΩΓΗΣ ΣΤΗΝ ΠΡΟΣΧΟΛΙΚΗ ΗΛΙΚΙΑ

Σημασία της μελέτης• Εγκυροποίηση και διερεύνηση του ερωτηματολογίου System Usability

Scale (SUS) στο πλαίσιο των συστημάτων διαχείρισης της μάθησης (Learning Management Systems - LMS).

• LMS: εφαρμογή (λογισμικό) που αυτοματοποιεί τη διαχείριση, παρακολούθηση και υποβολή αναφορών των μαθησιακών γεγονότων (Ryann, 2009).

• Αν η διεπαφή δεν είναι εύκολη στη χρήση, ο εκπαιδευόμενος επικεντρώνεται στον τρόπο αλληλεπίδρασης με αυτήν και όχι στο περιεχόμενό της (Luo, Liu, Kuo & Yuan, 2014).

• Εγκυροποιημένα εργαλεία αποτίμησης της ευχρηστίας στον τομέα των συστημάτων διαχείρισης της μάθησης δεν υπάρχουν.

• SUS (Brooke, 1996): αξιόπιστο και ευρέως αποδεκτό ψυχομετρικό εργαλείο αποτίμησης ευχρηστίας συστημάτων.

1. Εγκυροποίηση του ερωτηματολογίου SUS στο πλαίσιο των συστημάτων διαχείρισης της μάθησης (LMS).

i. Η ευχρηστία των LMS κρίνεται ικανοποιητική;ii. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS για ένα LMS με τον αντίστοιχο συνολικό αξιολογικό

χαρακτηρισμό του συστήματος; Αν ναι, πού κυμαίνεται σε σχέση με άλλες μελέτες για άλλα συστήματα;iii. Η ελληνική έκδοση του ερωτηματολογίου SUS όπως δημοσιεύτηκε από τους Katsanos et al. (2012) είναι

έγκυρη και αξιόπιστη;

2. Επιβεβαίωση ευρημάτων προηγούμενων ερευνών, στο πλαίσιο αξιολόγησης ευχρηστίας των LMS.

i. Υπάρχουν συσχετίσεις μεταξύ παραγόντων που έχουν μελετηθεί από προηγούμενες έρευνες και της βαθμολογίας SUS, στο πλαίσιο των LMS;o Φύλο (Bangor et al., 2008; Kobsa et al., 2009)o Ηλικία (Bangor et al., 2008; Granića & Ćukušić, 2011)o Προηγούμενη εμπειρία χρήσης του συστήματος (Sauro, 2011a; Kortum & Bangor, 2013)

ii. Είναι αξιόπιστα τα αποτελέσματα του SUS με μικρό μέγεθος δείγματος; (Tullis & Stetson, 2004)

3. Έλεγχος συσχέτισης μεταξύ της βαθμολογίας SUS και επιπλέον παραγόντων.– Αυτοαποτελεσματικότητα χρήσης Διαδικτύου (internet self-efficacy)– Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (internet user attitude)– Συχνότητα χρήσης του συστήματος

Ερευνητικοί Στόχοι

Τι είναι το SUS;• System Usability Scale.

• Αποτιμά την ευχρηστία για οποιαδήποτε εφαρμογή, προϊόν ή υπηρεσία (technology agnostic).

π.χ. Web sites, computer interfaces, interactive voice response systems (IVRs), κινητά τηλέφωνα, εφαρμογές τηλεοράσεων κ.ά.

• Κατασκευάστηκε από τον Brooke όταν δούλευε στην εταιρία DEC (Digital Equipment Corporation) το 1986 (Brooke, 1996).

• Διατίθεται δωρεάν με μοναδική προϋπόθεση την αναφορά της πηγής του.

• 10 ερωτήσεις/δηλώσεις που βαθμολογούνται σε 5βάθμια κλίμακα.

• Εναλλάσονται θετικά και αρνητικά διατυπωμένες ερωτήσεις.οι απαντηθέντες αναγκάζονται να διαβάζουν προσεκτικά κάθε ερώτηση.

• Βαθμολογούνται υποχρεωτικά όλες.εάν κάποιος δεν είναι σίγουρος για μια απάντηση καλείται να τη βαθμολογήσει με 3.

• Μία τελική τιμή.

© Digital Equipment Corporation, 1986.

Strongly Disagree

Strongly Agree

1. I think that I would like to use this system frequently 1 2 3 4 5

2. I found the system unnecessarily complex 1 2 3 4 5

3. I thought the system was easy to use 1 2 3 4 5

4. I think that I would need the support of a technical person to be able to use this system 1 2 3 4 5

5. I found the various functions in this system were well integrated 1 2 3 4 5

6. I thought there was too much inconsistency in this system 1 2 3 4 5

7. I would imagine that most people would learn to use this system very quickly 1 2 3 4 5

8. I found the system very cumbersome to use 1 2 3 4 5

9. I felt very confident using the system 1 2 3 4 5

10. I needed to learn a lot of things before I could get going with this system 1 2 3 4 5

System Usability Scale

Υπολογισμός τελικής τιμής

• 0 έως 4

Εύρος τιμών ερωτήσεων:

• <δοθείσα τιμή> - 1

Ερωτήσεις 1, 3, 5, 7, 9 (μονές):

• 5 - <δοθείσα τιμή>

Ερωτήσεις 2, 4, 6, 8, 10 (ζυγές):

• <συνολικό άθροισμα> * 2,5• Εύρος τιμών 0 έως 100

Τελική τιμή:

Ιδιαίτερα χαρακτηριστικά του SUS

Έχουν διαπιστωθεί από ερευνητές σε άλλα πλαίσια εκτός των LMS:

• Αντιφατικά αποτελέσματα για την SUS τιμή ανάλογα το φύλο (Bangor, Kortum & Miller, 2008; Kobsa et al., 2009).

• Αρνητική συσχέτιση ηλικίας και τελικής τιμής του SUS, r= -0,203 (Bangor et al., 2008), r = -0,467 (Granića & Ćukušić, 2011).

• Εκτίμηση κλίμακας: 85+ άριστο, 70-85 καλό/ αποδεκτό, 50-70 φτωχό/ προβλήματα ευχρηστίας, <50 μη εύχρηστο (Bangor et al., 2008).

• Χρήστες με προϋπάρχουσα εμπειρία αποτιμούν το σύστημα με 8-11% μεγαλύτερη βαθμολογία (Sauro, 2011).

• Αξιόπιστα αποτελέσματα ακόμη και με μικρό δείγμα (12-15 άτομα) (Tullis & Stetson, 2004).

• Μεγαλύτερη ή ίση αξιοπιστία συγκριτικά με άλλα γνωστά ερωτηματολόγια (Tullis & Stetson, 2004).

• Ισχυρή συσχέτιση της τιμής του SUS με μια αξιολογική κρίση του συστήματος ύστερα από μία μόνο ερώτηση σε 7βάθμια κλίμακα με επίθετα (Worst Imaginable, Awful, Poor, OK, Good, Excellent, Best Imaginable) (r=0.822) (Bangor et al., 2008).

«Ελληνικό» SUSKatsanos, Tselios and Xenos (2012):

• Απόδοση στα ελληνικά του ερωτηματολογίου SUS• 3 μελέτες (Moodle)• 280 φοιτητές• Μεικτή και εξ αποστάσεως εκπαίδευση

1. Νομίζω ότι θα ήθελα να χρησιμοποιώ αυτό το δικτυακό τόπο συχνά.

2. Βρήκα αυτό το δικτυακό τόπο αδικαιολόγητα περίπλοκο.

3. Σκέφτηκα ότι αυτό το δικτυακό τόπο ήταν εύκολο στη χρήση.

4. Νομίζω ότι θα χρειαστώ βοήθεια από κάποιον τεχνικό για να είμαι σε θέση να χρησιμοποιήσω αυτό το δικτυακό τόπο.

5. Βρήκα τις διάφορες λειτουργίες σε αυτό το δικτυακό τόπο καλά ολοκληρωμένες.

6. Σκέφτηκα ότι υπήρχε μεγάλη ασυνέπεια σε αυτό το δικτυακό τόπο.

7. Φαντάζομαι ότι οι περισσότεροι άνθρωποι θα μάθουν να χρησιμοποιούν αυτό το δικτυακό τόπο πολύ γρήγορα.

8. Βρήκα αυτό το δικτυακό τόπο πολύ περίπλοκο/δύσκολο στη χρήση.

9. Ένιωσα πολύ σίγουρος/η χρησιμοποιώντας αυτό το δικτυακό τόπο .

10. Χρειάστηκε να μάθω πολλά πράγματα πριν να μπορέσω να ξεκινήσω με αυτό το δικτυακό τόπο .

«Ελληνικό» SUS

Αποτελέσματα:• Στατιστικά σημαντική συσχέτιση

μεταξύ της τιμής του SUS με μια αξιολογική κρίση σε 7βάθμια κλίμακα (rs=0,474)

• Καμία στατιστικά σημαντική διαφορά μεταξύ ελληνικής και αγγλικής έκδοσης

• Αξιοπιστία της ελληνικής έκδοσης για την ποιοτική αξιολόγηση των LMS (Cronbach’s alpha = 0,777)

• Μονοδιάστατη η ελληνική έκδοση

(Katsanos et al., 2012)

Το SUS στο πλαίσιο των LMS• Εγκυροποιημένα εργαλεία αποτίμησης

της ευχρηστίας των LMS δεν υπάρχουν.• Εργασίες όπου προσπάθησαν να

κατασκευάσουν εργαλεία αποτίμησης της ευχρηστίας δεν προχώρησαν (Georgiakakis, Papasalouros, Retalis, Siassiakos, & Papaspyrou, 2005; Zaharias, 2006).

• Η αξιολόγηση της ευχρηστίας γινόταν με χρήση εργαλείων που επέλεγαν εμπειρικά οι ερευνητές.

• Venturi and Bessis (2006): DELTA, ένα κατανεμημένο αποθετήριο πόρων μάθησης (learning resources repository).

• Renaut, Batier, Flory and Heyde (2006): πλατφόρμα SPIRAL.

• Perera, Allison, Nicoll, Sturgeon and Miller (2010): εικονικοί κόσμοι Second Life (SL) και Simulator Open.

• Ayad and Rigas (2010): τρεις edutainment πλατφόρμες (Virtual Classroom, Game-based και Storytelling).

• Davids, Chikte and Halperin (2011): web-based εφαρμογή σχετικά με τη διαχείριση των διαταραχών ηλεκτρολυτών και οξεοβασικής ισορροπίας.

• Granića and Ćukušić (2011): πλατφόρμα UNITE.

• Simões and de Moraes (2012): εικονικό περιβάλλον μάθησης με Moodle ως βάση.

• Katsanos et al. (2012): Moodle. Μια πρώτη προσπάθεια μετάφρασης του SUS και εγκυροποίησής του στα LMS.

• Marco, Penichet and Gallud (2013): Moodle, νέο εργαλείο Drag&Share.

• Shi, Awan and Cristea (2013): πρώτη έκδοση του συστήματος Topolor (SPAEE)

• Luo et al. (2014): LMS για την εκπαίδευση στον τομέα του διεθνούς εμπορίου

Ερευνητικά Ερωτήματα1. Εγκυροποίηση του ερωτηματολογίου SUS στο πλαίσιο των συστημάτων διαχείρισης της

μάθησης (LMS). i. Η ευχρηστία των LMS κρίνεται ικανοποιητική;ii. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS για ένα LMS με τον αντίστοιχο συνολικό αξιολογικό






3. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS και των παρακάτω παραγόντων;– Αυτοαποτελεσματικότητα χρήσης Διαδικτύου (internet self-efficacy)– Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (internet user attitude)– Συχνότητα χρήσης του συστήματος

Μεθοδολογία Έρευνας• Διανομή του Ερωτηματολογίου σε φοιτητές που παρακολουθούν

– διαφορετικά μαθήματα– προπτυχιακών και μεταπτυχιακών σπουδών– διαφορετικών προγραμμάτων σπουδών με διαφορετικά γνωστικά αντικείμενα– που χρησιμοποιούν διαφορετικές πλατφόρμες – και τα μαθήματα πραγματοποιούνται με μεικτή ή εξ αποστάσεως διδασκαλία.

• Τα συστήματα διαχείρισης της μάθησης που αξιολογήθηκαν:– eClass– Moodle

• Εργαλεία συλλογής και ανάλυσης δεδομένων:– Google Forms– ΙΒΜ SPSS Statistics

Μεθοδολογία Έρευνας: Ερωτηματολόγιο

• Το Ερωτηματολόγιο αποτελείται από 11 ερωτήσεις (32 statements):1. Δημογραφικού χαρακτήρα (φύλο, ηλικία)2. Χρήση του Διαδικτύου3. Προϋπάρχουσα εμπειρία χρήσης του συστήματος πριν το συγκεκριμένο μάθημα4. Συχνότητα χρήσης του συστήματος στα πλαίσια του μαθήματος5. Αυτοαποτελεσματικότητα για το Διαδίκτυο (Internet Self-Efficacy) (Papastergiou,

2010 )6. Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (Internet User Attitude)

(Papastergiou, 2010)7. Επίπεδο γνώσης της Αγγλικής Γλώσσας8. SUS (Brooke, 1996)9. Συνολικός αξιολογικός χαρακτηρισμός του συστήματος (overall adjective rating)

Πιλοτική Έρευνα

• Διανομή του Ερωτηματολογίου μέσω του Facebook (group του τμήματος) (21-24/03/2013).

• Αξιολόγηση του eClass.

• 63 φοιτητές του ΤΕΕΑΠΗ.

• 62 γυναίκες και 1 άντρας.

• Από 18 έως 44 ετών (mean=21,44 και sd=3,87).

• 32 Πρώτο ή Δεύτερο έτος, 27 Τρίτο ή Τέταρτο έτος, 3 στο Πτυχίο ή Μεταπτυχιακό.

• Εγγεγραμμένοι σε 2,59 κατά μέσο όρο ΤΠΕ μαθήματα (από 0 έως 6 μαθήματα).

• 62 φοιτητές έχουν σύνδεση στο Διαδίκτυο από το σπίτι τους.

• Χρησιμοποιούν το Διαδίκτυο κατά μέσο όρο εδώ και 6,48 χρόνια (από 1 έως 17 χρόνια).

• Αυτό-αναφερόμενη συχνότητα χρήσης του συστήματος σε 5βάθμια κλίμακα: 4,43 (sd=0,86).

• Αυτό-αναφερόμενη συχνότητα χρήσης του FB group σε 5βάθμια κλίμακα: 4,65 (sd=0,68).

• Αυτοαποτελεσματικότητα προς το Διαδίκτυο (ISE) σε 5βάθμια κλίμακα: 4,08 (sd=0,49).

• Στάση προς το Διαδίκτυο ως εργαλείο μάθησης (IUA) σε 5βάθμια κλίμακα: 4,24 (sd=0,49).

• 41 φοιτητές συμπλήρωσαν την ελληνική έκδοση του ερωτηματολογίου SUS και 22 φοιτητές την αγγλική.

Στόχος: έλεγχος του εργαλείου της έρευνας, δηλαδή του Ερωτηματολογίου.

Πιλοτική Έρευνα

• Μελετήθηκαν όλα τα ερευνητικά ερωτήματα.• Οι επιπλέον παράγοντες δε θα μελετηθούν στην κύρια έρευνα. • Σφάλματα στη φόρμα του Ερωτηματολογίου:

– στην ερώτηση του αξιολογικού χαρακτηρισμού. – στη μετάβαση από τη δεύτερη σελίδα στην τρίτη.

Έκδοση ερωτηματολογίου SUS Φοιτητές (N)

Βαθμολογία SUS (0-100)

Overall Adjective Rating (1-7)

Mean Standard Deviation Mean Standard

Deviation

Ελληνική 41 81,65 12,71 4,95 0,74

Αγγλική 22 82,16 10,89 5,18 0,59

Δείγμα κύριας έρευνας: 11 studies και 769 συμπληρωμένα surveys

• 11 διαφορετικά μαθήματα από 8 διαφορετικά τμήματα του Πανεπιστημίου Πατρών.

• Όλα τα μαθήματα έχουν μεικτή διδασκαλία, 9 με eClass και 2 με Moodle.

• 282 άντρες και 487 γυναίκες.

• Από 18 έως 52 ετών (mean=21,78 και sd=4,31).

• 755 φοιτητές έχουν σύνδεση στο Διαδίκτυο από το σπίτι τους.

• Χρησιμοποιούν το Διαδίκτυο κατά μέσο όρο εδώ και 8,02 χρόνια (από 1 έως 20 χρόνια).

• 355 φοιτητές είχαν προηγούμενη εμπειρία χρήσης του συστήματος που χρησιμοποιείται στα πλαίσια του μαθήματος που παρακολουθούσαν.

• Αυτό-αναφερόμενη συχνότητα χρήσης του συστήματος σε 5βάθμια κλίμακα: 3,81 με sd=0,99.

• Αυτοαποτελεσματικότητα προς το Διαδίκτυο (ISE) σε 5βάθμια κλίμακα: 4,10 με sd=0,61.

• Στάση προς το Διαδίκτυο ως εργαλείο μάθησης (IUA) σε 5βάθμια κλίμακα: 4,27 με sd=0,52.

• 436 φοιτητές συμπλήρωσαν την ελληνική έκδοση του ερωτηματολογίου SUS και 333 φοιτητές την αγγλική.

Στατιστικά αποτελέσματαΣυνοπτικά τα δεδομένα της έρευνας για την αποτίμηση της αντιληπτής ευχρηστίας των LMS eClass και Moodle.

Study

Φοιτητές (N)

LMS

Βαθμολογία SUS (0-100) Perceived Usability Rating (1-7)

Ελληνικό SUS

Αγγλικό SUS Συνολικά Mean

95% Confidence Intervals for

Mean

Standard Deviation Mean

95% Confidence Intervals for

Mean

Standard Deviation

1 31 34 65 Eclass 79,73 ±3,30 13,31 4,75 ±0,21 0,87

2 19 37 56 Eclass 73,35 ±3,06 11,43 4,71 ±0,20 0,76

3 22 32 54 Eclass 81,57 ±3,26 11,93 5,43 ±0,16 0,60

4 40 47 87 Eclass 73,76 ±3,00 14,06 4,86 ±0,21 0,99

5 30 33 63 Eclass 81,59 ±3,50 13,90 5,21 ±0,21 0,83

6 27 25 52 Eclass 75,58 ±3,48 12,49 5,10 ±0,18 0,63

7 32 35 67 Eclass 76,23 ±3,03 12,43 5,25 ±0,20 0,80

8 15 27 42 Eclass 74,11 ±4,08 13,10 5,17 ±0,24 0,76

9 23 29 52 Eclass 75,43 ±2,92 10,48 5,12 ±0,19 0,68

10 178 0 178 Moodle 75,84 ±1,80 12,14 5,23 ±0,11 0,76

11 19 34 53 Moodle 72,17 ±4,89 17,73 4,87 ±0,23 0,83

Συνολικά239 299 538 Eclass 76,81 ±1,10 13,02 5,05 ±0,07 0,82

197 34 231 Moodle 75,00 ±1,77 13,67 5,15 ±0,10 0,79

436 333 769 76,27 ±0,94 13,24 5,08 ±0,06 0,81

Στατιστικά αποτελέσματαΠεριγραφικά στατιστικά για τα συνολικά δεδομένα της βαθμολογίας του SUS για κάθε item ξεχωριστά.

Item Ελληνική έκδοση του SUSRaw responses

Αγγλική έκδοση του SUSRaw responses

Mean Std. Deviation Mean Std.

Deviation

Q1 Νομίζω ότι θα ήθελα να χρησιμοποιώ το σύστημα moodle/eclass συχνά.

3,61 0,951 I think that I would like to use this system frequently.

3,94 0,810

Q2 Βρήκα το σύστημα moodle/eclass αδικαιολόγητα περίπλοκο.

1,72 0,831 I found the system unnecessarily complex. 1,89 0,941

Q3 Σκέφτηκα ότι το σύστημα moodle/eclass ήταν εύκολο στη χρήση.

3,96 0,839 I thought the system was easy to use. 4,11 0,855

Q4Νομίζω ότι θα χρειαστώ βοήθεια από κάποιον τεχνικό για να είμαι σε θέση να χρησιμοποιήσω το σύστημα moodle/eclass.

1,36 0,708I think that I would need the support of a technical person to be able to use this system.

1,44 0,791

Q5 Βρήκα τις διάφορες λειτουργίες στο σύστημα moodle/eclass καλά ολοκληρωμένες.

3,64 0,903 I found the various functions in this system were well integrated.

3,56 0,829

Q6 Σκέφτηκα ότι υπήρχε μεγάλη ασυνέπεια στο σύστημα moodle/eclass.

2,01 1,025 I thought there was too much inconsistency in this system.

2,13 0,922

Q7Φαντάζομαι ότι οι περισσότεροι άνθρωποι θα μάθουν να χρησιμοποιούν το σύστημα moodle/eclass πολύ γρήγορα.

3,81 0,884I would imagine that most people would learn to use this system very quickly.

3,98 0,810

Q8 Βρήκα το σύστημα moodle/eclass πολύ περίπλοκο/δύσκολο στη χρήση.

1,60 0,771 I found the system very cumbersome/awkward to use.

1,84 0,943

Q9 Ένιωσα πολύ σίγουρος/η χρησιμοποιώντας το σύστημα moodle/eclass.

3,62 0,933 I felt very confident using the system. 4,08 0,839

Q10 Χρειάστηκε να μάθω πολλά πράγματα πριν μπορέσω να ξεκινήσω με το σύστημα moodle/eclass.

1,64 0,822I needed to learn a lot of things before I could get going with this system.

1,62 0,855

1ο Ερευνητικό Ερώτημα1. Εγκυροποίηση του ερωτηματολογίου SUS στο πλαίσιο των συστημάτων διαχείρισης της

μάθησης (LMS). i. Η ευχρηστία των LMS κρίνεται ικανοποιητική;ii. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS για ένα LMS με τον αντίστοιχο συνολικό αξιολογικό



Διαδικασία ανάλυσης των δεδομένων:• Υπολογισμός της βαθμολογίας SUS των LMS και ερμηνεία της τιμής της με βάση τα κριτήρια των

Bangor et al. (2008).• Έλεγχος συσχέτισης της βαθμολογίας SUS και του συνολικού αξιολογικού χαρακτηρισμού του

συστήματος.• Σύγκριση μέσων όρων της ελληνικής και της αγγλικής έκδοσης του ερωτηματολογίου SUS.• Υπολογισμός του Cronbach’s alpha για την αξιοπιστία της ελληνικής έκδοσης του SUS.• Παραγοντική ανάλυση της ελληνικής έκδοσης του ερωτηματολογίου SUS.Βρέθηκε• Μη στατιστικά σημαντική διαφορά μεταξύ των συστημάτων eClass και Moodle.• Στατιστικά σημαντική διαφορά μεταξύ των διαφορετικών μαθημάτων των μελετών (studies).

1ο Ερευνητικό ΕρώτημαΗ βαθμολογία SUS για την αντιληπτή ευχρηστία του συστήματος που εξετάζεται σε κάθε μελέτη ξεχωριστά, συνολικά και ανά είδος συστήματος.

eClass eClass eClass eClass eClass eClass eClass eClass eClass Moodle Moodle eClass Moodle1 2 3 4 5 6 7 8 9 10 11 Συνολ. Συνολ. Συνολ.

66.00

68.00

70.00

72.00

74.00

76.00

78.00

80.00

82.00

84.00

79.73

73.35

81.57

73.76

81.59

75.5876.23

74.11

75.4375.84

72.17

76.81

75.00

76,27

Βαθμολογία SUS ανά μελέτη (study)

1ο Ερευνητικό ΕρώτημαΣυσχέτιση βαθμολογίας SUS με τον συνολικό αξιολογικό χαρακτηρισμό.

Φοιτητές (N)Συσχέτιση SUS Gr score με overall adjective rating

Συσχέτιση SUS En score με overall adjective rating

Συσχέτιση SUS score με overall adjective

rating

Study Συνολικά Ελληνικό SUS

Αγγλικό SUS rs Sig. rs Sig. rs Sig.

1 65 31 34 rs=0,490 p<0,01 rs=0,523 p<0,01 rs=492 p<0,012 56 19 37 rs=0,595 p<0,01 rs=0,682 p<0,01 rs=0,683 p<0,013 54 22 32 rs=0,462 p<0,05 rs=0,478 p<0,01 rs=0,547 p<0,014 87 40 47 rs=0,419 p<0,01 rs=0,499 p<0,01 rs=0,456 p<0,015 63 30 33 rs=0,760 p<0,01 rs=0,773 p<0,01 rs=0,762 p<0,016 52 27 25 rs=0,384 p<0,05 rs=0,608 p<0,01 rs=0,519 p<0,017 67 32 35 rs=0,635 p<0,01 rs=0,680 p<0,01 rs=0,666 p<0,018 42 15 27 r=0,620 p<0,05 rs=0,114 p=0,570 rs=0,278 p=0,759 52 23 29 rs=0,639 p<0,01 rs=0,410 p<0,05 rs=0,521 p<0,01

10 178 178 0 rs=0,427 p<0,01 - - rs=0,427 p<0,0111 53 19 34 rs=0,491 p<0,05 rs=0,800 p<0,01 rs=0,646 p<0,01

Συνολικά 769 436 333 rs=0,491 p<0,01 rs=0,577 p<0,01 rs=0,525 p<0,01

1ο Ερευνητικό ΕρώτημαΣυσχέτιση βαθμολογίας SUS με τον συνολικό αξιολογικό χαρακτηρισμό, αγνοώντας τις εγγραφές 12, 18 και 19 της μελέτης 8.

Φοιτητές (N)Συσχέτιση SUS Gr score με overall adjective rating

Συσχέτιση SUS En score με overall adjective rating

Συσχέτιση SUS score με overall adjective

rating


Αγγλικό SUS rs Sig. rs Sig. rs Sig.

1 65 31 34 rs=0,490 p<0,01 rs=0,523 p<0,01 rs=492 p<0,012 56 19 37 rs=0,595 p<0,01 rs=0,682 p<0,01 rs=0,683 p<0,013 54 22 32 rs=0,462 p<0,05 rs=0,478 p<0,01 rs=0,547 p<0,014 87 40 47 rs=0,419 p<0,01 rs=0,499 p<0,01 rs=0,456 p<0,015 63 30 33 rs=0,760 p<0,01 rs=0,773 p<0,01 rs=0,762 p<0,016 52 27 25 rs=0,384 p<0,05 rs=0,608 p<0,01 rs=0,519 p<0,017 67 32 35 rs=0,635 p<0,01 rs=0,680 p<0,01 rs=0,666 p<0,018 42 15 27 r=0,620 p<0,05 rs=0,394 p=0,057 rs=0,423 p<0,019 52 23 29 rs=0,639 p<0,01 rs=0,410 p<0,05 rs=0,521 p<0,01

10 178 178 0 rs=0,427 p<0,01 - - rs=0,427 p<0,0111 53 19 34 rs=0,491 p<0,05 rs=0,800 p<0,01 rs=0,646 p<0,01

Συνολικά 769 436 333 rs=0,491 p<0,01 rs=0,577 p<0,01 rs=0,525 p<0,01

1ο Ερευνητικό ΕρώτημαΑνάλυση εγκυρότητας της ελληνικής έκδοσης του ερωτηματολογίου SUS.

Φοιτητές (N) Σύγκριση ελληνικής και αγγλικής έκδοσης του SUS

Συσχέτιση SUS Gr score με overall adjective rating


Αγγλικό SUS

Mean SUS Gr

Mean SUS En t(df) Sig. (2-

tailed) rs Sig.

1 65 31 34 80,81 78,75 t(63)=0,619 p=0,583 rs=0,490 p<0,012 56 19 37 69,34 75,41 t(54)=-1,924 p=0,06 rs=0,595 p<0,013 54 22 32 79,32 83,13 t(52)=-1,156 p=0,253 rs=0,462 p<0,054 87 40 47 72,37 74,95 t(85)=-0,849 p=0,398 rs=0,419 p<0,015 63 30 33 81,67 81,52 u=470,000 p=0,730 rs=0,760 p<0,016 52 27 25 73,52 77,80 t(50)=-1,241 p=0,220 rs=0,384 p<0,057 67 32 35 75,39 77,00 t(65)=-0,527 p=0,600 rs=0,635 p<0,018 42 15 27 72,00 75,28 t(40)=-0,773 p=0,444 r=0,620 p<0,059 52 23 29 76,30 74,74 t(50)=0,531 p=0,598 rs=0,639 p<0,01

10 178 178 0 75,84 - - - rs=0,427 p<0,0111 53 19 34 73,95 71,18 t(51)=0,542 p=0,590 rs=0,491 p<0,05

Συνολικά 769 436 333 75,80 76,88 u=66886,000 p=0,314 rs=0,491 p<0,01

1ο Ερευνητικό ΕρώτημαΑνάλυση αξιοπιστίας των δύο εκδόσεων του ερωτηματολογίου SUS.

Study N (Gr) Cronbach's alpha

1 31 0,815

2 19 0,766

3 22 0,807

4 40 0,868

5 30 0,892

6 27 0,669

7 32 0,733

8 15 0,799

9 23 0,753

10 178 0,802

11 19 0,894

Συνολικά 436 0,808

Study N (En) Cronbach's alpha

1 34 0,801

2 37 0,760

3 32 0,855

4 47 0,827

5 33 0,848

6 25 0,735

7 35 0,856

8 27 0,777

9 29 0,485

10 0 -

11 34 0,899

Συνολικά 333 0,820

1ο Ερευνητικό ΕρώτημαΠαραγοντική ανάλυση της ελληνικής έκδοσης του ερωτηματολογίου SUS.• Lewis and Sauro (2009): Usable (α=0,810) και Learnable (α=0,508).

ItemComponent

1 2Q1 ,641 -,116Q2 ,687 ,293Q3 ,763 ,057Q4 ,574 ,278Q5 ,704 ,196Q6 ,505 ,591Q7 -,092 ,738Q8 ,385 ,447Q9 ,435 ,658Q10 ,057 ,712

Subscale AlphaNo Items1 Q1, Q2, Q3, Q4, Q5 0,6492 Q6, Q7, Q8, Q9, Q10 0,679

ItemComponent1 2 3

Q1 ,797 -,093 -,019Q2 ,589 ,432 ,158Q3 ,506 ,606 -,202Q4 ,564 ,268 ,222Q5 ,692 ,279 ,135Q6 ,292 ,655 ,356Q7 -,024 ,129 ,762Q8 ,014 ,804 ,097Q9 ,263 ,599 ,457Q10 ,179 ,082 ,773

Subscale AlphaNo Items1 Q1, Q2, Q4, Q5 0,5232 Q3, Q6, Q8, Q9 0,6953 Q7, Q10 0,295

ItemComponent

1 2 3 4Q1 ,141 ,065 ,069 ,914Q2 ,617 ,284 ,099 ,307Q3 ,434 ,573 -,193 ,354Q4 ,776 -,027 ,069 ,117Q5 ,623 ,134 ,069 ,415Q6 ,590 ,466 ,292 -,019Q7 ,020 ,153 ,809 ,020Q8 ,097 ,880 ,191 ,045Q9 ,678 ,333 ,348 -,135Q10 ,260 ,002 ,755 ,073

Subscale AlphaNo Items1 Q2, Q4, Q5, Q6, Q9 0,1172 Q3, Q8 0,6193 Q7, Q10 0,2954 Q1 N/A

1ο Ερευνητικό ΕρώτημαΣύγκριση με προηγούμενες έρευνες:

Συσχέτιση βαθμολογίας SUS με τον συνολικό αξιολογικό χαρακτηρισμό του συστήματος σε διαφορετικό πλαίσιο:• r=0,806 (Bangor et al., 2008)• r=0,822 (Bangor et al., 2009)• r= 0,4982 έως 0,7874 (Kortum & Bangor, 2013)

Για την ελληνική έκδοση του SUS oι Katsanos et al. (2012) είχαν επίσης βρει:• Μη στατιστικά σημαντική διαφορά μεταξύ της ελληνικής και της αγγλικής έκδοσης

του ερωτηματολογίου, t(278)=1,149 με p=0,252.• Μια μεσαία στατιστικά σημαντική συσχέτιση μεταξύ του ελληνικού SUS και της

συνολικής αποτίμησης ευχρηστίας σε 7βάθμια κλίμακα, rs=0,474 με p<0,01.• Επαρκή αξιοπιστία (Cronbach’s alpha>0,70) της ελληνικής έκδοσης, α=0,777.• Μη επαρκή αξιοπιστία για τους παράγοντες Usability και Learnability που είχαν βρει

οι Lewis and Sauro (2009), α=0,762 και α=0,531, αντίστοιχα.• Μονοδιάστατη δομή της ελληνικής έκδοσης του ερωτηματολογίου SUS.

2ο και 3ο Ερευνητικό Ερώτημα




3. Υπάρχει συσχέτιση μεταξύ της βαθμολογίας SUS και των παρακάτω παραγόντων;– Αυτοαποτελεσματικότητα χρήσης Διαδικτύου (internet self-efficacy)– Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (internet user attitude)– Συχνότητα χρήσης του συστήματος

2ο και 3ο Ερευνητικό Ερώτημα

Διαδικασία ανάλυσης των δεδομένων:• Σύγκριση μέσων όρων:

– Ανδρών και Γυναικών– Φοιτητών με (και χωρίς) προηγούμενη εμπειρία χρήσης του συστήματος

• Έλεγχος συσχετίσεων βαθμολογίας SUS με τους παράγοντες:– Ηλικία– Αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE) – Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (IUA)– Συχνότητα χρήσης του συστήματος

• Έλεγχος αξιοπιστίας αποτελεσμάτων του SUS με μικρό μέγεθος δείγματος– Πέντε διαφορετικά μεγέθη δείγματος: N=6, 8, 10, 12, 14– 20 τυχαία υποσύνολα για κάθε μέγεθος– Σύγκριση μέσου όρου της βαθμολογίας SUS του υποσυνόλου με τον μέσο όρο του

συνολικού δείγματος: One sample t-test

2ο και 3ο Ερευνητικό ΕρώτημαΠαράγοντας Συσχέτιση με τη βαθμολογία SUS

φύλο

δεν υπάρχει στατιστικά σημαντική διαφορά μεταξύ αντρών και γυναικών282 άντρες, mean=76,21 και sd=13,40487 γυναίκες, mean=76,30 και sd=13,16u= 68549,000 με p=0,968

ηλικίααρνητική συσχέτιση, μη στατιστικά σημαντικήN=769rs=-0,061 με p=0,09

ηλικιακές ομάδεςμη στατιστικά σημαντική διαφορά μεταξύ των δύο ομάδων716 προπτυχιακοί φοιτητές, mean=76,57 και sd=12,8153 μεταπτυχιακοί φοιτητές, mean=72,17 και sd=17,73u=16783,5 με p=0,16

προηγούμενη εμπειρία

στατιστικά σημαντική διαφορά μεταξύ των φοιτητών με προηγούμενη εμπειρία χρήσης του συστήματος και αυτών χωρίς355 φοιτητές με εμπειρία, mean=77,36 και sd=13,37414 φοιτητές χωρίς εμπειρία, mean=75,33 και sd=13,06u=66467,000 με p=0,022

αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE)μεσαία συσχέτιση, στατιστικά σημαντικήN=769rs=0,326 με p<0,01

στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς (IUA)

μικρή συσχέτιση, στατιστικά σημαντικήN=769rs=0,223 με p<0,01

συχνότητα χρήσης του συστήματοςμικρή συσχέτιση, στατιστικά σημαντικήN=769 rs=0,267 με p<0,01

2ο Ερευνητικό Ερώτημα• Εργαστήκαμε όπως στην έρευνα (Tullis & Stetson, 2004).• Δεδομένα βασισμένα σε t-tests 20 τυχαίων υποσυνόλων για κάθε διαφορετικό

μέγεθος (Ν). • Στο διάγραμμα φαίνεται το ποσοστό των t-tests για τα οποία το αποτέλεσμα δε

διέφερε στατιστικά σημαντικά από αυτό του συνολικού δείγματος.

6 8 10 12 1455%

60%

65%

70%

75%

80%

85%

90%

95%

100%

Ποσοστό περιπτώσεων με αξιόπιστο αποτέλεσμα ανά μέγεθος δείγματος

2ο Ερευνητικό ΕρώτημαΣύγκριση με προηγούμενες έρευνες:

• Φύλο: τα ευρήματα συμφωνούν με αυτά των ερευνών (Lewis, 2002; Bangor et al., 2008; Sonderegger & Sauer, 2010) και διαφωνούν με των (Kobsa et al., 2009; Karahoca & Karahoca, 2009), δεν υπάρχει στατιστικά σημαντική διαφορά.

• Ηλικία: Αρνητική συσχέτιση έχουν βρει και προηγούμενες έρευνες (Bangor et al., 2008; Granića & Ćukušić, 2011).

• Προηγούμενη εμπειρία χρήσης: τα ευρήματα συμφωνούν με αυτά των ερευνών (Sauro, 2011a; Kortum & Bangor, 2013), υπάρχει στατιστικά σημαντική διαφορά.

• Αξιοπιστία αποτελεσμάτων με μικρό δείγμα: επιβεβαιώθηκε ότι το ερωτηματολόγιο SUS ακόμη και με μικρό μέγεθος δείγματος (έως 14 άτομα) έχει αποτελέσματα που προσεγγίζουν σε υψηλό ποσοστό (>=90%) τα αποτελέσματα του συνολικού δείγματος. Οι Tullis and Stetson (2004), όμως, είχαν βρει ότι με 14 άτομα είχαν 100% προσέγγιση του συνολικού αποτελέσματος.

• Διερευνάται η ύπαρξη διαφοράς στους νέους παράγοντες που μελετάμε ανάλογα το είδος της πλατφόρμας που χρησιμοποιείται στις μελέτες (studies).

ΠαράγονταςΔιαφορά μεταξύ των φοιτητών που

χρησιμοποιούν τα δύο είδη συστήματος (eClass-Moodle)

αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE)

στατιστικά σημαντική διαφορά 538 eclass, mean=4,15 και sd=0,62231 moodle, mean=3,99 και sd=0,57u=51488,000 με p<0,01


στατιστικά σημαντική διαφορά 538 eclass, mean=4,21 και sd=0,52231 moodle, mean=4,40 και sd=0,50

u=49103,000 με p<0,01

συχνότητα χρήσης του συστήματος

στατιστικά σημαντική διαφορά 538 eclass, mean=3,63 και sd=0,95231 moodle, mean=4,21 και sd=0,97

u=39004,500 με p<0,01

Διαφορές μεταξύ διαφορετικών συστημάτων

Παράγοντας Συσχέτιση με τη βαθμολογία SUS ανά είδος συστήματοςeClass Moodle

φύλο

μη στατιστικά σημαντική διαφορά μεταξύ αντρών και γυναικών

μη στατιστικά σημαντική διαφορά μεταξύ αντρών και γυναικών

266 άντρες, mean=76,48 και sd=13,17 16 άντρες, mean=71,72 και sd=16,68272 γυναίκες, mean=77,13 και sd=12,89 215 γυναίκες, mean=75,24 και sd=13,44u= 35268,000 με p=0,614 u= 1619,500 με p=0,696

ηλικίααρνητική συσχέτιση, οριακά μη στατιστικά σημαντική αρνητική συσχέτιση, μη στατιστικά σημαντικήN=538 N=231rs=-0,084 με p=0,05 rs=-0,009 με p=0,889

ηλικιακές ομάδες 538 προπτυχιακοί φοιτητές, mean=76,81 και sd=13,02

μη στατιστικά σημαντική διαφορά μεταξύ των δύο ομάδων

178 προπτυχιακοί φοιτητές, mean=75,84 και sd=12,1453 μεταπτυχιακοί φοιτητές, mean=72,17 και sd=17,73u=4337,0 με p=0,373

προηγούμενη εμπειρία

μη στατιστικά σημαντική διαφορά οριακά μη στατιστικά σημαντική διαφορά

325 φοιτητές με εμπειρία, mean=77,21 και sd=13,28 30 φοιτητές με εμπειρία, mean=79,00 και sd=14,48

213 φοιτητές χωρίς εμπειρία, mean=76,21 και sd=12,62 201 φοιτητές χωρίς εμπειρία, mean=74,40 και sd=13,48

u=32581,000 με p=0,248 u=2359,500 με p=0,054


μεσαία συσχέτιση, στατιστικά σημαντική μεσαία συσχέτιση, στατιστικά σημαντικήN=538 N=231rs=0,303 με p<0,01 rs=0,368 με p<0,01

στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς

(IUA)

μικρή συσχέτιση, στατιστικά σημαντική μικρή συσχέτιση, στατιστικά σημαντικήN=538 N=231rs=0,243 με p<0,01 rs=0,208 με p<0,01


μικρή συσχέτιση, στατιστικά σημαντική μεσαία συσχέτιση, στατιστικά σημαντικήN=538 N=231rs=0,271 με p<0,01 rs=0,346 με p<0,01

Συσχετίσεις ανά είδος συστήματος

Διαφορές μεταξύ κατηγοριών τμημάτων• Χωρίζονται τα τμήματα που φοιτούν οι συμμετέχοντες σε τρεις κατηγορίες:

– Τεχνολογικά τμήματα (Μηχανικών Η/Υ και Ηλεκτρολόγων Μηχανικών) (215 φοιτητές)– Τμήματα Θετικών Επιστημών (Βιολογίας, Φαρμακευτικής, Χημείας, Φυσικής) (256 φοιτητές)– Τμήμα Επιστημών της Εκπαίδευσης και της Αγωγής στην Προσχολική Ηλικία (231 φοιτητές)

• Ελέγχεται εάν υπάρχουν διαφορές στους τρεις νέους παράγοντες που μελετώνται μεταξύ των φοιτητών που φοιτούν σε διαφορετικής κατηγορίας τμήμα.

Παράγοντας Διαφορά μεταξύ των φοιτητών που χρησιμοποιούν τα δύο είδη συστήματος (eClass-Moodle)


στατιστικά σημαντική διαφορά 215 τεχνολογικών τμημάτων, mean=4,37 και sd=0,57

256 τμημάτων θετικών επιστημών, mean=4,01 και sd=0,61

231 ΤΕΕΑΠΗ, mean=3,99 και sd=0,57x2= 61,821 με p<0,01









Συμπεράσματα1. Ερωτηματολόγιο SUS στο πλαίσιο των LMS:

– Έγκυρο εργαλείο για την αξιολόγηση της αντιληπτής ευχρηστίας– Ικανοποιητικό επίπεδο ευχρηστίας τα LMS– Έγκυρη και αξιόπιστη η ελληνική έκδοση

2. Βαθμολογία SUS για την ευχρηστία ενός LMS:– Δεν εξαρτάται από το φύλο ή την ηλικία. – Προηγούμενη εμπειρία των χρηστών με το σύστημα– Αυτοαποτελεσματικότητα για το Διαδίκτυο– Στάση προς το Διαδίκτυο για μαθησιακούς σκοπούς– Συχνότητα χρήσης του συστήματος

3. Με δείγμα μόνο 6 - 14 ατόμων - 90% αξιόπιστο αποτέλεσμα.

Χρησιμότητα ευρημάτων έρευνας• Κατασκευαστές των συστημάτων διαχείρισης της μάθησης (πλατφόρμες

e-learning):– Επίπεδο της ευχρηστίας του συστήματος.– Οι συσχετίσεις που βρέθηκαν προσφέρουν μια επιπλέον ερμηνεία της ευχρηστίας σύμφωνα

με τα χαρακτηριστικά του target group.– Κοινός κώδικας επικοινωνίας με τους πελάτες τους, οι οποίοι πιθανώς να μην έχουν τις

κατάλληλες γνώσεις σε θέματα ευχρηστίας λογισμικού.

• Χρήστες-εκπαιδευόμενοι, Χρήστες-εκπαιδευτικοί και Εκπαιδευτικοί οργανισμοί:– Σύγκριση διαφορετικών συστημάτων.– Επιλογή του καταλληλότερου και απόρριψη των μη εύχρηστων συστημάτων.

Επιπλέον ευρήματα• Μεγαλύτερη αυτοαποτελεσματικότητα για το Διαδίκτυο (ISE):

– eClass– Φοιτητές των τεχνολογικών τμημάτων– Άντρες– Μεγαλύτεροι σε ηλικία

• Θετικότερη στάση προς το Διαδίκτυο ως εργαλείο μάθησης (IUA):– Μεγαλύτεροι σε ηλικία– Οριακά σημαντική διαφορά μεταξύ των φύλων – (Hong et al., 2003)

• Moodle και ΤΕΕΑΠΗ: – Θετικότερη στάση προς το Διαδίκτυο και– Μεγαλύτερη συχνότητα χρήσης του LMS

• Μεγαλύτερη αυτοαποτελεσματικότητα για το Διαδίκτυο συνεπάγεται και θετικότερη στάση προς αυτό.

Μελλοντικές προτάσεις• Διαφορετικά ιδρύματα και οργανισμοί εκπαίδευσης (Εκτός από ΑΕΙ, και από ΤΕΙ και

ΙΕΚ ή/και διαφορετικές βαθμίδες εκπαίδευσης).• Πέρα από εκπαιδευόμενους, και άλλες ομάδες χρηστών (π.χ. εκπαιδευτές)• Μεικτής και εξ αποστάσεως διδασκαλίας μαθήματα.• Εκτός από eClass και Moodle, επιπλέον είδη συστημάτων τηλεκπαίδευσης π.χ.,

Blackboard, LAMS, κ.ά. • Μεγαλύτερη διακύμανση σε ηλικία των συμμετεχόντων.• Περαιτέρω μελέτη για τα επιπλέον ευρήματα.• Σύγκριση της αξιοπιστίας του ερωτηματολογίου SUS με διαφορετικά ερωτηματολόγια

αξιολόγησης ευχρηστίας στο πλαίσιο των LMS.• Συσχέτιση της βαθμολογίας SUS με έναν συνολικό αξιολογικό χαρακτηρισμό του LMS

στην κλίμακα βαθμολογίας των Πανεπιστημίων (Kortum & Bangor, 2013).• Συσχέτιση της βαθμολογίας SUS με τη στάση προς τον καθηγητή.

Βιβλιογραφία• Ayad, K., & Rigas, D. (2010). Comparing virtual classroom, game-based learning and

storytelling teachings in e-learning. International Journal of Education and Information Technologies, 4(1), 15–23.

• Bangor, A., Kortum, P., & Miller, J.A. (2008). The System Usability Scale (SUS): An Empirical Evaluation, International Journal of Human-Computer Interaction, 24(6).

• Bangor, A., Kortum, P., & Miller, J. (2009). Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. pp.114-123.

• Brooke, J. (1996). SUS: A “quick and dirty” usability scale. In P. W. Jordan, B. Thomas, B. A. Weerdmeester, & I. L. McClelland (Eds.), Usability evaluation in industry (pp. 189–194). London: Taylor & Francis.

• Davids, M. R., Chikte, U. M. E., & Halperin, M. L. (2011). Development and evaluation of a multimedia e-learning resource for electrolyte and acid-base disorders. Advances in Physiology Education, 35(3), 295–306. doi:10.1152/advan.00127.2010

• Georgiakakis, P., Papasalouros, A., Retalis, S., Siassiakos, K., & Papaspyrou, N. (2005). Evaluating the usability of web-based learning management systems. THEMES in Education, 6(1), 45-59.

• Granića, A., & Ćukušić, M. (2011). Usability testing and expert inspections complemented by educational evaluation: a case study of an e-learning platform, Educational Technology & Society, 14(2), 107–123.

Βιβλιογραφία• Hong, K., Ridzuan, A., & Kuek, M. (2003). Students’ attitudes toward the use of the internet

for learning: A study at a university in Malaysia. Educational Technology and Society, 6(2), 45-49.

• Karahoca, D., & Karahoca, A. (2009). Assessing effectiveness of the cognitive abilities and individual differences on e-learning portal usability evaluation. Procedia Social and Behavioral Sciences, 1(1), 368–380.doi:10.1016/j.sbspro.2009.01.068

• Katsanos C., Tselios N., & Xenos M. (2012). Perceived usability evaluation of learning management systems: a first step towards standardization of the System Usability Scale in Greek. In Proceedings of the 16th Pan-Hellenic Conference on Informatics, PCI 2012 (pp. 302-307), Piraeus, Greece: IEEE CPS, 5-7 Oct., 2012, doi: 10.1109/PCi.2012.38.

• Kobsa, A., Sonawalla, R., Tsudik, G., Uzun, E., & Wang, Y. (2009). Serial hook-ups: A comparative usability study of secure device pairing methods. Proceedings of the 5th Symposium on Usable Privacy and Security. Mountain View, California. Retrieved from http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.154.929

• Kortum, P. T., & Bangor, A. (2013). Usability Ratings for Everyday Products Measured With the System Usability Scale. International Journal of Human-Computer Interaction, 29(2), 67–76. doi:10.1080/10447318.2012.681221

• Lewis, J. R. (2002). Psychometric Evaluation of the PSSUQ Using Data from Five Years of Usability Studies. International Journal of Human-Computer Interaction, 14(3&4), 463–488.

Βιβλιογραφία• Lewis J.R., & Sauro J. (2009). The factor structure of the system usability scale. In: Proceedings

of the human computer interaction international conference (HCII 2009), San Diego CA, USA• Luo, G. H., Liu, E. Z. F., Kuo, H. W., & Yuan, S. M. (2014). Design and implementation of a

simulation-based learning system for international trade. The International Review of Research in Open and Distance Learning, 15(1).

• Marco, F. A., Penichet, V. M., & Gallud, J. A. (2013). Collaborative e-Learning through Drag & Share in Synchronous Shared Workspaces. Journal of Universal Computer Science, 19(7), 894-911.

• Papastergiou, M. (2010). Enhancing Physical Education and Sport Science students’ self-efficacy and attitudes regarding Information and Communication Technologies through a computer literacy course. Computers & Education, 54(1), 298–308. doi:10.1016/j.compedu.2009.08.015

• Perera, I., Allison, C., Nicoll, J. R., Sturgeon, T., & Miller, A. (2010). Managed Learning in 3D Multi User Virtual Environments. International Journal of Digital Society, 1(4), 256–264.

• Renaut, C., Batier, C., Flory, L., & Heyde, M. (2006). Improving web site usability for a better e-learning experience. Current Developments in Technology-Assisted Education, 891–895.

• Ryann, E. K. (2009). A field guide to Learning Management Systems. Learning Circuits. Retrieved November 20, 2012, from http://www.astd.org/~/media/Files/Publications/LMS_fieldguide_20091

Βιβλιογραφία• Sauro J., “Does prior experience affect perceptions of usability?” Jan. 2011,

http://www.measuringusability.com/blog/priorexposure.php.• Shi, L., Awan, M. & Cristea, A. I., 2013. Evaluating System Functionality in Social Personalized

Adaptive E-Learning Systems. Proceedings of the 8th European Conference on Technology Enhanced Learning. Paphos, Cyprus, pp. 633-634.

• Simões, A. P., & de Moraes, A. (2012). The ergonomic evaluation of a virtual learning environment usability, Work: A Journal of Prevention, Assessment and Rehabilitation, vol. 41, 1140–1144.

• Sonderegger, A., & Sauer, J. (2010). The influence of design aesthetics in usability testing: Effects on user performance and perceived usability. Applied Ergonomics, 41(3), 403–410. doi:10.1016/j.apergo.2009.09.002

• Tullis, T. S., & Stetson, J. N. (2004). A Comparison of Questionnaires for Assessing Website Usability, Usability Professionals Association (UPA) 2004 Conference, Minneapolis, USA.

• Venturi, G., & Bessis, N. (2006). User-centred Evaluation of an E-learning Repository. Proceedings of the 4th Nordic conference on Human-computer interaction: changing roles, 203–211. New York, NY, USA.

• Zaharias, P. (2006, April). A usability evaluation method for e-learning: focus on motivation to learn. In CHI'06 Extended Abstracts on Human Factors in Computing Systems (pp. 1571-1576). ACM.

Konstantina Orfanou SUS and LMS

Education

Transcript of Konstantina Orfanou SUS and LMS