Αξιολόγηση εκπαιδευτικού Αξιολόγηση εκπαιδευτικού λογισμικούλογισμικού

Χριστίνα ΣολομωνίδουΧριστίνα ΣολομωνίδουΚαθηγήτριαΚαθηγήτρια

ΠΤΔΕ, Π.Θ.ΠΤΔΕ, Π.Θ.

Αξιολόγηση Αξιολόγηση εκπαιδευτικού λογισμικού (ελ)εκπαιδευτικού λογισμικού (ελ)

Τυπική διαδικασία που σχετίζεται άμεσα με τη σχεδίαση ελΤυπική διαδικασία που σχετίζεται άμεσα με τη σχεδίαση ελ Επιτρέπει σε τρίτους να εκτιμήσουν έναν τίτλο ελ, και κυρίως Επιτρέπει σε τρίτους να εκτιμήσουν έναν τίτλο ελ, και κυρίως

την αποτελεσματικότητά του ως προς το σκοπό για τον την αποτελεσματικότητά του ως προς το σκοπό για τον οποίον αναπτύχθηκε ή χρησιμοποιείταιοποίον αναπτύχθηκε ή χρησιμοποιείται

Ανασκόπηση της βιβλιογραφίαςΑνασκόπηση της βιβλιογραφίας

ΟΟCDECDE/Ο/ΟECDECD. . Centre for Educational Research and Technology Centre for Educational Research and Technology (1989).(1989). Information Technologies in Education. The quest for quality Information Technologies in Education. The quest for quality softwaresoftware. Paris. Paris (επισήμανση της έλλειψης ελ ποιότητας και προτάσεις (επισήμανση της έλλειψης ελ ποιότητας και προτάσεις για τη σχεδίαση και αξιολόγηση)για τη σχεδίαση και αξιολόγηση)

Squires, D. & McDougall, A. (1994).Squires, D. & McDougall, A. (1994). Choosing and Using Educational Choosing and Using Educational Software: A Teacher’s GuideSoftware: A Teacher’s Guide. London: The Falmer Press . London: The Falmer Press (κατάρτιση (κατάρτιση ενός σχετικά πλήρους καταλόγου κριτηρίων αξιολόγησης ελ)ενός σχετικά πλήρους καταλόγου κριτηρίων αξιολόγησης ελ)

Squires, D. & Preece, J. (1999).Squires, D. & Preece, J. (1999). Predicting quality in educational Predicting quality in educational software: Evaluating for learning, usability and the synergy between software: Evaluating for learning, usability and the synergy between them. them. Interacting with Computers, 11Interacting with Computers, 11, 467-483, 467-483 (σειρά κριτηρίων (σειρά κριτηρίων αξιολόγησης ελ συμβατών με την εποικοδομητική προσέγγιση για τη αξιολόγησης ελ συμβατών με την εποικοδομητική προσέγγιση για τη μάθηση)μάθηση)

Hinostroza, E., RehbeHinostroza, E., Rehbein, L., Mellar, H. & Preston, C. (2000).in, L., Mellar, H. & Preston, C. (2000). Developing Developing educational software: A professional tool perspective. educational software: A professional tool perspective. Education and Education and Information Technologies, 5 Information Technologies, 5 (2), 103-117(2), 103-117 (τρεις κατηγορίες μεθόδων (τρεις κατηγορίες μεθόδων αξιολόγησης τίτλων ελ: πειραματικές, με καταλόγους ελέγχου κριτηρίων αξιολόγησης τίτλων ελ: πειραματικές, με καταλόγους ελέγχου κριτηρίων --checkcheck--listslists, ποιοτικές), ποιοτικές)

Παναγιωτακόπουλος Χ., Πιερρακέας Χ. & Πιντέλας Π. (2003).Παναγιωτακόπουλος Χ., Πιερρακέας Χ. & Πιντέλας Π. (2003). Το Το εκπαιδευτικό λογισμικό και η αξιολόγησή τουεκπαιδευτικό λογισμικό και η αξιολόγησή του. Αθήνα: Μεταίχμιο . Αθήνα: Μεταίχμιο (μια πιο (μια πιο τεχνική προσέγγιση στην αξιολόγηση ελ)τεχνική προσέγγιση στην αξιολόγηση ελ)

Ένας χρήσιμος δικτυακός τόποςΈνας χρήσιμος δικτυακός τόπος

Software Evaluation:Software Evaluation: http://http://hagar.up.ac.za/catts/learner/eelhagar.up.ac.za/catts/learner/eel// Conc/conceot.htm#Criteria%20for%20EvalConc/conceot.htm#Criteria%20for%20Evaluationuation

((Hinostroza et al., Hinostroza et al., 2000)2000)

Κατηγορίες Κατηγορίες && διαδικασίες αξιολόγησης διαδικασίες αξιολόγησης

ελελ

Αξιολογούν την κατάκτηση ενός σώματος Αξιολογούν την κατάκτηση ενός σώματος γνώσης από τους/ις μαθητές/ριες γνώσης από τους/ις μαθητές/ριες

Χρησιμοποιούν αρχικά Χρησιμοποιούν αρχικά ((pre-pre-) ) και τελικά και τελικά ερωτηματολόγιαερωτηματολόγια ((post-tests)post-tests) όπου απαντούν άτομα όπου απαντούν άτομα από από πειραματικές ομάδεςπειραματικές ομάδες (εργασία με το ελ), (εργασία με το ελ), και και άτομα από άτομα από ομάδες ελέγχουομάδες ελέγχου (εργασία δίχως ελ) (εργασία δίχως ελ)

Χρησιμοποιήθηκαν:Χρησιμοποιήθηκαν: στις στις αρχικές έρευνες της δεκαετίας του αρχικές έρευνες της δεκαετίας του ’80’80 που που

διερεύνησαν το μαθησιακό αποτέλεσμα της χρήσης διερεύνησαν το μαθησιακό αποτέλεσμα της χρήσης του υπολογιστή, του υπολογιστή,

στις μετα-έρευνεςστις μετα-έρευνες που επέτρεψαν την εξαγωγή που επέτρεψαν την εξαγωγή συμπερασμάτων σε ένα συμπερασμάτων σε ένα 22οο επίπεδο αξιολόγησης επίπεδο αξιολόγησης του αποτελέσματος της χρήσης ενός ελ στη μάθηση του αποτελέσματος της χρήσης ενός ελ στη μάθηση (πχ. Κ(πχ. Κulik, Kulikulik, Kulik & & Bangert, 1980 Bangert, 1980,, Kulik, Bangert Kulik, Bangert & & Williams, Williams, 19831983))

Πειραματικές μέθοδοιΠειραματικές μέθοδοι

Προσεγγίσεις με κριτήρια Προσεγγίσεις με κριτήρια αξιολόγησης (check-lists)αξιολόγησης (check-lists)

Αναφέρονται στην παιδαγωγική και Αναφέρονται στην παιδαγωγική και στην τεχνική αξιολόγηση του ελστην τεχνική αξιολόγηση του ελ

Τα κριτήρια διερευνούν εάν στο ελ Τα κριτήρια διερευνούν εάν στο ελ υπάρχουν και σε ποιο βαθμό μια υπάρχουν και σε ποιο βαθμό μια σειρά από χαρακτηριστικά που σειρά από χαρακτηριστικά που κατατάσσονται σε κατατάσσονται σε 44 κατηγορίες κατηγορίες (οι 2 (οι 2 πρώτες αναφέρονται στην παιδαγωγική αξιολόγηση, και πρώτες αναφέρονται στην παιδαγωγική αξιολόγηση, και οι επόμενες 2 στην αισθητική & τεχνική αξιολόγηση του οι επόμενες 2 στην αισθητική & τεχνική αξιολόγηση του ελ)ελ)

11η η κατηγορία: Εκπαιδευτικά κατηγορία: Εκπαιδευτικά χαρακτηριστικάχαρακτηριστικά

Το ελ παρέχει κίνητρα, δηλαδή: Το ελ παρέχει κίνητρα, δηλαδή: προσελκύει και διατηρεί την προσοχή, προσελκύει και διατηρεί την προσοχή,

προσδιορίζει την ενίσχυση, προκαλεί, προωθεί προσδιορίζει την ενίσχυση, προκαλεί, προωθεί την άμιλλα, ελέγχει την εμπιστοσύνη, κεντρίζει την άμιλλα, ελέγχει την εμπιστοσύνη, κεντρίζει την περιέργεια γενικά και ειδικά τη γνωστική την περιέργεια γενικά και ειδικά τη γνωστική περιέργεια, κινητοποιεί τη φαντασία, θέτει περιέργεια, κινητοποιεί τη φαντασία, θέτει στόχους, υπολογίζει το βαθμό επίτευξής τους, στόχους, υπολογίζει το βαθμό επίτευξής τους, είναι χρήσιμο, ικανοποιεί, έχει κατάλληλη είναι χρήσιμο, ικανοποιεί, έχει κατάλληλη διάρκεια & ποικιλία;διάρκεια & ποικιλία;

Προωθεί την αλληλεπίδραση και την ανάδραση; Προωθεί την αλληλεπίδραση και την ανάδραση; Είναι προσανατολισμένο στο στόχο;Είναι προσανατολισμένο στο στόχο; Προσδιορίζει τον ρόλο του/ης εκπαιδευτικού; Προσδιορίζει τον ρόλο του/ης εκπαιδευτικού; Χειρίζεται με κατάλληλο τρόπο τα λάθη των Χειρίζεται με κατάλληλο τρόπο τα λάθη των

μαθητών/ριών;μαθητών/ριών;

22ηη: Σχέση με το αναλυτικό : Σχέση με το αναλυτικό πρόγραμμαπρόγραμμα

Το ελ περιέχει αλληλουχίες συμβατές με το αναλυτικό Το ελ περιέχει αλληλουχίες συμβατές με το αναλυτικό πρόγραμμα;πρόγραμμα;

Επιτρέπει τον πειραματισμό, δηλαδή την εφαρμογή σε Επιτρέπει τον πειραματισμό, δηλαδή την εφαρμογή σε πραγματικές καταστάσεις;πραγματικές καταστάσεις;

Χρησιμοποιεί τις θέσεις της γνωστικής υπερφόρτωσης; Χρησιμοποιεί τις θέσεις της γνωστικής υπερφόρτωσης; Είναι συμβατό με τα νοητικά σχήματα των Είναι συμβατό με τα νοητικά σχήματα των

μαθητών/ριών; μαθητών/ριών; Κατανοούν οι χρήστες/ριες πώς πρέπει να πλοηγούνται Κατανοούν οι χρήστες/ριες πώς πρέπει να πλοηγούνται

και σε ποιο σημείο του λογισμικού βρίσκονται κάθε και σε ποιο σημείο του λογισμικού βρίσκονται κάθε στιγμή; στιγμή;

Αισθάνονται ότι βρίσκονται σε οικείο περιβάλλον ή Αισθάνονται ότι βρίσκονται σε οικείο περιβάλλον ή ότι χάνονται;ότι χάνονται;

Παρέχονται εργαλεία ελέγχου της διαδικασίας από Παρέχονται εργαλεία ελέγχου της διαδικασίας από το/η μαθητή/ρια ή ο έλεγχος γίνεται εξ ολοκλήρου από το/η μαθητή/ρια ή ο έλεγχος γίνεται εξ ολοκλήρου από το λογισμικό; το λογισμικό;

Οι μαθητές/ριες είναι ελεύθεροι/ες να ‘ανακαλύψουν’ Οι μαθητές/ριες είναι ελεύθεροι/ες να ‘ανακαλύψουν’ το λογισμικό, το λογισμικό,

Η πλοήγηση είναι γραμμική ή διακλαδωμένη;Η πλοήγηση είναι γραμμική ή διακλαδωμένη;

33η η : Αισθητική: Αισθητική

Τα χρώματα είναι ελκυστικά και βοηθούν στην Τα χρώματα είναι ελκυστικά και βοηθούν στην κατανόηση; κατανόηση;

Ο τρόπος παρουσίασης των κειμένων είναι Ο τρόπος παρουσίασης των κειμένων είναι κατάλληλος, κατάλληλος,

γίνεται χρήση κατάλληλων υπερκειμένων, γραφικών, γίνεται χρήση κατάλληλων υπερκειμένων, γραφικών, ήχου, κινούμενων σχεδίων και βίντεο; ήχου, κινούμενων σχεδίων και βίντεο;

Η παρουσίαση της οθόνης είναι ελκυστική και Η παρουσίαση της οθόνης είναι ελκυστική και κατανοητή; κατανοητή;

Η παρουσίαση των εκπαιδευτικών οδηγιών είναι Η παρουσίαση των εκπαιδευτικών οδηγιών είναι κατανοητή; κατανοητή;

Υπάρχουν επαρκείς κατάλογοι επιλογών και εικονίδια; Υπάρχουν επαρκείς κατάλογοι επιλογών και εικονίδια; Η σχεδίαση της διεπαφής είναι κατάλληλη, Η σχεδίαση της διεπαφής είναι κατάλληλη,

παρέχονται πληροφορίες για τον προσανατολισμό και παρέχονται πληροφορίες για τον προσανατολισμό και κατάλληλα εργαλεία πλοήγησης; κατάλληλα εργαλεία πλοήγησης;

44η η : : ΤεχνικήΤεχνική

Εξασφαλίζεται η ατομική χρήση του ελ; Εξασφαλίζεται η ατομική χρήση του ελ; Το ελ καταγράφει δεδομένα από τις απαντήσεις και Το ελ καταγράφει δεδομένα από τις απαντήσεις και

την επίδοση του/ης μαθητή/ριας; την επίδοση του/ης μαθητή/ριας; Μπορεί το ελ να χρησιμοποιηθεί με ασφάλεια σε Μπορεί το ελ να χρησιμοποιηθεί με ασφάλεια σε

περίπτωση περιορισμένης βλάβης;περίπτωση περιορισμένης βλάβης;

MenonMenon:: Ένα μοντέλο αξιολόγησης ελ Ένα μοντέλο αξιολόγησης ελ με τη μέθοδο των κριτηρίων αξιολόγησηςμε τη μέθοδο των κριτηρίων αξιολόγησης

Αναπτύχθηκε στο πλαίσιο του ομώνυμου Αναπτύχθηκε στο πλαίσιο του ομώνυμου δικτύου συνεργαζόμενων ακαδημαϊκών και δικτύου συνεργαζόμενων ακαδημαϊκών και ερευνητικών φορέων σε χώρες της Ευρώπηςερευνητικών φορέων σε χώρες της Ευρώπης

Από την Ελλάδα συμμετέχει το Ίδρυμα Από την Ελλάδα συμμετέχει το Ίδρυμα μελετών Λαμπράκη μελετών Λαμπράκη ((http://www.lrf.gr)http://www.lrf.gr)

Με βάση το μοντέλο αυτό έχει αξιολογηθεί Με βάση το μοντέλο αυτό έχει αξιολογηθεί ένας μεγάλος αριθμός γνωστών τίτλων ελ ένας μεγάλος αριθμός γνωστών τίτλων ελ πολυμέσωνπολυμέσων

Menon, δικτυακός τόποςMenon, δικτυακός τόπος:: httphttp://://wwwwww..menonmenon..orgorg

Ποιοτικές μέθοδοιΠοιοτικές μέθοδοι Αξιολόγηση εγκατεστημένη σε συγκεκριμένα περιβάλλοντα και Αξιολόγηση εγκατεστημένη σε συγκεκριμένα περιβάλλοντα και

καταστάσεις καταστάσεις ΠχΠχ.. SquiresSquires & & McDougallMcDougall (1994): (1994): μέθοδος ανάλυσης των μέθοδος ανάλυσης των

χαρακτηριστικών ελ με βάση τις αλληλεπιδράσεις μεταξύ χαρακτηριστικών ελ με βάση τις αλληλεπιδράσεις μεταξύ χρήστη-σχεδιαστή, μεταξύ εκπαιδευτικού-χρήστη & μεταξύ χρήστη-σχεδιαστή, μεταξύ εκπαιδευτικού-χρήστη & μεταξύ εκπαιδευτικού-σχεδιαστήεκπαιδευτικού-σχεδιαστή

CrookCrook (1994): (1994): αλληλεπιδράσεις δια μέσου των υπολογιστών ή με αλληλεπιδράσεις δια μέσου των υπολογιστών ή με τη συνεργασία των μαθητών/ριών μπροστά ή γύρω από τον τη συνεργασία των μαθητών/ριών μπροστά ή γύρω από τον υπολογιστήυπολογιστή

Στην πλειοψηφία τους τα κριτήρια αυτά είναι Στην πλειοψηφία τους τα κριτήρια αυτά είναι εμπνευσμένα κυρίως από τη συμπεριφορική και εμπνευσμένα κυρίως από τη συμπεριφορική και λιγότερο από τη γνωστική προσέγγιση λιγότερο από τη γνωστική προσέγγιση

Squires & Preece (1999):Squires & Preece (1999): επισήμανση του γεγονότος επισήμανση του γεγονότος & & διατύπωση διατύπωση μιας σειράς κριτηρίων αξιολόγησης ελ που είναι συμβατά με μιας σειράς κριτηρίων αξιολόγησης ελ που είναι συμβατά με τις εποικοδομητικές προσεγγίσεις για τη μάθηση:τις εποικοδομητικές προσεγγίσεις για τη μάθηση: γνωστική αυθεντικότητα και αυθεντικότητα πλαισίουγνωστική αυθεντικότητα και αυθεντικότητα πλαισίου γνωστικές προσεγγίσεις για την πρόβλεψη της αξιολόγησηςγνωστικές προσεγγίσεις για την πρόβλεψη της αξιολόγησης κριτήρια ευχρηστίας και κοινωνικο-εποικοδομητικής αντίληψης για τη κριτήρια ευχρηστίας και κοινωνικο-εποικοδομητικής αντίληψης για τη

μάθηση μάθηση αξιοπιστία, πολυπλοκότητα, αίσθημα οικειότητας και προσωπικής αξιοπιστία, πολυπλοκότητα, αίσθημα οικειότητας και προσωπικής

‘ιδιοποίησης’ ‘ιδιοποίησης’ συνεργασία, συμφωνία με το αναλυτικό πρόγραμμασυνεργασία, συμφωνία με το αναλυτικό πρόγραμμα μάθηση μέσα από δημιουργικές στρατηγικές του λογισμικούμάθηση μέσα από δημιουργικές στρατηγικές του λογισμικού

Αξιολόγηση κατά την ανάπτυξη ελΑξιολόγηση κατά την ανάπτυξη ελ Αξιολόγηση συμβαίνει και κατά την ανάπτυξη του ελ. Αξιολόγηση συμβαίνει και κατά την ανάπτυξη του ελ. Μια Μια τυπική διαδικασίατυπική διαδικασία στις περιπτώσεις αυτές ακολουθεί τα στις περιπτώσεις αυτές ακολουθεί τα

εξής στάδια:εξής στάδια: Ανάλυση των αναγκώνΑνάλυση των αναγκών εκπαίδευσης των μαθητών/ριών εκπαίδευσης των μαθητών/ριών

(ερωτηματολόγια, συνεντεύξεις, παρατηρήσεις, κλπ(ερωτηματολόγια, συνεντεύξεις, παρατηρήσεις, κλπ.) .) Παραγωγή πρωτοτύπωνΠαραγωγή πρωτοτύπων,, ώστε να ληφθούν αποφάσεις για ώστε να ληφθούν αποφάσεις για

τη βασική παιδαγωγική προσέγγιση και παραγωγή ενός τη βασική παιδαγωγική προσέγγιση και παραγωγή ενός πρωτοτύπου πρωτοτύπου ((demodemo) ) του ελ του ελ

Διαμορφωτική αξιολόγησηΔιαμορφωτική αξιολόγηση, ώστε να διαπιστωθεί εάν το ελ , ώστε να διαπιστωθεί εάν το ελ καλύπτει τις ανάγκες από την ανάλυση που προηγήθηκε και καλύπτει τις ανάγκες από την ανάλυση που προηγήθηκε και εάν μπορεί να βελτιωθεί εάν μπορεί να βελτιωθεί

Υλοποίηση των αναγκαίων αλλαγών, Υλοποίηση των αναγκαίων αλλαγών, ώστε να διορθωθούν ώστε να διορθωθούν τα προβλήματα που φάνηκαν κατά τη διαμορφωτική τα προβλήματα που φάνηκαν κατά τη διαμορφωτική αξιολόγησηαξιολόγηση

Αρχική δοκιμασία ελέγχου Αρχική δοκιμασία ελέγχου ((ppre-re-ttest)est),, ώστε να διαπιστωθεί ώστε να διαπιστωθεί εάν το ελ καλύπτει τους στόχους του (συμμετοχή εάν το ελ καλύπτει τους στόχους του (συμμετοχή μαθητών/ριών σε ομάδες πειραματικές και ομάδες ελέγχου)μαθητών/ριών σε ομάδες πειραματικές και ομάδες ελέγχου)

Εφαρμογή του λογισμικού Εφαρμογή του λογισμικού σε πραγματικές εκπαιδευτικές σε πραγματικές εκπαιδευτικές συνθήκες,συνθήκες, με στόχο τη διερεύνηση της λειτουργίας του με στόχο τη διερεύνηση της λειτουργίας του

Τελική δοκιμασία ελέγχου Τελική δοκιμασία ελέγχου ((ppost-ost-ttest)est) των μαθητών/ριών των μαθητών/ριών που μετέχουν σε πειραματικές ομάδες και σε ομάδες που μετέχουν σε πειραματικές ομάδες και σε ομάδες ελέγχου ώστε να διαπιστωθεί η αποτελεσματικότητα του ελέγχου ώστε να διαπιστωθεί η αποτελεσματικότητα του ελ, και εάν υπάρχουν στατιστικά σημαντικές διαφορές ελ, και εάν υπάρχουν στατιστικά σημαντικές διαφορές μεταξύ των επιδόσεων των μαθητών/ριών στις δύο ομάδεςμεταξύ των επιδόσεων των μαθητών/ριών στις δύο ομάδες

Συνολική αξιολόγησηΣυνολική αξιολόγηση, που αποτιμά συνολικά τη συμβολή , που αποτιμά συνολικά τη συμβολή της χρήσης του ελ για τις συνθήκες της εργασίας των της χρήσης του ελ για τις συνθήκες της εργασίας των μαθητών/ριών και της διδασκαλίας γενικότεραμαθητών/ριών και της διδασκαλίας γενικότερα

Λήψη αποφάσεωνΛήψη αποφάσεων σχετικά με την περαιτέρω εφαρμογή του σχετικά με την περαιτέρω εφαρμογή του ελ ως έχει, καθώς και για την περαιτέρω ανάπτυξή τουελ ως έχει, καθώς και για την περαιτέρω ανάπτυξή του

Εφαρμογή σε ευρύ επίπεδοΕφαρμογή σε ευρύ επίπεδο, ώστε να διαπιστωθεί η , ώστε να διαπιστωθεί η συμβολή της συστηματικής χρήσης του ελ στην συμβολή της συστηματικής χρήσης του ελ στην εκπαίδευση και στους/ις μαθητές/ριεςεκπαίδευση και στους/ις μαθητές/ριες