Μια πολυκριτήρια προσέγγιση για την ενίσχυση των ευεργετημάτων της ετερο-αξιολόγησης

Ε. Κρασαδάκη, Κ. Λακιωτάκη, N. Ματσατσίνης

ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΑΡΑΓΩΓΗΣ & ΔΙΟΙΚΗΣΗΣ

8η Συνάντηση Πολυκριτήριας Ανάλυσης Αποφάσεων, ΕΕΕΕ, 8-10 Δεκεμβρίου 2011, Ερέτρια

ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ

Ορισμός ετερο-αξιολόγησης (peer-assessment)

Σύμφωνα με τον Topping (1998), ως ετερο-αξιολόγηση ορίζεται ‘η διευθέτηση κατά την οποία τα άτομα αξιολογούν την ποσότητα, το επίπεδο, την αξία, την ποιότητα ή την επιτυχία των αποτελεσμάτων της προσπάθειας άλλων ατόμων, ίδιας ιδιότητας’.

Δηλαδή, η ετερο-αξιολόγηση αποτελεί μια διαδικασία, όπου οι φοιτητές αξιολογούν την επίδοση των συναδέλφων τους, συνήθως σε γραπτές ή προφορικές εργασίες ή και σε ομαδικά projects.

Βασικά ευεργετήματα ετερο-αξιολόγησης

• Ενίσχυση της συμμετοχής (Gielen et al, 2011). • Ενίσχυση της μάθησης (Taras, 2002; Carless et al, 2006).• Ενίσχυση του αξιολογητή (Topping, 1998; Pryor & Lubisi, 2002).• Ενίσχυση της κρίσης (Kwan & Leung, 1996).• Ενίσχυση της αυτό-κατευθυνόμενης μάθησης (Searby & Ewers,

1997). • Ενίσχυση της δημιουργικής σκέψης (Hattum-Janssen & Lourenco,

2006).• Ενίσχυση της δημιουργικής κριτικής (Hanrahan & Isaacs, 2001).• Η μάθηση και αξιολόγηση ‘ανήκει’ σε όλους (Sadler and Good,

2006).Οι αναφορές είναι ενδεικτικές

Στόχοι εφαρμογής της ετερο-αξιολόγησης

Ενασχόληση των φοιτητών σε ρόλο αξιολογητών γραπτών/προφορικών εργασιών συμφοιτητών τους και ως εκ τούτου την έμμεση ενίσχυση των γνώσεων και των ικανοτήτων επικοινωνίας.

Εκτίμηση της συμπεριφοράς των φοιτητών στο νέο ρόλο τους, ως αξιολογητών (μονοκριτήρια ή πολυκριτήρια συμπεριφορά).

Η δική μας περίπτωση απεικονιστικά -πιλοτικό μάθημα

Προσαρμογή από [Felder, R., Brent, R., (2003). Journal of Engineering Education, vol. 92(1)]

Πρακτικές στην ετερο-αξιολόγηση

• Βαθμολόγηση των εργασιών σε προσχεδιασμένο έντυπο από τον διδάσκοντα με χρήση είτε αριθμητικών σκορ ή κλιμάκων επίδοσης (Lin, Liu, and Yuan, 2001).

• Συνήθεις τεχνικές που χρησιμοποιούνται για την επεξεργασία των δεδομένων ετερο-αξιολόγησης είναι η στατιστική ανάλυση.

• Οι Lan, Graf, Lai & Kinshuk (2011) έχουν προτείνει ένα μηχανισμό διαπραγμάτευσης βασισμένο στην ασαφή λογική για τον συντονισμό των πολλών και διαφορετικών αξιολογικών κρίσεων (assessment bias) των φοιτητών σε μια διαδικασία ετερο-αξιολόγησης. Ο εν λόγω μηχανισμός διαπραγμάτευσης έχει ολοκληρωθεί μέσω του συστήματος NePAS (Negotiation-based Peer Assessment System).

• Σε μια παρόμοια κατεύθυνση κινείται και η πρόταση από τους JianMa and Duanning Zhou (2000), οι οποίοι εφαρμόζουν μια ασαφή μέθοδο για τον προσδιορισμό των κριτηρίων αξιολόγησης καθώς και των βαρών των κριτηρίων, λαμβάνοντας υπόψη τόσο την άποψη των φοιτητών όσο και των διδασκόντων.

Μεθοδολογική προσέγγιση

Διαδικασία peer-assessment (πιλοτικού τμήματος)

• 6 γραπτές εργασίες (εναλλακτικές συνόλου αναφοράς)• 3 κριτήρια (πληρότητα θέματος, λάθη, οργάνωση κειμένου) • 1 ερώτηση Ολικής Αξιολόγησης• 5βάθμια ποιοτική κλίμακα επίδοσης: κακή, μέτρια, καλή, πολύ καλή, άριστη • Έτος 2010: 38 φοιτητές-αξιολογητές• Έτος 2011: 19 φοιτητές-αξιολογητές• Σύνολο: 57 • Συλλογή προτιμήσεων: μέσω Φύλλου Αξιολόγησης

Μετατροπή δεδομένων

Μετατροπή Ολικής Προτίμησης (επίδοσης)

Βαθμολόγηση Προδιάταξη

ΆριστηΠ. ΚαλήΆριστηΚαλήΚαλή

Μέτρια

121334

Ο αλγόριθμος UTA*

Εναλλακτική Προδιάταξη Πληρότητα Λάθη Οργάνωση

Εργασία 1 1 Άριστη Άριστη Άριστη k=1

Εργασία 2 2 Π. Καλή Καλή Π. Καλή k=2

Εργασία 3 1 Π. Καλή Άριστη Άριστη k=3

Εργασία 4 3 ΚαλήΠ.

ΚαλήΜέτρια k=4

Εργασία 5 3 Καλή Καλή Καλή k=5

Εργασία 6 4 Μέτρια Καλή Μέτρια k=6

i=1 i=2 i=3

g1 g2 g3AR

1

1 1

1 1

1

1 1

[min] [ ( ) ( )]

subject to

( , )

( , ) 0

1

0, ( ) 0, ( ) 0 , and

i

k k

k k k k

k k k k

an

ij

i j

ij k k

z

a a if a ak

a a if a a

w

w i j k

1( ) ( ) 0, 1,2,...,

1,2,..., 1

j jij i ii i

i

w u g u g i n

and j a

1

1

1

1

( ) 0 1,2,...,

( ) 1,2,..., and 2,3,...,

i i

jj

i it ii

t

u g i n

u g w i n j a

Post-optimality analysis

1 1

1 1

( , ) [ ( )] ( ) ( ) [ ( )]

( ) ( )

k k ka a u a u a

g g

1

*

1

( ) 1,2,...,

ia

i ij

j

u g w i ni

*

1

[ ( ) ( )]

m

k k

k

a a z

9

Global k-means

0

1

2

3

4

0 1 2 3 4 5

k1

5

0

1

2

3

4

0 1 2 3 4 5

k1

k2

0 1 2 3 4 50

1

2

3

4

5

k1

k2

0

1

2

3

4

5

0 1 2 3 4 5

k1

k2

k3

0 1 2 3 4 50

1

2

3

4

5

k1

k2

k3

k4

Αλγόριθμος Global k-means

1. Εύρεση βέλτιστου k1 το οποίο αποτελεί κεντροειδές του συνόλου δεδομένων.

1. Εφαρμογή k-means Ν φορές με αρχικά κεντροειδή το k1 και το εκάστοτε σημείο

3. Εύρεση βέλτιστης λύσης για το πρόβλημα k=2

4. Επανάληψη παραπάνω βημάτων

[Likas A., Vlassis N., Verbeek J., Pattern Recognition, vol. 36(2), 451--461,2003]

10/51

1 2 3 4 5 6 7 8 9 10

0

2

4

6

8

10

12

14

16

SS

E

Πλήθος ομάδων

Συνεξέταση ποιότητας ομαδοποίησης μέσω συντελεστή Silhouette για επιλογή αριθμού ομάδων

0.6

0.65

0.7

0.75

0.8

0.85

0.9

2 3 4 5 6 7 8 9

Συντ

ελεσ

τής

silh

ou

ette

Πλήθος Ομάδων

ALL

2011

2010

11 isΟ μέσος s(i) του συνόλου των σημείων αποτελεί ένα μέτρο του πόσο καλά έχουν ομαδοποιηθεί τα δεδομένα

)()( εάν ,1)(/)(

)()( εάν ,0

εάν ),(/)(1

)(

ibiaiaib

ibia

b(i)a(i)ibia

is

Αποτελέσματα ομαδοποίησης αξιολογητών

0%

20%

40%

60%

80%

100%

1 2 3 4 5 6 7 8

2011 (19 άτομα)

1 6 16

0%

20%

40%

60%

80%

100%

1 2 3 4 5 6 7 8

2010 (38 άτομα)

0%

20%

40%

60%

80%

100%

1 2 3 4 5 6 7 8

ALL (57 άτομα)

Κατανομή πληθυσμού ανά ομάδα (Συνόλου: 57 ατόμων)

2 23

10

15

29

554% 9% 38%

4% 93% 4%

9% 27% 65%

3% 49% 49%

100% 0% 0%

44% 46% 10%

33% 34% 33%

2% 4% 94%

Διαφορετικές συμπεριφορές ομάδων αξιολογητών

Πολυκριτήριασυμπεριφορά

Συμπεράσματα

Η ετερο-αξιολόγηση αξιοποιήθηκε ως ένα συμπληρωματικό μέτρο έμμεσης ενίσχυσης της μάθησης και των δεξιοτήτων επικοινωνίας, γραπτού και προφορικού λόγου.

Η πολυκριτήρια φύση της ετερο-αξιολόγησης σε ένα σύνολο διαστάσεων, μπορεί να μοντελοποιηθεί μέσω της πολυκριτήριας ανάλυσης.

Μέσω της ομαδοποίησης ανακαλύψαμε επιπλέον αναλυτικές πληροφορίες, οι οποίες αφορούν είτε την αλλαγή στάσης των φοιτητών ή τις διακριτές προτιμησιακές επιλογές που αυτοί εκφράζουν.

Οι διαφορετικές συμπεριφορές μπορούν να ανακαλυφθούν μέσω συνδυασμού πολυκριτήριας ανάλυσης & αλγορίθμων ομαδοποίησης.

Στα δικά μας δεδομένα διακριτές ομάδες: οκτώ.

Πολυπληθέστερη ομάδα η (6): ισοκατανομή των βαρών στα τρία κριτήρια.

Έπεται σε πλήθος ατόμων η ομάδα (4): απόδοση μεγάλης σημαντικότητας στα λάθη & την οργάνωση του γραπτού.

Η λιγότερο πολυπληθής ομάδα αλλά διακριτή η (5): αξιολόγηση γραπτού με αποκλειστικό κριτήριο την πληρότητα του περιεχομένου.

Συμπεράσματα

Οι περισσότεροι φοιτητές τροποποίησαν το σύστημα αξιών τους προσαρμόζοντας το σε ένα πολυκριτήριο σύστημα αξιολόγησης, επιβεβαιώνοντας κι άλλες έρευνες στον τομέα αυτό (Ν. Δρόσος, 2011).

Η πρωτοτυπία εστιάζεται στην αξιοποίηση πολυκριτήριωντεχνικών στην αναζήτηση των βαρών των κριτηρίων ετερο-αξιολόγησης και την προσαρμογή της μεθοδολογίας πολυκριτήριας ομαδοποίησης στο ειδικότερο ζήτημα της ετερο-αξιολόγησης.

Γενικότερα, η πολυκριτήρια προσέγγιση που προτείνεται, ενισχύει τα ευεργετήματα της ετερο-αξιολόγησης, που έτσι κι αλλιώς από παιδαγωγικής άποψης είναι πολλά και σημαντικά.