Download - "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Transcript
Page 1: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής

μάθησης με χρήση χρονοσειρώνχρονοσειρών

Χούντα Αγγελική-Ειρήνη

Διδακτορική Διατριβή

Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών

Page 2: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Ερευνητική περιοχή Διδακτορικής ΔιατριβήςΕρευνητική περιοχή Διδακτορικής Διατριβής

Υπολογιστικά Υποστηριζόμενη Συνεργατική Μάθηση (ΥΥΣΜ)

παιδαγωγική προσέγγιση που αφορά στην παιδαγωγική προσέγγιση που αφορά στην

μάθηση που λαμβάνει χώρα μέσω της

αλληλεπίδρασης των εκπαιδευομένων, οι

οποίοι είτε μοιράζονται είτε «χτίζουν» από

κοινού γνώση κάνοντας χρήση ή

επικοινωνώντας μέσω υπολογιστή

(Stahl, G., Koschmann, T., & Suthers, D. , 2006)

2

Page 3: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

ΠΠαραδείγματααραδείγματα

• Φοιτητές που δουλεύουν μαζί για την δημιουργία αναπαράστασης / λύση προβλήματος

• Ομάδες μαθητών περιηγούνται σε ένα μουσείο χρησιμοποιώντας ταμπλέτες κατά την σχολική επίσκεψη

• Μαθητές ξένων γλωσσών που συναντιούνται στο διαδίκτυο και συζητούν σε ομάδες για εξάσκηση και υπό την καθοδήγηση δασκάλου

3

Page 4: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Βασικοί ΣτόχοιΒασικοί Στόχοι

• Ανάπτυξη μεθόδων για τη βελτίωση του μαθησιακού αποτελέσματος

• Ανάλυση και αξιολόγηση συνεργατικών δραστηριοτήτων για την κατανόηση των δραστηριοτήτων για την κατανόηση των μηχανισμών που διέπουν τη συνεργασία και των παραγόντων που την επηρεάζουν

• Ανάπτυξη εργαλείων που διαμεσολαβούν και υποστηρίζουν τις συνεργατικές δραστηριότητες.

4

Page 5: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μεθοδολογίες ΑνάλυσηςΜεθοδολογίες Ανάλυσης--ΑξιολόγησηςΑξιολόγησης

Ποιοτικές/Ποσοτικές Μέθοδοι• Σχήματα Κωδικοποίησης/Αξιολόγησης (Meier, Spada, &

Rummel, 2007, Kahrimanis et al., 2009, Dyke, Lund, & Girardot, 2009, Persico & Pozzi, 2011))

• Γράφοι Συσχετιζόμενης Δραστηριότητας (Medina & Suthers, 2009, Suthers, Dwyer, Medina, & Vatrapu, 2010)

• Ανάλυση Διαλόγου (De Wever & Van Keer, 2010, Strijbos, Martens, • Ανάλυση Διαλόγου (De Wever & Van Keer, 2010, Strijbos, Martens,

Prins, & Jochems, 2006)

• Ανάλυση Αλληλεπίδρασης (Barros & Verdejo, 2000; Lipponen,

Rahikainen, Hakkarainen, & Palonen, 2003; D. Suthers & Medina, 2011;Reimann, 2009)

• Αυτόματα/Ημιαυτόματα πλαίσια μετρικών δραστηριότητας (Dönmez, Rosé, Stegmann, Weinberger, & Fischer, 2005; Hoppe, Engler, & Weinbrenner, 2012; G. Kahrimanis, 2010; G. Kahrimanis, Chounta, & Avouris, 2010)

5

Page 6: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Χρόνος < Χρόνος < -- -- > Μάθηση> Μάθηση

“Η κατανόηση του φαινομένου είναι δυνατή μόνο αν το φαινόμενο μελετηθεί κατά την εξέλιξή του» (Vygotski, Piaget as cited by Barbera&Clara, 2012)

•η έρευνα στο πεδίο υπολείπεται μεθοδολογικά ως προς την ισχύ και εγκυρότητα με την οποία μελετώνται συγκεκριμένες παράμετροι, όπως ο χρόνος (De Wever, Schellens, Valcke, & Van Keer,

6

χρόνος (De Wever, Schellens, Valcke, & Van Keer, 2006; Weinberger & Fischer, 2006)

•Τα μεθοδολογικά πλαίσια συχνά αμελούν τις πληροφορίες που σχετίζονται με την χρονική και ακολουθιακή εξέλιξη της συνεργατικής δραστηριότητας (Reimann, 2009)

Page 7: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Στόχος και συνεισφορά της διατριβήςΣτόχος και συνεισφορά της διατριβής

Ανάπτυξη μεθόδου για την αυτοματοποιημένη ανάλυση, ταξινόμηση και αξιολόγηση της ποιότητας συνεργατικών δραστηριοτήτων

• Μελέτη της εξέλιξης της δραστηριότητας στον χρόνο

• Ποσοτικά αποτελέσματα που βασίζονται σε ποιοτικά• Ποσοτικά αποτελέσματα που βασίζονται σε ποιοτικάευρήματα για τα χαρακτηριστικά της συνεργασίας

• Αξιόπιστη και με μικρό κόστος μέθοδος

• Δυνατότητα ανάλυσης/αξιολόγησης δραστηριοτήτων σε πραγματικό χρόνο

• Εφαρμογή πρωτότυπων μαθηματικών τεχνικών για το πεδίο σε μία μέθοδο αποδοτική, ακριβή και έγκυρη σύμφωνα με τις απαιτήσεις της ερευνητικής περιοχής

7

Page 8: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

ΧρονοσειρέςΧρονοσειρές

• Αναπαράσταση της εξέλιξης συναρτήσει του χρόνου

«Ως χρονοσειρά ορίζεται κάθε συλλογή παρατηρήσεων που καταγράφεται ακολουθιακά στον χρόνο» (Chatfield, 2003)

χρόνου

• Ανάλυση ταυτόχρονων φαινομένων και τάσεων

• Πρόβλεψη μελλοντικών καταστάσεων

8

Page 9: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Ερευνητική ΥπόθεσηΕρευνητική Υπόθεση

Συνεργατικές συνεδρίες που περιγράφονται από

παρόμοιες χρονοσειρές συνεργατικής

δραστηριότητας, θα παρουσιάζουν παρόμοια δραστηριότητας, θα παρουσιάζουν παρόμοια

ποιοτικά χαρακτηριστικά και συνεπώς θα

αξιολογούνται παρόμοια

9

Page 10: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μέθοδος της ΈρευναςΜέθοδος της Έρευνας

Μελέτη της βιβλιογραφίας

του ερευνητικού πεδίου της

ΥΥΣΜ και της τρέχουσας

κατάστασης, ορισμός

βασικών ερωτημάτων και

κατευθύνσεων προς

διερεύνηση

[c01]

10

Page 11: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μέθοδος της ΈρευναςΜέθοδος της Έρευνας

εκπόνηση μελετών μικρής

και μεγάλης κλίμακας με

σκοπό την συλλογή

δεδομένων σε πραγματικές

συνθήκες εκπαιδευτικών συνθήκες εκπαιδευτικών

δραστηριοτήτων

11

Page 12: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μέθοδος της ΈρευναςΜέθοδος της Έρευνας

Εμπειρική ανάλυση και

[c02- c10], [b01]

Εμπειρική ανάλυση και

αξιολόγηση συνεργασίας με

ποιοτικές μεθόδους

Ανάπτυξη ποσοτικών

μετρικών

12

Page 13: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μέθοδος της ΈρευναςΜέθοδος της Έρευνας

Ακριβής ορισμός του

ερευνητικού ερωτήματος,

μελέτη συγκεκριμένων

τεχνικών και μεθοδολογιών

και σχεδιασμός της μεθόδου

και των εργαλείων που την

υποστηρίζουν.υποστηρίζουν.

13

Page 14: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μέθοδος της ΈρευναςΜέθοδος της Έρευνας

Πειραματική Διαδικασία και

Ανάλυση των

αποτελεσμάτων, σύγκριση

με άλλα μεθοδολογικά

πλαίσια και αξιολόγηση

[c11-c13], [j01,j02]14

Page 15: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Συνεργατική ΔραστηριότηταΣυνεργατική Δραστηριότητα

15

Page 16: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Συνεργατική Εφαρμογή Συνεργατική Εφαρμογή SynergoSynergo (1)(1)

Κατασκευή διαγραμματικών αναπαραστάσεων

• (α) την κοινόχρηστη επιφάνεια εργασίας

(β) το εργαλείο ανταλλαγής • (β) το εργαλείο ανταλλαγής μηνυμάτων

• (γ) τις βιβλιοθήκες πρότυπων αντικειμένων

• (δ) την εργαλειοθήκη

16

Page 17: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Συνεργατική Εφαρμογή Συνεργατική Εφαρμογή SynergoSynergo (2)(2)

• Δυνατότητα λεπτομερειακής καταγραφής της δραστηριότητας

Αύξων Αριθμός Ενέργειας Χρήστης υπεύθυνος για την

ενέργεια

Απόλυτος Χρόνος Ενέργειας

Σχετικός Χρόνος Ενέργειας

ενέργεια

Τύπος Ενέργειας Περιεχόμενο

17

Page 18: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

ΧρονοσειρέςΧρονοσειρές Συνεργατικής ΔραστηριότηταςΣυνεργατικής Δραστηριότητας

Εργαλείο Ανταλλαγής Μηνυμάτων

Μετρικές

Δραστηριότητας Περιγραφή Μετρικής

#COA Αριθμός μηνυμάτων

#DCOA Ρυθμός μεταβολής αριθμού μηνυμάτων

#CALT Αριθμός εναλλαγών ενεργού ρόλου

#DCALT Ρυθμός μεταβολής ενεργού ρόλου

#CTG Μέσος Χρόνος Ανταπόκρισης

#DCTG

Ρυθμός μεταβολής Μέσου χρόνου

ανταπόκρισης

Κοινόχρηστος Χώρος Εργασίας

Μετρικές

Δραστηριότητας Περιγραφή Μετρικής

#WOA Αριθμός ενεργειών

#DWOA Ρυθμός μεταβολής αριθμού ενεργειών

#WALT Αριθμός εναλλαγών ενεργού ρόλου

#DWALT Ρυθμός μεταβολής ενεργού ρόλου

#WTG Μέσος Χρόνος Ανταπόκρισης#DCTG ανταπόκρισης

#CSYM Συμμετρία Δραστηριότητας

#DCSYM Ρυθμός μεταβολής συμμετρίας

#WTG Μέσος Χρόνος Ανταπόκρισης

#DWTG

Ρυθμός μεταβολής Μέσου χρόνου

ανταπόκρισης

#WSYM Συμμετρία Δραστηριότητας

#DWSYM Ρυθμός μεταβολής συμμετρίας

18

Όγκου δραστηριότητας

Ρυθμού μεταβολής

α= 10, 15, 30, 60, 300, 480, 600 sec

Page 19: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

ΧρονοσειρέςΧρονοσειρές Συνεργατικής ΔραστηριότηταςΣυνεργατικής Δραστηριότητας

0

1

2

3

4

5

6

7

8

9

10

0 20 40 60 80 100

#Cha

t

Time step

G01 (#COA)

#Chat

0

2

4

6

8

10

0 20 40 60 80 100 120 140

#Cha

t

Time step

G02 (#COA)

0

1

2

3

4

5

6

7

8

9

10

0 20 40 60 80 100 120 140 160

#Cha

t

Time step

B01(#COA)

#Chat

0

1

2

3

4

5

6

7

8

9

10

0 20 40 60 80 100 120 140 160 180

#Cha

t

Time step

B04 (#COA)

Κακή Ποιότητα Συνεργασίας

Time step

#Chat

Time step

#Chat

-10

-8

-6

-4

-2

0

2

4

6

8

10

0 20 40 60 80 100 120

#D

iffC

hat

Time step

B01 (#DCOA)

#DiffChat

-10

-8

-6

-4

-2

0

2

4

6

8

10

0 20 40 60 80 100 120 140

#D

iffC

hat

Time step

G01 (#DCOA)

#DiffChat

-10

-8

-6

-4

-2

0

2

4

6

8

10

0 20 40 60 80 100 120 140 160 180

#D

iffC

hat

Time step

B02 (#DCOA)

#DiffChat

-10

-8

-6

-4

-2

0

2

4

6

8

10

0 20 40 60 80 100 120 140

#D

iffC

hat

Time step

G02 (#DCOA)

#DiffChat

Καλή Ποιότητα Συνεργασίας

Page 20: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

ΤαξινόμησηΤαξινόμηση και Αξιολόγηση άγνωστου δείγματοςκαι Αξιολόγηση άγνωστου δείγματος

• Μοντέλο μηχανικής μάθησης που υλοποιεί αλγόριθμο ταξινόμησης (ΚΝΝ – Κ κοντινότερων γειτόνων) TSCMoCA (Time Series Classification Model of Collaborative Activities)

• Ταξινόμηση του άγνωστου δείγματος με χρήση συνόλου δεδομένων εκπαίδευσης (reference set) βάσει της ομοιότητας χρονοσειρώνδραστηριότητας

20

Page 21: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μέθοδος Ταξινόμησης και Αξιολόγησης Μέθοδος Ταξινόμησης και Αξιολόγησης Σενάριο ΧρήσηςΣενάριο Χρήσης

Ομάδα

Συνεργατική

Εφαρμογή

Βαθμολόγηση της Ποιότητας

της Συνεργασίας από

Αξιολογητή

Δημιουργία ΧρονοσειρώνΔημιουργία Χρονοσειρών

Δραστηριότητας

21

Page 22: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μοντέλο μηχανικής μάθησης Μοντέλο μηχανικής μάθησης TSCMoCATSCMoCA

Χρονοσειρά Δραστηριότητας «Άγνωστης»

συνεργατικής συνεδρίας

Σύνολο Δεδομένων Εκπαίδευσης (training set)

Ν προ-αξιολογημένων συνεργατικών συνεδριών

Σύγκριση χρονοσειρών άγνωστου δείγματος –

ΣΔ(i)με χρήση Δυναμικής Χρονικής ΣτρέβλωσηςΣΔ(i)με χρήση Δυναμικής Χρονικής Στρέβλωσης

Πίνακας ομοιότητας (ή απόστασης)

χρονοσειρών

Ταξινόμηση του άγνωστου δείγματος και

απόδοση τιμής για την ποιότητα της

συνεργασίας 22

Page 23: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Πειραματική ΔιαδικασίαΠειραματική Διαδικασία

α. Αξιολόγηση της Ποιότητας της Συνεργασίας228 Συνεργατικών Συνεδριών με χρήση της μεθόδου για:

(i) όλη τη διάρκεια

(ii) σε πραγματικό χρόνο

β. Σύγκριση των αποτελεσμάτων με βαθμολογίες έμπειρων αξιολογητών

23

Page 24: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Αξιολόγηση της ποιότητας της συνεργασίας στο Αξιολόγηση της ποιότητας της συνεργασίας στο σύνολο της διάρκειαςσύνολο της διάρκειας

• Βέλτιστη απόδοση μοντέλου για πολυπαραμετρικέςχρονοσειρές, μικρά χρονικά παράθυρα (15-60 δευτερόλεπτα) και Κκρισιμο=15 Γείτονες

(καλύτερη περίπτωση: ρ=0.586, ΜΑΕ=0.909, tsampling=30sec)

(α) η χρήση πολυπαραμετρικών χρονοσειρών (α) η χρήση πολυπαραμετρικών χρονοσειρών διαφορετικού τύπου οδηγεί σε καλύτερα αποτελέσματα

(β) όσο αυξάνεται η τάξη των χρονοσειρών στην είσοδο του μοντέλου, βελτιώνονται τα αποτελέσματα της μεθόδου

24

Page 25: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Ανάλυση ΑποτελεσμάτωνΑνάλυση Αποτελεσμάτων

Για τα μικρά χρονικά παράθυρα, η δραστηριότηταστους κοινόχρηστους χώρους είναι παρόμοια.

Για μεγάλα χρονικά παράθυρα η αύξηση της διαλογικής δραστηριότητας είναι δυσανάλογητης αύξησης στον κοινόχρηστο χώρο εργασίας

Συμπέρασμα:

Χρονικό Παράθυρο

Μετρική30 sec 60 sec 480 sec

COA 1.94 2.25 9.7

CALT 1.22 1.43 5.22

WOA 4.23 5.63 43.39 Πιθανή είσοδος θορύβου για μεγάλη περίοδο

δειγματοληψίας

ο μεγάλος όγκος δραστηριότητας επισκιάζει τη σημασία του ρυθμού μεταβολής της

Επεισόδια ή μοτίβα ουσιαστικής αλληλεπίδρασης είναι δύσκολο να ανιχνευθούν σε μεγαλύτερα χρονικά παράθυρα

25

WOA 4.23 5.63 43.39

WALT 1.7 2.02 8.82

DCOA 1.79 1.97 4.14

DCALT 1.29 1.48 2.64

DWOA 3.32 4.16 24.26

DWALT 1.85 2.15 7.33

Page 26: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Αξιολόγηση της ποιότητας της συνεργασίας σε Αξιολόγηση της ποιότητας της συνεργασίας σε πραγματικό χρόνο (1)πραγματικό χρόνο (1)

• Στόχος: δυνατότητα αξιολόγησης συνεργατικών συνεδριών χωρίς να απαιτείται η ολοκλήρωσή τους Άμεση παροχής ανάδρασης και υποστήριξης για την διόρθωση τυχόν προβλημάτων ή εμποδίων διόρθωση τυχόν προβλημάτων ή εμποδίων

• Αξιολογούμε κατά την εξέλιξη της δραστηριότητας (μέση διάρκεια 90 λεπτα) και για δύο στιγμές: 25’ και 40’ μετά την έναρξή της

Έστω Συνεργατική δραστηριότητα ΣΔ. Σε χρόνο ti, ο

ενορχηστρωτής ελέγχει την πορεία της διαδικασίας

μέσω του μοντέλου TSCMoCA που καλείται κατ’

απαίτησή του. 26

Page 27: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Αξιολόγηση της ποιότητας της συνεργασίας σε Αξιολόγηση της ποιότητας της συνεργασίας σε πραγματικό χρόνο (2)πραγματικό χρόνο (2)

Αξιολόγηση της Ποιότητας της Συνεργασίας:

• Για διάρκεια 25΄ από την έναρξη της δραστηριότητας: κανέναςδείκτης αξιολόγησης δεν παρουσιάζει ικανοποιητικές τιμές

• Για διάρκεια 40’ από την έναρξη της δραστηριότητας: ικανοποιητικέςτιμές για όλους τους δείκτες. Το μέσο απόλυτο σφάλμα μικρότεροτης μονάδας (ΜΑΕ=0.945)της μονάδας (ΜΑΕ=0.945)

• Σε σύγκριση με τα αποτελέσματα της μεθόδου επί τη συνολική διάρκεια, οι δείκτες έχουν την ίδια τάξη μεγέθους με την περίπτωση των 40’

Διάρκεια (min) ρ ICC a MAE

25’ 0.275 0.272 0.432 0.995

40’ 0.506 0.508 0.672 0.945

Συνολική Διάρκεια 0.58 0.48 0.750 0.909

27

Page 28: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Αξιολόγηση της ΜεθόδουΑξιολόγηση της Μεθόδου

Απαραίτητες προϋποθέσεις που απαιτείται να πληροί η μέθοδος είναι:

• Αποτελεσματικότητα και ακρίβεια τουλάχιστον της ίδιας τάξης μεγέθους με άλλες παρόμοιες μεθόδους

• Ευκολία τόσο στην διαδικασία εκτέλεσης όσο και στην • Ευκολία τόσο στην διαδικασία εκτέλεσης όσο και στην ανάγνωση και ερμηνεία των αποτελεσμάτων

• Μικρό κόστος ως προς τους υπολογιστικούς αλλά και ανθρώπινους πόρους

• Ευκολία προσαρμογής της μεθόδου σε διαφορετικά συνεργατικά πλαίσια, χωρίς να απαιτούνται σημαντικές δομικές αλλαγές

28

Page 29: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Αξιολόγηση της ΜεθόδουΑξιολόγηση της Μεθόδου

Δείκτες Αξιολόγησης

Αποδεκτές

Τιμές

Άριστες

τιμές

Δείκτης Συσχέτισης ρ (εγκυρότητα) >0.35 >0.5

Δείκτης Ενδοσυσχέτισης ICC (αξιοπιστία) >0.4 >0.74

Cronbach’s Alpha (συνοχή) >0.7 >0.8

Μέσο Απόλυτο Σφάλμα (ακρίβεια) <1 (rule of thumb) 29

Page 30: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Υποθετικά Σενάρια Χρήσης (Υποθετικά Σενάρια Χρήσης (Cross Validation)Cross Validation)

•Για όλα τα υποθετικά σενάρια, οι τιμές των δεικτών θεωρούνται αποδεκτές•O δείκτης ρ υποδηλώνει ισχυρές θετικές συσχετίσειςμεταξύ των βαθμολογιών του μοντέλου και των βαθμολογιών που έδωσαν οι πραγματικοί αξιολογητές•Τα αποτελέσματα είναι ίδιας τάξης μεγέθους για όλες τις περιπτώσεις το μοντέλο δεν κάνει overfitting

Cross Validation Cases

Leave

One-Out10-Fold One-Third

Cronbach's alpha 0.75 0.71 0.69

ICC 0.58 0.44 0.42

Spearman's ρ 0.63 0.53 0.52

τις περιπτώσεις το μοντέλο δεν κάνει overfitting

30

Page 31: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Χρήση της μεθόδου ως αυτόματος αξιολογητής Χρήση της μεθόδου ως αυτόματος αξιολογητής ––Ποσοστά ΕπιτυχίαςΠοσοστά Επιτυχίας

Απόλυτη

τιμή

σφάλματος

Ποσοστό

Επιτυχίας

TSCMoCA(%)

0.25 17.62

0.5 30.48

0.75 44.76

1 59.7

•Η μέθοδος προβλέπει το 59.7% των περιπτώσεων

με σφάλμα μικρότερο της μονάδας και το 74.31%

με σφάλμα μικρότερο του 1.25

•Δεν παρατηρήθηκε σφάλμα πρόβλεψης

μεγαλύτερο των δύο μονάδων για το εύρος τιμών

[-2, +2]

1 59.7

1.25 74.31

1.5 86.2

1.75 94.8

2 100

2.25 100

2.5 100

2.75 100

Ποσοστά επιτυχίας ανά απόλυτη τιμή

σφάλματος για την αξιολόγηση της

διάστασης της Ποιότητας της Συνεργασίας

για τo μοντέλo μηχανικής μάθησης

TSCMoCA31

Page 32: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Distribution FittingDistribution Fitting

• Johnson SB (goodness of fit = 0.03) : x=1, CDF(x)=0.61

• Normal (goodness of fit = 0.07) : x=1, CDF(x)= 0.62

• Weibull (goodness of fit = 0.08) : x=1, CDF(x) = 0.65

32

Page 33: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Σύγκριση με άλλα σχήματα αξιολόγησηςΣύγκριση με άλλα σχήματα αξιολόγησης (1)(1)

Η αυτόματη μέθοδος που αντιπαρατίθεται με την παρούσα βασίζεται στην χρήση παλινδρόμησης μερικών ελαχίστων τετραγώνων (Partial Least Squares Regression, PLSR) (Kahrimanis, 2010)

• Η τεχνική PLSR επιτυγχάνει υψηλή ακρίβεια πρόβλεψης

• δύσκολο να κατανοηθεί η λειτουργία της και να υιοθετηθεί σε • δύσκολο να κατανοηθεί η λειτουργία της και να υιοθετηθεί σε άλλα συνεργατικά πλαίσια

• χρονοβόρα φάση εκπαίδευσης- δε μπορεί να παραλειφθεί.

• προϋποθέτει την ολοκλήρωση της δραστηριότητας και την αξιολόγησή της σε ύστερο χρόνο μετά την κατάλληλη στατιστική ανάλυση των δεδομένων.

33

Page 34: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Σύγκριση με άλλα σχήματα αξιολόγησης (2)Σύγκριση με άλλα σχήματα αξιολόγησης (2)

• Οι δείκτες αξιοπιστίας κινούνται στην ίδια τάξη τιμών για τα δύο αυτόματα μοντέλα

• Το μοντέλο παλινδρόμησης TSCMoCAεμφανίζει οριακά καλύτερα αποτελέσματα για τον δείκτη συσχέτισης ρ, την συμφωνία μεταξύ των αξιολογητών (ICC) και συνοχή των 0

0.2

0.4

0.6

0.8

1

ICC ρ α

Συγκριτική μελέτη μοντέλων αξιολόγησης

συνεργατικών συνεδριών

αξιολογήσεων (Cronbach’s a)

• Το μοντέλο PLSR εμφανίζει μεγαλύτερη ακρίβεια πρόβλεψης (Abdi, 2003)

ΜΑΕPLSR=0.732, MAETSCMoCA=0.85

34

ICC ρ α

Αυτόματο Μοντέλο TSCMoCA Αυτόματο Μοντέλο PLSR

Αξιολόγηση Έμπειρων Αξιολογητών

Οι τιμές των δεικτών για την περίπτωση έμπειρων αξιολογητών

υπερτερούν και των δύο μοντέλων

η χρήση αυτόματου βαθμολογητή μπορεί να υποβοηθήσει αλλά δεν

μπορεί να αντικαταστήσει τον άνθρωπο ως αξιολογητή

Page 35: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Γενίκευση της χρήσης της μεθόδουΓενίκευση της χρήσης της μεθόδου

Διερεύνηση της χρήσης του σχήματος για την αξιολόγηση

επιμέρους συνεργατικών διαστάσεων

Στόχος: Η αξιολόγηση επιμέρους συνεργατικών χαρακτηριστικών

δίνει τη δυνατότητα ακριβούς εντοπισμού προβλημάτων και

στοχευμένης παροχής υποστήριξης

ΣΔ 1: Συνεργατική Ροή

ΣΔ 2: Διατήρηση Κοινής

Κατανόησης

ΣΔ 3: Ανταλλαγή Γνώσης

ΣΔ 4: Επιχειρηματολογία

ΣΔ 5: Δόμηση της διαδικασίας

επίλυσης προβλήματος

ΣΔ 6: Συνεργατικός

Προσανατολισμός 35

Page 36: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Γενίκευση της χρήσης της μεθόδουΓενίκευση της χρήσης της μεθόδου• Η απόδοση των μοντέλων για τις επιμέρους ΣΔ

είναι μικρότερη απ’ ότι στην περίπτωση της Ποιότητας της Συνεργασίας

• Οι συνεργατικές διαστάσεις που αφορούν στην επικοινωνία και στην από κοινού επεξεργασία γνώσης παρουσιάζουν καλύτερα αποτελέσματα

• Για τις διαστάσεις που εκφράζουν σύνθετεςδιεργασίες και πολύπλοκες δομές (συντονισμός) τα μοντέλα αυτόματης αξιολόγησης έχουν φτωχήαπόδοση. 0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Συσχέτιση ρ ανά Συνεργατική Διάσταση

απόδοση.

• Οι μετρικές χαμηλού επιπέδου δεν είναι ικανές να περιγράψουν με επάρκεια πολύπλοκους μηχανισμούς.

36

0

ΣΔ1 ΣΔ2 ΣΔ3 ΣΔ4 ΣΔ5 ΣΔ6

TSCMoCA PLSR Αξιολογητές

0

0.2

0.4

0.6

0.8

1

ΣΔ1 ΣΔ2 ΣΔ3 ΣΔ4 ΣΔ5 ΣΔ6

Cronbach's a ανά Συνεργατική Διάσταση

TSCMoCA PLSR Αξιολογητές

0

0.2

0.4

0.6

0.8

1

ΣΔ1 ΣΔ2 ΣΔ3 ΣΔ4 ΣΔ5 ΣΔ6

ICC ανά Συνεργατική Διάσταση

TSCMoCA PLSR Αξιολογητές

Page 37: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Εφαρμογή της μεθόδου σε πραγματικό σενάριο Εφαρμογή της μεθόδου σε πραγματικό σενάριο χρήσης (1)χρήσης (1)

Στόχος: μελέτη χρήσης της μεθόδου από

πραγματικούς χρήστες.

Πως επηρεάζεται η πρακτική των χρηστών από την

ύπαρξη του αυτόματου αξιολογητή

37

Page 38: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Εφαρμογή της μεθόδου σε πραγματικό σενάριο Εφαρμογή της μεθόδου σε πραγματικό σενάριο χρήσης (1)χρήσης (1)

Στόχος: μελέτη χρήσης της μεθόδου από

πραγματικούς χρήστες.

Πως επηρεάζεται η πρακτική των χρηστών από την

ύπαρξη του αυτόματου αξιολογητή

38

Page 39: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Εφαρμογή της μεθόδου σε πραγματικό σενάριο Εφαρμογή της μεθόδου σε πραγματικό σενάριο χρήσης (2)χρήσης (2)

• Δύο καθηγητές παρακολουθούν μέσω υπολογιστή (SynergoSupervisor):– Τάξη δύο ομάδων – τεσσάρων μαθητών– Τάξη τεσσάρων ομάδων –οκτώ μαθητών

• Εργασία: Κατασκευή αλγοριθμικού διαγράμματος• Διάρκεια εργασίας: 70 λεπτά

39

Page 40: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Εφαρμογή της μεθόδου σε πραγματικό σενάριο Εφαρμογή της μεθόδου σε πραγματικό σενάριο χρήσης (3)χρήσης (3)

40

Page 41: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

• Η ανάγκη για υποστήριξη του δασκάλου με αυτόματα ή ημι-αυτόματα εργαλεία είναι επιτακτική όσο αυξάνεται το μέγεθος της τάξης, ιδιαίτερα όταν η τάξη δεν έχει φυσική υπόσταση

Εφαρμογή της μεθόδου σε πραγματικό σενάριο Εφαρμογή της μεθόδου σε πραγματικό σενάριο χρήσης (3)χρήσης (3)

• Οι δάσκαλοι ακολουθούν συγκεκριμένα στάδια ενεργειών που εξαρτώνται άμεσα από το μέγεθός της αύξηση γνωσιακού φορτίου του δασκάλου, αδυναμία

παρακολούθησης σε επαρκή βαθμό

• Η αυτόματη αξιολόγηση χρησιμοποιείται ως δείκτης και όχι ως απόλυτο κριτήριο

41

Page 42: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Συμπεράσματα(1)Συμπεράσματα(1)

Ανάπτυξη μεθόδου για την αυτοματοποιημένη ανάλυση, ταξινόμηση και αξιολόγηση της ποιότητας συνεργατικών δραστηριοτήτων

(α) Μελέτη της εξέλιξης της δραστηριότητας στον χρόνο

• Ο τρόπος που κατανέμεται η συνεργατική δραστηριότητα στον χρόνο αποτυπώνει σε ικανοποιητικό βαθμό την ποιότητα της συνεργασίας και των χαρακτηριστικών της(π.χ την επικοινωνία και την κοινή επεξεργασία πληροφορίας) (ρ≈0.58 – 0.6 για tsampling=30sec) επεξεργασία πληροφορίας) (ρ≈0.58 – 0.6 για tsampling=30sec) επιβεβαιώνοντας την ερευνητική υπόθεση

• Σύνθετες δομές όπως ο Συντονισμός είναι δυσκολότερο να περιγραφούν με χρονοσειρές/μετρικές απλής δραστηριότητας

• Η απόδοση της μεθόδου μεγιστοποιείται για μικρές περιόδους δειγματοληψίας (tsampling<60sec) επιβεβαιώνοντας μελέτες που ορίζουν ότι οι ουσιώδεις αλληλεπιδράσεις συνεργατών λαμβάνουν χώρα σε μικρά χρονικά διαστήματα (Schümmer, Strijbos, & Berkel, 2005; D. Suthers & Medina, 2011; D. D. Suthers, Dwyer, Medina, & Vatrapu, 2010)

42

Page 43: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Συμπεράσματα(2)Συμπεράσματα(2)

(β) Ποσοτικά αποτελέσματα που βασίζονται σε ποιοτικά ευρήματα για τα χαρακτηριστικά της συνεργασίας

• Η μέθοδος υποστηρίζεται από την χρήση ενός μοντέλου μηχανικής μάθησης (ποσοτική προσέγγιση) που ταξινομεί άγνωστες συνεδρίες ανάλογα με την ποιότητα της συνεργασίας και με βάση προ-βαθμολογημένο (ποιοτικά ευρήματα)-σύνολο δεδομένων βαθμολογημένο (ποιοτικά ευρήματα)-σύνολο δεδομένων

-παρόμοια αποτελέσματα όσον αφορά στην εγκυρότητα των αξιολογήσεων με άλλα μοντέλα αυτόματης αξιολόγησης (ΙCC, Cronbach’s a, Συσχέτιση ρ)

- επαρκής ακρίβεια εκτίμησης (72% επιτυχία για πρόβλεψη με σφάλμα ≤1.25 σε 5-point scale και ΜΑΕ<1)

-η προτεινόμενη μέθοδος πλεονεκτεί ως προς την απλότητακατασκευής και λειτουργίας

43

Page 44: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Συμπεράσματα(3)Συμπεράσματα(3)

(γ)Δυνατότητα ανάλυσης/αξιολόγησης δραστηριοτήτων σε πραγματικό χρόνο

•Η μέθοδος ενδείκνυται για την αξιολόγησή σε πραγματικό χρόνο • Αποδίδει ικανοποιητικά αν εφαρμοστεί στο ήμισυκαι πέραν της δραστηριότητας

(δ) χρήση της μεθόδου ως αυτόματος αξιολογητής από την πλευρά του δασκάλουδασκάλου

•υποστήριξη του δασκάλου ιδιαίτερα όταν η τάξη δεν έχει φυσική υπόσταση ή υπάρχει μεγάλη εισροή πληροφορίας (τάξεις μεγάλου μεγέθους)

•Η αυτόματη αξιολόγηση αποτελεί ένδειξη για τον δάσκαλο

Η μέθοδος δεν προσβλέπει στην αντικατάσταση του δασκάλου σε οποιοδήποτε στάδιο της μαθησιακής ή διδακτικής δραστηριότητας αλλά να τον υποστηρίξει και να ενδυναμώσει την πρακτική του

44

Page 45: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Μελλοντικές ΠροεκτάσειςΜελλοντικές Προεκτάσεις

• Συνδυασμός της μεθόδου με τεχνικές ακολουθιακής ανάλυσης και ανάλυσης περιεχομένου

• Χρήση πρωτότυπων μεθόδων οπτικοποίησης των αλληλεπιδράσεων μεταξύ συνεργαζόμενων ομάδων όπως αυτές αναπαριστώνται από αλληλεπιδράσεων μεταξύ συνεργαζόμενων ομάδων όπως αυτές αναπαριστώνται από χρονοσειρές

• Γενίκευση της μεθόδου σε άλλα πλαίσια συνεργασίας όπως για μεγαλύτερες ομάδες, ασύγχρονη επικοινωνία αλλά και για μη-εκπαιδευτικές δραστηριότητες (πχ. Στα Κοινωνικά δίκτυα ή για συστήματα συστάσεων κλπ)

45

Page 46: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

ΔημοσιεύσειςΔημοσιεύσειςΔιεθνή και Ελληνικά Συνέδρια / Ειδικοί Τόμοι

[c01] Chounta, I.A., Avouris, N. “Groupware Evaluation: An Overview”. In 1st European Workshop on HCI Design and Evaluation: The influence of domains. Limassol, Cyprus, April 8th, 2011

[c02] Chounta, I.A., Avouris, N. “A case study: Tablets in orchestrated, collaborative activities”. In 2nd STELLARnet Alpine Rendez-Vous, Workshop 4: Structuring online collaboration through 3 Ts: task time & teams. France, March 27-31, 2011

[c03] Chounta I.A., Avouris N., Study of the effect of awareness on synchronous collaborative problem-solving, In the 2nd International Conference on Intelligent Networking and Collaborative systems (INCoS 2010) (INCoS 2010 Proceedings, pp. 153-160, ISBN: 978-0-7695-4278-2/10, 2010 IEEE, DOI: 10.1109/INCOS.2010.75).

[c04] Chounta, I.A., Avouris, N. (2009). Heuristic Evaluation of an Argumentation Tool used by Communities of Practice. In EC-TEL 2009 Workshop: "TEL-CoPs'09: 3rd International Workshop on Building Technology Enhanced Learning solutions for Communities of Practice“

[c05] Chounta I-A., Katsini C., Raptis G., (2010). Synergo v.5: A collaborative application for Tablets, In Proceedings of the 4th Conference of Electrical and Computer Engineering Students, Demonstrations Section, Patras, Greece (in Greek)

[c06] Chounta, Irene-Angelica; Sintoris, Christos; Masoura, Melpomeni; Yiannoutsou, Nikoleta; Avouris, Nikolaos (2013). The good, the bad and the neutral: an analysis of team-gaming activity. In: EC-TEL meets ECSCW: Workshop on Collaborative Technologies for Working andLearning, Paphos, CyprusLearning, Paphos, Cyprus

[c07] Kahrimanis, G., Meier, A., Chounta, I.A., Voyiatzaki, E., Spada, H., Rummel, N., Avouris, N. (2009). Assessing collaboration quality in synchronous CSCL problem-solving activities: Adaptation and empirical evaluation of a rating scheme. In EC-TEL 2009, LNCS, vol. 5794, October 2009, Springer-Verlag, pp. 267-272

[c08] Kahrimanis, G., Chounta, I.A., Avouris, N., (2010). Study of correlations between logfile-based metrics of interaction and the quality of synchronous collaboration, 9th International Conference on the Design of Cooperative Systems, Workshop on Analysing the quality of collaboration, Aix en Provence, May 2010. Published in International Reports on Socio-Informatics (IRSI), 7(1), 2010

[c09] Kahrimanis G., Chounta I.A., Avouris N., (2010) Determining relations between core dimensions of collaboration quality - A multidimensional scaling approach, In the 2nd International Conference on Intelligent Networking and Collaborative Systems (INCoS2010) (INCoS 2010 Proceedings, pp. 78-85, ISBN: 978-0-7695-4278-2/10, 2010 IEEE, DOI: 10.1109/INCOS.2010.77)

[c10] Kahrimanis G., Chounta I.A., Avouris N., (2011), "Rating dimensions of collaboration quality in synchronous collaborating dyads: findings and interpretations", in Connecting Computer-Supported Collaborative Learning to Policy and Practice: CSCL2011 Conference Proceedings. Volume I — Long Papers, International Society of the Learning Sciences, Spada, H., Stahl, G., Miyake, N., Law, N. (Eds.) (2011) . 9th International Conference on Computer Supported Collaborative Learning (CSCL 2011). Hong Kong, China, pp 446--453.

[c11] Chounta, I.A., and Avouris, N. (2012). Time Series Analysis of Collaborative Activities, In Collaboration and Technology, edited by V. Herskovic, H. Hoppe, M. Jansen, and J. Ziegler, 7493:145–152. Lecture Notes in Computer Science. Springer Berlin / Heidelberg, 2012. available from http://www.springerlink.com/content/j81w777588546126/

[c12] Chounta, I.A., and Avouris, N. (2014). It’s all about time: towards a real-time evaluation scheme for collaborative activities. ICALT 2014, (to appear)

[c13] Chounta, I.A., Giemza, A., Hoppe, H.U.(2014). “Multilevel analysis of Collaborative Activities based on a Mobile Learning Scenario for RealClassrooms”, Collabtech 2014, Chile (to appear)

[c14] Chounta, I.A., Hecking, T., Hoppe, H.U., Avouris, N.(2014) “Two make a network: using network graphs to assess the quality ofcollaboration of dyads”, CRIWG 2014, Chile (to appear)

46

Page 47: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

ΔημοσιεύσειςΔημοσιεύσεις

Κεφάλαια Βιβλίων

[b01] Kahrimanis, G., Chounta, Ι.Α., and Avouris, Ν.(2012). “Validating Empirically a Rating Approach for Quantifying the Quality of Collaboration.” In Intelligent Adaptation and Personalization Techniques in Computer-Supported Collaborative Learning, edited by T. Daradoumis, et al., 408:295–310. Studies in Computational Intelligence. Springer Berlin / Heidelberg, 2012.

Διεθνή Περιοδικά

[j01] Chounta, I.A. and Avouris, N. (2013). Towards a Time Series Approach for the Classification and Evaluation of Collaborative Activities, In: Computing and Informatics Journal (to appear)

[j02] Chounta, I.A. and Avouris, N. (2014). Towards the real-time evaluation of collaborative activities: Integration of an automatic rater in the classroom from the teacher’s perspective, In: Education Integration of an automatic rater in the classroom from the teacher’s perspective, In: Education and Information Technologies Journal, Springer (submitted)

47

Page 48: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

ΑναφορέςΑναφορέςAbdi, H. (2003). Partial least square regression (PLS regression): Thousand Oaks, CA: Sage.Barros, B., & Verdejo, M. F. (2000). Analysing student interaction processes in order to improve collaboration. The DEGREE approach. International Journal of

Artificial Intelligence in Education, 11(3), 221-241. Chatfield, C. (2003). The Analysis of Time Series: An Introduction, (Chapman & Hall/CRC Texts in Statistical Science).De Wever, B., & Van Keer, H. (2010). Development of a content analysis approach for collaboration in a wiki environment. Paper presented at the Proceedings of

the 9th International Conference of the Learning Sciences-Volume 2.Dönmez, P., Rosé, C., Stegmann, K., Weinberger, A., & Fischer, F. (2005). Supporting CSCL with automatic corpus analysis technology. Paper presented at the

Proceedings of th 2005 conference on Computer support for collaborative learning: learning 2005: the next 10 years!Dyke, G., Lund, K., & Girardot, J.-J. (2009). Tatiana: an environment to support the CSCL analysis process. Paper presented at the Proceedings of the 9th

international conference on Computer supported collaborative learning-Volume 1.Everitt, B. S., Landau, S., Leese, M., & Stahl, D. (2011). Miscellaneous Clustering Methods.

Hoppe, H. U., Engler, J., & Weinbrenner, S. (2012, 07/2012). The Impact of Structural Characteristics of Concept Maps on Automatic Quality Measurement. Paper presented at the International Conference of the Learning Sciences (ICLS 2012), Sydney, Australia.

Kahrimanis, G. (2010). Computer Supported Collaborative Learning: Models and Tools Supporting Evaluation. University of Patras. Kahrimanis, G., Chounta, I. A., & Avouris, N. (2010). Study of correlations between logfile-based metrics of interaction and the quality of synchronous

collaboration. Guest Editors, 24. Kahrimanis, G., Meier, A., Chounta, I.-A., Voyiatzaki, E., Spada, H., Rummel, N., & Avouris, N. (2009). Assessing collaboration quality in synchronous CSCL

problem-solving activities: Adaptation and empirical evaluation of a rating scheme Learning in the Synergy of Multiple Disciplines (pp. 267-272): Springer.Lehtinen, E., Hakkarainen, K., Lipponen, L., Rahikainen, M., & Muukkonen, H. (1999). Computer supported collaborative learning: A review. The JHGI GiesbersLehtinen, E., Hakkarainen, K., Lipponen, L., Rahikainen, M., & Muukkonen, H. (1999). Computer supported collaborative learning: A review. The JHGI Giesbers

reports on educationLipponen, L. (2002). Exploring foundations for computer-supported collaborative learning. Proceedings of the Conference on Computer Support for Collaborative

Learning: Foundations for a CSCL Community. Lipponen, L., Rahikainen, M., Hakkarainen, K., & Palonen, T. (2003). EFFECTIVE PARTICIPATION AND DISCOURSE THROUGH A COMPUTER NETWORK:

INVESTIGATING ELEMENTARY STUDENTS'COMPUTER SUPPORTED INTERACTION. Journal of Educational Computing Research, 27(4), 355-384. Medina, R., & Suthers, D. (2009). Using a contingency graph to discover representational practices in an online collaborative environment. Research and Practice

in Technology Enhanced Learning, 4(03), 281-305. Meier, A., Spada, H., & Rummel, N. (2007). A rating scheme for assessing the quality of computer-supported collaboration processes. International Journal of

Computer-Supported Collaborative Learning, 2(1), 63-86. Mitchell, T. M. (1999). Machine learning and data mining. Communications of the ACM, 42(11), 30-36.

Persico, D., & Pozzi, F. (2011). Task, Teams and Time: three Ts to structure CSCL processes. Techniques for fostering collaboration in online learning communities: Theoretical and practical perspectives, 1-14.

Reimann, P. (2009). Time is precious: Variable-and event-centred approaches to process analysis in CSCL research. International Journal of Computer-Supported Collaborative Learning, 4(3), 239-257.

Schümmer, T., Strijbos, J. W., & Berkel, T. (2005). A new direction for log file analysis in CSCL: Experiences with a spatio-temporal metric.Stahl, G., Koschmann, T., & Suthers, D. (2006). Computer-supported collaborative learning: An historical perspective. In R. K. Sawyer (Ed.), Cambridge handbook

of the learning sciences (pp. 409-426). Cambridge, UK: Cambridge University Press. Strijbos, J.-W., Martens, R. L., Prins, F. J., & Jochems, W. M. (2006). Content analysis: What are they talking about? Computers & Education, 46(1), 29-48. Suthers, D., & Medina, R. (2011). Tracing interaction in distributed collaborative learning Analyzing Interactions in CSCL (pp. 341-366): Springer.Suthers, D. D., Dwyer, N., Medina, R., & Vatrapu, R. (2010). A framework for conceptualizing, representing, and analyzing distributed interaction. International

Journal of Computer-Supported Collaborative Learning, 5(1), 5-42.

48

Page 49: "Μέθοδοι και εργαλεία αξιολόγησης συνεργατικής μάθησης με χρήση χρονοσειρών" - Παρουσίαση Διδακτορικής

Ευχαριστώ

49