Στατιστικές Μέθοδοι στην Αξιολόγηση

Θανάσης ΡάπτηςO.R. PhD

Ποιος είναι ο σκοπός της παρουσίασης αυτής?

Σκοποί της παρουσίασης αυτής είναι:

1. Να φανεί η χρησιμότητα ή η αναγκαιότητα χρήσης στατιστικών εργαλείων στην υπόθεση της αξιολόγησης

2. Να δοθούν ορισμένα παραδείγματα μεθοδολογιών ώστε να εμπεδωθεί ο πρώτος στόχος αλλά και να παρουσιαστούν οι μεθοδολογίες αυτές.

Συνοψίζοντας τους ορισμούς της Αξιολόγησης

Μιλώντας για αξιολόγηση μπορεί να αναφερόμαστε σε:

Προσδιορισμό της Αξίας/Σημασίας/Ωφελιμότητας

Ικανοποίησης ή όχι στόχου/προδιαγραφών απαιτήσεων

Εντοπισμό σημείων προς βελτίωση Επίπτωση από την εφαρμογή ενός σχεδίου Μέρος μιας κυκλικής διαδικασίας ποιότητας

Αξιολόγηση και Μέτρηση

Η αξιολόγηση εμπεριέχει τον ποσοτικό προσδιορισμό, δηλαδή την μέτρηση, αν και είναι υπερσύνολο της μέτρησης.

Μέτρηση και Δεδομένα

Η μέτρηση απαιτεί δεδομένα (πληροφόρηση)!

Τα δεδομένα μπορεί να είναι κάθε είδους και σε κάθε μορφή.

Δεδομένα και Μεταβλητότητα

Τα (αναγκαία) δεδομένα μπορεί να…

Είναι ασαφήΑλλάζουν συνεχώςΕίναι υποκειμενικάΕίναι “τυχαία”

Με απλά λόγια να έχουν «Μεταβλητότητα»

Τι γίνεται τότε??

Η Θεά Τύχη

Μεταβλητότητα και Στατιστική

Χρειαζόμαστε την Στατιστική προκειμένου να διαχειριστούμε την μεταβλητότητα των δεδομένων και να λάβουμε αποφάσεις σε περιβάλλον όπου παρουσιάζεται τυχαιότητα.

Πηγές Μεταβλητότητας

Η μεταβλητότητα κατά βάση προκύπτει από δυο μηχανισμούς:

Από διαφόρων ειδών σφάλματα στον ποσοτικό προσδιορισμό

Από την ίδια την φύση των φαινομένων που μπορεί να είναι στοχαστικά

Στην αξιολόγηση υπηρεσιών, η συνήθης πηγή μεταβλητότητας είναι η ικανοποίηση των ληπτών της υπηρεσίας.

Κατηγοριοποίηση των Στατιστικών μεθόδων

Γενικά μπορούμε να κατηγοριοποιήσουμε τις υπαρκτές μεθόδους στις εξής δύο κατηγορίες:

Μέθοδοι οι οποίες έρχονται μπορούν να εφαρμοστούν πάνω σε υπαρκτές ντετερμινιστικές μεθόδους και να επεκτείνουν την χρήση τους.

Μέθοδοι οι οποίες νοούνται μόνο ως στατιστικές και δεν υφίστανται διαφορετικά.

Έξι μεθοδολογίες

1. Πολυκριτήρια Ανάλυση

Χρησιμότητας

2.Πολυμεταβλητά Ψευδομεταβλητά

μοντέλα

3.Συσταδοποίηση των απόψεων των

εταίρων

4.Περιβάλλουσα Ανάλυση Δεδομένων

5.Ανάλυση κειμένου εκθέσεων

αξιολόγησης

6. PERT-CPM

Πολυκριτήρια Ανάλυση Λήψης Απόφασης (MCDA):

Συνάρτηση Ωφελιμότητας

Πρόκειται για την μέθοδο εκείνη κατά την οποία αξιολογούνται μια σειρά από αντικείμενα/υποκείμενα/»εναλλακτικές στρατηγικές», μέσω του υπολογισμού της ωφελιμότητας που συνεπάγεται κάθε επιλογή για τον τελικό χρήστη.

Η ωφέλεια προκύπτει ως σταθμισμένο άθροισμα με βάρη, των επιμέρους ωφέλιμων χαρακτηριστικών κάθε υποκειμένου. Τα βάρη εκφράζουν την σημαντικότητα που δίνει ο χρήστης σε κάθε χαρακτηριστικό και σταθμίζουν την επίδοση του αξιολογούμενου σε κάθε πεδίο αξιολόγησης.

MCDA :Περίπτωση στην εκπαίδευση

Συνήθης επιλογή: Αξιολόγηση προσωπικού, μαθητών, προγραμμάτων κλπ

Διαφορετικότητα στην προσέγγιση: Τα βάρη δεν τίθενται από τους αξιολογητές αλλά από τους αξιολογούμενους. Αυτό αμέσως εισάγει την ανάγκη χρήσης στατιστικών μεθόδων.

MCDA: Η επίδραση της γνώμης των εταίρων

Η άποψη των εταίρων για κάποιο ζήτημα (π.χ. σύλλογος διδασκόντων για κάποιο σχολείο) είναι μια ποσότητα η οποία δεν είναι αυστηρά προσδιορισμένη αλλά έχει κάποια κατανομή.

Αυτό κληροδοτεί ένα στατιστικό χαρακτήρα στα αποτελέσματα.

1=2?

Η επιλογή της σημαντικότητας των κριτηρίων: Τρείς τρόποι

1ος τρόπος: Ορισμός από τον αξιολογητή.

2ος τρόπος: Ορισμός από τους αξιολογούμενους.

3ος τρόπος: Ορισμός από κάποια στατιστική πολυμεταβλητή μέθοδο..

Πολυμεταβλητές Τεχνικές- Latent Variable ModelsΤο αντικείμενο της πολυμεταβλητής

ανάλυσης είναι η ταυτόχρονη ανάλυση πολλών μεταβλητών οι οποίες μπορεί να είναι συνεχείς, διακριτές ή κατηγορικές.

Σκοπός της ανάλυσης είναι η ερμηνεία της διακύμανσης και των συνδιακυμάνσεων του συνόλου των μεταβλητών, η γραφική ερμηνεία των δεδομένων και η μείωση της διάστασης των δεδομένων.

Απώτερος σκοπός η εξαγωγή πληροφορίας.

Η γενική ιδέα των πολυμεταβλητών τεχνικών

Οι πιο γνωστές από αυτές τις μεθόδους είναι οι Factor και PCA

Η γενική ιδέα είναι ότι υπάρχουν κάποιες μη παρατηρούμενες μεταβλητές οι οποίες βρίσκονται σε λανθάνουσα μορφή και ο στόχος είναι να γίνει ανάκτηση της τιμής αυτών των μεταβλητών μέσω της μέτρησης κάποιων άλλων παρατηρήσιμων, μετρούμενων (observable) και πολυπληθέστερων μεταβλητών οι οποίες δέχονται επιδράσεις από τις μη μετρούμενες.

Παραδείγματα από Οικονομία και Ψυχομετρία

Η εφαρμογή των πολυμεταβλητών στην εκπαιδευτική αξιολόγηση

Μέτρηση της ικανοποίησης διαφόρων φορέων και αποκάλυψη της δομής της ικανοποίησης

Μέτρηση ατομικών χαρακτηριστικών

Συσταδοποίηση των απόψεων των εταίρων (Clustering)

Βασικό εργαλείο η ανάλυση συστάδων-cluster analysis

Σκοπός της μεθόδου είναι η εύρεση τυχών φυσικών ομαδοποιήσεων εντός ενός μεγάλου συνόλου υποκειμένων και αποκάλυψη των κοινών χαρακτηριστικών τους.

Τυπική εφαρμογή: ταξινόμηση των απόψεων σε ομάδες.

Συσταδοποίηση των απόψεων των εταίρων (Clustering)

Συσταδοποίηση των απόψεων των εταίρων (Clustering)

Συσταδοποίηση των απόψεων των εταίρων (Clustering)

Περιβάλλουσα Ανάλυση Δεδομένων

Μέθοδος συγκριτικής αξιολόγησης ομοειδών μονάδων.

Ιδανική για περιπτώσεις αξιολόγησης υπηρεσιών εκπαίδευσης, υγείας και γενικότερα άυλων προϊόντων.

Σύστημα εισροών εκροών, μικτές εισροές και εκροές

Περιβάλλουσα Ανάλυση Δεδομένων

Η μέθοδος ταξινομεί τις μονάδες ως προς την αποδοτικότητά τους

Εντοπίζει τις αλλαγές που πρέπει να γίνουν σε κάθε μονάδα ώστε να «μοιάσει» στις ποιο αποδοτικές από το σύνολο αξιολογούμενων μονάδων

Αλγόριθμοι ανάλυσης κειμένων εφαρμογή σε εκθέσεις

αξιολόγησης

Ανάλυση εκθέσεων αξιολόγησης

200 εκθέσεις αξιολόγησης Ελληνικών ΑΕΙ

Ανάλυση εκθέσεων αξιολόγησης

Ανάλυση εκθέσεων αξιολόγησης

Ανάλυση εκθέσεων αξιολόγησης

PERT-CPM: ΣΧΕΔΙΑΣΜΟΣ ΕΡΓΟΥ

Προσδιορισμός σκοπού του έργουΕπιλογή μεθόδου σχεδιασμούΥλοποίηση ενός σχεδίουΒελτιστοποίηση σχεδίουΈλεγχος του σχεδίου

¨ Plan your work first…..then work your plan ¨

ΣΧΕΔΙΑΣΜΟΣ ΕΡΓΟΥ(2)

Παράδειγμα μεθόδου:

Top-Down Design(από το γενικό

στο ειδικό):

ΥΠΑΡΧΟΥΣΕΣ ΜΕΘΟΔΟΛΟΓΙΕΣ

Δυο Μεθοδολογίες:1. PERT: Program Evaluation &

Review Technique

2. CPM: Critical Path Method

ΚΑΘΟΡΙΣΜΟΣ ΕΝΕΡΓΕΙΩΝ

ΚΑΘΟΡΙΣΜΟΣ ΑΠΑΙΤΗΣΕΩΝ ΚΑΘΟΡΙΣΜΟΣ ΤΩΝ ΑΝΑΓΚΩΝ ΓΙΑ ΕΠΙΜΟΡΦΩΣΗΚΑΘΟΡΙΣΜΟΣ ΑΠΑΙΤΟΥΜΕΝΩΝ ΠΟΡΩΝΠΡΟΔΙΑΓΡΑΦΕΣ ΛΕΙΤΟΥΡΓΙΚΟΥ ΣΧΕΔΙΑΣΜΟΥΑΝΑΠΤΥΞΗ ΒΑΣΙΚΩΝ ΑΡΧΩΝ ΣΧΕΔΙΑΣΗΣΑΝΑΠΤΥΞΗ ΤΟΥ ΣΥΣΤΗΜΑΤΟΣ ΕΠΙΜΟΡΦΩΣΗΣΚΑΙ ΔΗΜΙΟΥΡΓΙΑ ΠΡΟΤΥΠΩΝ ΑΞΙΟΛΟΓΗΣΗΣΔΙΑΜΟΡΦΩΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΤΩΝ ΠΡΟΤΥΠΩΝΑΝΑΠΤΥΞΗ ΣΕ ΠΛΗΡΗ ΚΛΙΜΑΚΑ ΤΕΛΙΚΗ ΔΟΚΙΜΗ ΑΞΙΟΛΟΓΗΣΗ ΤΟΥ ΣΥΣΤΗΜΑΤΟΣ ΟΡΙΣΤΙΚΟΠΟΙΗΣΗ ΤΩΝ ΚΡΙΤΗΡΙΩΝ ΑΞΙΟΛΟΓΗΣΗΣΣΧΕΔΙΑΣΜΟΣ ΕΝΟΣ ΣΥΣΤΗΜΑΤΟΣ ΑΞΙΟΛΟΓΗΣΗΣΣΥΛΛΟΓΗ ΚΑΙ ΑΝΑΛΥΣΗ ΣΤΟΙΧΕΙΩΝ ΜΕΘΟΔΟΣ ΣΥΛΛΟΓΗΣ ΠΛΗΡΟΦΟΡΙΩΝ ΑΠΟΦΑΣΗ ΠΡΟΣΒΑΣΗΣ ΚΑΙ ΣΥΜΜΕΤΟΧΗΣΑΠΟΦΑΣΗ ΓΙΑ ΤΟΠΟ –ΧΡΟΝΟ- ΤΡΟΠΟΑΠΟΦΑΣΗ ΓΙΑ ΠΕΡΙΕΧΟΜΕΝΑΕΠΙΛΟΓΗ ΕΚΠΑΙΔΕΥΤΙΚΟΥ ΜΕΣΟΥΕΡΓΑΣΙΕΣ ΥΠΟΣΤΗΡΙΞΗΣΑΠΟΦΑΣΗ ΓΙΑ ΔΙΑΡΚΕΙΑΑΞΙΟΛΟΓΗΣΗΤΕΛΙΚΗ ΑΠΟΦΑΣΗ

ΕΙΣΑΓΩΓΗ ΣΤΟΝ ΥΠΟΛΟΓΙΣΤΗ(2)

ΕΠΙΛΥΣΗ – CRITICAL PATH

CRITICAL PATH RESULTS TABLE

GANT CHART

Πίνακας με το χρονοδιάγραμμα των δραστηριοτήτων:

Το δίκτυο ενεργειών (1)

Το δίκτυο ενεργειών (2)

ΤΡΟΠΟΠΟΊΗΣΗ ΤΟΥ ΑΡΧΙΚΟΥ ΣΧΕΔΙΟΥ ΑΦΟΥ ΑΦΑΙΡΕΣΟΥΜΕ ΤΙΣ ΨΕΥΔΟΔΙΑΔΙΚΑΣΙΕΣ (DUMMY):

Η λύση του δικτύου ενεργειών

Μετρώντας τα χιλιοστά και χάνοντας τους πόντους!

Όλα αυτά και πολλά άλλα έχουν ανάγκη μιας σωστής μεθοδολογίας. Διαφορετικά το όφελος των μεθόδων εξανεμίζεται από σοβαρά μεθοδολογικά σφάλματα.

Στατιστικός Έλεγχος Ποιότητας Διεργασιών

Διαγράμματα δράσης

Ευχαριστώ για την υπομονή σας!