Γιάννης  Τσάκωνας,  Βιβλιοθήκη  &  Κέντρο  Πληροφόρησης,  Πανεπιστήμιο  Πατρών

Αξιολόγηση  ψηφιακών  βιβλιοθηκών  και  ηλεκτρονικών  

πηγών

στόχοι  της  παρουσίασης

• Στόχος  μας  είναι  να  μπορείτε  να  αποσαφηνίζετε  τις  κυρίοτερες  έννοιες  του  χώρου  της  αξιολόγησης  και  να  κατευθύνετε  την  έρευνα  σας  στα  επιθυμητά  μονοπάτια.

• Παράλληλα  να  μπορείτε  να  εκφράζετε  σωστά  ερευνητικά  ερωτήματα,  αφού  έχετε  μια  γενική  εποπτεία  του  χώρου  και  των  αναγκών  σας.

• Θα  γίνει  προσπάθεια  να  μείνουμε  σε  καθαρά  “βιβλιοθηκονομικά”  πλαίσια  και  να  βρούμε  τομείς  εφαρμογής  στους  προσωπικούς  μας  χώρους  εργασίας.

• Θα  χρησιμοποιήσουμε  παραδείγματα  έργων  και  εργαλείων  που  μας  παρέχουν  καλές  πρακτικές,  γόνιμους  προβληματισμούς  και  διευρυμένες  οπτικές.

2

ορισμός

Η  αξιολόγηση  είναι  η  διαδικασία  αποτίμησης  της  αξίας  ενός  ορισμένου  προϊόντος  ή  μιας  διαδικασίας  προς  όφελος  ενός  οργανισμού  σε  ένα  συγκεκριμένο  χρονικό  σημείο.

3

λόγοι  αξιολόγησης

• Αξιολογούμε  για  να  βελτιώσουμε  τα  συστήματα  μας.

– μια  γενική  επωφελής  επιδίωξη

• Αξιολογούμε  για  να  αυξήσουμε  το  κεφάλαιο  γνώσης  μας  για  την  αξία  του  συστήματος  μας.

– για  να  περιγράψουμε  την  τρέχουσα  κατάσταση  μας

– για  να  δικαιολογήσουμε  τις  έως  τώρα  ενέργειες  μας

– για  να  σχεδιάσουμε  τις  μελλοντικές  μας  ενέργειες

4

λόγοι  αξιολόγησης

• Είναι  σαφές  όμως  σε  εμάς  γιατί  αξιολογούμε;

– η  απάντηση  δείχνει  την  αφοσίωση  στον  σκοπό  της  αξιολόγησης

• άρρηκτα  συνδεδεμένη  με  το  πλαίσιο  εργασίας

– γίνεται  για  εσωτερικούς,  όπως  για  αποτίμηση  της  τρέχουσας  κατάστασης,  ή  για  εξωτερικούς  λόγους,  όπως  η  λογοδοσία;

5

διάγραμμα  αξιολόγησης

[Bertot,  2004]

6

επίδραση  των  ψ.β.  στην  αξιολόγηση

• Επιτάχυνση  των  διαδικασιών  αξιολόγησης.

– πολλές  από  τις  λειτουργίες  μιας  βιβλιοθήκης  ή  το  σύνολο  αυτών  μιας  ψηφιακής  έχουν  αυτοματοποιηθει

– πλέον  η  παραγωγή  στοιχείων  γίνεται  με  ταχύτητα  και  ακρίβεια.

• Εισαγωγή  νέων  μεθόδων  και  μετρικών  στοιχείων.

– συχνά  υπό  το  χρηστοκεντρικό  πρίσμα

• Απαίτηση  για  συχνότερη  περιοδικότητα  αξιολόγησης.

– οι  τεχνολογίες  αλλάζουν  με  ραγδαίους  ρυθμούς  και  υπάρχει  αυτοματοποίηση

– ανταγωνιστικό  περιβάλλον

7

εύρος  αξιολόγησης

• Αποτίμηση  εισερχομένων-­‐εξερχομένων

– σχετικά  με  την  παραγωγικότητα  του  συστήματος  μας

• Μέτρηση  απόδοσης

– σχετικά  με  την  απόδοση  των  παραγωγικών  μας  διαδικασιών

• Ποιότητα  υπηρεσιών

– σχετικά  με  την  ικανοποίηση  των  προσδοκιών  της  κοινότητας  μας

• Αποτίμηση  αποτελεσμάτων

– σχετικά  με  την  κατάκτηση  των  ‘ανωτέρων’  σκοπών

• Τεχνολογική  υπεροχή

– σχετικά  με  την  κατασκευή  ‘καλύτερων’  συστημάτων

8

επίπεδα

κοινωνικό

αποτίμηση  αποτελεσμά-­‐των

ιδρυματικό

μέτρηση  απόδοσης

αποτίμηση  αποτελεσμά-­‐των

προσωπικό μέτρηση  απόδοσης

αποτίμηση  αποτελεσμά-­‐των

αποτίμηση  ποιότητας

τεχνική  υποροχή

διεπαφής

μέτρηση  απόδοσης

τεχνική  υποροχήμηχανικό

αποτελεσμα-­‐τικότητα

τεχνική  υποροχή

λειτουργικό αποτελεσμα-­‐τικότητα

τεχνική  υποροχή

περιεχομένου

αποτελεσμα-­‐τικότητα

τεχνική  υποροχή

εύρος

εύρος  αξιολόγησης

9

ποιός  αξιολογεί  ποιόν;

• Αξιολογούμε  τον  εαυτό  μας  και  αξιολογούμαστε  έναντι  ‘κάποιου’  άλλου.

– ένα  πρότυπο,  μια  βέλτιστη  πρακτική,  ένα  πρωτόκολλο,  μια  υπηρεσία  πιστοποίησης  κλπ.

• Συχνά  όμως,  είμαστε  εμείς  οι  ίδιοι  έναντι  του  εαυτού  μας.

– εμείς  στην  ιστορία  (τα  προηγούμενα  μας  επιτεύγματα)

– εμείς  στο  μέλλον  (οι  προσδοκίες  μας  από  το  μέλλον)

• Συχνά  είμαστε  εμείς  αξιολογητές  άλλων  συστημάτων,  όπως  των  παρόχων  συνδρομητικών  υπηρεσιών.

• Η  ερώτηση  εδώ  αλλάζει:  ποιός  αξιολογεί  τις  ψηφιακές  βιβλιοθήκες  (των  άλλων);

10

ποιός  αξιολογεί  ποιόν;

• Τι  περιθώρια  αξιολόγησης  υπάρχουν;

– Συχνά  είναι  τα  περιθώρια  που  μας  αφήνει  η  ίδια  η  “αγορά”.

– Για  παράδειγμα,  οι  αξιολογήσεις  εστιάζουν  σε  θέματα  χρήσης  συνδρομητικών  υπηρεσιών,  ούτως  ώστε  να  διευκολύνεται  η  λήψη  αποφάσεων  για  τη  συνέχιση  των  συνδρομών  ή  όχι.

• Αξιόπιστα  δεδομένα  και  προπάντων  συγκρίσιμα.

11

διαστάσεις  &  προέλευση  μετρήσεων

• Τέσσερις  διαστάσεις  μετρήσεων:

– συνολικές  μετρήσεις  χρήσης

• εξωτερικά  παραγόμενα  δεδομένα  (από  παρόχους)

• εσωτερικά  δεδομένα  (από  υπηρεσίες  της  βιβλιοθήκης)

– δειγματοληπτικές  μετρήσεις

• εξωτερικά  δεδομένα  από  διαδικτυακές  μετρήσεις

• εσωτερικά  δεδομένα  από  διαδικτυακές  μετρήσεις

12

εσωτερικά  παραγόμενα  συνολικά  δεδομένα• Δικτυακός  τόπος  της  βιβλιοθήκης

– αρχεία  καταγραφής  που  δηλώνουν  πτυχές  της  “κίνησης”

• Αυτοματοποιημένος  κατάλογος

– αριθμός  αναζητήσεων,  είδος  διεπαφής,  πεδία  αναζήτησης,  κ.α.

• Συστήματα  διαδανεισμού

– αιτήσεις,  απορρίψεις,  υλικό,  κλπ.

• Απαιτούν  πολύπλοκες  υποδομές  καταγραφής

– click  through  scripts,  VPNs,  αρχεία  Proxy  εξυπηρετητών

– Καταγράφουν  τη  χρήση  ανά  τους  εκδότες  και  τους  επιστημονικούς  κλάδους

13

εξωτερικά  παραγόμενα  συνολικά  δεδομένα

• COUNTER  (Coun�ng  Online  Usage  of  Networked  Electronic  Resources)  Code  of  Prac�ce

– SUSHI  Standard  (NISO  Z39.93-­‐2007)

14

εσωτερικά  παραγόμενα  δειγματοληπτικά  δεδομένα• MINES  for  Libraries®  (Measuring  the  Impact  of  Networked  Electronic  Services).

• Εργαλείο  μέτρησης  της  χρήσης  των  ηλεκτρονικών  πηγών  μιας  βιβλιοθήκης.  Καθαρά  δειγματοληπτική  μελέτη

– τουλάχιστον  δύο  ώρες  τον  μήνα  (τυχαία  δειγματοληψία)

– μία  “κλήση”  ανά  250  χρήσεις

15

εξωτερικά  παραγόμενα  δειγματοληπτικά  δεδομένα• LibQUAL+  ΤΜ

16

αποτελεσματικότητα

αποτελεσματικότητα

• Δείκτες  που  μετρούν  τα  παραγόμενα  αποτελέσματα  μιας  διαδικασίας  σε  συνάρτηση  με  τους  πόρους  που  χρειάστηκαν.

• Συνήθως  έχουν  την  μορφή  συγκεκριμένων  στατιστικών  δεικτών.

18

ICOLC  Guidelines

• Interna�onal  Coali�on  of  Library  Consor�a  (ICOLC):  Χρέη  συντονιστικού  οργάνου  εκατόν  εξήντα  κοινοπραξιών  βιβλιοθηκών  σε  ολόκληρο  τον  κόσμο,  ανάμεσα  στις  οποίες  βρίσκεται  και  η  Κοινοπραξία  Ελληνικών  Ακαδημαϊκών  Βιβλιοθηκών.  

• Κοινός  τόπος  μεταξύ  των  βιβλιοθηκών  και  των  εκδοτών/προμηθευτών.

• Προπομπός  του  project  Counter.

19

ICOLC  Guidelines

• Τα  στατιστικά  στοιχεία  συμπεριλαμβάνουν  τα  παρακάτω:

– Αριθμός  περιόδων  χρήσης  (Logins  sessions)

– Αριθμός  ερωτημάτων  (Searches),  ο  οποίος  στοχεύει  να  καλύψει  την  ανάκτηση  πληροφορίας  μέσα  από  διεπαφές  και  μηχανισμούς  αναζήτησης.

– Αριθμός  επιλογών,  ο  οποίος  στοχεύει  να  καλύψει  την  ανάκτηση  πληροφορίας  μέσα  από  διεπαφές  σάρωσης  και  χρήσης  ευρετηρίων  και  καταλόγων.

– Αριθμός  τεκμηρίων  πλήρους  κειμένου  ανεξαρτήτως  μορφής  (περιοδικά,  βιβλία,  πληροφοριακό  υλικό,  πολυμεσικό  υλικό  κλπ.)

– Αλλοι  δείκτες  όπως  ο  αριθμός  απορριφθέντων  αιτημάτων  και  ο  μέγιστος  αριθμός  ταυτόχρονων  χρηστών.

20

ISO  

• ISO  Technical  Commi�ee  46:  Informa�on  and  documenta�on

– Subcommi�ee  8:  Quality,  sta�s�cs  and  performance  evalua�on

• ISO  DIS  2789  (2005)  Interna�onal  library  sta�s�cs,  3nd  revisionWG  2:  InternaPonal  library  staPsPcs

• ISO  11620  (1998)  Library  performance  indicators.  Amendment  1  (2003)

• ISO  TR  20983  (2003)  Performance  indicators  for  electronic  library  servicesWG  4:  Performance  indicators  for  libraries

• ISO  DIS  9230  (2005)  Determina�on  of  price  indexes  for  books  and  serialsWG  5:  Price  indexes

• ISO  CD  9707  (2005)  Sta�s�cs  on  the  produc�on  and  distribu�on  of  books,  newspapers,  periodicals  and  electronic  publica�onsWG  6:  StaPsPcs  on  the  producPon  of  books

21

ISO  2789  -­‐  Παράδειγμα

• Annex  A:  Measuring  the  use  of  electronic  library  services

– number  of  sessions

– number  of  documents  downloaded

– number  of  records  downloaded

– number  of  virtual  visits

• Επιπρόσθετα

– session  �me

– number  of  rejected  sessions  (turnaways)

– number  of  searches  (queries)

– number  of  Internet  sessions

22

Project  COUNTER

• Ηλεκτρονικά  περιοδικά  και  βάσεις  δεδομένων

– Πρώτη  έκδοση  του  κώδικα  πρακτικής  –  Ιανουάριος  2003  

– Δεύτερη  έκδοση  του  κώδικα  πρακτικής  -­‐  Ιανουάριος  2006

– Τρίτη  έκδοση  του  κώδικα  πρακτικής  –  Σεπτέμβριος  2009

• Βιβλία  και  πληροφοριακό  υλικό  

– Πρώτη  έκδοση  του  κώδικα  πρακτικής  -­‐  Φεβρουάριος  2005

23

Project  COUNTER

• Δείκτες  για  ηλεκτρονικά  περιοδικά  και  βάσεις  δεδομένων

– JR1  =  Journal  Report  1:  Number  of  Successful  Full-­‐Text  Ar�cle  Requests  by  Month  and  Journal  

– JR2  =  Journal  Report  2:  Turnaways  by  Month  and  Journal  

– DB1  =  Database  Report  1:  Total  Searches  and  Sessions  by  Month  and  Database  

– DB2  =  Database  Report  2:  Turnaways  by  Month  and  Database  

– DB3  =  Database  Report  3:  Total  Searches  and  Sessions  by  Month  and  Service  

– JR3  =  Number  of  Successful  Item  Requests  and  Turnaways  by  Month,  Journal  and  Page  Type  

– JR4  =  Total  Searches  Run  by  Month  and  Service

24

Project  COUNTER

• Δείκτες  για  βιβλία  και  πληροφοριακό  υλικό

– BR1  =  Book  Report  1:  Number  of  Successful  Title  Requests  by  Month  and  Title  

– BR2  =  Book  Report  2:  Number  of  Successful  Sec�on  Requests  by  Month  and  Title  

– BR3  =  Turnaways  by  Month  and  Title  

– BR4  =  Turnaways  by  Month  and  Service  

– BR5  =  Total  Searches  and  Sessions  by  Month  and  Title  

– BR6  =  Total  Searches  and  Sessions  by  Month  and  Service  

25

Project  COUNTER

26

Libraries:  Outcomes  and  Measures

• Χρηματοδότηση  από  το  HEFCE  (Higher  Educa�on  Funding  Council  for  England)

• Τρία  υποέργα  ανά  τομέα  αξιολόγησης  της  λειτουργίας  των  βιβλιοθηκών  των  ανώτατων  ιδρυμάτων

– Outcomes  project  >>

– e-­‐measures  project  >>

– eVALUEd

27

e-­‐measures  project

• Αφορούσε  την  ανάπτυξη  στατιστικών  δεικτών  απόδοσης  των  ηλεκτρονικών  πηγών  πληροφόρησης.  Συνεργαζόμενος  φορέας:  SCONUL  (Society  of  College,  Na�onal  and  University  Libraries),  

• Απώτερος  στόχος:  η  συμπλήρωση  των  υπαρχόντων  δεικτών  που  χρησιμοποιούνταν  για  τις  ετήσιες  στατιστικές  αναφορές  

• Σκοπός:

-­‐ Εξορθολογισμός  της  κατανομής  κονδυλίων  των  πόρων  των  βιβλιοθηκών  σε  επίπεδο  ανώτερης  και  ανώτατης  εκπαίδευσης

-­‐ Αποτύπωση  της  χρήσης  των  υπηρεσιών,  είτε  επιτόπιων,  είτε  απομακρυσμένων,  και  των  υποδομών  από  φοιτητές  και  διδακτικό  προσωπικό.

-­‐ Τιθάσευση  της  περιπλοκότητας  για  τη  συλλογή  πληροφοριών  περί  των  τεκμηρίων,  της  χρήσης  και  του  κόστους  και  η  αντιμετώπιση  του  προβλήματος  της  ασυνέχειας  και  της  αναξιοπιστίας.

28

• Ηλεκτρονικά  περιοδικά  (Electronic  serials)Αριθμός  μοναδικών  συνδρομητικών  ηλεκτρονικών  περιοδικών  πλήρους  κειμένου  

• Ηλεκτρονικές  βάσεις  δεδομένων  (Electronic  databases)Αριθμός  συνδρομητικών  ηλεκτρονικών  βάσεων  δεδομένων  

• Ηλεκτρονικά  βιβλία  (Electronic  books)Αριθμός  ηλεκτρονικών  βιβλίων  (προμήθεια  ή  αδειοδότηση)  

• Ψηφιακά  τεκμήρια  (Digital  documents)Αριθμός  ψηφιακών  τεκμηρίων  που  αποκτήθηκαν  από  την  βιβλιοθήκη.

• Ελέυθερα  διαθέσιμες  πηγές  (Electronic  resources  available  free)Αριθμός  των  ηλεκτρονικών  πηγών  που  καταλογογραφεί  βιβλιοθήκη  

e-­‐measures:  παροχή  πηγών

29

e-­‐measures:  χρήση  υπηρεσιών

• Εικονικές  επισκέψεις  (Virtual  visits  )Αριθμός  επισκέψεων  στον  δικτυακό  τόπο  των  βιβλιοθηκών  (hits)

• Ηλεκτρονικά  ερωτήματα  (Electronic  enquiries)ερωτήματα  (διαδικαστικά  ή  πληροφοριακά)  τα  οποία  ελήφθησαν  και  διεκπεραιώθηκαν  ηλεκτρονικά  μέσα  σε  μια  χρονική  περίοδο.  

• Αιτήματα  πλήρους  κειμένου  (Full-­‐text  ar�cle  requests)Επιτυχημένες  αιτήσεις  για  πλήρη  κείμενα  ηλεκτρονικών  περιοδικών.  Απορρίψεις  αιτημάτων  από  ηλεκτρονικά  περιοδικά.

• Περίοδοι  χρήσης  και  αναζητήσεις  σε  βάσεις  δεδομένων  (Database  sessions  and  searches)

• Επιτυχημένες  περίοδοι  χρήσης  σε  βάσεις  δεδομένων,  Σύνολο  αναζητήσεων  σε  όλες  τις  περιόδους  χρήσης,  Απορρίψεις  από  βάσεις  δεδομένων

• Χρήση  ηλεκτρονικών  βιβλίων  (Use  of  electronic  books)Επιτυχημένες  προσβάσεις  σε  ηλεκτρονικά  βιβλία,  Απορρίψεις  από  ηλεκτρονικά  βιβλία

• ....30

e-­‐measures:  κόστη

• Ηλεκτρονικά  περιοδικά  (Electronic  serials)Συνδρομές  σε  ηλεκτρονικά  περιοδικά  

• Ηλεκτρονικές  βάσεις  δεδομένων  (Electronic  databases)Συνδρομές  σε  βάσεις  δεδομένων

• Ηλεκτρονικά  βιβλία  (Electronic  books)Δαπάνες  για  προμήθεια  ηλεκτρονικών  βιβλίων

• Ψηφιακά  τεκμήρια  (Digital  documents).  Δαπάνες  για  την  δημιουργία  ψηφιακών  τεκμηρίων  

31

δείκτες  απόδοσης

δείκτες  απόδοσης

• Δείκτες  που  αποτυπώνουν  πόσο  αποδοτικό  είναι  το  παραγόμενο  έργο.  

• Συνήθως  αναφέρονται  στο  εύρος  αποδοχής  υπηρεσιών  και  πληροφοριακών  πόρων.

• Σε  περιπτώσεις  αξιολόγησης  συστημάτων  στον  χρόνο  και  στην  προσπάθεια  που  καταβάλει  ο  χειριστής  τους.

33

Project  EQUINOX

• Χρηματοδότηση:  Πρόγραμμα  “Telema�cs  for  Libraries”,  Ε.Ε.  Διάρκεια  1998-­‐2000

• Στόχος:  Ανάπτυξη  και  χρησιμοποίηση  μεθόδων  για  την  μέτρηση  της  αποδοτικότητας  στο  νέο,  δικτυακό,  ηλεκτρονικό  περιβάλλον.  Συμπλήρωση  υπαρχόντων  δεικτών.

• Δείκτες

– Ποσοστό  επί  τοις  εκατό  του  πληθυσμού  στον  οποίο  φτάνουν  οι  ηλεκτρονικές  υπηρεσίες

– Αριθμός  των  περιόδων  χρήσης  (sessions)  για  κάθε  ηλεκτρονική  υπηρεσία  ανά  μέλος  του  στοχευόμενου  πληθυσμού.

– Αριθμός  των  απομακρυσμένων  sessions  για  τις  ηλεκτρονικές  υπηρεσίες  ανά  μέλος  του  πληθυσμού  που  εξυπηρετείται

– Αριθμός  των  εγγράφων  και  εγγραφών  (εισαγωγές)  που  βλέπονται  ανά  session  για  κάθε  ηλεκτρονική  υπηρεσία.

– …..

– Σύνολο  δεκατέσσερις  (14)  δείκτες.

34

δείκτες  απόδοσης  Ελληνικών  Βιβλιοθηκών

• Σκοπός:  “καταγραφή  και  επιλογή  κατάλληλων  δεικτών  απόδοσης  των  Βιβλιοθηκών,  που  θα  χρησιμοποιηθούν  ανάλογα,  τόσο  από  την  Επιτροπή,  σαν  εργαλείο  αρχικής  αξιολόγησης  της  παρούσας  κατάστασης,  όσο  από  και  τα  αρμόδια  όργανα  παρακολούθησης  και  αξιολόγησης  των  έργων  των  Βιβλιοθηκών  κατά  την  διάρκεια  των  έργων”.

• Πλήρες  κείμενο:  hpp://nemertes.lis.upatras.gr/jspui/handle/10889/4174  

35

δείκτες  απόδοσης  Ελληνικών  Βιβλιοθηκών

• Χρήση  Ηλεκτρονικών  Υπηρεσιών

-­‐ Ρ13:Εικονικές  επισκέψεις  (visits  -­‐  sessions)  του  WEB  SITE  της  βιβλιοθήκης  μηνιαίως  D10/12

-­‐ Ρ14ν:  Εικονικές  προσβάσεις  (accesses  –  log  ins)  κατά  Ηλεκτρονική  Υπηρεσία  (ν)  μηνιαίως  D11ν/12

-­‐ Ρ15ν:  Εικονικές  προσβάσεις  (accesses  –  log  ins)  κατά  Ηλεκτρονική  Υπηρεσία  (ν),  μηνιαίως  και  κατά  κεφαλή  (D11ν/12)/D1

-­‐ Ρ16ν:  Αριθμός  Τεκμηρίων  και  Εγγραφών  (αρχείων)  που  αποκτήθηκαν  κατά  Εικονική  πρόσβαση  (access  –  log  in)  σε  κάθε  Ηλεκτρονική  Υπηρεσία  (ν)  D12ν/D11ν

-­‐ Ρ17ν:  Αριθμός  Τεκμηρίων  και  Εγγραφών  (αρχείων)  που  αποκτήθηκαν  κατά  κεφαλή  από  κάθε  Ηλεκτρονική  Υπηρεσία  (ν)D12ν//D1

-­‐ ...

36

αποτίμηση  αποτελεσμάτων

αποτίμηση  αποτελεσμάτων

• Σύνδεση  αποτελεσμάτων  λειτουργίας  της  βιβλιοθήκης  με  τα  αποτελέσματα  του  γονικού  ιδρύματος.

• Σε  περισσότερες  των  περιπτώσεων  τα  αποτελέσματα  είναι  εκ  των  προτέρων  γνωστά.

– Μέσω  θεσμοθετημένων  πολιτικών  

– Εμφυτα  στην  λειτουργία  του  οργανισμού

• Αυτό  που  επιχειρείται  είναι:  

– η  πιστοποίηση  τους,

– ο  προσδιορισμός  της  έκτασης  τους,  και

– (ει  δυνατόν)  η  ανεύρεση  άλλων  νέων.

38

τύποι  αποτελεσμάτων

• Ενδιαφέροντα  αποτελέσματα  (outcomes  of  interest)

• Επιθυμητά  αποτελέσματα  (desired  outcomes)

• Υπαρκτά  αποτελέσματα  (actual  outcomes)

[Fraser,  McClure,  2002]

• Βραχυπρόθεσμα

– Ικανότητες

– Στάσεις

– Γνώσεις

• Μεσοπρόθεσμα

– Συμπεριφορά

– Λήψη  αποφάσεων

• Μακροπρόθεσμα

– Καταστάσεις

• Οικονομικά

• Μαθησιακά

• Ερευνητικά

• Ανταλλαγής  πληροφορίας

• Πολιτισμικά  

• Κοινωνικά

[Bertot  &  McClure,  2003]

39

Outcomes  project

• Στόχος  η  δημιουργία,  πιλοτική  εφαρμογή  και  έλεγχος  εργαλείων  αποτίμησης  για  την  εναρμόνιση  των  αποτελεσμάτων  των  υπηρεσιών  των  βιβλιοθηκών  με  τα  στοχευόμενα  αποτελέσματα  των  γονικών  ιδρυμάτων.

• Ενδεικτικά  ερωτήματα:

-­‐ Πόσο  στενά  συνδεδεμένες  είναι  οι  βιβλιοθήκες  με  τους  ιδρυματικούς  στόχους  και  τα  αποτελέσματα  τους;

-­‐ Πως  οι  στόχοι  και  τα  αποτελέσματα  της  λειτουργίας  της  βιβλιοθήκης  επικοινωνούν  με  άλλα  τμήματα  του  ιδρύματος;

40

Shaping  outcomes

• Πρόγραμμα  του  University  of  Indiana  και  του  IMLS  (Ins�tute  of  Museum  and  Library  Services)  για  την  εξάσκηση  των  μελών  του  στην  αποτίμηση  των  αποτελεσμάτων.

• Ενα  διαδικτυακό  πρόγραμμα  για  τον  σχεδιασμό  αξιολογήσεων  των  αποτελεσμάτων  φορέων  πληροφόρησης,  όπως  βιβλιοθήκες  και  μουσεία.

• Εμφαση  στο  λεξιλόγιο  και  τις  έννοιες  της  αποτίμησης  των  αποτελεσμάτων  και  ιδιαίτερη  προσοχή  στη  χρήση  μοντέλων  λογικής

41

Shaping  outcomes:  Δείκτες

The  #  and  %  of  (par�cipants)  who  (demonstrate  what  specified  change?)

42

ποιότητα  υπηρεσιών

αξιολόγηση  ποιότητας  υπηρεσιών

• Η  αποτίμηση  της  ποιότητας  των  υπηρεσίων  σχετίζεται  με  τις  προσδοκίες  που  τρέφουν  οι  χρήστες  κάποιων  παρεχόμενων  υπηρεσιών.

• Συγκρίνονται  οι  προσδοκίες  αυτές  με  το  επίπεδο  των  υπηρεσιών  όπως  αυτοί  το  αντιλαμβάνονται.

44

LibQUAL+®

• Στα  πλαίσια  του  ARL  New  Measures  ini�a�ve

• Αναπτύχθηκε  από  το  Texas  A&M  University

• Βασίζεται  στο  SERVQUAL

• Εναρξη  το  2000  και  τώρα  χρησιμοποιήθηκε/χρησιμοποιείται  από  1200  βιβλιοθήκες  σε  όλο  τον  κόσμο.

– Στην  Ελλάδα  το  Πανεπιστήμιο  Μακεδονίας  και  στην  Κύπρο  το  Τεχνολογικό  Πανεπιστήμιο  Κύπρου.

– Εναλλακτική  επιλογή  το  LibQUAL+®Lite

45

LibQUAL+®

• Τρεις  μετρούμενες  διαστάσεις:

– Η  βιβλιοθήκη  ως  μέρος  (Library  as  Place)

– Η  επιρροή  της  υπηρεσίας  (Affect  of  Service)

– Ελεγχος  πληροφορίας  (Informa�on  Control)

• Αποτελείται  από:

– Δημογραφικές  ερωτήσεις

– 22  “πυρηνικές”  ερωτήσεις

– 5  τοπικές  ερωτήσεις,  σχετικές  με  το  ίδρυμα

– 5  ερωτήσεις  Πληροφοριακής  Εκπαίδευσης

– 3  ερωτήσεις  γενικής  ικανοποίησης

– Πλαίσιο  ελευθέρου  κειμένου

46

LibQUAL+®

• Μετρικά  στοιχεία

• Κλίμακα  1  έως  9

• Τρεις  απόψεις  

– Ελάχιστη

– Επιθυμητή

– Αντιλαμβανόμενη

47

LibQUAL+®

48

Η  κατάσταση  στην  Ελλάδα

Το  περιβάλλον

• Πρόσβαση  σε  καταλόγους  βιβλιοθηκών  και  στον  Ενοποιημένο  Κατάλογο  Ακαδημαϊκών  Βιβλιοθηκών  “Ζέφυρος”  

• Πρόσβαση  σε  καταλόγους  βιβλιοθηκών  μέσα  και  απο  συλλογικά  σχήματα,  όπως  ο  ΣΚΕΑΒ,  ΣΚΔΒ.

• Δικτυακοί  τόποι  ακαδημαϊκών  βιβλιοθηκών  

• Βάσεις  δεδομένων

• Πλατφόρμες  ηλεκτρονικών  περιοδικών  και  ηλεκτρονικών  βιβλίων

• Εφαρμογές  ενοποιημένης  αναζήτησης  ηλεκτρονικών  πόρων

• Αυτοτελής  ανάπτυξη  συστημάτων,  ψηφιακών  συλλογών  και  αποθετηρίων

50

ΜΟΠΑΒ

• Μονάδα  Ολικής  Ποιότητας  Ακαδημαϊκών  Βιβλιοθηκών

• Λειτουργεί  στο  Πανεπιστήμιο  Ιωαννίνων.

51

ΜΟΠΑΒ:  στόχοι

• Η  συλλογή,  επεξεργασία,  ανάλυση  και  παρουσίαση  στοιχείων  σχετικών  με  τις  Ελληνικές  Ακαδημαϊκές  Βιβλιοθήκες  

• Η  χρήση  διαδικασιών  αποτίμησης  και  εφαρμογής  κανόνων  διασφάλισης  ποιότητας  στις  Ελληνικές  Ακαδημαϊκές  Βιβλιοθήκες  

• Η  καθιέρωση  Δεικτών  Αποτίμησης  και  Αξιολόγησης  Ακαδημαϊκών  Βιβλιοθηκών  

• Η  ψηφιοποίηση  της  διαδικασίας  συγκέντρωσης  και  επεξεργασίας  των  στατιστικών  στοιχείων  

• H  δημιουργία  θεματικού  Portal  με  ηλεκτρονική  πρόσβαση  σε  πληροφορίες  που  αναφέρονται  σε  στατιστικά  στοιχεία  βιβλιοθηκών,  μεθόδους  ανάλυσης  δεδομένων,  Δεικτών  Αποτίμησης  κτλ.

52

ΜΟΠΑΒ:  δράση

• Εχει  δημιουργηθεί  βάση  δεδομένων  για  την  καταχώρηση  των  στατιστικών  στοιχείων  των  ελληνικών  βιβλιοθηκών.

• Εχει  δημιουργηθεί  θεματικό  portal  για  την  πρόσβαση  σε  πληροφορίες  που  σχετίζονται  με  το  αντικείμενο  της  ΜΟΠΑΒ  ή  άλλα  συναφή.  

• Εχουν  συνταχθεί  ετήσιες  Εκθέσεις  Συλλογής  Στατιστικών  Στοιχείων  Ακαδημαϊκών  Βιβλιοθηκών.

• Εχουν  πραγματοποιηθεί  δειγματοληπτικές  έρευνες  σχετικά  με  το  Μέσο  Κόστος  Ελληνικών  και  Ξενόγλωσσων  Βιβλίων  για  κάθενα  από  τα  έτη  2005-­‐2009.

53

ΜΟΠΑΒ:  οδηγοί

• Οδηγός  1:  Κατανομή  προϋπολογισμού  για  προμήθεια  υλικού

• Οδηγός  2:  Οδηγός  αποτίμησης  Ακαδημαϊκών  Βιβλιοθηκών

• Οδηγός  3:  Πρότυπα  για  τις  Ελληνικές  Ακαδημαϊκές  Βιβλιοθήκες

• Οδηγός  4:  Κανόνες  διαδανεισμού

• Οδηγός  5:  Αποτίμηση  Βιβλιοθηκών  &  Υπηρεσιών  Πληροφόρησης

• Οδηγός  6:  Εφαρμογή  πρακτικών  Ολικής  Ποιότητας  στις  Ακαδημαϊκές  Βιβλιοθήκες

54

Εν  κατακλείδι

Εν  κατακλείδι

• Η  αξιολόγηση  είναι  μια  σύνθετη  εργασία.  Υπάρχουν  πολλές  έννοιες  οι  οποίες  ομοιάζουν  και  συγχέουν.

• Απαιτείται  ξεκάθαρη  σκέψη  και  αντίληψη  της  έρευνας  μας.  Κυρίως  να  σταθμίζουμε  τα  ωφέλη.

• Στο  ψηφιακό  περιβάλλον  η  αξιολόγηση  είναι  ακόμη  πιο  ευμετάβλητη,  λόγω  της  εξάρτησης  της  από  τεχνολογικές  μεταβολές,  αλλά  και  από  τις  επιδράσεις  τους  στις  κοινότητες  των  χρηστών.

• Παρά  τις  προκλήσεις,  το  ψηφιακό  περιβάλλον  μας  επιτρέπει  να  διεξάγουμε  πιο  συστηματικές  αξιολογήσεις  και  μάλιστα  σε  βάθος  χρόνου.

56

Οργανωτικές  παρεμβάσεις

• Δημιουργία  δομών  και  οργανισμών  που:

– Γνωρίζουν  γιατί  και  τι  μετρούν

– Επιτρέπουν  συστηματικές  μετρήσεις

– Καθιστούν  την  αποτίμηση  εγγενές  στοιχείο  για  την  επίτευξή  της  ποιότητας  υπηρεσιών  

– Ενέργειες  επί  των  μετρηθέντων  αντικειμένων

[Lakos,  2001]

57

Γιατί  είναι  δύσκολη  η  αξιολογήση

• Σύμφωνα  με  τον  Saracevic:– οι  ψηφιακές  βιβλιοθήκες  είναι  σύνθετα  συστήματα,

– η  αξιολόγηση  είναι  ακόμη  ένα  ανώριμο  πεδίο,

– δεν  υπάρχει  έντονο  ενδιαφέρον,

– υπάρχει  έλλειψη  χρηματοδότησης,

– υπάρχουν  ‘πολιτισμικές’  διαφορές,

– ...

58

...  και  κυνικά  μιλώντας...

ποιός  θέλει  να  αξιολογείται;

59

ευχαριστώ  για  την  προσοχή  σας

john@lis.upatras.gr

Βιβλιογραφία  διαθέσιμη  στο:h�p://bit.ly/rEKkp6