DiLEO μια οντολογία πεδίου για την αξιολόγηση των ψηφιακών βιβλιοθηκώνdbis/dlib/ionio

2

δομή

- Εισαγωγή- Περί αξιολόγησης ψηφιακών βιβλιοθηκών

- Μοντελοποίηση της αξιολόγησης ψηφιακών βιβλιοθηκών- Μια οντολογική αναπαράσταση της αξιολόγησης των ψηφιακών

βιβλιοθηκών- Οντολογίες- Παρουσίαση του DiLEO

εν συντομία

- Μια οντολογία

- Για τη σύγκριση στιγμιοτύπων

- Για την υποστήριξη του σχεδιασμού των αξιολογήσεων

3

κίνητρο

- Η δημιουργία ενός σχήματος καταγραφής και σύγκρισης στιγμιοτύπων αξιολογήσεων.

- Απώτερος στόχος είναι η κάλυψη της ασυμφωνίας μοντέλων αξιολόγησης μέσα από ένα δομημένο και τυπικό μετά-μοντέλο.

“the lack of globally accepted abstract evaluation models and methodologies can be counterbalanced by collecting, publishing and analyzing current research activities” [Führ et al., 2007]

- Ταυτόχρονα ένα εργαλείο σχεδιασμού αξιολογήσεων.“Every evaluation should begin with a well-crafted plan. Writing an evaluation plan is not just common sense. It is an essential roadmap to successful evaluation!” [Reeves et a., 2003].

4

περί αξιολόγησης ψηφιακών βιβλιοθηκών

μέρος ά

μοντελοποίηση αξιολόγησης

- Δεν αναφερόμαστε σε μοντέλα αξιολόγησης ψηφιακών βιβλιοθηκών, αλλά στην προτυποποίηση της ίδιας της διαδικασίας.

- Αναφορά σε πέντε κύριες προσπάθειες:

- Στην ταξινόμηση του Saracevic [2004]

- Στο Evaluation Computer [Kovacs & Micsik, 2004]

- Στο πλαίσιο PRET A Rapporter [Blandford et al., 2007]

- Στο μοντέλο 5SQual [Goncalves et al., 2007]

- Στο πλαίσιο Zachman

6

η ταξινόμηση του Saracevic

- Μια ταξινόμηση μελετών αξιολόγησης σύμφωνα με:- το ποιά στοιχεία αξιολογήθηκαν (Constructs)- το πλαίσιο της αξιολόγησης (Context)- τα κριτήρια που χρησιμοποιήθηκαν (Criteria)- τη μεθοδολογία που ακολουθήθηκε (Methodology)

7

η ταξινόμηση του Saracevic

- Διαχώρισε τις μελέτες αξιολόγησης σε αυτές που προτείνουν μοντέλα αξιολόγησης και σε αυτές που αναφέρουν αποτελέσματα μελετών αξιολόγησης.

- Ο Saracevic διαμόρφωσε μια έννοια (Context) για να συμπυκνώσει όλες τις υψηλόβαθμες ερωτήσεις, όπως γιατί αξιολογεί κάποιος, ποιός είναι στόχος του κλπ.

- Ταυτόχρονα αφιέρωσε μια κατηγορία για να κατατάξει τις μελέτες σύμφωνα με το τί αξιολόγηθηκε (Constructs) και δύο κατηγορίες (Criteria, Methodology) για να κατάταξει τις μελέτες σύμφωνα με το πως αυτές διεξάγονται.

8

the evaluation computer

- Μια φασετική ταξινόμηση διαφορετικών οπτικών, οι οποίες συνθέτουν μια πραγμάτωση μιας αξιολόγησης ή ένα ‘evaluation atom’.

- Μέτρηση της απόστασης μεταξύ δύο ατόμων μέσα σε έναν χώρο.

9

the evaluation computer

- Πέντε φασέτες:- Σύστημα- Περιεχόμενο- Οργανισμός- Χρήστης- Αξιολόγηση

10

PRET A Rapporter

- Ένα πλαίσιο αξιολόγησης το οποίο δίνει έμφαση στo περιβάλλον εργασίας στο οποίο συντελείται.

- Σύμφωνα με τους συγγραφείς έχει χαρακτηριστικά που βοηθούν την σχεδίαση μιας αξιολόγησης.

- Δομεί τις αξιολογήσεις σύμφωνα με:- τον σκοπό της αξιολόγησης- τις πηγές και τους περιορισμοί- τα ηθικά ζητήματα- τη συλλογή δεδομένων- την ανάλυση δεδομένων- την αναφορά δεδομένων

11

PRET A Rapporter

- To PRET A Rapporter κινείται περιπτωσιολογικά. Πρακτικά αυτό σημαίνει ότι εστιάζει σε συγκεκριμένες διαστάσεις σε κάθε μια από τις τρεις μελέτες που - ενδεικτικά - παρουσιάζει.- μια σχηματική αξιολόγηση ενός συστήματος- μια συγκριτική αξιολόγηση δύο διεπαφών της ίδιας βάσης- μια ποιοτική μελέτη ενός συστήματος σε χρήση

12

5SQual

- Στηρίζεται στο πολυ γνωστό πλαίσιο περιγραφής των ψηφιακών βιβλιοθηκών 5S (Streams, Structures, Spaces, Scenarios, & Societies).

- Το μοντέλο ορίζει κάποιες διαστάσεις (κριτήρια) που αντιστοιχούνται σε συστατικά στοιχεία των ψηφιακών βιβλιοθηκών.

- Οι συγγραφείς παραθέτουν μια σειρά από μελέτες, παραδείγματα χρήσης όπως λένε χαρακτηριστικά, όπου γίνεται εφαρμογή αυτών των κριτηρίων σε ψηφιακές βιβλιοθήκες, όπως ACM DL, CITIDEL και NDLTD.

13

14

Έννοια ΨΒ Διάσταση ποιότητας Έννοιες του 5S

Digital object Accessibility Societies (actor), Structures (metadata specification), Streams + Structures (structured streams)Pertinence Societies (actor), Scenarios (task)

Preservability Streams, Structures (structural metadata), Scenarios (process (e.g., migration)Relevance Streams + Structures (structured streams), Structures (query), Spaces (Metric,Similarity Same as in relevance, Structures (citation/link patterns)

Significance Structures (citation/link patterns)

Timeliness Streams (time), Structures (citation/link patterns)

Metadata specification Accuracy Structure (properties, values)

Completeness Structure (properties, schema)

Conformance Structure (properties, schema)

Collection Completeness Structure (collection)

Catalog Completeness Structure (collection)

Consistency Structure (collection)

Repository Completeness Structure (collection)

Consistency Structure (catalog, collection)

Services Composability See Extensibility, reusability

Efficiency Streams (time), Spaces (operations, contraints)

Effectiveness See Pertinence, Relevance

Extensibility Societies + Scenarios (extends, inherits_from, redefines)

Reusability Societies + Scenarios (includes, reuses)

Reliability Societies + Scenarios (uses, executes, invokes)

το πλαίσιο του Zachman

- Το Zachman Framework είναι ένα πλαίσιο εταιρικής αρχιτεκτονικής - John Zachman, IBM, αρχές του 1980.

- Αποτυπώνει μια τυπική και σε υψηλό επίπεδο δομημένη οπτική ενός οργανισμού. Μια ταξονομία για την οργάνωση δομικών στοιχείων του οργανισμού υπό το πρίσμα συγκεκριμένων οπτικών.

- Κατηγοριοποιεί και οργανώνει σε μια δυσδιάστατη περιοχή όλες τις έννοιες που χρειάζονται να είναι ομογενοποιημένες και εκφράζουν τις διάφορες προοπτικές του σχεδιασμού.- Σύμφωνα με τους συμμετέχοντες (εναλλακτικές προοπτικές).- Σύμφωνα με τις λειτουργίες (ερωτήσεις).

15

16

WhatData

HowProcess

WhereLocation

Who Worker

WhenTiming

WhyMotivation

Scope [Planner]

CoreBusiness Concepts

MajorBusiness

Transformations

BusinessLocations

PrincipalActors

Business Events

Mission& Goals

Business Model

[Owner]Fact Model Tasks

BusinessConnectivity

Map

WorkflowModels

BusinessMilestones

PolicyCharter

System Model[Evaluator]

DataModel

BehaviorAllocation

Platform &Communications

MapBRScripts

StateTransitionDiagrams

RuleBook

Technology Model

[Evaluator]

RelationalDatabaseDesign

ProgramSpecifications

Technical Plat-form & Commu- nications Design

Procedure &Interface

Specifications

Work Queue & Scheduling

Designs

RuleSpecifications

Detail representation

[Evaluator]DatabaseSchema

Source Code Network

Procedures &Interfaces

Work Queues & Schedules

RuleBase

Functioning Bus

[Evaluator]OperationalDatabase

OperationalObject Cod

OperationalNetwork

OperationalProcedures &

Interfaces

OperationalWork Queues& Schedules

OperationalRules

ο πίνακας του Zachman

μια οντολογική αναπαράσταση της αξιολόγησης των ψηφιακών βιβλιοθηκών

μέρος β’

γιατί μια οντολογία;

- Τυπικα μοντέλα που μας βοηθούν:- να καταλάβουμε ένα πεδίο γνώσης. Στη συγκεκριμένη

περίπτωση το πεδίο αξιολόγησης ψηφιακών βιβλιοθηκών.- να οικοδομηθεί μια βάση γνώσης για την αντιπαράθεση

διαφορετικών στιγμιοτύπων. Στη συγκεκριμένη περίπτωση στιγμιότυπα αξιολόγησης των ψηφιακών βιβλιοθηκών.

- να συμπεράνουμε κάποια λογική εξέλιξη. Στη συγκεκριμένη περίπτωση να υποστηρίξουν τον σχεδιασμό αξιολογήσεων.

18

γιατί μια οντολογία;

- Τα προηγούμενα σχήματα τοποθετούνται “κάθετα” σε συγκεκριμένους χώρους, π.χ. το PRET A Rapporter έχει μια HCI οπτική ή το 5SQual εξετάζει τη διάσταση της ποιότητας.

- Δηλώνουν έννοιες (συστατικά), είτε των ψηφιακών βιβλιοθηκών, είτε της αξιολόγησης, αλλά όχι τις μεταξύ τους συσχετίσεις.- Στόχος είναι μέσω των συσχετίσεων να αναδειχθούν οι

σύνδεσμοι μεταξύ των εννοιών και να ενισχυθούν αυτές σημασιολογικά.

- Επίσης είναι δυνατό να εκφραστούν μονοπάτια, τα οποία αναδεικνύουν εναλλακτικές ή συμπληρωματικές έννοιες και διαδρομές.

19

οντολογίες

- Χρησιμοποιούμε “συστατικά” όπως:

- Κλάσεις (αντιπροσωπεύουν έννοιες, οντότητες, κλπ.)

- Συσχετίσεις (σύνδεσμοι μεταξύ των εννοιών)

- Συναρτήσεις (περιορισμοί συσχετίσεων)

- Αξιώματα (αναπαράσταση αληθινών προτάσεων)

- Στιγμιότυπα (πραγματικά στοιχεία - αντιπρόσωποι κλάσεων)

20

διαδικασία σύνταξης

- Η DiLEO είναι αποτέλεσμα κάποιων διαδικασιών:- Βιβλιογραφική μελέτη και επισκόπηση

- με επιλογή των κατάλληλων εννοιών- με συνεχή εξερεύνηση των κατάλληλων συσχετίσεων

- Καταγραφή της σε γλώσσα OWL- Πιστοποίηση

- μέσα από τη συζήτηση και την άσκηση στα πλαίσια του tutorial στο ECDL 2010

- μέσα από μια συζήτηση εστίασης (focus group) με ερευνητές του πεδίου μας

21

μια τυπική απεικόνιση της αξιολόγησης

- Ανάπτυξη σε OWL με το Protégé Ontology Editor- http://protege.stanford.edu/

22

το ανώτερο επίπεδο

Dimensionseffectiveness, performance measurement, service quality, technical excellence, outcomes assessment

Subjects

Objects

Characteristics

Levelscontent level, processing level, engineering level, interface level, individual level, institutional level, social level

Goalsdescribe, document, design

Research uestions

Dimensions Typeformative, summative, iterative

hasDiminsionsType

isAffecting / isAffectedBy

isCharacterizing/isCharacterizedBy

isFocusingOnisAimingAt

isOperatedByisOperating

isDecomposedTo

23

isCharacterizing/isCharacterizedBy

το κατώτερο επίπεδο

Activityrecord, measure, analyze, compare, interpret, report, recommend

MeansComparison studies, expert studies, laboratory studies, field studies, logging studies, surveys

Factorscost, inastructure, personnel, time

Means Typesqualitative, quantitative

Instrumentsdevices, scales, soware, statistics, narrative items, research artifacts

Findings

Criteriaspecific aims, standards, toolkits

Metricscontent initiated, system initiated, user initiated

Criteria Categories

isSupporting/isSupportedBy

hasPerformed/isPerformedIn

hasSelected/isSelectedIn

hasMeansType

isMeasuredBy/isMeasuring

isUsedIn/isUsing

isGrouped/isGrouping

isSubjectTo

isDependingOn

isReportedIn/isReporting

24

σύνδεση μεταξύ των επιπέδων

Dimensionseffectiveness, performance measurement, service quality, technical excellence, outcomes assessment

SubjectsLevelscontent level, processing level, engineering level, interface level, individual level, institutional level, social level

Research uestions Activityrecord, measure, analyze, compare, interpret, report, recommend

MeansComparison studies, expert studies, laboratory studies, field studies, logging studies, surveys

Findings

Objects

Metricscontent initiated, system initiated, user initiated

isAddressing

isAppliedTohasConstituent/isConstituting

hasInitiatedFrom

25

Συσχέτιση Πεδίο ορισμού Πεδίο τιμών

isCitedIn / inverse: isCiting Appellations/study identifier (AP/stid) Appellations/study reference (AP/strf)

Constraints: max cardinality=1Constraints: max cardinality=1Constraints: max cardinality=1

hasDimensionsType Dimensions (D) Dimensions Type (DT)

Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative)Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative)Constraints: min cardinality=1, ∃ (formative ∪ summative ∪ iterative)

isAffecting inverse: isAffectedBy Dimensions (D) Level (L)

min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level)min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level)min cardinality =1, ∃ (content level ∪ engineering level ∪ processing level ∪ interface level ∪ individual level ∪ institutional level ∪ social level)hasConstituent / inverse: isConstituting Dimensions (D) Activities (A)

Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)

isSupporting / inverse: isSupportedBy Instruments (I) Activities (A)

Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)Constraints: min cardinality =1, ∃ (record ∪ measure ∪ analyze ∪ compare ∪ interpret ∪ report ∪ recommend)

συσχετίσεις

- Μερικές από τις σαράντα (40) συσχετίσεις

26

χρήση της οντολογίας

- χρησιμοποιούμε “μονοπάτια” της οντολογία για να εκφράσουμε ρητώς μια ροή ή μια απαίτηση. Για παράδειγμα:

- Activities/analyze - isPerformedIn - Means/logging studies- hasMeansType - Means Type/quantitative

27

Activityrecord, measure, analyze, compare, interpret, report, recommend

MeansComparison studies, expert studies, laboratory studies, !eld studies, logging studies, surveys

Means Typesqualitative, quantitative

isPerformedIn hasMeansType

χρήση της οντολογίας

- Level/individual level - isAffectedBy - Dimensions/performance measurement - isFocusingOn - Objects/usage of content/usage of data - isOperatedBy - Subjects/human agents - isCharacterizedby - Characteristics/experience

- ... isCharacterizedby - Characteristics/discipline

- ... isCharacterizedby - Characteristics/age

28

Dimensionseffectiveness, performance measurement, service quality, technical excellence, outcomes assessment

Subjectssystem agents, human agents

Objectsusage of content: usage of data, usage of metadata

Characteristicsage, count, discipline, experience, profession,

Levelscontent level, processing level, engineering level, interface level, individual level, institutional level, social level

isAffectedBy

isFocusingOnisOperatedBy

isCharacterizedby

στιγμιότυπα

- Εισαγωγή στιγμιοτύπων στο Protégé.

29

παραδείγματα ερωτήσεων

- Ρωτάμε τη βάση γνώσης με SPARQL ερωτήματα- Ας υποθέσουμε ότι θέλουμε να σχεδιάσουμε μια αξιολόγηση με

μελέτη αρχείων καταγραφής (logs).- Κατά τον σχεδιασμό της αξιολόγησης μας ενδιαφερόμαστε να

μάθουμε τα ερευνητικά ερωτήματα των αντίστοιχών μελετών.- Για να αντλήσουμε αυτή την πληροφορία από τη βάση γνώσης

θα χρειαστεί να συντάξουμε ένα SPARQL ερώτημα.

30

SPARQL ερώτημαSELECT DISTINCT ?Research_QuestionsInst ?MeansWHERE { ?Research_QuestionsInst a<Research_Questions>. ?Dimensions a<Technical_Excellence>. ?Activity a <Record>. ?Means a <Logs>. ?Research_QuestionsInst<isBelongingTo> ?Dimensions. ?Dimensions<hasConstituent> ?Activity. ?Activity<isPerformedIn> ?Means }

παραδείγματα ερωτήσεων

- Το ερώτημα και οι απαντήσεις θα έχουν αυτή τη μορφή:

31

απαντήσειςτα ερευνητικά ερωτήματα (στην πρώτη στήλη) από δύο μελέτες (wm2008c και

nzdl2000) που έκαναν χρήση αρχείων καταγραφής (στη δεύτερη στήλη),

πηγές

- Η βιβλιογραφία βρίσκεται διαθέσιμη στο:http://www.mendeley.com/groups/731821/dileo/

32