Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και...

Δρ. Παναγιώτης Συμεωνίδης – Βάσεις και Εξόρυξη Δεδομένων 1Δρ. Παναγιώτης Συμεωνίδης – Βάσεις και Εξόρυξη Δεδομένων 1

Δρ. Παναγιώτης Συμεωνίδης

Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής

Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών

Αριστοτέλειο Πανεπιστήμιο Θεσ/νικης

http://delab.csd.auth.gr/~symeonhttp://delab.csd.auth.gr/~symeon

ΒΑΣΕΙΣ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ

Δρ. Παναγιώτης Συμεωνίδης – Βάσεις και Εξόρυξη Δεδομένων 2

Βάση Δεδομένων - Ορισμός

Σύστημα Διαχείρισης Βάσεων Δεδομένων (database management system):

Είναι μία συλλογή λογισμικού, η οποία υλοποιεί όλες οι λειτουργίες που πρέπει να υποστηριχθούν, όπως αναζήτηση, εισαγωγή, διαγραφή, συγχρονισμός προσπελάσεων, προστασία και πολλές ακόμη.


Διαγραμματική απεικόνιση μιας Βάσης Δεδομένων


Πλεονεκτήματα Βάσεων Δεδομένων

Περιγραφή Δεδομένων (μεταδεδομένα = δεδομένα για τα δεδομένα, κατάλογος συστήματος).

Ανεξαρτησία Δεδομένων και Λειτουργιών (δεν αλλάζουν τα προγράμματα εφαρμογής όταν αλλάζουν τα δεδομένα).

Αποδοτικότερη Διαχείριση Δεδομένων (ο προγραμ-ματιστής επικεντρώνεται στην εφαρμογή και όχι στα δεδομένα και τους αλγορίθμους επεξεργασίας τους).


Προστασία Δεδομένων και Δικαιώματα Χρηστών (για κάθε σύνολο δεδομένων ξεχωριστά).

Μηχανισμοί Ταυτόχρονης Προσπέλασης (προσφέρονται από το σύστημα μηχανισμοί κλειδαριών).

Πλεονεκτήματα Βάσεων Δεδομένων


Πολυμεσικές εφαρμογές (multimedia DBs) Διαχείριση γεωγραφικών πληροφοριών (GIS)Άμεση αναλυτική επεξεργασία (OLAP)Εξόρυξη δεδομένων (data mining)Ανάκτηση πληροφορίας (information retrieval)Διαχείριση κινούμενων αντικειμένων (moving objects)Κινητός υπολογισμός (mobile computing)

Σύγχρονες Εφαρμογές


Εξόρυξη Δεδομένων - Ορισμός

Η εξαγωγή πληροφορίας από μεγάλες βάσεις δεδομένων:

ενδιαφέρουσας

νέας (μη γνωστής εκ των προτέρων)

μη προφανούς

χρήσιμης (αξιοποιήσιμης)

Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 10


Κίνητρο για εξόρυξη

“Παντού δεδομένα…”Σχεσιακές βάσειςαποθήκες δεδομένωνδεδομένα συναλλαγών (ATM, υπερκαταστήματα) χωρικά δεδομένα (GIS, δορυφόροι) δεδομένα χρονοσειρών πολυμεσικά δεδομένα (φωνή, εικόνα) δεδομένα Ιστού (logs, ιστοσελίδες)

Αντί “προβλήματος”, πηγή πλεονεκτήματος



Εξόρυξη ως διαδικασία

Καθαρισμός

Βάσεις Δεδομένων

Αποθήκη Δεδομένων

Εξόρυξη Δεδομένων

Αποτίμηση Προτύπων

Ανάδραση

Δρ. Παναγιώτης Συμεωνίδης – Αποθήκες και Εξόρυξη Δεδομένων 12


ΑΠΟΘΗΚΕΣ & ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ

Εξόρυξη ΔεδομένωνΚατηγοριοποίησηΟμαδοποίησηΚανόνες ΣυσχέτισηςΧρονοσειρές

Εξόρυξη από τον Παγκόσμιο Ιστό

Δεδομένα Δομής (PageRank, HITS)Δεδομένα ΠεριεχομένουΔεδομένα Χρήσης

Υλοποίηση Βάσεων και Αποθηκών Δεδομένων

Δημιουργία ΚύβωνAnalysis Servicesvisualization

Αποθήκες & Εξόρυξη

Δεδομένων


ΣΚΟΠΟΣ ΤΟΥ ΜΑΘΗΜΑΤΟΣ

Τρεις διδακτικοί στόχοι:

1. Γνώση προχωρημένων θεμάτων Βάσεων και Εξόρυξης Δεδομένων.

2. Ικανότητα για κριτική αξιολόγηση ερευνητικών εργασιών στην Εξόρυξη Δεδομένων.

3. Εφαρμογή αλγορίθμων Εξόρυξης Δεδομένων για την επίλυση προβλημάτων.

ΒΙΒΛΙΟΓΡΑΦΙΑ

[1] Introduction to Data Mining(Tan, Steinbach, Kumar)

[2] Mining of Massive Datasets (Rajaraman, Leskovec, Ullman)

[3] Εισαγωγή στην εξόρυξη και τις αποθήκες δεδομένων

(Νανόπουλος, Μανωλόπουλος)

Miningof

MassiveDatasets

Anand RajaramanJure Leskovec

Jeffrey D. Ullman

ΒΙΒΛΙΟΓΡΑΦΙΑ

[4] Βάσεις, Αποθήκες και Εξόρυξη δεδομένων


ΒΑΘΜΟΛΟΓΙΑ ΜΑΘΗΜΑΤΟΣ

ΠΑΡΟΥΣΙΑΣΗ ΕΡΕΥΝΗΤΙΚΗΣ ΕΡΓΑΣΙΑΣ (2 μονάδες)

ΣΥΝΘΕΤΙΚΗ ΕΡΓΑΣΙΑ (3 μονάδες)

ΕΞΕΤΑΣΕΙΣ (5 μονάδες)

*Οι μονάδες αθροίζονται χωρίς προϋποθέσεις


ΠΑΡΟΥΣΙΑΣΗ ΕΡΕΥΝΗΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Δυνατότητες επιλογής Θέματος1. State-of-the-art papers from Conferences or Workshops 2. Papers from Data Engineering Lab (DELAB) 3. DM Book project Topics

Τρόπος ΠαρουσίασηςΔιάλεξη 15 λεπτώνΠροβολή διαφανειών σε Power Point (30 διαφάνειες)Ερωτήσεις – Συζήτηση (5 λεπτά)


ΣΥΝΘΕΤΙΚΗ ΕΡΓΑΣΙΑ

Χρήση του MS SQL Server 2014 R2 Business Intelligence

ΣενάριοΜια επιχείρηση διαθέτει μια βάση δεδομένων με στοιχεία των πελατών της. Θα σας δοθούν τρία προβλήματα που αντιμετωπίζει η επιχείρηση και θα προτείνετε λύσεις.

Εφαρμογή αλγορίθμων Εξόρυξης δεδομένωνΑλγόριθμοι Δέντρου, Συστάδων, Χρονοσειρών και Κανόνων Συσχέτισης

Παραδοτέα Προσδιορισμός πιθανών μοντέλων

Διαγράμματα κύβου, δέντρου, χρονοσειρών, συστάδων και κανόνων συσχέτισης Αξιολόγηση των πιθανών μοντέλων Επιλογή καλύτερου μοντέλου


Εξετάσεις

Ύλη μαθήματος (5-6 κεφάλαια από τα βιβλία που προτείνονται)

Θα πρέπει να απαντηθούν πέντε θέματα (1 μονάδα το καθένα)


Μάθημα 1 : Διάγραμμα & περιγραφή Μαθήματος (Syllabus)Μάθημα 2 : Βασικές έννοιες στις Βάσεις ΔεδομένωνΜάθημα 3 : Προχωρημένες έννοιες Βάσεων ΔεδομένωνΜάθημα 4 : MS SQL Server 2014 (Δημιουργία/Ερωτημ. ΒΔ)Μάθημα 5 : ΚατηγοριοποίησηΜάθημα 6 : Κανόνες Συσχέτισης Μάθημα 7 : Ομαδοποίηση Μάθημα 8 : Χρονοσειρές Θεωρία και SQL Server 2014Μάθημα 9 : MS SQL Server 2014 (Ομαδοποίηση)Μάθημα 10 : MS SQL Server 2014 (Κατηγοριοποίηση)Μάθημα 11 : MS SQL Server 2014 (Κανόνες Συσχέτισης)Μάθημα 12 : Εξόρυξη Δεδομένων Παγκόσμιου ΙστούΜάθημα 13 : Εξόρυξη Δεδομένων Ειδικού Σκοπού

Οργάνωση του Μαθήματος


Βάσεις Δεδομένων

Εκτεταμένο μοντέλο οντοτήτων συσχετίσεων

Δημιουργία Βάσης ΔεδομένωνΕρωτήματα σε βάση δεδομένων


Θέματα Ομαδοποίησης

K-meansAgglomerative Hierarchical ClusteringDensity-based algorithms (DBSCAN)Graph-based algorithms (Two-way nCut)Scalable Clustering algorithmsCluster Evaluation


Θέματα Κατηγοριοποίησης

Decision Tree ClassifierModel OverfittingNaïve Bayes ClassifierNearest Neighbor ClassifierEvaluating and Comparing ClassifiersEnsemble Methods


Θέματα Κανόνων Συσχέτισης

Frequent Itemset Generation (Apriori)Alternative Itemset Generation (FP-Growth)Sequential Patterns (temporal information)Recommendations based on Ass. Rules

(cross-sales)Evaluation of Association Patterns

Δρ. Παναγιώτης Συμεωνίδης – Προηγμένη Εξόρυξη Δεδομένων 27

MS SQL Server 2014 (Δημιουργία Κύβου)

Δημιουργία Κύβου ΔεδομένωνΠροβολή του Κύβου ΔεδομένωνΑξιολόγηση του Κύβου Δεδομένων


MS SQL Server 2014 (Κατηγοριοποίηση)

Εφαρμογή αλγορίθμου Δέντρου ΑπόφασηςΠαράμετροι ΑλγορίθμουΠροβολή του Δέντρου ΑπόφασηςΑξιολόγηση του Δέντρου Απόφασης


MS SQL Server 2014 (Ομαδοποίηση)

Εφαρμογή αλγορίθμου ΟμαδοποίησηςΠαράμετροι ΑλγορίθμουΠροβολή συστάδωνΑξιολόγηση των συστάδων


MS SQL Server 2014 (Κανόνες Συσχέτισης)

Εφαρμογή αλγορίθμου Κανόνων Συσχέτισης Παράμετροι Αλγορίθμου Προβολή Κανόνων Συσχέτισης Αξιολόγηση των Κανόνων Συσχέτισης


MS SQL Server 2014 (Χρονοσειρές)

Εφαρμογή αλγορίθμου Χρονοσειρών (ARIMA, ARTXP, mixed) Παράμετροι Αλγορίθμου (Periodicity, Forecast method, missing values

substitution, etc.) Προβολή του μοντέλου time series Αξιολόγηση των μοντέλου time series


Εξόρυξη Δεδομένων Χρήσης ΠΙ

Χρησιμοποιεί δεδομένα από αρχεία καταγραφής των ιστοσελίδων (Log files) και από τα προφίλ των χρηστών (π.χ. βαθμολογίες χρηστών σε προϊόντα)

Εφαρμογές : Συστήματα Συστάσεων Συνεργατικής Διήθησης. (Recommender Systems)

Item1 Item2 Item3 Item4

User1 - 4 2 -

User2 - 3 4 -

User3 4 - - 4

User4 5 - 5Βαθμός

1 έως 5


Μάθημα 7 : Εξόρυξη Δεδομένων Χρήσης ΠΙ

Data CollectionSession AnalysisCollaborative FilteringRecommender SystemsSocial Tagging• Singular Value DecompositionTensor Dimensionality Reduction


Εξόρυξη Δεδομένων Περιεχομένου ΠΙ

χρησιμοποιεί το περιεχόμενο των ιστοσελίδων (κείμενο, λέξεις κτλ.) προκειμένου να βρει ομοιότητα μεταξύ τους.

Εφαρμογές : Συστήματα Προτάσεων Βάσει περιεχομένου, Ανάκτηση Πληροφοριών.

Term1 Τerm2 Τerm3 Τerm4

Web page1 12 10 - -

Web page2 8 9 - -

Web page3 - 5 5 3

Web page4 - 4 6 8Συχνότητα


Εξόρυξη Δεδομένων Περιεχομένου ΠΙ

Information Retrieval ModelsWeb Page Pre-processingLatent Semantic IndexingWeb SpammingContent-based Collaborative FilteringExplanations in Recommender Systems


Εξόρυξη Δεδομένων Δομής ΠΙ

Ανακαλύπτει ενδιαφέρουσα γνώση από υπερσυνδέσμους μεταξύ ιστοσελίδων του ΠΙ.

Εφαρμογές : Μηχανές Αναζήτησης, Ανακάλυψη Κοινοτήτων κτλ.


Εξόρυξη Δεδομένων Δομής ΠΙ

Social Network Analysis (friendship network)

Web Search and Search Engines PageRank & Random walk with

restart HITS and SimRank Community Discovery


Εξόρυξη Δεδομένων Ειδικού Σκοπού

Data Mining and Audience Intelligence for Advertising (ADKDD 2012)

Multimedia Data Mining (MDM/KDD 2012)Knowledge Discovery on the Web (WebKDD 2012)

Knowledge Discovery from Sensor Data (Sensor-

KDD 2012)


Εξόρυξη Δεδομένων Ειδικού Σκοπού

Data Mining in Bioinformatics (BIOKDD 2012) Data Mining using Matrices and Tensors (KDD

2012) Large-Scale Recommender Systems (KDD 2012)Social Network Mining and Analysis (SNA-KDD

2012) ASONAMRecSysPKDD


Δρ. Παναγιώτης Συμεωνίδης

Εργ. Τεχνολογίας και Επεξεργασίας Δεδομένων Τμήμα Πληροφορικής

Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών

Αριστοτέλειο Πανεπιστήμιο Θεσ/νικης

http://delab.csd.auth.gr/~symeonhttp://delab.csd.auth.gr/~symeon

ΑΠΟΘΗΚΕΣ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ

Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και...

Documents

Transcript of Δρ. Παναγιώτης Συμεωνίδης Εργ. Τεχνολογίας και...