Εξόρυξη Δεδομένων και Τεχνητά Νευρωνικά Δίκτυα

1

Εξόρυξη Δεδομένων και Τεχνητά Νευρωνικά Δίκτυα

Εργαστήριο Νευρωνικών ΔικτύωνΤμήματος Εφαρμοσμένης Πληροφορικής

Πανεπιστημίου Μακεδονίας

ΣΕΠΤΕΜΒΡΙΟΣ 2005

2

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ

Τα τεχνητά νευρωνικά δίκτυα βρίσκουν ευρεία εφαρμογή σε πάρα πολλές εφαρμογές εξόρυξης δεδομένων οι πιο σημαντικές από τις οποίες περιλαμβάνουν

•ΠΡΟΒΛΕΨΗ ΠΩΛΗΣΕΩΝ•ΕΛΕΓΧΟ ΒΙΟΜΗΧΑΝΙΚΩΝ ΔΙΑΔΙΚΑΣΙΩΝ•ΕΡΕΥΝΑ ΠΕΛΑΤΩΝ•ΕΠΙΚΥΡΩΣΗ ΔΕΔΟΜΕΝΩΝ•ΔΙΑΧΕΙΡΙΣΗ ΡΙΣΚΟΥ

3


Δομή και λειτουργία τεχνητού νευρώνα

Φ

Συνάρτηση ενεργοποίησης

4


Τυπική δομή τεχνητού νευρωνικού δικτύου

Ν

5


Τα τεχνητά νευρωνικά δίκτυα μπορούν να διαχωριστούν σε δύο κατηγορίες

Feed-forward ANNs: η πληροφορία ρέει από το επίπεδο εισόδου προς το επίπεδο εξόδου

Recurrent ANNs: η πληροφορία επιστρέφει σε προηγούμενο επίπεδο (γνωστό ως context layer) που με τη σειρά του ανατροφοδοτεί το κρυφό στρώμα

6


Τα νευρωνικά δίκτυα εκπαιδεύονται κυρίως με τρεις διαφορετικούς τρόπους

Το σύνολο προτύπων περιέχει τόσο διανύσματα εισόδου όσο και διανύσματα εξόδου. Ο στόχος της εκπαίδευσης είναι η ελαχιστοποίηση του καθολικού σφάλματος και η προσαρμογή των τιμών των σωστών βαρών με τέτοιο τρόπο ώστε όταν διαβιβάζουμεστο δίκτυο τη σωστή είσοδο αυτό να αναπαράγει τη σωστή έξοδο.

ΕΚΠΑΙΔΕΥΣΗ ΜΕ ΕΠΟΠΤΕΙΑ

ΕΚΠΑΙΔΕΥΣΗ ΧΩΡΙΣ ΕΠΟΠΤΕΙΑ

Το σύνολο προτύπων περιέχει μόνο διανύσματα εισόδου τα οποία ομαδοποιούνται με βάση τα κοινά τους χαρακτηριστικά. Ο στόχος είναι και εδώ η ελαχιστοποίηση μιας συνάρτησης σφάλματος.

ΕΚΠΑΙΔΕΥΣΗ ΜΕ ΑΝΤΑΓΩΝΙΣΜΟ

Οι νευρώνες ανταγωνίζονται για το ποιος θα συμμετάσχει πιο ενεργά στην εκπαίδευσηκαι κάποιος από αυτούς χαρακτηρίζεται ως ο νικητής νευρώνας. Το επιθυμητό αποτέλεσμα είναι η αναπαράσταση μιας κλάσης διανυσμάτων εισόδου από ένα και μοναδικό νευρώνα εξόδου. Με τον τρόπο αυτό η κλάση του κάθε διανύσματος ταυτοποιείται από τον μοναδικό νευρώνα που ενεργοποιείται σε κάθε περίπτωση.

7


Πολυ-επίπεδο FEED FORWARD νευρωνικό δίκτυοΕκπαίδευση με εποπτείαΕφαρμογή του κανόνα εκμάθησης του Back Propagation

ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ BACK PROPAGATION

Ανατροδοφοτούμενο δίκτυο Back Propagation

8


ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ RBF (RADIAL BASIS FUNCTION NETWORK)

Η εκπαίδευση του δικτύου συνίσταται στην ταυτοποίηση των κέντρων ενώ η προσαρμογή των βαρών των νευρώνων του επιπέδου εξόδου πραγματοποιείται με τη μέθοδο των ελαχίστων τετραγώνων.

9


ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ SOM (SELF ORGANIZING MAP)

Αποτελείται από ένα επίπεδο εισόδου και ένα επίπεδο εξόδου οι νευρώνες του οποίου είναι τοποθετημένοι στους κόμβους ενός δισδιάστατου πλέγματος

Δεν υπάρχει κρυφό στρώμα

Είναι Feed Forward δίκτυο και λειτουργείμε εκπαίδευση χωρίς εποπτεία.

Στηρίζεται στην αρχή της αυτο-οργάνωσηςγια την απεικόνιση των διανυσμάτωνεισόδου σε ένα τοπολογικό χάρτη

Γενίκευση του δικτύου του KOHONEN είναιτο δίκτυο LVQ που χρησιμοποιείεκπαίδευση με εποπτεία

10


ΝΕΥΡΩΝΙΚΟ ΔΙΚΤΥΟ SOM (SELF ORGANIZING MAP)

Για κάθε πρότυπο είσόδου

Ο κάθε νευρώνας του πλέγματος υπολογίζει την έξοδό τουΤαυτοποιείται ο νευρώνας που δίνει τη μεγαλύτερη έξοδο Ο εν λόγω νευρώνας χαρακτηρίζεται ως ο νικητής νευρώναςΤα βάρη του νικητή νευρώνα αναβαθμίζονται στις νέες τιμές τους ενώ το ίδιο συμβαίνει και με τα βάρη των νευρώνων που βρίσκονται εντός περιοχής συγκεκριμένης ακτίνας με κέντρο το νικητή νευρώνα

Εάν κατά τη διάρκεια της εκπαίδευσης ενεργοποιείται πάντα ο ίδιος νευρώναςχρησιμοποιείται το μέγεθος της συνείδησης

Τα δίκτυα του Kohonen είναι ιδιαίτερα χρήσιμα σε προβλήματα εξόρυξης δεδομένων καθώς επιτρέπουν την ταξινόμηση των προτύπων εισόδου σε διάφορες κλάσεις

11


Πιθανοκρατικά νευρωνικά δίκτυα

Feed Forward ANNsΧρησιμοποιούν εκπαίδευση με εποπτείαΗ αναπροσαρμογή των βαρών στηρίζεται στη χρήση μιας νέας κρυφής μονάδας τα βάση της οποίας ταυτίζονται με το τρέχον διάνυσμα εισόδου

ΆΛΛΕΣ ΔΟΜΕΣ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ

Adaptive Resonance Theory

Ανατροφοδοτούμενα δίκτυα που χρησιμοποιούνται για clusteringΣτηρίζονται στη χρήση του νικητή νευρώνα όπως και τα δίκτυα SOMΤο διάνυσμα βαρών του νικητή υποτίθεται πως κωδικοποιεί το διάνυσμα εισόδου. Εάν αυτό δεν ισχύει ο νικητής ‘καθαιρείται’ και ως νέος νικητής θεωρείται αυτός που βρίσκεται πιο κοντά στον παλαιό

ARTMAP Architectures

Γενίκευση των δικτύων ART που λειτουργούν υπό συνθήκες εκπαίδευσης με εποπτεία.

12


ΕΦΑΡΜΟΓΕΣ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΣΕ ΔΙΑΔΙΚΑΣΙΕΣ ΕΞΟΡΥΞΗΣ ΔΕΔΟΜΕΝΩΝ

13


ΚΡΙΤΗΡΙΑ ΕΠΙΛΟΓΗΣ ΤΟΥ ΚΑΤΑΛΛΗΛΟΥ ΝΕΥΡΩΝΙΚΟΥ ΔΙΚΤΥΟΥ

Ταυτοποίηση της Φύση του προβλήματοςΚατατάσσουμε το πρόβλημα σε μία από τις παραπάνω κατηγορίες (clustering, classification, modeling, time series approximation) και διαλέγουμε το μοντέλο σύμφωνα με τον παραπάνω πίνακαΈλεγχος του τύπου των δεδομένωνΓια δυαδικά δεδομένα συνίσταται η χρήση δικτύου ART ενώ για πραγματικές τιμές επιλέγουμε δίκτυα Kohonen. Έλεγχος του μεγέθους των δεδομένων και του τύπου της εκπαίδευσηςΓια Online training επιλέγουμε ART και RBF διότι είναι πολύ πιο γρήγορα σε σχέση με τα δίκτυα Back Propagation που χαρακτηρίζονται από πολύ αργή σύγκλιση.

14


ΑΝΤΙΜΕΤΩΠΙΣΗ ΠΡΟΒΛΗΜΑΤΩΝ

Εάν το δίκτυο δεν συγκλίνει πραγματοποιούμε κατά σειρά τις παρακάτω διαδικασίες

Ελέγχουμε τη μεταβολή του μέσου τετραγωνικού σφάλματος σε συνάρτηση με το χρόνο.

Αν παραμένει σταθερό πραγματοποιούμε εκ νέου την εκπαίδευση με διαφορετικές αρχικές τιμές βαρών.

Αν ταλαντεύεται ανάμεσα σε δύο τιμές έχει εγλωβιστεί σε τοπικό ελάχιστο και προσπαθούμε να το απεγκλωβίσουμε προσθέτοντας στα βάρη τυχαίο θόρυβο.

Τροποποιούμε τη δομή του δικτύου προσθέτοντας κρυφούς νευρώνες ή/και κρυφά στρώματα. Ας σημειωθεί πάντως πως στις πιο πολλές περιπτώσεις η χρήση ενός κρυφού στρώματος είναι αρκετή.

15


ΑΝΤΙΜΕΤΩΠΙΣΗ ΠΡΟΒΛΗΜΑΤΩΝ

Μεταβάλλουμε την αναπαράσταση των δεδομένων προσπαθώντας να τα ανάγουμε σε πιο βέλτιστη μορφή. Ας αναφέρουμε ωστόσο πως αν η επιλογή των δεδομένων προς εκμάθηση δεν έχει γίνει σωστά και υπάρχουν σημαντικές παράμετροι που δεν έχουν ληφθεί υπ’ όψιν, η διαδικασία της εκπαίδευσης ίσως είναι καταδικασμένη σε αποτυχία, ό,τι και εάν κάνουμε.

ΠΛΕΟΝΕΚΤΗΜΑΤΑ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ

Είναι ευλύγιστα, εύκολα παραμετροποιήσιμα και μπορούν να χρησιμοποιηθούν τόσο για πρόβλεψη όσο και για κατηγοριοποίησηΑποδίδουν κατά σε πολύπλοκα προβλήματα εκεί όπου άλλες τεχνικές αποτυγχάνουν.Μπορούν να εφαρμοσθούν εύκολα στην πράξη καθώς υπάρχουν διαθέσιμα προγράμματα προσομοίωσης ακόμη και υπό τη μορφή ανοικτού λογισμικού.

ΜΕΙΟΝΕΚΤΗΜΑΤΑ ΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ

Χαρακτηρίζονται από μεγάλους χρόνους σύγκλισης ενώ η λύση στην οποία καταλήγουν δεν είναι σίγουρο πως είναι η βέλτιστη.

Εξόρυξη Δεδομένων και Τεχνητά Νευρωνικά Δίκτυα

Documents

Transcript of Εξόρυξη Δεδομένων και Τεχνητά Νευρωνικά Δίκτυα