ΠΛΗ31 ΜΑΘΗΜΑ 3.3

ΠΛΗ31

ΕΝΟΤΗΤΑ 3: ΝΕΥΡΩΝΙΚΑ ∆ΙΚΤΥΑ

Μάθηµα 3.3:

∆ίκτυα Εµπρόσθιας Τροφοδότησης - Εισαγωγή

∆ηµήτρης Ψούνης

ΠΕΡΙΕΧΟΜΕΝΑ

A.Θεωρία

1. Εισαγωγή

1. ∆ίκτυα Εµπρόσθιας Τροφοδότησης

2. Κυρτές Περιοχές

2. Μεθοδολογία Κατασκευής ΤΝ∆

1. ΤΝ∆ εµπρόσθιας τροφοδότησης για Κυρτή Περιοχή

2. ΤΝ∆ εµπρόσθιας τροφοδότησης για µη Κυρτή Περιοχή

Β.Ασκήσεις

1. Ασκήσεις Κατανόησης

2. Εφαρµογές

2 ∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.3: ∆ίκτυα Εµπροσθίας Τροφοδότησης - Εισαγωγή

A. Θεωρία 1. Εισαγωγή 1. ∆ίκτυα Εµπρόσθιας Τροφοδότησης


Στήνουµε Τ.Ν.∆. εφαρµόζοντας µεθοδολογίες σύνδεσης των νευρώνων. Τα δίκτυα εµπρόσθιας

τροφοδότησης αποτελούνται από:

• Το επίπεδο εισόδου

• Οι νευρώνες αυτού του επιπέδου δεν κάνουν καµία επεξεργασία του σήµατος, αλλά

απλά µεταφέρουν την είσοδο τους στα επόµενα επίπεδα του δικτύου. Οι νευρώνες

αυτοί καλούνται και αισθητήριοι νευρώνες.

• Ένα ή περισσότερα κρυφά επίπεδα.

• Είναι υπολογιστικοί νευρώνες διότι επεξεργάζονται το σήµα που λαµβάνουν.

• Το επίπεδο εξόδου

• Αποτελείται επίσης από υπολογιστικούς νευρώνες. Κάθε νευρώνας στέλνει ακµές σε όλους τους νευρώνες του επόµενου επιπέδου και µόνον σε αυτούς.

Σχηµατικά:

Ένα δίκτυο τοπολογίας: 3-2-3-2 Ένα δίκτυο τοπολογίας 3-2-3-2-3

Επιπεδο 0

(εισόδου)

Επιπεδο 1

(κρυφό)

Επιπεδο 2

(κρυφό)

Επιπεδο 3

(εξόδου) Επιπεδο 0

(εισόδου)

Επιπεδο 1

(κρυφό) Επιπεδο 2

(κρυφό)

Επιπεδο 4

(εξόδου) Επιπεδο 3

(κρυφό)

A. Θεωρία 1. Εισαγωγή 2. Κυρτές Περιοχές


Ορίζουµε ως:

• Κυρτή Περιοχή: Μια περιοχή του επιπέδου που αν επιλέξουµε οποιαδήποτε δύο σηµεία της

περιοχής και τραβήξουµε µία ευθεία γραµµή, η γραµµή αυτή θα περιλαµβάνεται εξ’

ολοκλήρου σε αυτήν. Οι κυρτές περιοχές διαχωρίζονται σε:

• Κλειστές κυρτές περιοχές : που τα σηµεία τους καθορίζονται από ένα κλειστό

πολύγωνο.

• Ανοικτές κυρτές περιοχές: που τα σηµεία της καθορίζονται από ένα ανοικτό πολύγωνο.

• Μη Κυρτή Περιοχή: Το αντίθετο της κυρτής, δηλαδή υπάρχουν σηµεία της που η ευθεία που

περνάει από αυτά βρίσκεται και εκτός της κυρτής περιοχής.

Κλειστές Κυρτές Περιοχές Ανοικτές Κυρτές Περιοχές Μη Κυρτή Περιοχή

A. Θεωρία 2. Μεθοδολογία Κατασκευής ΤΝ∆ 1. ΤΝ∆ εµπρόσθιας τροφοδότησης για Κυρτή Περιοχή


Μία κλειστή κυρτή περιοχή µπορεί να αναπαρασταθεί από ένα ΤΝ∆ τριών επιπέδων ως εξής:

• Στο επίπεδο εισόδου (επίπεδο 0) 0 θα έχουµε 2 νευρώνες (αφού δουλεύουµε στο επίπεδο)

• Θα έχουµε M κρυφούς νευρώνες στο επίπεδο 1, όπου M το πλήθος τως ευθειών που

απαιτούνται για τον διαχωρισµό της κυρτής περιοχής.

• Θα έχουµε Κ νευρώνες εξόδου, µε Κ να είναι Κ≤2Ν όπου Ν το πλήθος των διαφορετικών

κλάσεων που θέλουµε να διαχωρίσουµε τα δεδοµένα µας.

Παράδειγµα:

Άρα στο ΤΝ∆ θα πρέπει να έχω:

• 2 νευρώνες στην είσοδο

• 3 νευρώνες στο κρυφό επίπεδο (3 οι ευθείες

που χρειαζόµαστε)

• 1 νευρώνα στην έξοδο

A. Θεωρία 2. Μεθοδολογία Κατασκευής ΤΝ∆ 2. ΤΝ∆ εµπρόσθιας τροφοδότησης για Μη Κυρτή Περιοχή


Μία µη κυρτή περιοχή µπορεί να αναπαρασταθεί µε ένα ΤΝ∆ ως εξής:

• Σπάµε την µη κυρτή περιοχή σε ένωση κυρτών περιοχών.

• Για κάθε κυρτή περιοχή που προέκυψε κατασκευάζουµε ένα ΤΝ∆ τριών επιπέδων µε την

µεθοδολογία κατασκευής για κυρτές περιοχές.

• Θα έχουµε Κ νευρώνες εξόδου, µε Κ να είναι Κ≤2Ν όπου Ν το πλήθος των διαφορετικών

κλάσεων που θέλουµε να διαχωρίσουµε τα δεδοµένα µας.

A. Θεωρία 2. Μεθοδολογία Κατασκευής ΤΝ∆ 2. ΤΝ∆ εµπρόσθιας τροφοδότησης για Μη Κυρτή Περιοχή (Παραδείγµατα)


Να διαχωριστεί το παρακάτω σύνολο δεδοµένων:

Έχουµε δύο κυρτές περιοχές, άρα:

• Κατασκευάζουµε τα ΤΝ∆ για τις δύο περιοχές

• Ενώνουµε τα δύο ΤΝ∆ µε ένα ακόµη επίπεδο µε

ένα OR.

B.Ασκήσεις Ασκηση Κατανόησης 1

Στα παρακάτω ερωτήµατα επισηµαίνουµε ότι perceptron είναι ένας νευρώνας και

υποθέτουµε, όπου χρειάζεται, τη χρήση δικτύων από perceptrons µε ένα κρυµµένο

επίπεδο. Επιπλέον, διαφορετικά σχέδια σηµαίνουν διαφορετικές κλάσεις δεδοµένων

(π.χ. άσπρα, µαύρα, γκρι, κλπ).

∆ίνεται το ακόλουθο σύνολο δεδοµένων.

α1. Ποιός είναι ο ελάχιστος αριθµός γραµµών που πρέπει να σχεδιαστεί ώστε να

διαχωρίζονται οι δύο κλάσεις δεδοµένων;

α2. Πόσα perceptrons χρειαζόµαστε στο κρυµµένο επίπεδο;

α3. Πόσα perceptrons χρειαζόµαστε στο επίπεδο εξόδου;

α4. Σχεδιάστε (χωρίς βάρη ή κατώφλια) ένα τέτοιο δίκτυο που υλοποιεί το διαχωρισµό.

(Λάβετε υπόψη σας την απάντησή σας στα α1-α3 παραπάνω.)


Χ1

Χ2







β. ∆ίνεται το ακόλουθο σύνολο δεδοµένων.

β1. Πόσα perceptrons χρειαζόµαστε στο επίπεδο εξόδου;

β2. Πόσα perceptrons χρειαζόµαστε στο κρυµµένο επίπεδο;


Χ1

Χ2







γ1. Πόσα perceptrons χρειαζόµαστε στο επίπεδο εξόδου.


Χ1

Χ2

B.Ασκήσεις Εφαρµογή 1

∆ίνεται το παρακάτω ΤΝ∆ δύο επιπέδων

µε δύο κρυφούς νευρώνες και ένα

νευρώνα εξόδου.

Η συνάρτηση ενεργοποίησης που χρησιµοποιούν όλοι οι υπολογιστικοί νευρώνες

(νευρώνες του κρυφού επιπέδου και του επιπέδου εξόδου) είναι η συνάρτηση κατωφλίου

που δίνεται από τη σχέση:

και

∆είξτε ότι το παραπάνω δίκτυο επιλύει το πρόβληµα XOR (έχει µάθει δηλαδή τη

συνάρτηση XOR):


1, 0( )

0, 0

j

j

j

fυ

υυ

≥=

<j ji i

i

w xυ = ⋅∑


(A) Συµπληρώνοντας τον παρακάτω πίνακα

(B) Κατασκευάζοντας τις περιοχές απόφασης κάθε νευρώνα του δικτύου.


x1 x2 y3 y4 y5

0 0

0 1

1 0

1 1


Έστω ότι θέλουµε να διαχωρίσουµε το ακόλουθο σύνολο δεδοµένων:

Χρησιµοποιώντας ένα νευρωνικό δίκτυο. Θεωρούµε ότι οι µαύρες βούλες αντιστοιχούν σε κλάση 1 και οι λευκές

σε κλάση 0

1. Ποιος είναι ο ελάχιστος αριθµός γραµµών που διαχωρίζουν τις δύο κατηγορίες δεδοµένων;

2. Πάνω στο παραπάνω σχήµα σχεδιάστε τις γραµµές καθώς και τις περιοχές απόφασης που δηµιουργούνται:

3. Σχεδιάστε (χωρίς να βάλετε στο σχήµα τα βάρη και τα κατώφλια) το απλούστερο νευρωνικό δίκτυο που

διαχωρίζει το παραπάνω σύνολο δεδοµένων. Υποθέστε ότι όλοι οι νευρώνες είναι Perceptron.

4. Γράψτε τις εξισώσεις που περιγράφουν τη λειτουργία των νευρώνων του νευρωνικού δικτύου που

σχεδιάσατε.


X1

X2

ΠΛΗ31 ΜΑΘΗΜΑ 3.3

Education

Transcript of ΠΛΗ31 ΜΑΘΗΜΑ 3.3