ΠΛΗ31 ΜΑΘΗΜΑ 3.1

ΠΛΗ31ΕΝΟΤΗΤΑ 3: ΝΕΥΡΩΝΙΚΑ ∆ΙΚΤΥΑ

Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή

∆ηµήτρης Ψούνης

ΠΕΡΙΕΧΟΜΕΝΑ

A.Θεωρία

1. Εισαγωγή

1. Η δοµή του ανθρώπινου εγκέφαλου

2. Η λειτουργία ενός νευρώνα

1. Συναρτήσεις Ενεργοποίησης

2. Σκοπός του Νευρώνα

3. Perceptron

2. Νευρώνες και Λογικές Πύλες

1. Το πρόβληµα του OR

2. Το πρόβληµα του AND

3. Προβλήµατα Λογικών Πυλών

3. Γραµµική ∆ιαχωρισιµότητα

1. Ορισµοί

2. Παραδείγµατα

Β.Μεθοδολογία

1. Γραφική Επίλυση

2. Επίλυση µε Ανισώσεις

Β.Ασκήσεις

1. Ασκήσεις Κατανόησης

2. Εφαρµογές

2∆ηµήτρης Ψούνης, ΠΛΗ31, Μάθηµα 3.1: ∆ίκτυα ενός Νευρώνα - Εισαγωγή

A. Θεωρία1. Εισαγωγή1. Η δοµή του ανθρώπινου εγκεφάλου


Το στοιχειώδες υπολογιστικό εργαλείο του εγκεφάλου είναι το νευρωνικό κύτταρο (ή νευρώνας):• ∆έχεται εισόδους (από άλλους νευρώνες) µέσω των δενδριτών.• Εκτελείται µια ενέργεια στην σύναψη που παράγει την τελική είσοδο που θα

φτάσει στον πυρήνα του νευρώνα.• Ο πυρήνας του νευρώνα µαζεύει όλα τα σήµατα από τις συνάψεις και παράγει την

έξοδο του νευρώνα.• Η έξοδος αυτή µεταφέρεται µέσω του άξονα και σπάει σε δενδρίτες που είναι

είσοδοι σε επόµενους νευρώνες.Ο εγκέφαλος έχει περίπου 1010 νευρώνες και οι συνάψεις κάθε νευρώνα είναι αρκετές δεκάδες χιλιάδες!

A. Θεωρία1. Εισαγωγή2. Η λειτουργία ενός νευρώνα


Ένα δίκτυο ενός υπολογιστικού νευρώνα ακολουθεί την παρακάτω δοµή:

x1

x2

⋮xn

w1

w2

wn

Υπολογισµός δυναµικού ενεργοποίησης v:

⋯

Υπολογισµός εξόδου από την συνάρτηση ενεργοποίησης (ή µεταφορας):

⋯y

x3

w3

Είσοδοι

του νευρώνα

Βάρη των συνάψεων(συνήθως από -1 εώς 1)

Τα σήµατα αθροίζονται πολλαπλασιασµένα µε τα βάρη τους

Η τελική έξοδος υπολογίζεται από µια συνάρτηση του δυναµικού ενεργοποίησης

Ο νευρώνας παράγει πάντα µία µοναδική έξοδο!

x0

w0

H x0 είναι µια ειδική είσοδος που µπορεί να πάρει µόνο 3 τιµές:• x0=0 οπότε αγνοείται• x0= -1, τότε w0=θ (θ καλείται κατώφλι)• x0=1, τότε w0=b (b καλείται πόλωση)

A. Θεωρία1. Εισαγωγή2. Η λειτουργία ενός νευρώνα (Συναρτήσεις ενεργοποίησης).


Η παραγόµενη έξοδος εξαρτάται από την συνάρτηση ενεργοποίησης (ή µεταφοράς):• Γενικά µπορεί να υπάρχει οποιαδήποτε συνάρτηση παραγωγής της εξόδου

Οι πιο συχνές συναρτήσεις είναι

• Βηµατική Συνάρτηση ειδικά αν χρησιµοποιείται η είσοδος κατωφλίου σηµαίνει:

1,0, 0 0 1,0,∑ ∑ Σε κάποιες ασκήσεις το δυναµικό ορίζεται ως :

• ∑ οπότε η συνάρτηση ενεργοποίησης γράφεται:

• 1,0,∑ ∑ άρα γραφικά:

1

v

f(v)

1

u

f(u)

θ

0

0

A. Θεωρία1. Εισαγωγή2. Η λειτουργία ενός νευρώνα (Συναρτήσεις ενεργοποίησης).


Άλλες συναρτήσεις είναι:

• Συνάρτηση Προσήµου

sign 1,1, 0 0• Τµηµατικά Γραµµική Συνάρτηση

• Σιγµοειδής Συνάρτηση

1,,0, 0.50.5 0.5 0.5

1

1/2

1/2-1/2

1

=

!"#∙%

v

φ(v)

-1

A. Θεωρία1. Εισαγωγή2. Η λειτουργία ενός νευρώνα (Το µοντέλο McCullough-Pitts).


Το µοντέλο McCullough-Pitts είναι το συνηθέστερο που χρησιµοποιείται σε έναν νευρώνα. Χρησιµοποιεί την βηµατική συνάρτηση ενεργοποίησης και στάνταρ είσοδο κατωφλίου.

Ο παραπάνω νευρώνας καλείται και Perceptron.

x1

x2

⋮xn

w1

w2

wn

Δυναμικό: ⋯ Ενεργοποίηση: 1,0, 0 0 y

x3

w3

-1

θ

A. Θεωρία1. Εισαγωγή2. Η λειτουργία ενός Νευρώνα (Σκοπός)


Ένα δίκτυο ενός νευρώνα µε συνάρτηση ενεργοποίησης τη βηµατική συνάρτηση ονοµάζεται Perceptron (ή απλός αισθητήρας)

Ο σκοπός ενός νευρώνα είναι:

• Ανάλογα µε την είσοδο που δέχεται ως µία διατεταγµένη n-άδα x1, x2, …, xn

Να την ταξινοµήσει

• σε µία από δύο κλάσεις: Κ1 και K2• Συνήθως η µία κλάση δίνει την απάντηση «ΝΑΙ»• Και η άλλη κλάση δίνει την απάντηση «ΌΧΙ»

Μαθηµατικά ο κανόνας απόφασης για την ταξινόµηση είναι:

• να αναθέτει το σηµείο που αναπαριστούν τα x1, x2, …, xn στην κλάση K1, εάν η έξοδος y του Perceptron είναι +1

• και στην κλάση K2 εάν η έξοδος y του Perceptron είναι 0.

Το πρόβληµά µας: Να κατασκευάσουµε το πιο απλό ΤΝ∆ στη λογική συνάρτηση OR

Απαιτούνται δύο είσοδοι (Χ1 και X2) και και θέλουµε η έξοδος να µοντελοποιεί σωστά τον πίνακα αλήθειας του OR.

Απαιτείται να εντοπιστούν κατάλληλες τιµές στα βάρη των συνάψεων έτσι ώστε να υπολογίζεται o πίνακας αλήθειας του OR.

A. Θεωρία2. Νευρώνες και Λογικές Πύλες1. Το πρόβληµα του OR (1.∆ιατύπωση)


X1 X2 Y

0 0 0

0 1 1

1 0 1

1 1 1

8

1

8

Ένας συνδυασµός βαρών που θα δουλέψει είναι ο ακόλουθος: w1=1.1, w2=1.1, w0=1

Επαληθεύουµε την ορθή λειτουργία του νευρώνα:

A. Θεωρία2. Νευρώνες και Λογικές Πύλες1. Το πρόβληµα του OR (2.Νευρωνικό ∆ίκτυο)


8

w1=1.1

w2= 1.1

φ 1,0, 0 0 y

s=-1

w0=θ=1

8 ∆υναµικό Συν.∆υναµικού 0 0 88 0 ∙ 1.1 0 ∙ 1.1 1 1 1 0 00 1 88 0 ∙ 1.1 1 ∙ 1.1 1 0,1 0.1 1 11 0 88 1 ∙ 1.1 0 ∙ 1.1 1 0,1 0.1 1 11 1 88 1 ∙ 1.1 1 ∙ 1.1 1 1,2 1.2 1 1

A. Θεωρία2. Νευρώνες και Λογικές Πύλες1. Το πρόβληµα του OR (3.Εξίσωση Ευθείας)


(0,1)

x(0,0) (1,0)

y

Ευθεία Απόφασης: 1.1y + 1.1x – 1=0

(0,0.91)

Θετικά Πρότυπα

Αρνητικά Πρότυπα

∆υναµικό Ενεργοποίησης: 1.1Χ1+1.1Χ2-1

(1,1)

(0.91,0)

A. Θεωρία2. Νευρώνες και Λογικές Πύλες1. Το πρόβληµα του OR (4. Και άλλα Perceptrons που λύνουν το πρόβληµα)


(0,1)

x(1,0)

y

Η ευθεία περνάει από τα σηµεία: (0.5,0) και (0,0.5). Άρα προκύπτει η ευθεία απόφασης:

:;.<.<; =;

;.< ⇒ :;.<.< =

;.<⇒ 0.5 ⇒ 0.5 ⇒ 0.5 ⇒ 0.5 0Συνεπώς σε σχέση µε την συνάρτηση ενεργοποίησης κατωφλίου: w1X+w2Y-θ=0 προκύπτει άµεσα το νευρωνικό δίκτυο µε βάρη: w1=1, w2=1, θ=0.5

(0.5,0)(0,0)

Υπάρχουν πολλές ευθείες που µπορούν να διαχωρίσουν τα δεδοµένα στις δύο κλάσεις K1 και K2Πρακτικά πρέπει να διαχωρίζονται τα θετικά από τα αρνητικά πρότυπα από την ευθεία. Σχεδιάζουµε την συνάρτηση και υπολογίζουµε δύο σηµεία της (x1,y1) και (x2,y2). Η εξίσωση ευθείας υπολογίζεται από τον τύπο:

8 8

(1,1)

(0,0.5)

(0,1)

x(1,0)

yΗ ευθεία περνάει από τα σηµεία: (0.1,0) και (0,0.8). Άρα προκύπτει η ευθεία απόφασης:

:;..; =;

;.? ⇒ :;.. =

;.?⇒ 0.8 0.08 0.1 ⇒ 0.8 0.1 0.08 0Συνεπώς σε σχέση µε την συνάρτηση ενεργοποίησης κατωφλίου: w1X+w2Y-θ=0 προκύπτει άµεσα το νευρωνικό δίκτυο µε βάρη: w1=0.8, w2=0.1, θ=0.08(0.1,0)

(0,0)

(1,1)

(0,0.8)

Το πρόβληµά µας: Να κατασκευάσουµε το πιο απλό ΤΝ∆ στη λογική συνάρτηση AND

Απαιτούνται δύο είσοδοι (Χ1 και X2) και και θέλουµε η έξοδος να µοντελοποιεί σωστά τον πίνακα αλήθειας του AND.

Απαιτείται να εντοπιστούν κατάλληλες τιµές στα βάρη των συνάψεων έτσι ώστε να υπολογίζεται o πινακας αλήθειας του AND

A. Θεωρία2. Νευρώνες και Λογικές Πύλες2. Το πρόβληµα του AND (1.∆ιατύπωση)


X1 X2 Y

0 0 0

0 1 0

1 0 0

1 1 1

8

1

8

Ένας συνδυασµός βαρών που θα δουλέψει είναι ο ακόλουθος: w1=0.6, w2=0.6, w0=1

Επαληθεύουµε την ορθή λειτουργία του νευρώνα:

A. Θεωρία2. Νευρώνες και Λογικές Πύλες2. Το πρόβληµα του AND (2.Νευρωνικό ∆ίκτυο)


8

w1=0.6

w2= 0.6

φ 1,0, 0 0 y

s=-1

w0=θ=1

8 ∆υναµικό Συν.∆υναµικού 0 0 88 0 ∙ 0.6 0 ∙ 0.6 1 1 1 0 00 1 88 0 ∙ 0.6 1 ∙ 0.6 1 0.4 0.4 0 01 0 88 1 ∙ 0.6 0 ∙ 0.6 1 0.4 0.4 0 01 1 88 1 ∙ 0.6 1 ∙ 0.6 1 0.2 0.2 1 1

A. Θεωρία2. Νευρώνες και Λογικές Πύλες2. Το πρόβληµα του AND (3.Εξίσωση Ευθείας)


(0,1)

X1(1,0)

X2

∆υναµικό Ενεργοποίησης: 0.6Χ1+0.6Χ2-1

(0,1.66)

Θετικά Πρότυπα

Αρνητικά Πρότυπα

Εξισωση Ευθείας: 0.6Χ1+0.6Χ2=1

(0,0)

(1,1)

(1.66,0)

A. Θεωρία2. Νευρώνες και Λογικές Πύλες3. Προβλήµατα Λογικών Πυλών


Παρακάτω βλέπουµε τις 16 λογικές πύλες δύο εισόδων που υπάρχουν.

Μπορούµε να παρατηρήσουµε γραφικά ότι οι µόνες δύο λογικές πύλες που δεν µπορούν να διαχωριστούν από µία ευθεία είναι η XOR και η XNOR

X1 C2 NONE ΑΝD C ∧ ~C8 C C8 ∧ ~C C8 XOR OR NOR XNOR ~C8 C8 ⟶ C ~C C ⟶C8 NAND ANY

0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1

0 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1

1 0 0 0 1 1 0 0 1 1 0 0 1 1 0 0 1 1

1 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1

(0,1)

(1,0)

(0,0)

(1,1)

ΠΥΛΗ C ∧ ~C8(1,0)

(1,0)

(0,0)

(1,1)

ΠΥΛΗ ~C8(0,1)

(1,0)

(0,0)

(1,1)

ΠΥΛΗ CGH

??

(0,1)

(1,0)

(0,0)

(1,1)

ΠΥΛΗ CIGH

??

A. Θεωρία3. Γραµµική ∆ιαχωρισιµότητα1. Ορισµοί


ΟΡΙΣΜΟΣ: Έστω µία συνάρτηση εισόδου-εξόδου ενός νευρώνα. Αν η συνάρτηση µπορεί να αναπαρασταθεί µε ένα δίκτυο ενός µόνο νευρώνα λέγεται γραµµικά διαχωρίσιµη.

• Για παράδειγµα οι συναρτήσεις που αντιστοιχούν στις πύλες AND και OR καλούνται γραµµικά διαχωρίσιµες.

• Πρακτικά, αν τα θετικά από τα αρνητικά δεδοµένα µπορούν να διαχωριστούν από µόνο µία ευθεία τότε η συνάρτηση καλείται γραµµικά διαχωρίσιµη.

• Συναρτήσεις που είναι γραµµικά διαχωρίσιµες θα υλοποιούνται από ένα δίκτυο ενός νευρώνα.

ΟΡΙΣΜΟΣ: Μία συνάρτηση εισόδου-εξόδου που δεν µπορεί να αναπαρασταθεί από µόνο ένα νευρώνα θα καλείται µη γραµµικά διαχωρίσιµη.

• Για παράδειγµα οι συναρτήσεις των XOR, XNOR είναι µη γραµµικά διαχωρίσιµες.

• Για την υλοποίηση τους από Νευρωνικό ∆ίκτυο θα απαιτηθεί να έχουµε περισσότερους νευρώνες σε συγκεκριµένη συνδεσµολογία (Μάθηµα 3.2)

A. Θεωρία3. Γραµµική ∆ιαχωρισιµότητα2. Παραδείγµατα


Παραδείγµατα γραµµικά διαχωρίσιµων συναρτήσεων:

Παραδείγµατα µη γραµµικά διαχωρίσιµων συναρτήσεων:

B. Μεθοδολογία1. Κατασκευή Νευρώνα1. Γραφική Επίλυση


Εκφώνηση: Κατασκευάστε έναν νευρώνα που διαχωρίζει δεδοµένα σε δύο κλάσεις. Τα δεδοµένα δίδονται ως σηµεία (ή µε πίνακα). Ζητείται να επιλυθεί γραφικά

Βήµα 1: Κατασκευάζουµε τον αληθοπίνακα σε σύστηµα αξόνων (οριζόντιος άξονας το x1 και κάθετος άξονας το x2) τα σηµεία κάνοντας µαύρα τα σηµεία που είναι 1 και λευκα τα σηµεία που είναι 0.

Παράδειγµα: Κατασκευάστε έναν αισθητήρα δύο εισόδων που ακολουθεί το µοντέλο McCullough-Pitts που αποφασίζει την λογική συνάρτηση:C8 ∧ ~C. Η επίλυση να γίνει µε γραφική απεικόνιση της εξίσωσης ευθείας του νευρώνα.

Επίλυση: έχουµε:

8 Έξοδος: C8 ∧ ~C0 0 00 1 11 0 01 1 0

(0,1)

(1,0)

(0,0)

(1,1)



Βήµα 2: Σχεδιάζουµε µια ευθεία που διαχωρίζει τα πρότυπα των δύο κλάσεων, έτσι ώστε να περνάει από δύο συγκεκριµένα σηµεία των οποιών οι συντεταγµένες είναι εύκολο να εντοπιστούν. Ειδικά για λογικές πύλες, οι συντεταγµένες των σηµείων θα είναι πολλαπλάσια του 0.5

Επίλυση: έχουµε:

8 Έξοδος:C8∧ ~C0 0 00 1 11 0 01 1 0

(0,1)

(1,0)

(0,0)

(1,1)(0.5,1)

(0,0.5)



Βήµα 3: Βρίσκουµε την ευθεία απόφασης ως εξής. Ονοµάζουµε τα δύο σηµεία (x1,y1) και (x2,y2) και υπολογίζουµε την εξίσωση ευθείας από τον τύπο:

:;:J:J;:K =;=J=J;=K.Έπειτα φέρουµε την εξίσωση ευθείας στη µορφή: α L M 0Επίλυση: ∆ύο σηµεία από τα οποία διέρχεται η ευθεία είναι: , N0,0.5O και 8, 8 N0.5,1OΆρα η ζητούµενη ευθεία είναι η:

:;:J:J;:K =;=J=J;=K ⇒ :;;.< =;.<

.<; ⇒ :;.< =;.<

;.< ⇒0.5 0.5 0.5 ⇒ 0.5 0.5 0.25 ⇒ N0.5O 0.5 0.25 0∆ύο ειδικές περιπτώσεις ευθειών:

P

Ευθεία: Pκαι γράφεται:1 0 NPO 0

P Ευθεία: Pκαι γράφεται:0 1 NPO 0



Βήµα 4: Κάνουµε 1:1 συσχέτιση των σταθερών των εξισώσεων:Εξίσωση Ευθείας: α L M 0Εξίσωση Νευρώνα: 88 0Και εντοπίζουµε τα βάρη του νευρώνα.

Επίλυση:

Εξίσωση Ευθείας: 0.5 0.5 0.25 0Εξίσωση Νευρώνα: 88 0Συνεπώς τα βάρη του νευρώνα είναι: 0.5, 8 0.5, 0.25Άρα ο νευρώνας είναι:

8

1

0.50.5

0.25



Σχόλιο: Μία ευθεία χωρίζει το επίπεδο σε δύο ηµιεπίπεδα. Όποιο σηµείο είναι στο ένα ηµιεπίπεδο παράγει έξοδο 1 και όποιο είναι στο άλλο παίρνει την έξοδο 0. Προκειµένου να έχουµε αντίστροφες εξόδους, αλλάζουµε τα πρόσηµα σε όλην την εξίσωση ευθείας.

8 Έξοδος:C8 ∧ ~C0 0 00 1 11 0 01 1 0

(0,1)

(1,0)

(0,0)

(1,1)(0.5,1)

(0,0.5)

8 Έξοδος: 8 ⟶ 0 0 10 1 01 0 11 1 1

(0,1)

(1,0)

(0,0)

(1,1)(0.5,1)

(0,0.5)

Εξίσωση Ευθείας: 0.5 0.5 0.25 0Εξίσωση Νευρώνα: 88 0Άρα 0.5, 8 0.5, 0.25

Εξίσωση Ευθείας:0.5 0.5 0.25 0Εξίσωση Νευρώνα: 88 0Άρα 0.5, 8 0.5, 0.25

B. Μεθοδολογία1. Κατασκευή Νευρώνα2. Επίλυση µε Ανισώσεις


Εκφώνηση: Κατασκευάστε έναν νευρώνα που διαχωρίζει δεδοµένα σε δύο κλάσεις. Τα δεδοµένα δίδονται ως σηµεία (ή µε πίνακα). Ζητείται να µην επιλυθεί γραφικά

Βήµα 1: Υπολογίζουµε το δυναµικό για κάθε συνδυασµό εισόδου. Επειδή η έξοδος είναι προκαθορισµένη, µε βάση την βηµατική συνάρτηση προκύπτει ένα σύστηµα 4 ανισώσεων (για λογικές πύλες) µε αγνώστους w1,w2,θ

Παράδειγµα: Κατασκευάστε έναν αισθητήρα δύο εισόδων που ακολουθεί το µοντέλο McCullough-Pitts που αποφασίζει την λογική συνάρτηση: C ∧ ~C8.

Επίλυση: Πρέπει να ισχύουν:

8 ∆υναµικό Έξοδος Ανίσωση

0 0 88 0 80 0 00 1 88 0 81 8 0 8 01 0 88 1 80 1 01 1 88 1 81 8 0 8 0

B. Μεθοδολογία1. Κατασκευή Νευρώνα2. Επίλυση µε Ανισώσεις


Βήµα 2: Επιλύουµε το σύστηµα ανισώσεων δοκιµάζοντας τιµές στις µεταβλητές. Αρκεί να βρούµε έναν συνδυασµό τιµών που να συναληθεύουν οι ανισώσεις. Οι κατάλληλες τιµές εµπειρικά συνήθως είναι µεταξύ του -1 και του 1.

Επίλυση: Πρέπει να ισχύουν:

0. Επιλέγω 0.58 0. Άρα έχω: 8 0.5 0 ⇒ 8 0.5. Επιλέγω 8 0.5 0. Άρα έχω: 0.5 0 ⇒ 0.5. Επιλέγω 0.8 8 0. Άρα έχω: 0.8 0.5 0.5 0 ⇒ 0.2 0 που ισχύει.

Συνεπώς ο αισθητήρας που αποφασίζει την λογική πύλη: C ∧ ~C8

8

1

0.50.8

0.5

B.ΑσκήσειςΆσκηση Κατανόησης 1

Θεωρείστε ένα Perceptron µε δύο νευρώνες εισόδου και ένα νευρώνα εξόδου. Επιθυµούµε να εκπαιδεύσουµε το Perceptron αυτό έτσι ώστε να υλοποιεί τη λογική συνάρτηση “ANY” η οποία ορίζεται ως εξής:

Κατασκευάστε ένα Perceptron δύο εισόδων που µοντελοποιεί το παραπάνω πρόβληµα. Να γίνει γραφική επίλυση


x1 x2 έξοδος0 0 10 1 11 0 11 1 1

B.ΑσκήσειςΆσκηση Κατανόησης 2

Θεωρείστε ένα Perceptron µε δύο νευρώνες εισόδου και ένα νευρώνα εξόδου. Επιθυµούµε να εκπαιδεύσουµε το Perceptron αυτό έτσι ώστε να υλοποιεί τη λογική συνάρτηση “NOR” η οποία ορίζεται ως εξής:

Na γίνει επίλυση µε σύστηµα ανισώσεων.


x1 x2 έξοδος0 0 10 1 01 0 01 1 0

B.ΑσκήσειςΕφαρµογή 1


∆ίνονται 4 σύνολα προτύπων που αντιστοιχούν σε 4 προβλήµατα ταξινόµησης. Υπάρχουν 3 κλάσεις (µαύρες κουκίδες, γκρι κουκίδες και λευκές κουκίδες). Ποιο/α από τα 4 προβλήµατα λύνει ο αισθητήρας που δίνεται στο παρακάτω σχήµα; ∆ικαιολογήστε τις απαντήσεις σας;

ΠΛΗ31 ΜΑΘΗΜΑ 3.1

Education

Transcript of ΠΛΗ31 ΜΑΘΗΜΑ 3.1