Περιεχόμενα v

Περιεχόμενα Πρόλογος x

Εισαγωγή 1 1. Τι Είναι Ένα Νευρωνικό Δίκτυο; 1 2. Ο Ανθρώπινος Εγκέφαλος 6 3. Μοντέλα Νευρώνων 10 4. Τα Νευρωνικά Δίκτυα ως Κατευθυνόμενοι Γράφοι 15 5. Ανάδραση 18 6. Αρχιτεκτονικές Δικτύων 21 7. Αναπαράσταση Γνώσης 24 8. Διαδικασίες Μάθησης 34 9. Εργασίες Μάθησης 38 10. Τελικά Σχόλια 45

Σημειώσεις και Παραπομπές 46

Κεφάλαιο 1 Το Perceptron του Rosenblatt 47 1.1 Εισαγωγή 47 1.2. Το Perceptron 48 1.3. Το Θεώρημα Σύγκλισης του Perceptron 50 1.4. Σχέση Μεταξύ Perceptron και Ταξινομητή Bayes

για ένα Γκαουσιανό Περιβάλλον 55 1.5. Πείραμα με Υπολογιστή: Ταξινόμηση Μοτίβων 60 1.6. Μαζικός Αλγόριθμος για το Perceptron 62 1.7. Σύνοψη 65

Σημειώσεις και Παραπομπές 66 Προβλήματα 66

Κεφάλαιο 2 Κατασκευή Μοντέλων Μέσω Παλινδρόμησης 68 2.1 Εισαγωγή 68 2.2 Μοντέλο Γραμμικής Παλινδρόμησης: Προκαταρκτικά Θέματα 69 2.3 Μέγιστη a Posteriori Εκτίμηση του Διανύσματος Παραμέτρων 71 2.4 Σχέση Μεταξύ Κανονικοποιημένης Εκτίμησης με τη Μέθοδο

Ελαχίστων Τετραγώνων και Εκτίμησης MAP 76 2.5 Πείραμα με Υπολογιστή: Ταξινόμηση Μοτίβων 77 2.6 Η Αρχή του Ελάχιστου Μήκους Περιγραφής 79 2.7 Ζητήματα Σχετικά με το Πεπερασμένο Μέγεθος Δείγματος 82 2.8 Η Μέθοδος των Βοηθητικών Μεταβλητών 86 2.9 Σύνοψη 88

Σημειώσεις και Παραπομπές 89 Προβλήματα 89

Κεφάλαιο 3 Ο Αλγόριθμος Ελάχιστου Μέσου Τετραγωνικού Σφάλματος 91 3.1 Εισαγωγή 91 3.2 Δομή Φιλτραρίσματος του Αλγόριθμου LMS 92 3.3 Μη Περιοριζόμενη Βελτιστοποίηση: Επισκόπηση 94

vi Νευρωνικά ∆ίκτυα και Μηχανική Μάθηση

3.4 Το Φίλτρο Wiener 100 3.5 Ο Αλγόριθμος Ελάχιστου Μέσου Τετραγωνικού Σφάλματος 102 3.6 Μοντέλο Markov για την Αναπαράσταση της Απόκλισης

του Αλγόριθμου LMS από το Φίλτρο Wiener 104 3.7 Η Εξίσωση Langevin: Χαρακτηρισμός της Κίνησης Brown 106 3.8 Η Μέθοδος Direct-Averaging του Kushner 107 3.9 Στατιστική Θεωρία Μάθησης και Παράμετρος

Μικρού Ρυθμού Μάθησης 108 3.10 Πείραμα με Υπολογιστή I: Γραμμική Πρόβλεψη 110 3.11 Πείραμα με Υπολογιστή II: Ταξινόμηση Μοτίβων 112 3.12 Δυνατότητες και Περιορισμοί του Αλγόριθμου LMS 113 3.13 Ρυθμός Μάθησης και Χρονοδιάγραμμα Ανόπτησης 115 3.14 Σύνοψη 117

Σημειώσεις και Παραπομπές 118 Προβλήματα 119

Κεφάλαιο 4 Το Perceptron Πολλαπλών Επιπέδων 122 4.1 Εισαγωγή 123 4.2 Προκαταρκτικά Θέματα 124 4.3 Μαζική και On-Line Μάθηση 126 4.4 Ο Αλγόριθμος Back-Propagation 129 4.5 Το Πρόβλημα XOR 141 4.6 Βελτίωση της Απόδοσης του Αλγόριθμου με Ευρετικές Μεθόδους 144 4.7 Πείραμα με Υπολογιστή: Ταξινόμηση Μοτίβων 150 4.8 Αλγόριθμος Back Propagation και Παραγώγιση 153 4.9 Ο Πίνακας Hess και ο Ρόλος του στην On-Line Μάθηση 155 4.10 Βέλτιστη Ανόπτηση και Προσαρμοστικός Έλεγχος του

Ρυθμού Μάθησης 157 4.11 Γενίκευση 164 4.12 Προσεγγίσεις Συναρτήσεων 166 4.13 Επαλήθευση με τη Μέθοδο Cross-Validation 171 4.14 Κανονικοποίηση Πολυπλοκότητας και «Κλάδεμα» Δικτύου 175 4.15 Δυνατότητες και Περιορισμοί της Μάθησης με Οπισθοδιάδοση 180 4.16 Η Εποπτευόμενη Μάθηση ως Πρόβλημα Βελτιστοποίησης 186 4.17 Δαιδαλώδη Δίκτυα 201 4.18 Μη Γραμμικό Φιλτράρισμα 203 4.19 Προβλήματα Μάθησης Μικρής και Μεγάλης Κλίμακας 209 4.20 Σύνοψη 217

Σημειώσεις και Παραπομπές 219 Προβλήματα 221

Κεφάλαιο 5 Μέθοδοι Πυρήνα και ∆ίκτυα Ακτινικής Βάσης 230 5.1 Εισαγωγή 230 5.2 Το Θεώρημα Cover για τη Διαχωρισιμότητα Μοτίβων 231 5.3 Το Πρόβλημα της Παρεμβολής 236 5.4 Δίκτυα Ακτινικής Βάσης 239 5.5 Συσταδοποίηση K-Means 242 5.6 Αναδρομική Εκτίμηση του Διανύσματος Βαρών με τη Μέθοδο

Ελαχίστων Τετραγώνων 245 5.7 Υβριδική Διαδικασία Μάθησης για Δίκτυα RBF 249 5.8 Πείραμα με Υπολογιστή: Ταξινόμηση Μοτίβων 250 5.9 Ερμηνείες των Κρυφών Υπολογιστικών Μονάδων για τη Gauss 252

Περιεχόμενα vii

5.10 Παλινδρόμηση Πυρήνα και η Σχέση της με Δίκτυα RBF 255 5.11 Σύνοψη 259

Σημειώσεις και Παραπομπές 261 Προβλήματα 263

Κεφάλαιο 6 Μηχανές ∆ιανυσμάτων Υποστήριξης 268 6.1 Εισαγωγή 268 6.2 Βέλτιστο Υπερεπίπεδο για Γραμμικά Διαχωρίσιμα Μοτίβα 269 6.3 Βέλτιστο Υπερεπίπεδο για Μη Γραμμικά Διαχωρίσιμα Μοτίβα 276 6.4 Η Μηχανή Διανυσμάτων Υποστήριξης ως Μηχανή Πυρήνα 281 6.5 Σχεδιασμός Μηχανών Διανυσμάτων Υποστήριξης 284 6.6 Το Πρόβλημα XOR 286 6.7 Πείραμα με Υπολογιστή: Ταξινόμηση Μοτίβων 289 6.8 Παλινδρόμηση: Ζητήματα Ευρωστίας 289 6.9 Βέλτιστη Λύση για το Πρόβλημα της Γραμμικής Παλινδρόμησης 293 6.10 Το Θεώρημα Representer και Σχετιζόμενα Ζητήματα 296 6.11 Σύνοψη 302

Σημειώσεις και Παραπομπές 304 Προβλήματα 307

Κεφάλαιο 7 Θεωρία Κανονικοποίησης 313 7.1 Εισαγωγή 313 7.2 Συνθήκες του Hadamard για Καλώς Ορισμένα Προβλήματα 314 7.3 Θεωρία Κανονικοποίησης του Tikhonov 315 7.4 Δίκτυα Κανονικοποίησης 326 7.5 Γενικευμένα Δίκτυα Συναρτήσεων Ακτινικής Βάσης 327 7.6 Κανονικοποιημένες Εκτιμήσεις με τη Μέθοδο

Ελαχίστων Τετραγώνων: Επανεξέταση 331 7.7 Σημειώσεις για τη Σπουδαιότητα της Κανονικοποίησης 335 7.8 Εκτίμηση της Παραμέτρου Κανονικοποίησης 336 7.9 Ημι-εποπτευόμενη Μάθηση 342 7.10 Κανονικοποίηση Πολλαπλοτήτων: Προκαταρκτικά Ζητήματα 343 7.11 Διαφορίσιμες Πολλαπλότητες 345 7.12 Γενικευμένη Θεωρία Κανονικοποίησης 348 7.13 Φασματική Θεωρία Γράφων 350 7.14 Γενικευμένο Θεώρημα Representer 352 7.15 Λαπλασιανός Αλγόριθμος Ελαχίστων Τετραγώνων 354 7.16 Πειράματα Πάνω στην Ταξινόμηση Μοτίβων με

Ημι-εποπτευόμενη Μάθηση 356 7.17 Σύνοψη 359

Σημειώσεις και Παραπομπές 361 Προβλήματα 363

Κεφάλαιο 8 Ανάλυση Κύριων Συνιστωσών 367 8.1 Εισαγωγή 367 8.2 Αρχές Αυτο-Οργάνωσης 368 8.3 Ανάλυση Αυτο-Οργανούμενων Χαρακτηριστικών 372 8.4 Ανάλυση Κύριων Συνιστωσών: Θεωρία Διαταραχών 373 8.5 Μέγιστο Φίλτρο Ιδοτιμών κατά Hebb 383 8.6 Ανάλυση Κύριων Συνιστωσών κατά Hebb 392 8.7 Μελέτη Εφαρμογής: Κωδικοποίηση Εικόνων 398 8.8 Ανάλυση Κύριων Συνιστωσών με τη Μέθοδο Kernel PCA 401

viii Νευρωνικά ∆ίκτυα και Μηχανική Μάθηση

8.9 Βασικά Ζητήματα που Σχετίζονται με την Κωδικοποίηση Φυσικών Εικόνων 406

8.10 Αλγόριθμος KHA 407 8.11 Σύνοψη 412

Σημειώσεις και Παραπομπές 415 Προβλήματα 418

Κεφάλαιο 9 Χάρτες Αυτο-Οργάνωσης 425 9.1 Εισαγωγή 425 9.2 Δύο Βασικά Μοντέλα Χαρτογράφησης Χαρακτηριστικών 426 9.3 Ο Χάρτης Αυτο-Οργάνωσης (SOM) 428 9.4 Ιδιότητες του Χάρτη Χαρακτηριστικών 437 9.5 Πειράματα με Υπολογιστή I: Χρήση SOM για Ανάλυση

Δυναμικής Πλεγμάτων 445 9.6 Εννοιολογικοί Χάρτες 447 9.7 Ιεραρχική Κβαντοποίηση Διανυσμάτων 450 9.8 Εφαρμογή της Μεθόδου Πυρήνα σε Χάρτες Αυτο-Οργάνωσης 454 9.9 Πείραμα με Υπολογιστή II: Χρήση SOM Πυρήνα για Ανάλυση

Δυναμικής Πλεγμάτων 462 9.10 Σχέση Μεταξύ SOM Πυρήνα και Απόκλισης Kullback-Leibler 464 9.11 Σύνοψη 466

Σημειώσεις και Παραπομπές 468 Προβλήματα 470

Κεφάλαιο 10 Μοντέλα Μάθησης Βασισμένα στη Θεωρία της Πληροφορίας 475 10.1 Εισαγωγή 476 10.2 Εντροπία 477 10.3 Η Αρχή της Μέγιστης Εντροπίας 481 10.4 Αμοιβαία Πληροφορία 484 10.5 Απόκλιση Kullback-Leibler 486 10.6 Συναρτήσεις Copula 489 10.7 Η Αμοιβαία Πληροφορία ως Αντικειμενική Συνάρτηση

προς Βελτιστοποίηση 493 10.8 Η Αρχή της Μέγιστης Αμοιβαίας Πληροφορίας 494 10.9 Η Αρχή της Μέγιστης Πληροφορίας και Μείωση Πλεονασμού 499 10.10 Χωρικά Συνεκτικά Χαρακτηριστικά 501 10.11 Χωρικά Μη-Συνεκτικά Χαρακτηριστικά 504 10.12 Ανάλυση Ανεξάρτητων Συνιστωσών 508 10.13 Ελλιπής Κωδικοποίηση Φυσικών Εικόνων και

Σύγκριση με Κωδικοποίηση ICA 514 10.14 Αλγόριθμος Μάθησης Natural-Gradient για Ανάλυση

Ανεξάρτητων Συνιστωσών 516 10.15 Εκτίμηση Μέγιστης Πιθανότητας για Ανάλυση

Ανεξάρτητων Συνιστωσών 526 10.16 Μάθηση Βασιζόμενη στο Μοντέλο Μέγιστης Εντροπίας

για Τυφλό Διαχωρισμό Σημάτων 529 10.17 Μεγιστοποίηση της Αρνητικής Εντροπίας για Ανάλυση

Ανεξάρτητων Συνιστωσών 534 10.18 Συνεκτικότητα και Ανάλυση Ανεξάρτητων Συνιστωσών 541 10.19 Θεωρία Ρυθμού Παραμόρφωσης και Συμφόρηση Πληροφορίας 549 10.20 Βέλτιστη Πολλαπλή Αναπαράσταση Δεδομένων 553 10.21 Πείραμα με Υπολογιστή: Ταξινόμηση Μοτίβων 560

Περιεχόμενα ix

10.22 Σύνοψη 561 Σημειώσεις και Παραπομπές 564 Προβλήματα 572

Κεφάλαιο 11 Στοχαστικές Μέθοδοι από τη Στατιστική Μηχανική 579 11.1 Εισαγωγή 580 11.2 Στατιστική Μηχανική 580 11.3 Αλυσίδες Markov 582 11.4 Αλγόριθμος Metropolis 591 11.5 Προσομοιωμένη Ανόπτηση 594 11.6 Δειγματοληψία Gibbs 596 11.7 Μηχανή του Boltzmann 598 11.8 Δίκτυα Λογιστικής Πεποίθησης 604 11.9 Δίκτυα Βαθιάς Πεποίθησης 606 11.10 Ντετερμινιστική Ανόπτηση 610 11.11 Αναλογία Μεταξύ Ντετερμινιστικής Ανόπτησης και Αλγόριθμου

Μεγιστοποίησης Προσδοκιών 616 11.12 Σύνοψη 617

Σημειώσεις και Παραπομπές 619 Προβλήματα 621

Κεφάλαιο 12 ∆υναμικός Προγραμματισμός 627 12.1 Εισαγωγή 627 12.2 Διαδικασίες Απόφασης Markov 629 12.3 Κριτήριο Βελτιστοποίησης Bellman 631 12.4 Επανάληψη Πολιτικής 635 12.5 Επανάληψη Τιμής 637 12.6 Προσεγγιστικός Δυναμικός Προγραμματισμός: Άμεσες Μέθοδοι 642 12.7 Μάθηση με τον Αλγόριθμο Χρονικής Διαφοράς 643 12.8 Μάθηση με τον Αλγόριθμο Q-Learning 648 12.9 Προσεγγιστικός Δυναμικός Προγραμματισμός: Έμμεσες Μέθοδοι 652 12.10 Αποτίμηση Πολιτικής με τη Μέθοδο Ελαχίστων Τετραγώνων 655 12.11 Προσεγγιστική Επανάληψη Πολιτικής 660 12.12 Σύνοψη 663

Σημειώσεις και Παραπομπές 665 Προβλήματα 668

Κεφάλαιο 13 Νευροδυναμική 672 13.1 Εισαγωγή 672 13.2 Δυναμικά Συστήματα 674 13.3 Σταθερότητα Καταστάσεων Ισορροπίας 678 13.4 Ελκυστές 684 13.5 Νευροδυναμικά Μοντέλα 686 13.6 Χειρισμός Ελκυστών ως Παράδειγμα Αναδρομικού Δικτύου 689 13.7 Μοντέλο Hopfield 690 13.8 Το Θεώρημα Cohen–Grossberg 703 13.9 Το Μοντέλο «Brain-State-In-A-Box» 705 13.10 Παράξενοι Ελκυστές και Χάος 711 13.11 Δυναμική Ανασύνθεση Χαοτικής Διαδικασίας 716 13.12 Σύνοψη 722

Σημειώσεις και Παραπομπές 724 Προβλήματα 727

x Νευρωνικά ∆ίκτυα και Μηχανική Μάθηση

Κεφάλαιο 14 Εκτίμηση Κατάστασης ∆υναμικών Συστημάτων με Φίλτρα Bayes 731 14.1 Εισαγωγή 731 14.2 Μοντέλα Κατάστασης-Χώρου 732 14.3 Φίλτρα Kalman 736 14.4 Φαινόμενο Απόκλισης και Φίλτρα Τετραγωνικής Ρίζας 744 14.5 Το Διευρυμένο Φίλτρο Kalman 750 14.6 Το Φίλτρο Bayes 755 14.7 Επαύξηση του Φίλτρου Kalman με Κανόνα Κυβισμού 759 14.8 Φίλτρα Σωματιδίων 765 14.9 Πείραμα με Υπολογιστή: Συγκριτική Αξιολόγηση Διευρυμένου Φίλτρου

Kalman και Φίλτρων Σωματιδίων 775 14.10 Φίλτρα Kalman για Μοντελοποίηση Λειτουργιών του Εγκεφάλου 777 14.11 Σύνοψη 780

Σημειώσεις και Παραπομπές 782 Προβλήματα 784

Κεφάλαιο 15 ∆υναμικά Οδηγούμενα Αναδρομικά ∆ίκτυα 790 15.1 Εισαγωγή 790 15.2 Αρχιτεκτονικές Αναδρομικών Δικτύων 791 15.3 Το Θεώρημα Καθολικής Προσέγγισης 797 15.4 Ελεγξιμότητα και Παρατηρησιμότητα 799 15.5 Υπολογιστική Ισχύς Αναδρομικών Δικτύων 804 15.6 Αλγόριθμοι Μάθησης 806 15.7 Αλγόριθμος Οπισδοδιάδοσης στο Χρόνο 808 15.8 Αναδρομικός Αλγόριθμος Μάθησης σε Πραγματικό Χρόνο 812 15.9 Φαινόμενα Εξαφανιζόμενης Κλίσης σε Αναδρομικά Δίκτυα 818 15.10 Πλαίσιο Εποπτευόμενης Εκπαίδευσης για Αναδρομικά Δίκτυα

με Χρήση Μη Γραμμικών Εκτιμητών Κατάστασης 822 15.11 Πείραμα με Υπολογιστή: Δυναμική Ανακατασκευή του

Ελκυστή Mackay–Glass 829 15.12 Ζητήματα Προσαρμοστικότητας 831 15.13 Μελέτη Εφαρμογής: Χρήση Μοντέλου Αναφοράς για

Έλεγχο Νευρώνων 833 15.14 Σύνοψη 835

Σημειώσεις και Παραπομπές 839 Προβλήματα 842

Βιβλιογραφία 845 Ευρετήριο 889