Independent Component Analysis (ICA)

Ιανουάριος 2012

PCA vs ICA

-1.5 -1 -0.5 0 0.5 1 1.5 2

-1

-0.5

0

0.5

1

1.5

PCA vs ICA

-1.5 -1 -0.5 0 0.5 1 1.5 2

-1

-0.5

0

0.5

1

1.5

PCA vs ICA

-1.5 -1 -0.5 0 0.5 1 1.5 2

-1

-0.5

0

0.5

1

1.5

PCA vs ICA

PCA vs ICA

PCA vs ICA

PCA vs ICA

PCA

ICA

Cocktail Party

Independent SourcesObservations

s1

s2

x1

x2

Cocktail Party

Independent SourcesObservations

s1

s2

x1

x2

Using Vector-Matrix notation

Ανεξαρτησία Τυχαίων Μεταβλητών• Δύο τυχαίες μεταβλητές είναι ανεξάρτητες όταν η

πληροφορία γα την τιμή της μίας δεν προσφέρει καμία επιπλέον πληροφορία για την τιμή της άλλης.

• Όταν η από κοινού pdf είναι παραγοντοποιήσιμη:

,

•

Ανεξαρτησία Τυχαίων Μεταβλητών

s1

s2

x1

x2

Ανεξαρτησία Τυχαίων Μεταβλητών

s1

s2

x1

x2

PC2

PC1

IC1

IC2

Κεντρικό Οριακό Θεώρημα (CLT)

• Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή.

Κεντρικό Οριακό Θεώρημα (CLT)

• Η κατανομή του αθροίσματος ανεξάρτητων τυχαίων μεταβλητών τείνει προς την Gaussian κατανομή.

Observed signal = IC1 IC2 ICnm1 + m2 ….+ mn

toward Gaussian Non-GaussianNon-Gaussian Non-Gaussian

“Nongaussian is Independent”Έστω γραμμικός συνδυασμός των παρατηρήσεων

Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες.

“Nongaussian is Independent”Έστω γραμμικός συνδυασμός των παρατηρήσεων

Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες.

Με αλλαγή μεταβλητών τότε

“Nongaussian is Independent”Έστω γραμμικός συνδυασμός των παρατηρήσεων

Αν το διάνυσμα w ισούται με μία από τις γραμμές του Α-1 τότε το y ισούται με μία από τις ανεξάρτητες συνιστώσες.

Με αλλαγή μεταβλητών τότε

Το άθροισμα έστω και δύο τυχαίων μεταβλητών είναι περισσότερο «Γκαουσιανό» από καθεμία ξεχωριστά. Η ιδιότητα αυτή ελαχιστοποιείται όταν ο γραμμικός συνδυασμός γίνεται ίσος κάποιο από τα si.

“Nongaussian is Independent”Αρκεί λοιπόν ένα αξιόπιστο μέτρο για τη «μή Γκαουσιανότητα» από τη βελτιστοποίηση του οποίου θα προκύψουν οι ανεξάρτητες συνιστώσες.

Σε χώρο n διαστάσεων μία τέτοια συνάρτηση έχει 2n τοπικά μέγιστα.

Η εύρεση των ανεξάρτητων συνιστωσών γίνεται με αβεβαιότητα ως προς το πρόσημο (κατεύθυνση) και την σειρά.

Μέτρα μη Γκαουσιανότητας

• Kurtosis

Μέτρα μη Γκαουσιανότητας

• Kurtosis

Super-Gaussian kurtosis > 0

Gaussian kurtosis = 0

Sub-Gaussian kurtosis < 0

Μέτρα μη Γκαουσιανότητας

• Kurtosis

Super-Gaussian kurtosis > 0

Gaussian kurtosis = 0

Sub-Gaussian kurtosis < 0

Μειονέκτημα: Παρουσιάζει μεγάλη ευαισθησία σε outliers. Η τιμή της καθορίζεται περισσότερο από δείγματα στην ουρά της κατανομής.

Μέτρα μη Γκαουσιανότητας

• Negentropy

Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως:

Μέτρα μη Γκαουσιανότητας

• Negentropy

Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση.

Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως:

Μέτρα μη Γκαουσιανότητας

• Negentropy

Η Gaussian κατανομή παρουσιάζει τη μέγιστη εντροπία για δεδομένη διακύμανση.

Συνεπώς ένα κατάλληλο μέτρο για τη μη Γκαουσιανότητα θα ήταν το εξής:

Η εντροπία μίας τυχαίας μεταβλητής y με πυκνότητα f(y) ορίζεται ως:

Μέτρα μη Γκαουσιανότητας

• NegentropyΜειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y).

Μέτρα μη Γκαουσιανότητας

• NegentropyΜειονέκτημα: απαιτεί εκτίμηση (πιθανώς μη παραμετρική) της f(y).

• Approximations of Negentropy1. Με χρήση στατιστικών ροπών ανώτερης τάξης:

2. Χρησιμοποιώντας την προσέγγιση

Ισοδύναμες προσεγγίσεις

• Ελαχιστοποίηση της αμοιβαίας πληροφορίας(Minimization of Mutual Information)

• Εκτίμηση μέγιστης πιθανοφάνειας(Maximum Likelihood Estimation)

Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI)

• Η αμοιβαία πληροφορία ανάμεσα σε m τυχαίες μεταβλητές ορίζεται ως:

Ελαχιστοποίηση της αμοιβαίας πληροφορίας (MMI)

• Η αμοιβαία πληροφορία ανάμεσα σε m τυχαίες μεταβλητές ορίζεται ως:

• Για έναν αντιστρεπτό γραμμικό μετασχηματισμό η έκφραση γίνεται:

• Αποδεικνύεται πως η αναζήτηση για μετασχηματισμό W που να ελαχιστοποιεί την αμοιβαία πληροφορία ισοδυναμεί με μεγιστοποίηση του negentropy.

Εκτίμηση μέγιστης πιθανοφάνειαςΈστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή:

Εκτίμηση μέγιστης πιθανοφάνειαςΈστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή:

Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου W ώστε να μεγιστοποιείται το L.

Εκτίμηση μέγιστης πιθανοφάνειαςΈστω ο πίνακας Α-1 . Τότε η log-likelihood έχει τη μορφή:

Η αναζήτηση των ανεξάρτητων συνιστωσών ισοδυναμεί με αναζήτηση κατάλληλου W ώστε να μεγιστοποιείται το L.

Απαιτείται εκτίμηση της . Στην πράξη αρκεί η εκτίμηση για το αν οι κατανομές είναι sub ή supergaussian.

Μειονέκτημα: Αν η εκτίμηση είναι λάθος, το αποτέλεσμα μπορεί να είναι εντελώς λανθασμένο.

Επεκτάσεις της ICA

• Noisy ICAΣυμπεριλαμβάνονται μοντέλα θορύβου κατά την ανάλυση.

• Non-Linear ICAΤα παρατηρούμενα σήματα είναι μη γραμμικός συνδυασμός των πηγών.

• Binary ICAΟι πηγές και τα παρατηρούμενα σήματα είναι δυαδικά.

• Overcomplete ICAΟι πηγές είναι περισσότερες από τα παρατηρούμενα σήματα.

Εφαρμογές της ICAΗλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG)

Εφαρμογές της ICAΗλεκτροεγκεφαλογραφία (EEG) – Μαγνητοεγκεφαλογραφία (MEG)

Εφαρμογές της ICAΤομογραφία - fMRI

Εφαρμογές της ICAΤηλεπικοινωνίες: Εξάλειψη θορύβου & αντιμετώπιση πολυόδευσης

Εφαρμογές της ICAΟικονομία: Ανάλυση ροών χρήματος

Εφαρμογές της ICAΑστρονομία: Ανάλυση φασματικών υπογραφών Αστέρων

0 50 100 150 200 250 300 350-0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

Εφαρμογές της ICAΕπεξεργασία εικόνας - Denoising

Εφαρμογές της ICAΕξαγωγή χαρακτηριστικών

Χρήσιμες Πηγές• Fast ICA

http://research.ics.tkk.fi/ica/fastica/

• Cocktail Party audio exampleshttp://cnl.salk.edu/~tewon/Blind/blind_audio.html

• “Independent Component Analysis: Algorithms and Applications”, Aapo Hyvärinen and Erkki Oja.

• “Survey on Independent Component Analysis”, Aapo Hyvärinen.