Θεωρία Εκτίμησης&Ανίχνευσης

Θεωρία

Εκτίμησης & Ανίχνευσης

Γεώργιος Β. Μουστακίδης, Καθηγητής

Πανεπιστήμιο Πατρών

Περιεχόμενα

Πρόλογος vΕυχαριστίες vi1 Εισαγωγή 11.1 Τρεις ενδιαφέρουσες εφαρμογές 1

1.1.1 Ανίχνευση αεροσκάφους από ραντάρ 11.1.2 Εκτίμηση καναλιού σε ασύρματες τηλεπικοινωνίες 31.1.3 Φιλτράρισμα θορύβου σε ηχητικό σήμα 4

2 Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών 62.1 Εισαγωγικά 62.2 Χώρος πιθανότητας 62.3 Δεσμευμένη ή υπό συνθήκη πιθανότητα 72.4 Τυχαίες μεταβλητές 7

2.4.1 Πείραμα 82.4.2 έσος όρος και διασπορά 92.4.3 Δεσμευμένη πυκνότητα πιθανότητας 122.4.4 Βασικές ισότητες για γεγονότα 122.4.5 Βασικές ισότητες για πυκνότητες πιθανότητας 132.4.6 διότητα της κλιμάκωσης του μέσου όρου 15

2.5 διότητα της αλλαγής μέτρου 162.6 Στοχαστικά ή τυχαία σήματα 17

2.6.1 Στατιστικές πρώτης και δεύτερης τάξης 172.6.2 Στασιμότητα και εργοδικότητα 182.6.3 Πυκνότητα φάσματος ισχύος στοχαστικού σήματος 20

2.7 Επίδραση γραμμικού συστήματος σε στατιστικές σήματος 22

3 Βέλτιστη εξέταση υποθέσεων 243.1 Εισαγωγικά 243.2 τετερμινιστικοί κανόνες λήψης αποφάσεων 243.3 Τυχαιοποιημένοι κανόνες λήψης αποφάσεων 263.4 Εξέταση δυαδικών υποθέσεων 28

3.4.1 Εξέταση δυαδικών υποθέσεων κατά Bayes 283.4.2 Ελαχιστοποίηση πιθανότητας σφάλματος 323.4.3 Min-Max κανόνες απόφασης 33

i

ii Περιεχόμενα

3.4.4 Εξέταση δυαδικών υποθέσεων κατά Neyman-Pearson 373.4.5 Χαρακτηριστική λειτουργίας δέκτη 433.4.6 Υπολογισμός κατωφλίου min-max κανόνα απόφασης 473.4.7 Εξισορροπημένη πιθανότητα σφάλματος 47

3.5 Εξέταση πολλαπλών υποθέσεων κατά Bayes 523.6 Εξέταση υποθέσεων με πολλαπλές διακριτές υποπεριπτώσεις 573.7 Γενικευμένο τεστ λόγου πιθανοφάνειας 603.8 Εξέταση υποθέσεων με τυχαίες παραμέτρους 643.9 Σύνθετες υποθέσεις 65

3.9.1 Χρήση ομοιόμορφης πυκνότητας πιθανότητας 653.9.2 Ομοιόμορφα πιο ισχυρός κανόνας απόφασης 653.9.3 Τοπικά πιο ισχυρός κανόνας απόφασης 683.9.4 Συνδυασμός αγνώστων και τυχαίων παραμέτρων 713.9.5 Γενικεύσεις του Neyman-Pearson τεστ∗ 753.9.6 Γενικευμένο τεστ λόγου πιθανοφάνειας παρουσία τυχαίων παραμέτρων 79

3.10 Ενδιάμεσες αποφάσεις 833.10.1 εθοδολογία κατά Bayes 833.10.2 εθοδολογία τύπου Neyman-Pearson 85

3.11 Υπολογισμός απόδοσης κανόνων εξέτασης υποθέσεων 883.11.1 Υπολογισμός κατωφλίου με τη βοήθεια του ΟΘ 883.11.2 Υπολογισμός απόδοσης με συνδυασμό Θεωρήματος Crammer και ΟΘ 88

3.12 Ασκήσεις 88

4 Βέλτιστη ανίχνευση σημάτων 924.1 Εισαγωγικά 924.2 Σύμφωνη ανίχνευση σημάτων 94

4.2.1 Σύμφωνη ανίχνευση σταθερού σήματος σε α.ι.κ. θόρυβο 944.2.2 Σύμφωνη ανίχνευση σημάτων σε ανεξάρτητο θόρυβο 1004.2.3 Σύμφωνη ανίχνευση σημάτων σε εξαρτημένο Gaussian θόρυβο 101

4.3 Ανίχνευση ντετερμινιστικών σημάτων με τυχαίες παραμέτρους 1074.3.1 Ανίχνευση σε Gaussian θόρυβο 1074.3.2 Ανίχνευση σε ανεξάρτητο μη Gaussian θόρυβο 113

4.4 Ανίχνευση ντετερμινιστικών σημάτων με άγνωστες παραμέτρους 1134.5 Ανίχνευση τυχαίων σημάτων 1134.6 Ασκήσεις 113

5 Βέλτιστη εκτίμηση παραμέτρων 1155.1 Εισαγωγή 1155.2 Εκτίμηση τυχαίων παραμέτρων με τη μέθοδο Bayes 115

5.2.1 Εκτιμητής ελαχιστοποίησης μέσου τετραγωνικού σφάλματος 1155.2.2 Εκτιμητής ελαχιστοποίησης μέσου απόλυτου σφάλματος 1155.2.3 Εκτιμητής μέγιστης εκ των υστέρων πιθανότητας 115

5.3 Εκτίμηση αγνώστων παραμέτρων 1155.3.1 Εκτιμητής μέγιστης πιθανοφάνειας 1155.3.2 Αλγόριθμος Προσδοκίας/ εγιστοποίησης 115

Περιεχόμενα iii

5.3.3 Συνέπεια, αμεροληψία και ασυμπτωτικά Gaussian συμπεριφορά 1155.3.4 άτω φράγμα Cramer-Rao 115

5.4 Exercises 1166 Υποβέλτιστη ανίχνευση και εκτίμηση 1176.1 Εισαγωγή 1176.2 Το πρότυπο του εκτιμητή μέγιστης πιθανοφάνειας 118

6.2.1 -εκτιμητές 1196.3 Αναδρομικές τεχνικές εκτίμησης 119

6.3.1 Αναδρομή με μειούμενο βήμα 1196.3.2 Αναδρομή με σταθερό βήμα 119

6.4 Ρωμαλέες τεχνικές εκτίμησης και ανίχνευσης 1196.4.1 Ρωμαλέα εξέταση υποθέσεων 1196.4.2 Ρωμαλέα εκτίμηση παραμέτρων 1196.4.3 Ρωμαλέα τοπική ανίχνευση σταθερών σημάτων 1206.4.4 Ρωμαλέα μη τοπική ανίχνευση σταθερών σημάτων 120

6.5 Τεχνικές εκτίμησης βασισμένες στο Α 1206.5.1 Εκτίμηση παραμέτρων 1206.5.2 Ασυμπτωτική Gaussian συμπεριφορά εκτιμήσεων 120

6.6 Ανίχνευση βασισμένη σε τεχνικές εκτίμησης και στο ΟΘ 120

7 Βέλτιστη γραμμική εκτίμηση σημάτων 1217.1 Εισαγωγικά 1217.2 Γραμμική εκτίμηση 122

7.2.1 Αρχή της ορθογωνιότητας 1227.3 Βέλτιστη γραμμική εκτίμηση με γνώση στατιστικών β’ τάξης 124

7.3.1 Γενίκευση σε διανυσματικά σήματα∗ 1277.3.2 η αιτιατό φίλτρο Wiener 1287.3.3 Αιτιατό φίλτρο Wiener∗ 1307.3.4 Φίλτρο Wiener πεπερασμένης κρουστικής απόκρισης 1417.3.5 Αλγόριθμος του Levinson 142

7.4 Φίλτρο Kalman 1457.4.1 Γενικεύσεις της αρχής της ορθογωνιότητας 1517.4.2 Εφαρμογές του φίλτρου Kalman 151

7.5 Εναλλακτική σημασία των αποτελεσμάτων 1517.6 Ελαχιστοποίηση αθροιστικού τετραγωνικού σφάλματος δειγμάτων 153

7.6.1 Αναδρομή ελαχίστων τετραγώνων 1557.7 οντέλο αυτοπαλινδρόμησης 161

7.7.1 Πρόβλεψη σήματος αυτοπαλινδρόμησης 1637.7.2 Εκτίμηση φάσματος με χρήση μοντέλων αυτοπαλινδρόμησης 164


8 Ανίχνευση και εκτίμηση σε σήματα συνεχούς χρόνου 1708.1 Εισαγωγικά 170

9 Ακολουθιακές τεχνικές εκτίμησης και ανίχνευσης 171

iv Περιεχόμενα

9.1 Εισαγωγικά 1719.2 Βέλτιστη ακολουθιακή εξέταση δυαδικών υποθέσεων 1719.3 Βέλτιστη ακολουθιακή ανίχνευση αλλαγών 1719.4 Ακολουθιακή εκτίμηση παραμέτρων 171

Α Συμπλήρωμα θεωρίας πιθανοτήτων 172Α.1 Εισαγωγικά 172Α.2 Όρια στοχαστικών ακολουθιών 172Α.3 Αθροίσματα τυχαίων μεταβλητών 173

Α.3.1 όμος των μεγάλων αριθμών 174Α.3.2 εντρικό οριακό θεώρημα 175Α.3.3 Φράγμα Chernoff 177

Α.4 Σημαντικές ανισότητες 178Α.4.1 Ανισότητα Chebyshev 178Α.4.2 Ανισότητα Cauchy-Schwarz 179Α.4.3 Ανισότητα Jensen 179

Α.5 ατάλογος κατανομών 179Α.6 έθοδοι υλοποίησης τυχαίων μεταβλητών 182

Α.6.1 έθοδος της αντίστροφης συνάρτησης κατανομής 182Α.6.2 έθοδος της απόρριψης/αποδοχής 183

Α.7 Εκτίμηση πιθανότητας εμφάνισης σπάνιων γεγονότων 184

Βιβλιογραφία 188Ορολογία 190Εδάφια στα οποία εμφανίζεται το σύμβολο “ ∗ ” μπορούν να παραληφθούν κατά τηνπρώτη ανάγνωση.

Το βιβλίο περιέχει ?? Σχήματα και ?? Πίνακες

Πρόλογος

Η ύλη του παρόντος βιβλίου βασίζεται στην πολύχρονη ερευνητική εμπειρία του συγ-γραφέα σε θέματα σχετικά με το αντικείμενο του βιβλίου καθώς και στις παραδόσεις τουμαθήματος “Θεωρία Εκτίμησης και Ανίχνευσης” που έγιναν στο Διατμηματικό ετα-πτυχιακό Πρόγραμμα Συστήματα Επεξεργασίας Σημάτων και Εικόνων και στο ετα-πτυχιακό Πρόγραμμα του Τμήματος Ηλεκτρολόγων ηχανικών και Τεχνολογίας Υπο-λογιστών του του Πανεπιστημίου Πατρών.

Σε σχέση με την υπάρχουσα (ξένη) βιβλιογραφία, έγινε σημαντική προσπάθειαώστε να παρουσιαστεί η ύλη κάτω από διαφορετικό πρίσμα και να δοθεί μια, όσο τοδυνατόν, πιο πρακτική διάσταση των απαραίτητων εννοιών. Πιστεύουμε επίσης ότι ηθεωρητική πλευρά (που καλύπτει το μεγαλύτερο μέρος του βιβλίου) είναι γραμμένη μετρόπο που να γίνεται εύκολα κατανοητή από αναγνώστες με βασικό επίπεδο γνώσης Θε-ωρίας Πιθανοτήτων. Όσον αφορά στο σημείο αυτό, στο παράρτημα, στο τέλος του συγ-γράμματος, παρατίθενται με αρκετή λεπτομέρεια πολλές από τις απαραίτητες έννοιες.

Γεώργιος ουστακίδηςούνιος 2006

v

Ευχαριστίες

Θα ήθελα να ευχαριστήσω του φοιτητές μου που συμμετείχαν ενεργά στις παραδόσειςτου μαθήματος “Θεωρία Εκτίμησης και Ανίχνευσης”. ε την αδιάλειπτη παρουσία τουςκαι τις ενδιαφέρουσες ερωτήσεις τους συνέβαλαν καθοριστικά στην επιλογή της ύληςκαι στον συγκεκριμένο τρόπο παρουσίασής της. Η έντονη επιθυμία τους για μάθησηαπoτέλεσε τον κύριο μοχλό συγγραφής του βιβλίου αυτού.

Αμέριστες ευχαριστίες πηγαίνουν στη σύζυγό μου Αδαμαντία Βασιλογάμβρου γιατην κοπιαστική συντακτική και γραμματική διόρθωση ενός τόσο δύσκολου προς αυτήνκειμένου.

Το παρόν βιβλίο συντάχθηκε με τη βοήθεια της Ελληνικής έκδοσης του XƎLATEX.

vi

1Εισαγωγή

Στο παρόν σύγγραμμα θα επικεντρωθούμε στην ανάπτυξη μεθοδολογιών για: α) λήψηαποφάσεων, β) εκτίμηση παραμέτρων και γ) εκτίμηση σημάτων. αι στις τρεις περιπτώ-σεις η κύρια έμφαση θα δοθεί στην παρουσίαση βέλτιστων τεχνικών. Επειδή ωστόσο οιβέλτιστες τεχνικές απαιτούν υψηλό επίπεδο γνώσης του προβλήματος, απαίτηση η οποίαδυστυχώς για τις περισσότερες εφαρμογές είναι μη ρεαλιστική, καθίσταται αναγκαία ηαναζήτηση εναλλακτικών μεθοδολογιών με χαμηλότερες ανάγκες σε εκ των προτέρωνπληροφορία. όγω φυσικά της έλλειψης λεπτομερούς πληροφορίας, οι εν λόγω τεχνικέςυστερούν σε απόδοση σε σύγκριση με τις βέλτιστες αλλά, από την άλλη πλευρά, είναιπρακτικά εφαρμόσιμες.

Τέλος, ας σημειωθεί ότι η ανάπτυξη των βέλτιστων τεχνικών, πέρα φυσικά από θε-ωρητικό, παρουσιάζει επίσης και πρακτικό ενδιαφέρον, αφού η απόδοσή τους αποτελείσημείο αναφοράς για οποιαδήποτε εναλλακτική τεχνική.

1.1 Τρεις ενδιαφέρουσες εφαρμογέςΠροκειμένου να γίνει κατανοητή η χρησιμότητα των μαθηματικών αποτελεσμάτων πουθα περιγράψουμε στα επόμενα κεφάλαια του βιβλίου, στη συνέχεια παρουσιάζονται τρίαπρακτικά προβλήματα που αποτελούν χαρακτηριστικά παραδείγματα εφαρμογής των ενλόγω θεωριών.

1.1.1 Ανίχνευση αεροσκάφους από ραντάρΗ ανίχνευση αεροσκάφους με ραντάρ αποτελεί ίσως το κλασικότερο παράδειγμα εφαρ-μογής της Θεωρίας Ανίχνευσης και μια από τις πρώτες εφαρμογές που εξετάστηκαν στηπράξη. Είναι μάλιστα αξιοσημείωτο το γεγονός ότι το πρόβλημα αυτό είναι τόσο παλιόώστε η γενική Θεωρία Ανίχνευσης έχει δανειστεί όρους από την ορολογία που αναπτύ-χθηκε για τη συγκεκριμένη αυτή εφαρμογή.

Το πρόβλημα που επιθυμούμε να αναλύσουμε εμφανίζεται παραστατικά στο Σχή-μα 1.1. Παρατηρούμε ότι το ραντάρ εκπέμπει ηλεκτρομαγνητικό κύμα προς μια κα-τεύθυνση και συλλέγει το σήμα που επιστρέφει. Η επιστροφή του σήματος οφείλεται

1

2 Κεφάλαιο 1 :Εισαγωγή

είτε στην ύπαρξη φυσικών εμποδίων (όπως βουνά, λόφοι, σύννεφα, βροχή) ή και στηνύπαρξη αεροσκάφους στην κατεύθυνση εκπομπής. Ένα αυτόματο σύστημα ανίχνευσης

Σχήμα 1.1 : Τα δύο πιθανά σενάρια (υποθέσεις) κατά τη διαδικασία ανίχνευσης αεροσκάφους απόραντάρ.

δειγματοληπτεί το σήμα επιστροφής δημιουργώντας μια πεπερασμένη ακολουθία δειγ-μάτων x1, . . . , xN , και επιχειρεί να διακρίνει εάν τα εν λόγω δείγματα προέρχονται απόσήμα που εμπεριέχει α) μόνον ανακλάσεις από φυσικά εμπόδια ή β) ανακλάσεις απόφυσικά εμπόδια και ανάκλαση από αεροσκάφος. Η φύση του σήματος επιστροφής είναιτελείως διαφορετική στα δύο πιθανά σενάρια (υποθέσεις). Στην μεν πρώτη περίπτωσητο ραντάρ δέχεται πληθώρα από αδύναμες επιστροφές με τυχαία πλάτη και διαφορε-τικές καθυστερήσεις, ενώ στη δεύτερη το επιστρέφον σήμα διαθέτει επιπλέον και μιακυρίαρχη συνιστώσα λόγω της ανάκλασης του ηλεκτρομαγνητικού κύματος από το αε-ροσκάφος. ε περισσότερο τεχνική ορολογία, τα δείγματα σύμφωνα με το Σενάριο α)εμφανίζουν συμπεριφορά λευκού θορύβου, ενώ με το Σενάριο β) διακρίνονται από μιασταθερή συνιστώσα με υπέρθεση λευκού θορύβου.

Επιχειρώντας να εκφράσουμε όσα προαναφέρθηκαν με μαθηματικό τρόπο, μπορού-με να γράψουμε

Σενάριο α): xn = wn, n = 1, . . . , N

Σενάριο β): xn = s+ wn, n = 1, . . . , N ,

όπου wn λευκός θόρυβος και s σταθερά. Το μαθηματικό πρόβλημα που καλούμαστεεπομένως να επιλύσουμε είναι το ακόλουθο: ε δεδομένη μια συλλογή N δειγμάτων,επιθυμούμε να αποφασίσουμε εάν τα εν λόγω δείγματα εμπεριέχουν α) καθαρό θόρυβοή β) σταθερό σήμα s συν θόρυβο. Αποφασίζοντας υπέρ το α) συνεπάγεται ουσιαστι-κά απόφαση υπέρ της μη ύπαρξης αεροσκάφους, ενώ υπέρ του β) απόφαση υπέρ τηςύπαρξης αεροσκάφους.

Το πρόβλημα που μόλις περιγράψαμε επιδέχεται ενδιαφέρουσες γενικεύσεις που πε-ριλαμβάνουν μεγαλύτερο πλήθος δυνατών σεναρίων. Π.χ. είναι δυνατό, πέρα από απλή

1.1 Τρεις ενδιαφέρουσες εφαρμογές 3

ανίχνευση, να επιθυμούμε την ανακάλυψη και του τύπου του αεροσκάφους. Για τηνπερίπτωση αυτή θα πρέπει να δημιουργηθεί ένα σενάριο για κάθε διαφορετικό τύπο.Δηλαδή να περιγράψουμε με ένα διαφορετικό στατιστικό τρόπο τα δεδομένα xn για κάθετύπο αεροσκάφους. αθοριστικό στοιχείο στις εν λόγω γενικεύσεις αποτελεί το γεγονόςότι τα πιθανά σενάρια πρέπει να είναι πεπερασμένου πλήθους.

Όπως είναι φυσικό, κάθε διαδικασία απόφασης ενέχει τον κίνδυνο σφάλματος. Στό-χος της θεωρίας η οποία αναπτύσσεται στο εφάλαιο 2 είναι ο καθορισμός βέλτιστωνκανόνων απόφασης σύμφωνα με εύλογα κριτήρια (π.χ. ελαχιστοποίηση της πιθανότηταςεσφαλμένης απόφασης). Στο εφάλαιο 3 θα επικεντρωθούμε σε μια ειδική κατηγορίαπροβλημάτων λήψης αποφάσεων στην οποία ανήκει και το πρόβλημα της ανίχνευσηςαεροσκάφους, η οποία καλείται Ανίχνευση Σήματος. Οι κανόνες απόφασης θα μας απα-σχολήσουν επίσης και στο εφάλαιο 5 όπου θα αναπτυχθούν μη βέλτιστες αλλά πρακτι-κά χρήσιμες τεχνικές.

1.1.2 Εκτίμηση καναλιού σε ασύρματες τηλεπικοινωνίεςΟι ψηφιακές τηλεπικοινωνίες καθίστανται, όλο και περισσότερο, αναπόσπαστο τμήματης καθημερινής μας ζωής προσφέροντας συνεχώς νέες και ενδιαφέρουσες υπηρεσίες.Ο ρόλος των ασύρματων τηλεπικοινωνιακών συστημάτων στις μοντέρνες υπηρεσίες εί-ναι καθοριστικός, κυρίως λόγω της κινητικότητας που αυτά συνεπάγονται. Δυστυχώςόμως η δυνατότητα αυτή συνοδεύεται από σημαντικά προβλήματα που δημιουργούνταιεξ αιτίας του άγνωστου και χρονικά μεταβαλλόμενου καναλιού μέσα στο οποίο γίνεταιη μετάδοση της πληροφορίας. Η επίδραση του καναλιού στην ποιότητα του λαμβανόμε-νου σήματος είναι κρίσιμη και, τις περισσότερες φορές, έντονα αρνητική προκαλώνταςαξιοσημείωτη μείωση στην απόδοση του τηλεπικοινωνιακού συστήματος.

Το φαινόμενο της μετάδοσης μέσω πολλαπλών διαδρομών, η δυνατότητα δηλαδήπου έχει το μεταδιδόμενο σήμα να καταλήγει στον δέκτη μέσα από διαφορετικές δια-δρομές, συγκαταλέγεται μεταξύ των βασικότερων προβλημάτων που χρήζουν ιδιαίτε-ρης προσοχής και αντιμετώπισης. Η εμφάνιση του φαινομένου της πολυδιαδρομικήςμετάδοσης οφείλεται στην εκπομπή του πομπού προς κάθε κατεύθυνση με αποτέλεσμα,όπως φαίνεται και στο Σχήμα 1.2, να υπάρχει η απ’ ευθείας διαδρομή του σήματος απότον πομπό προς τον δέκτη, αλλά επίσης και εναλλακτικές δίοδοι μέσω ανακλάσεων σεφυσικά εμπόδια. Εάν συμβολίσουμε με z(t) το σήμα που εκπέμπει ο πομπός, τότε οδέκτης συλλέγει το x(t), όπου

x(t) = c0z(t) + c1z(t− τ1) + · · ·+ cKz(t− τk) + w(t).

Ο πρώτος όρος του αθροίσματος αναφέρεται στην απ’ ευθείας διαδρομή ενώ οι επό-μενοι K στις εναλλακτικές. Επειδή οι τελευταίες είναι συνήθως μεγαλύτερου μήκους,το ηλεκτρομαγνητικό κύμα απαιτεί περισσότερο χρόνο να τις διανύσει, με αποτέλεσματο σήμα να φτάνει καθυστερημένο στο δέκτη. άθε διαδρομή έχει φυσικά διαφορετι-κή καθυστέρηση τi και υπόκειται σε διαφορετικό ποσοστό απώλειας ενέργειας ci. Ο

4 Κεφάλαιο 1 :Εισαγωγή

x x x1 2, ...,N

,

Ανάκλαση

Ανάκλαση

Σχήμα 1.2 : Ασύρματη επικοινωνία μέσω καναλιού πολλαπλών διαδρομών.

τελευταίος όρος w(t) στο λαμβανόμενο σήμα x(t) συμβολίζει το απανταχού παρόνταθόρυβο.

Το σήμα x(t), όπως αναφέρθηκε προηγουμένως, μπορεί να είναι τελείως διαφορε-τικό από το ιδανικό σήμα εκπομπής z(t), γεγονός που συντελεί στη σημαντική μείωσητης αποτελεσματικότητας του τηλεπικοινωνιακού συστήματος. Η εν λόγω μείωση είναιδυνατό να περιοριστεί σε μεγάλο βαθμό εάν είναι γνωστές οι παράμετροι τi, ci του πο-λυδιαδρομικού καναλιού. Δυστυχώς γνώση της μορφής αυτής είναι πρακτικά αδύνατηλόγω ακριβώς της κινητικότητας ή/και της χρονικής μεταβλητότητας που διακρίνει τιςασύρματες συνδέσεις. Η μη διαθεσιμότητα των εν λόγω παραμέτρων προτρέπει επομέ-νως στην ανάπτυξη μεθόδων εκτίμησης. Θα πρέπει δηλαδή ο δέκτης, σε τακτά χρονικάδιαστήματα (ή και συνεχώς), να δειγματοληπτεί το λαμβανόμενο σήμα x(t) και με ταδείγματα x1, . . . , xN να επιχειρεί εκτίμηση των παραμέτρων του καναλιού. Εάν η εκτί-μηση είναι αξιόπιστη τότε είναι αναμενόμενο ότι η διόρθωση της βλάβης που προκαλεί-ται από την πολυδιαδρομική μετάδοση θα είναι αντιστρέψιμη. Στην περίπτωση φυσικάμιας κακής εκτίμησης το πρόβλημα όπως είναι λογικό θα διατηρηθεί ή μπορεί να γίνεικαι εντονότερο.

Στο εφάλαιο 4 θα επικεντρωθούμε στις βέλτιστες τεχνικές εκτίμησης παραμέτρωνκαι θα προτείνουμε εναλλακτικές μεθοδολογίες σύμφωνα με διαφορετικά κριτήρια αξιο-λόγησης της ποιότητας μιας εκτίμησης. Τεχνικές εκτίμησης, αλλά μη βέλτιστες αυτή τηφορά, θα παρουσιαστούν στο εφάλαιο 5.

1.1.3 Φιλτράρισμα θορύβου σε ηχητικό σήμαΤο τελευταίο παράδειγμα που θα παρουσιάσουμε εμφανίζεται παραστατικά στο Σχή-μα 1.3. Συγκεκριμένα, μας διατίθεται ένα ψηφιακό σήμα x1, x2, . . ., το οποίο προκύ-πτει από άθροιση ενός επιθυμητού σήματος πληροφορίας (στην προκειμένη περίπτωσημουσικής) και θορύβου. Στόχος μας στην εφαρμογή αυτή αποτελεί η επεξεργασία τουσήματος xn ώστε να προκύψει (να εκτιμηθεί) το σήμα πληροφορίας. Η διαδικασίααπομάκρυνσης του θορύβου είναι γνωστή και σαν φιλτράρισμα. Η διαφορά της παρού-σας διαδικασίας εκτίμησης από την αντίστοιχη του προηγούμενου εδαφίου έγκειται βα-

1.1 Τρεις ενδιαφέρουσες εφαρμογές 5

Σχήμα 1.3 : Σήμα που προκύπτει από άθροιση μουσικής και θορύβου.

σικά στο πλήθος των στοιχείων που πρέπει να εκτιμηθούν (άπειρα έναντι πεπερασμένουπλήθους) καθώς επίσης και στη χρονική αλληλουχία δημιουργίας των εκτιμήσεων σεσυνδυασμό με την διαθεσιμότητα των προς επεξεργασία δειγμάτων xn (συνθήκες πραγ-ματικού χρόνου). Οι εν λόγω διαφορές επιβάλλουν τη δημιουργία εντελώς διαφορετικώντεχνικών επεξεργασίας από αυτές που διατίθενται για την επίλυση των προβλημάτωνεκτίμησης του προηγούμενου εδαφίου και η αντίστοιχη μεθοδολογία θα παρουσιαστείστο εφάλαιο 6.

Σημειώνεται ότι τα συστήματα επεξεργασίας για την εκτίμηση σημάτων είναι γνω-στά και σαν φίλτρα. Στο εφάλαιο 6 θα γίνει η παρουσίαση των δύο πλέον δημοφιλώνφίλτρων: του Φίλτρου Wiener και του Φίλτρου Kalman, όπως επίσης και της γενικήςθεωρίας της Βέλτιστης Γραμμικής Επεξεργασίας σημάτων. Τέλος, στο ίδιο κεφάλαιο θαπαρουσιαστούν εισαγωγικά στοιχεία της Θεωρίας του Αναδρομικού Φιλτραρίσματος καιτης Αναδρομικής Εκτίμησης σημάτων, περιοχές οι οποίες αποτελούν τη μοντέρνα έκδοσητης Θεωρίας Επεξεργασίας Σήματος. Οι τεχνικές αυτές είναι εξαιρετικά ενδιαφέρουσεςεπειδή απαιτούν ελάχιστη εκ των προτέρων γνώση (των στατιστικών) του σήματος (σεαντίθεση με τα βέλτιστα φίλτρα που βασίζονται σε σημαντική εκ των προτέρων πληρο-φορία) και είναι σε θέση μέσα από τα διαθέσιμα δείγματα να μαθαίνουν τις στατιστικέςκαι συγχρόνως να επεξεργάζονται το σήμα. Όπως είναι φυσικό, η επεξεργασία στα αρ-χικά στάδια είναι περιορισμένης ποιότητας, αλλά με την πάροδο του χρόνου, καθώςγίνεται συσσώρευση πληροφορίας, η ποιότητα βελτιώνεται συγκλίνοντας σε αυτή τωνβέλτιστων φίλτρων.

2Στοιχεία πιθανοτήτωνκαι στοχαστικών διαδικασιών

2.1 ΕισαγωγικάΤο παρόν παράρτημα δεν έχει σαν στόχο να καλύψει αναλυτικά την ύλη της ΘεωρίαςΠιθανοτήτων και Στοχαστικών Διαδικασιών. Υπάρχει στη βιβλιογραφία πληθώρα σχε-τικών συγγραμμάτων όπου οι δύο περιοχές αναπτύσσονται εκτεταμένα και με διαφορε-τικό βαθμό δυσκολίας και έμφασης1. Έτσι, περιοριζόμαστε σε συνοπτική παρουσίασητων βασικών εννοιών και αποτελεσμάτων που είναι απαραίτητα για την κατανόηση τουαντικειμένου του παρόντος βιβλίου.

2.2 Χώρος πιθανότηταςαλούμε χώρο πιθανότητας μια τριάδα οντοτήτων, που θα συμβολίσουμε με (Θ, G , S),

με τις παρακάτω ιδιότητες

Το Θ είναι ένα οποιοδήποτε σύνολο στοιχείων, το οποίο καλείται δειγματοχώρος.

Το G είναι ένα σύνολο από υποσύνολα τουΘ, τα οποία συνιστούν μια σ-άλγεβρα.Συγκεκριμένα, τα στοιχεία του G πρέπει να ικανοποιούν τις ακόλουθες ιδιότητες:

Τα δύο σύνολα Θ και ∅ είναι στοιχεία του G .Εάν A ∈ G , τότε και Ac ∈ G , όπου Ac το συμπληρωματικό του A.Εάν A1, A2 ∈ G , τότε και A1 ∪A2 ∈ G .Εάν μια ακολουθία από σύνολα A1, A2, . . . ∈ G , τότε και ∪∞

i=1Ai ∈ G .

Τα στοιχεία του G καλούνται γεγονότα.1Σαν καταλληλότερο σύγγραμμα για ηχανικούς προτείνεται το βιβλίο [PA1999] το οποίο διακρίνεται

για τη μαθηματική του αυστηρότητα παράλληλα με την απλότητα παρουσίασης της ύλης.

6

2.3 Δεσμευμένη ή υπό συνθήκη πιθανότητα 7

Το S είναι μια απεικόνιση από το σύνολο G στο διάστημα [0,1] με τις εξής ιδιό-τητες:

S(∅) = 0, S(Θ) = 1.

Εάν A1, A2 ∈ G και A1 ∩A2 = ∅, τότε S(A1 ∪A2) = S(A1) + S(A2).

Εάν μια ακολουθία από σύνολα A1, A2, . . . ∈ G και κάθε Ai ∩ Aj = ∅ γιαi = j, τότε

S(∪∞i=1Ai) =

∑∞i=1 S(Ai).

Η συνάρτηση S καλείται συνάρτηση πιθανότητας και, όπως παρατηρούμε, ορίζειπιθανότητες μόνο για τα στοιχεία του συνόλου G , δηλαδή τα γεγονότα.

2.3 Δεσμευμένη ή υπό συνθήκη πιθανότηταΗ έννοια της δεσμευμένης πιθανότητας αποτελεί σημαντική ανακάλυψη για τη θεωρίαπιθανοτήτων. Έστω γεγονός B ∈ G με S(B) > 0 τότε θα καλούμε δεσμευμένη (ή υπόσυνθήκη) πιθανότητα ενός γεγονότος A ∈ G με δεδομένο το B την εξής ποσότητα:

S(A|B) =S(A ·B)

S(B),

όπου για ευκολία συμβολίζουμε την τομή A ∩ B των δύο συνόλων σαν το “γινόμενο”A ·B. Από τον ορισμό της δεσμευμένης πιθανότητας προκύπτει ότι

S(A ·B) = S(A|B)S(B) = S(B|A)S(A). (2.1)

Είναι επίσης εύκολο, χρησιμοποιώντας τον ορισμό, να γενικεύσουμε τις προηγούμενεςισότητες και να δείξουμε για τρία γεγονότα A,B,C ότι μπορούμε να γράψουμε

S(A ·B|C) = S(A|B · C)S(B|C) = S(B|A · C)S(A|C). (2.2)

Πράγματι

S(A ·B|C) =S(A ·B · C)

S(C)=

S(A|B · C)S(B · C)

S(C)= S(A|B · C)S(B|C),

αποδεικνύοντας την πρώτη ισότητα. ε τον ίδιο τρόπο αποδεικνύεται και η δεύτερη.

2.4 Τυχαίες μεταβλητέςΕίναι δυνατό να ορίσουμε συναρτήσεις που να απεικονίζουν στοιχεία του δειγματοχώρουΘ στους πραγματικούς αριθμούς R. Έστω χ(θ) μια τέτοια συνάρτηση, δηλαδή θ ∈ Θκαι χ(θ) ∈ R. Η πλέον στοιχειώδης πράξη στους πραγματικούς αριθμούς είναι η πράξη

8 Κεφάλαιο 2 :Στοιχεία πιθανοτήτων και στοχαστικών διαδικασιών

της σύγκρισης. Εάν επομένως x ∈ R, μας ενδιαφέρει να διαπιστώσουμε πόσο συχνάσυμβαίνει χ(θ) ≤ x, με άλλα λόγια να ανακαλύψουμε το σύνολο (υποσύνολο του Θ)

Ax = θ : χ(θ) ≤ x,

το οποίο επιθυμούμε να “μετρήσουμε” με τη βοήθεια της συνάρτησης πιθανότητας S.Για να μπορέσουμε να δώσουμε πιθανότητα στο εν λόγω σύνολο είναι απαραίτητο τοAx ∈ G , αφού το G , εξ ορισμού, περιέχει όλα τα δυνατά σύνολα στα οποία μπορούμενα δώσουμε πιθανότητα. Έχουμε επομένως τον ακόλουθο ορισμό.

ια συνάρτησηχ(θ) από τοΘ στους πραγματικούς αριθμούς, θα καλείται μετρήσιμηή τυχαία μεταβλητή, εάν για κάθε πραγματικό x το σύνολο

Ax = θ : χ(θ) ≤ x ∈ G ,

δηλαδή το Ax είναι ένα γεγονός.Για μια τυχαία μεταβλητή χ(θ) μια πολύ σημαντική ποσότητα είναι η συνάρτηση

6χ(x) = S(χ(θ) ≤ x),

η οποία καλείται συνάρτηση κατανομής της χ(θ) και είναι αύξουσα ως προς x με ιδιότη-τες

6χ(−∞) = 0, 6χ(∞) = 1.

Η παράγωγος της συνάρτησης κατανομής (όταν υπάρχει) καλείται συνάρτηση πυκνό-τητας πιθανότητας και ικανοποιεί

fχ(x) =d6χ(x)

dx≥ 0,

∫ ∞

−∞fχ(x)dx = 1.

Η πυκνότητα πιθανότητας δεν εκφράζει πιθανότητα για κανένα γεγονός. Παρατηρούμεωστόσο ότι μπορούμε να γράψουμε

S(x < χ ≤ x+ dx) = 6χ(x+ dx)− 6χ(x) = fχ(x) dx. (2.3)

ε άλλα λόγια η πυκνότητα πιθανότητας fχ(x) επί το διαφορικό dx εκφράζει ουσιαστικάτην πιθανότητα η τυχαία μας μεταβλητή χ να πάρει τιμή μέσα στο διαφορικό διάστημα(x, x+ dx], που αποτελεί φυσικά έναν έμμεσο τρόπο να δηλώσουμε ότι η χ παίρνει τηντιμή x.

2.4.1 Πείραμαε τις τυχαίες μεταβλητές μοντελοποιούμε φαινόμενα τα οποία είναι δύσκολο να πε-

ριγράψουμε με ντετερμινιστικό τρόπο, είτε διότι είναι εξαιρετικά πολύπλοκα, είτε διότιδεν υπάρχει η απαραίτητη πληροφορία.

2.4 Τυχαίες μεταβλητές 9

Θα επιχειρήσουμε να δώσουμε στις τυχαίες μεταβλητές, πέρα από το μαθηματικόορισμό, κάποια φυσική σημασία, η οποία να είναι σύμφωνη με τον τρόπο που οι οντό-τητες αυτές χρησιμοποιούνται στην πράξη. Όπως είδαμε, μια τυχαία μεταβλητή χ(θ)είναι ουσιαστικά μια συνάρτηση από τον δειγματοχώρο στους πραγματικούς. Υπάρχειεπομένως μια διαδικασία επιλογής στοιχείων του δειγματοχώρου και απεικόνισής τουςστους πραγματικούς. Η διαδικασία αυτή καλείται πείραμα και ο πραγματικός αριθμόςχ(θ) που προκύπτει καλείται υλοποίηση της τυχαίας μεταβλητής.

Στα περισσότερα πρακτικά προβλήματα για τα πειράματα και τις υλοποιήσεις θεω-ρείται ότι ευθύνεται η “Φύση” ή η “Τυχαιότητα”, αφού ο ελετητής δεν έχει συνήθωςκανένα έλεγχο. Επιπλέον, ο ελετητής είναι δυνατό να μην γνωρίζει τον δειγματοχώ-ρο αλλά ούτε και τη συνάρτηση χ(·). Π.χ. στη διαδικασία ρίψης ενός ζαριού η Φύσηεπιλέγει τις συνθήκες κάτω από τις οποίες εκτελείται η ρίψη και το αποτέλεσμα είναιένας ακέραιος από ένα έως έξι. Στο παράδειγμα αυτό παρατηρούμε ότι είναι άγνωστος οδειγματοχώρος καθώς και ο τρόπος αντιστοίχισης με τους πραγματικούς αριθμούς (πουστο συγκεκριμένο παράδειγμα είναι μόνο το σύνολο 1, 2, . . . , 6).

Προφανώς η Φύση μπορεί να επαναλάβει το ίδιο πείραμα πολλές φορές (π.χ. τηρίψη ζαριού) και κάθε φορά να επιλέγει διαφορετικό στοιχείο του δειγματοχώρου, τοοποίο απεικονίζεται σε διαφορετικό πραγματικό αριθμό. Αποτελέσματα πειραμάτων,δηλαδή διαφορετικές υλοποιήσεις, θα τα συμβολίζουμε με χ(θ1),χ(θ2), . . ., ώστε ναγίνεται σαφής η διαφορετική επιλογή της Φύσης στα στοιχεία θ του δειγματοχώρου.

2.4.2 Μέσος όρος και διασποράαλούμε στοχαστικό μέσον όρο της τυχαίας μεταβλητής χ το ολοκλήρωμα2

χ = 1[χ] =∫ ∞

−∞xfχ(x)dx.

Ο στοχαστικός μέσος όρος, αποτελεί μια αντιπροσωπευτική ντετερμινιστική τιμή τηςτυχαίας μεταβλητής (συνάρτησης) χ.

Ο παραπάνω ορισμός του μέσου όρου προϋποθέτει γνώση της συνάρτησης κατανο-μής της τυχαίας μεταβλητής. Ένας άλλος τρόπος υπολογισμού, ή ακριβέστερα εκτίμη-σης, του μέσου όρου είναι ο αριθμητικός μέσος όρος

χ ≈ χ(θ1) + χ(θ2) + · · ·+ χ(θn)

n,

ο οποίος απαιτεί πολλαπλές υλοποιήσεις της τυχαίας μεταβλητής.Ένας άμεσος τρόπος δημιουργίας τυχαίων μεταβλητών είναι μέσω ντετερμινιστικών

μετασχηματισμών. Έστω επομένως ότι G(x) είναι μ

2Στο εξής η εξάρτηση από την μεταβλητή θ θα προσδιορίζεται εφόσον είναι απολύτως αναγκαίο.


και διασπορά

σ2χ = 1[(χ− χ)2] =

∫ ∞

−∞(x− χ)2fχ(x)dx.

, ενώ η διασπορά υποδηλώνει το πόσο “παίζει” η συνάρτηση χ γύρω από την αντιπρο-σωπευτική της τιμή χ. Παρατηρούμε ότι, όταν σχ = 0, τότε η τυχαία μεταβλητή είναιμια σταθερή συνάρτηση (ίση προς τη μέση της τιμή χ).

Οι έννοιες που ορίσαμε για μια τυχαία μεταβλητή εύκολα επεκτείνονται και σε πε-ρισσότερες. Εάν χ1,χ2 δύο τυχαίες μεταβλητές (δηλαδή για κάθε επιλογή του θ μαςδιατίθενται δύο πραγματικοί αριθμοί), τότε είναι δυνατό να ορίσουμε την από κοινούσυνάρτηση κατανομής

6χ1,χ2(x1, x2) = S(χ1 ≤ x1,χ2 ≤ x2),

την πιθανότητα δηλαδή να έχουμε συγχρόνως χ1 ≤ x1 και χ2 ≤ x2. Είναι πολύ εύκολονα διαπιστώσουμε ότι εάν χi, i = 1, 2, είναι μετρήσιμες, τότε η εν λόγω πιθανότηταυπάρχει (γιατί;).

Η μερική παράγωγος της (από κοινού) συνάρτησης κατανομής 6χ1,χ2(x1, x2) ωςπρος x1 και x2

fχ1,χ2(x1, x2) =∂26χ1,χ2(x1, x2)

∂x1∂x2καλείται από κοινού συνάρτηση πυκνότητας πιθανότητας. Για τις δύο συναρτήσεις ισχύ-ουν οι εξής ιδιότητες

6χ1(x1) = 6χ1,χ2(x1,∞), 6χ2(x2) = 6χ1,χ2(∞, x2),

fχ1,χ2(x1, x2) ≥ 0

fχ1(x1) =

∫ ∞

−∞fχ1,χ2(x1, x2)dx2, fχ2(x2) =

∫ ∞

−∞fχ1,χ2(x1, x2)dx1

∫∫ ∞

−∞fχ1,χ2(x1, x2)dx1dx2 = 1.

Δύο τυχαίες μεταβλητές χ1,χ2 θα καλούνται ανεξάρτητες όταν

6χ1,χ2(x1, x2) = 6χ1(x1)6χ2(x2) ή fχ1,χ2(x1, x2) = fχ1(x1)fχ2(x2).

αλούμε συσχέτιση δύο τυχαίων μεταβλητών χ1,χ2 την ποσότητα

covχ1,χ2 = 1[(χ1 − χ1)(χ2 − χ2)]

=

∫∫(x1 − χ1)(x2 − χ2)fχ1,χ2(x1, x2)dx1dx2

= 1[χ1χ2]− χ1χ2.


Όταν η συσχέτιση δύο τυχαίων μεταβλητών είναι μηδέν, τότε οι τυχαίες μεταβλητέςκαλούνται ασυσχέτιστες.

Οι παραπάνω ορισμοί επεκτείνονται φυσικά σε περισσότερες από δύο τυχαίες μετα-βλητές κατά τον προφανή τρόπο. Στην περίπτωση των περισσοτέρων της μιας τυχαίωνμεταβλητών είναι προτιμότερο να θεωρούμε τις τυχαίες μεταβλητές σαν όρους ενός (τυ-χαίου) διανύσματος. Για την περίπτωση επομένωςK τυχαίων μεταβλητών μπορούμε ναγράψουμε

X = [χ1 χ2 · · · χK ]t

και να ορίσουμε το μέσο διάνυσμα σαν

X = 1[X ] =

∫XfX (X)dX

και την μήτρα συνδιασποράς

ΣX = 1[(X − X )(X − X )t] = 1[X X t]− X X t.

Από τον ορισμό εύκολα διαπιστώνουμε ότι το στοιχείο i, j της μήτρας συνδιασποράςείναι ίσο προς τη συσχέτιση των τυχαίων μεταβλητών χi,χj , ως εκ τούτου η μήτραΣX

είναι συμμετρική. Το i-οστό διαγώνιο στοιχείο της μήτρας είναι ίσο προς τη διασποράτης τυχαίας μεταβλητής χi. Τέλος η μήτρα συνδιασποράς, μπορεί εύκολα να αποδειχθείότι είναι μη αρνητικά ορισμένη, μια σημαντική και πολύ χρήσιμη ιδιότητα.

Ένα κλασικό και πρακτικά χρήσιμο παράδειγμα από κοινού συνάρτησης πυκνότηταςπιθανότητας αποτελεί η περίπτωση K Gaussian τυχαίων μεταβλητών. Εάν X ,ΣX τοδιάνυσμα των μέσων όρων και η μήτρα συνδιασποράς των εν λόγω μεταβλητών τότε

fX (X) =1√

(2π)K |ΣX |e−

12 (X−X )tΣ−1

X (X−X ),

όπουX = [x1 x2 · · ·xK ]t (διάνυσμα πραγματικών τυχαίων μεταβλητών) και |ΣX | συμ-βολίζει την ορίζουσα της μήτρας ΣX .

ΙδιότητεςGaussianμεταβλητών :Οι Gaussian μεταβλητές διαθέτουν τις ακόλου-θες δύο πολύ σημαντικές ιδιότητες

Αποτελεί ενδιαφέρουσα (και απλή) άσκηση η απόδειξη της πρότασηςότι όταν Gaussian τυχαίες μεταβλητές είναι ασυσχέτιστες είναι υποχρε-ωτικά και ανεξάρτητες.Αποτελεί ενδιαφέρουσα (και όχι ιδιαίτερα δύσκολη) άσκηση η απόδει-ξη της πρότασης ότι γραμμικός συνδυασμός από Gaussian τυχαίες με-ταβλητές δημιουργεί πάλι Gaussian τυχαίες μεταβλητές.

Η δεύτερη ιδιότητα είναι εξαιρετικά χρήσιμη επειδή, ως γνωστόν, για να καθοριστούνοι Gaussian τυχαίες μεταβλητές αρκεί να υπολογιστούν οι μέσοι όροι και η μήτρα συν-διασποράς, πράγμα απλό για την περίπτωση των γραμμικών συνδυασμών.


2.4.3 Δεσμευμένη πυκνότητα πιθανότηταςΕάν έχουμε μια τυχαία μεταβλητήχ(θ) με πυκνότητα πιθανότητας fχ(x), τότε μπορούμεστην περίπτωση αυτή να ορίσουμε τη δεσμευμένη πυκνότητα πιθανότητας fχ(x|χ ∈ B).ε άλλα λόγια ενδιαφερόμαστε να δούμε με ποιο τρόπο αλλάζει η πυκνότητα πιθανό-

τητας της τυχαίας μεταβλητής όταν μας δίνεται η επιπλέον πληροφορία ότι η τυχαίαμεταβλητή παρατηρήθηκε στο εσωτερικό ενός συνόλου B.

Προκειμένου να χρησιμοποιήσουμε τον ορισμό της δεσμευμένης πιθανότητας, κά-νουμε χρήση της (2.3), συγκεκριμένα

fχ(x|χ ∈ B)dx = S(x < χ ≤ x+ dx|χ ∈ B) =S(x < χ ≤ x+ dx & χ ∈ B)

S(χ ∈ B)

=fχ(x) B(x) dx∫x∈B fχ(x) dx

,

από τη οποία συμπεραίνουμε ότι

fχ(x|χ ∈ B) =fχ(x)∫

x∈B fχ(x) dxB(x).

2.4.4 Βασικές ισότητες για γεγονόταε τη βοήθεια της δεσμευμένης πιθανότητας και συγκεκριμένα με χρήση της (2.1) είναι

δυνατό να αποδειχθεί ένας αριθμός από πολύ ενδιαφέρουσες ισότητες οι οποίες παρατί-θενται στη συνέχεια.

Ισότητα 1: Άμεση γενίκευση της (2.1) αποτελεί η εξής περίπτωση: έστω γεγονόταA1, A2,. . . , AK ∈ G , τότε

S(AK ·AK−1 · · ·A1) = S(AK |AK−1 · · ·A1)S(AK−1 · · ·A1) = · · ·= S(AK |AK−1 · · ·A1)S(AK−1|AK−2 · · ·A1) · · ·S(A2|A1)S(A1).

Η πρώτη ισότητα είναι ουσιαστικά η (2.1) με B = AK−1 · · ·A1. Στη συνέχεια επανα-λαμβάνεται η ισότητα αυτή γιαK − 1,K − 2, . . . , 2.

Ισότητα 2: (Ολική Πιθανότητα) Έστω γεγονότα A1, A2, . . . , AK ∈ G για τα οποία ισχύειA1 ∪A2 ∪ · · · ∪AK = Θ με Ai ·Aj = ∅ για i = j, καθώς και γεγονός B ∈ G , τότε

S(B) = S(B ·Θ) = S(B · ∪Ki=1Ai) = S(∪K

i=1(B ·Ai)) =K∑

i=1

S(B ·Ai)

=K∑

i=1

S(B|Ai)S(Ai),


όπου η πρώτη ισότητα της τελευταίας σχέσης προκύπτει από το γεγονός ότι τα σύνολαB ·Ai είναι μεταξύ τους ξένα.

Ισότητα 3: ε χρήση της προηγούμενης ισότητας μπορούμε να δείξουμε για γεγονόταA1, . . . , AK , B όπως παραπάνω ότι ισχύει

S(Ai|B) =S(B|Ai)S(Ai)

S(B)=

S(B|Ai)S(Ai)∑Ki=1 S(B|Ai)S(Ai)

.

Οι πιθανότητες S(Ai) καλούνται εκ των προτέρων (ή αρχικές) πιθανότητες των γεγονό-τωνAi, ενώ οι S(Ai|B) εκ των υστέρων με δεδομένο το γεγονόςB. Οι εκ των προτέρωνπιθανότητες εκφράζουν την αρχική γνώση που υπάρχει για τα γεγονόταAi ενώ οι εκ τωνυστέρων το πως διαμορφώνονται οι πιθανότητες μετά την εμφάνιση του γεγονότος B.

2.4.5 Βασικές ισότητες για πυκνότητες πιθανότηταςΟι ισότητες που παρουσιάστηκαν για γεγονότα έχουν τα ισοδύναμά τους και στην πε-ρίπτωση των πυκνοτήτων πιθανότητας τυχαίων μεταβλητών. Έστω δύο τυχαία διανύ-σματα X ,Y με αντίστοιχη από κοινού πυκνότητα πιθανότητας fX ,Y (X,Y ), τότε ηπυκνότητα πιθανότητας του X με δεδομένο ότι Y ∈ B είναι

fX |Y ∈B(X|Y ∈ B) =

∫Y ∈B fX ,Y (X,Y ) dY∫

Y ∈B fY (Y ) dY=

∫Y ∈B fX ,Y (X,Y ) dY

∫∞−∞

∫Y ∈B fX ,Y (X,Y ) dY dX

.

Είναι επίσης δυνατό να θεωρήσουμε για το Y το διαφορικό γεγονός Y = Y (δηλαδήY < Y ≤ Y + dY ), οπότε η δεσμευμένη πυκνότητα πιθανότητας γράφεται

fX |Y =Y (X|Y ) =fX ,Y (X,Y )

fY (Y )=

fX ,Y (X,Y )∫∞−∞ fX ,Y (X,Y ) dX

.

Εύκολα διαπιστώνουμε ότι η συνάρτηση fX |Y =Y (X|Y ) αποτελεί όντως πυκνότητα πι-θανότητας αφού είναι μη αρνητική και εάν ολοκληρωθεί ως προςX το αποτέλεσμα είναιμονάδα. Η παραπάνω σχέση αποτελεί το ισοδύναμο της δεσμευμένης πιθανότητας γιασυναρτήσεις πυκνότητας πιθανότητας. ατ’ αναλογία με την (2.1) μπορούμε επίσης ναγράψουμε

fX ,Y (X,Y ) = fX |Y =Y (X|Y )fY (Y ).

Από την ύπαρξη της υπό συνθήκη πυκνότητας πιθανότητας απορρέει και η ύπαρξητης υπό συνθήκη μέσης τιμής

1[X |Y = Y ] =

∫ ∞

−∞XfX |Y =Y (X|Y = Y ) dX = G(Y )

το οποίο είναι φυσικά μια (διανυσματική) συνάρτηση του Y .


Για την υπό συνθήκη πυκνότητα πιθανότητα ισχύει ένας αριθμός από ενδιαφέρουσεςισότητες η απόδειξη των οποίων είναι απλή και επαφίεται στον αναγνώστη. Το ισοδύ-ναμο της σότητας 1 για πυκνότητες πιθανότητας είναι η ακόλουθη σχέση.

Ισότητα 4: Έστω τυχαίες μεταβλητές χ1,χ2, . . . ,χn τότε

fχn,...,χ1(xn, . . . , x1) =

fχn|χn−1,...,χ1(xn|xn−1, . . . , x1)× fχn−1|χn−2,...,χ1

(xn−1|xn−2, . . . , x1)× · · ·× fχ2|χ1

(x2|x1)× fχ1(x1).

Για την ειδική περίπτωση που

fχn|χn−1,...,χ1(xn|xn−1, . . . , x1) = fχn|χn−1

(xn|xn−1)

τότε η ακολουθία χ1,χ2, . . . ,χn καλείται Markov. Συνδυασμός γεγονότων και πυκνο-τήτων πιθανότητας οδηγεί στην ακόλουθη ισότητα.

Ισότητα 5: Έστω τυχαία διανύσματα X ,Y και ας υποθέσουμε ότι το Y παίρνει τιμέςμέσα στο σύνολο Ω όπου υποθέτουμε ότι S(Y ∈ Ω) = 1. Έστω επίσης ότι ισχύειΩ = ∪K

i=1Ai, όπου τα γεγονότα Ai είναι ανά δύο ξένα μεταξύ τους. Τότε

fX (X) = fX ,Y (X,Y ∈ Ω) = fX ,Y (X,Y ∈ ∪Ki=1Ai) =

K∑

i=1

fX ,Y (X,Y ∈ Ai)

=K∑

i=1

fX |Y (X|Y ∈ Ai)S(Y ∈ Ai).

Ισότητα 6: Το αντίστοιχο της σότητας 3 με την βοήθεια της σότητας 5, γράφεται

S(Y ∈ Ai|X = X) =fX |Y (X|Y ∈ Ai)S(Y ∈ Ai)

fX (X)

=fX |Y (X|Y ∈ Ai)S(Y ∈ Ai)

∑Ki=1 fX |Y (X|Y ∈ Ai)S(Y ∈ Ai)

,

όπου ισχύουν οι υποθέσεις της προηγούμενης ισότητας. Η ισότητα αυτή χρησιμοποιείταιγια τον υπολογισμό της εκ των υστέρων πιθανότητας του Ai με δεδομένο ότι το τυχαίοδιάνυσμα X έλαβε τη τιμή X = X .


2.4.6 Ιδιότητα της κλιμάκωσης του μέσου όρουια εξαιρετικά χρήσιμη ιδιότητα η οποία βασίζεται στην υπό συνθήκη μέση τιμή είναι η

εξής. Έστω G(X,Y ) συνάρτηση των διανυσμάτων X,Y, τότε μπορούμε να γράψουμε

1[G(X ,Y )] =

∫∫ ∞

−∞G(X,Y )fX ,Y (X,Y ) dX dY

=

∫ ∞

−∞

∫ ∞

−∞G(X,Y )fX |Y (X|Y ) dX

fY (Y ) dY

= 1[1[G(X ,Y

)|Y]]

. (2.4)

ε άλλα λόγια ο μέσος όρος μιας τυχαίας ποσότητας είναι δυνατό να υπολογιστεί κλι-μακωτά, υπολογίζοντας δηλαδή αρχικά τον υπό συνθήκη μέσος όρο ως προς κάποιεςτυχαίες μεταβλητές και κατόπιν, τον μέσο όρο της τυχαίας ποσότητας που προκύπτει.Παράδειγμα 2.1 : Έστω δύο στοχαστικά διανύσματα X ,Y τα οποία είναι από κοινού Gaussian μεμέσες τιμές X , Y , μήτρες συνδυασποράς 1[(X − X )(X − X )t)] = ΣX , 1[(Y − Y )(Y −Y )t)] = ΣY και μήτρα ετεροσυσχέτισης 1[(X − X )(Y − Y )t)] = ΣX ,Y . Δείξτε ότιη δεσμευμένη πυκνότητα πιθανότητας fX |Y (X|Y ) είναι Gaussian με μέση τιμή και διασποράπου δίνονται από τις σχέσεις

1[X |Y ] = X + ΣX ,Y Σ−1Y (Y − Y )

1[(X − 1[X |Y ])(X − 1[X |Y ])t|Y ] = ΣX |Y = ΣX − ΣX ,Y Σ−1Y Σt

X ,Y .

Για την απόδειξη της πρότασης αρκεί να υπολογίσουμε τη συνάρτηση

fX |Y (X|Y ) = fX ,Y (X,Y )/fY (Y ).

Για ευκολία θα θεωρήσουμε ότι οι δύο μέσοι όροι είναι μηδέν. Έχουμε τότε ότι (βλέπε Εδά-φιοΑ.5)

fX ,Y (X,Y ) =1√

(2π)Nx+Ny |Σ|e−

12 [X

t Y t]Σ−1[Xt Y t]t

fY (Y ) =1√

(2π)Ny |ΣY |e−

12Y

tΣ−1Y Y

όπουNx, Ny τα μήκη των διανυσμάτων X ,Y αντίστοιχα, Σ = [ΣX ΣX ,Y ;ΣtX ,Y ΣY ] είναι

η μήτρα συνδυασποράς του εννιαίου διανύσματος [X t Y t]t και |A| συμβολίζει την ορίζουσατης μήτρας A. Χρησιμοποιώντας τις δύο αυτές σχέσεις υπολογίζεται ότι

fX |Y (X|Y ) =1√

(2π)Nx|Σ|

|ΣY |

e−12 [X

t Y t]Σ−1[Xt Y t]t+ 12Y

tΣ−1Y Y . (2.5)

ε τη βοήθεια της ταυτότητας αντιστροφής του Shur[

ΣX ΣX ,Y

ΣtX ,Y ΣY

]−1

=

[0 00 Σ−1

Y

]+

[I

−ΦtX ,Y

]Σ−1

X |Y [I − ΦX ,Y ]


όπου ΦX ,Y = ΣX ,Y Σ−1Y , και την ταυτότητα ορίζουσας μητρών σε μπλοκ μορφή∣∣∣∣

[ΣX ΣX ,Y

ΣtX ,Y ΣY

]∣∣∣∣= |ΣY ||ΣX |Y |,

μετά από αντικατάσταση στη Σχέση (2.5), καταλήγουμε

fX |Y (X|Y ) =1√

(2π)Nx |ΣX |Y |e−

12 (X−ΦX |Y Y )tΣ−1

X |Y (X−ΦX |Y Y ).

Από την προηγούμενη σχέση συμπεραίνουμε ότι η δεσμευμένη πιθανότητα της X είναι όντωςGaussian με τον ζητούμενο μέσον όρο και μήτρα συνδιασπορά.

2.5 Ιδιότητα της αλλαγής μέτρουΣτη συνέχεια θα αναφερθούμε σε μια πολύ ενδιαφέρουσα ιδιότητα του μέσου όρου τηνοποία θα χρησιμοποιήσουμε σε επόμενο εδάφιο.

Έστω τυχαίο διάνυσμα X το οποίο έχει πυκνότητα πιθανότητας fX (X). Ας υπο-θέσουμε επίσης ότι fX (X) αποτελεί εναλλακτική πυκνότητα πιθανότητας για το ίδιοτυχαία διάνυσμα. πορούμε τώρα να ορίσουμε το λόγο πιθανοφάνειας G(X) = fX (X)

fX (X)το οποίο είναι βαθμωτή ποσότητα και αποτελεί ένα (εν γένει μη γραμμικό) μετασχημα-τισμό του διανύσματος X . Έστω τέλος μη γραμμική συνάρτηση G(X) για την οποίαενδιαφερόμαστε να υπολογίσουμε τον μέσο όρο 1[G(X )] όπου 1[·] συμβολίζει μέσονόρο ως προς την πυκνότητα πιθανότητας fX (X). Έχουμε τον εξής απλό υπολογισμό3

1[G(X )] =

∫G(X)fX (X) dX =

∫G(X)

fX (X)

fX (X)fX (X) dX

=

∫G(X)G(X)fX (X) dX

= 1[G(X )G(X )],

όπου 1[·] εκφράζει μέσον όρο ως προς την εναλλακτική πυκνότητα πιθανότητας fX (X).Παρατηρούμε ότι είναι δυνατό να υπολογίσουμε τον μέσον όρο μιας τυχαίας ποσότηταςαλλάζοντας (μέτρο) πυκνότητα πιθανότητας, αρκεί να εφαρμόσουμε τη σχετική διόρ-θωση με τη βοήθεια του λόγου πιθανοφάνειας. Η προφανής αυτή ιδιότητα της αλλαγήςμέτρου έχει πολλές και σημαντικές εφαρμογές στη Θεωρία Πιθανοτήτων και στη Στατι-στική.

3Στην ανάλυση που ακολουθεί έχουν παραληφθεί ορισμένες τεχνικές λεπτομέρειες. Π.χ. θεωρούμε ότιστα σημεία X για τα οποία fX (X) = 0, πρέπει να ισχύει ότι fX (X) = 0. ε τον περιορισμό αυτόαποφεύγεται ο λόγος πιθανοφάνειας να παίρνει άπειρη τιμή. Το γεγονός ότι η τιμή του λόγου πιθανοφά-νειας είναι απροσδιόριστη δεν αποτελεί πρόβλημα αφού η συνεισφορά των σημείων αυτών στο συνολικόολοκλήρωμα είναι μηδενική (γιατί;).

2.6 Στοχαστικά ή τυχαία σήματα 17

2.6 Στοχαστικά ή τυχαία σήματαΕπεκτείνοντας την ιδέα του συνδυασμού πεπερασμένου πλήθους τυχαίων μεταβλητώνσε άπειρη ακολουθία, δηλαδή χn,−∞ < n < ∞, προκύπτει μια στοχαστική διαδικα-σία. Εάν ο δείκτης n αναφέρεται σε χρόνο, τότε τη διαδικασία την καλούμε ειδικότεραστοχαστικό σήμα διακριτού χρόνου. ε άλλα λόγια, με κάθε επιλογή της Φύσης σε θμας διατίθεται ένα σήμα στο χρόνο. Ωστόσο σε κάθε χρονική στιγμή n0 η συμπεριφοράτου σήματος είναι τυχαία, το χn0 είναι δηλαδή μια τυχαία μεταβλητή.

Είναι επίσης δυνατό να ορίσουμε διαδικασίες χ(t),−∞ < t < ∞ που να εξαρ-τώνται από τη μεταβλητή t η οποία είναι συνεχής. Εάν το t αναφέρεται σε αναλογικόχρόνο, τότε το χ(t) είναι ένα στοχαστικό σήμα συνεχούς χρόνου. Για κάθε χρονική στιγ-μή t = t0, η συνάρτηση χ(t0) είναι μετρήσιμη συνάρτηση (δηλαδή τυχαία μεταβλητή),ενώ για κάθε επιλογή του θ είναι συνάρτηση του χρόνου4.

Τα στοχαστικά σήματα περιγράφονται πλήρως μέσω των κατανομών πεπερασμένηςτάξης. Εάν n1, n2, . . . , nK (αντίστοιχα t1, t2, . . . , tK) K χρονικές στιγμές, τότε η Kτάξης κατανομή του σήματος ορίζεται σαν

6χ(x1, . . . , xK , n1, n2, . . . , nK) = S(χn1 ≤ x1, . . . ,χnK ≤ xK)

6χ(x1, . . . , xK , t1, t2, . . . , tK) = S(χ(t1) ≤ x1, . . . ,χ(tK) ≤ xK).

Όπως παρατηρούμε οι κατανομές, εκτός από συναρτήσεις των μεταβλητών xi, είναιεπίσης συναρτήσεις των χρονικών στιγμών στις οποίες αναφέρονται. Αυτό οφείλεταιστο γεγονός ότι δεν είναι απαραίτητο η τυχαία μεταβλητή που αντιστοιχεί στη χρονικήστιγμή n1 να έχει την ίδια κατανομή με την τυχαία μεταβλητή της χρονικής στιγμής n2.

2.6.1 Στατιστικές πρώτης και δεύτερης τάξηςΣτην επεξεργασία σημάτων η πληροφορία που είναι συνήθως απαραίτητη είναι ο τρό-πος με τον οποίο εξελίσσεται η κατανομή της χn στο χρόνο καθώς και η από κοινούκατανομή των χn1 ,χn2 που αναφέρεται σε δύο χρονικές στιγμές, δηλαδή 6χ(x1, n1) =S(χn1 ≤ x1) και η 6χ(x1, x2, n1, n2) = S(χn1 ≤ x1,χn2 ≤ x2). Ωστόσο στην πράξηακόμη και αυτή η περιορισμένη πληροφορία είναι αρκετά δύσκολο να εκτιμηθεί. Για τολόγο αυτό καταφεύγουμε στις λεγόμενες στατιστικές πρώτης και δεύτερης τάξης.

Στατιστική πρώτης τάξης ενός στοχαστικού σήματος είναι το ντετερμινιστικό σήμαπου προκύπτει παίρνοντας το στοχαστικό μέσον όρο σε κάθε χρονική στιγμή. Δηλαδή

χn = 1[χn] ή χ(t) = 1[χ(t)].Στατιστική δεύτερης τάξης αποτελεί η συσχέτιση του σήματος με τον εαυτό του σε δύοδιαφορετικές χρονικές στιγμές, δηλαδή

Rχ(n1, n2) = 1[(χn1 − χn1)(χn2 − χn2)]

ή Rχ(t1, t2) = 1[χ(t1)− χ(t1)χ(t2)− χ(t2)].4Υπενθυμίζεται ότι οι συναρτήσεις αυτές είναι επίσης και συναρτήσεις του θ, δηλαδή της επιλογής της

φύσης.


Η συνάρτησηRχ(n1, n2) (αντίστοιχαRχ(t1, t2)) καλείται συνάρτηση αυτοσυσχέτισης (ήαπλά αυτοσυσχέτιση) του σήματος χ.

ατά ανάλογο τρόπο ορίζουμε τη συνάρτηση ετεροσυσχέτισης (ή ετεροσυσχέτιση)μεταξύ δύο διαφορετικών σημάτων χn, ςn σαν

Rχ,ς(n1, n2) = 1[(χn1 − χn1)(ςn2 − ςn2)].

Η συνάρτηση ετεροσυσχέτισης υποδηλώνει, κατά μέσον όρο, πόσο συσχετισμένο είναιτο σήμα χn τη χρονική στιγμή n1 με το σήμα ςn τη χρονική στιγμή n2. Όπως θαδιαπιστώσουμε, οι στατιστικές πρώτης και δεύτερης τάξης είναι δυνατό να εκτιμηθούνστην πράξη αρκετά εύκολα.

Στο σημείο αυτό κρίνεται σκόπιμο να ορισθεί ένα πολύ ιδιαίτερο σήμα όσον αφοράστις στατιστικές δεύτερης τάξης. Ένα στοχαστικό σήμα χn καλείται λευκός θόρυβος,όταν ο μέσος όρος του σε κάθε χρονική στιγμή είναι μηδέν και η συνάρτηση αυτοσυ-σχέτισης είναι της μορφής

Rχ(n1, n2) = Rχ(n1, n1)δn1−n2 ή Rχ(t1, t2) = Rχ(t1, t1)δ(t1 − t2),

όπου δn (αντίστοιχα δ(t)) η συνάρτηση δέλτα. ε άλλα λόγια, στο λευκό θόρυβο ταδείγματα του σήματος συσχετίζονται μόνον με τον εαυτό τους ενώ είναι ασυσχέτιστα μετα δείγματα οποιασδήποτε άλλης χρονικής στιγμής.

2.6.2 Στασιμότητα και εργοδικότηταΗ στασιμότητα είναι ιδιότητα που αναφέρεται σε συγκεκριμένο χαρακτηριστικό ενός σή-ματος. Είναι επομένως δυνατόν ορισμένα χαρακτηριστικά να είναι στάσιμα και άλλαόχι. Η πλέον ισχυρή μορφή στασιμότητας αναφέρεται στη συνάρτηση κατανομής ενόςσήματος.

Έστω οι χρονικές στιγμές ni, i = 1, . . . ,K. Ένα σήμα χn θα καλείται ισχυρώςστάσιμο K τάξης, εάν η συνάρτηση κατανομής ικανοποιεί

6χ(x1, . . . , xK , n1, n2, . . . , nK) = 6χ(x1, . . . , xK , n2 − n1, . . . , nK − n1).

ε άλλα λόγια, εάν η συνάρτηση κατανομής δεν εξαρτάται από τις απόλυτες χρονικέςστιγμές αλλά μόνο από τις σχετικές, έχουμε ισχυρή στασιμότητα. Για παράδειγμα, ένασήμα χn είναι ισχυρώς στάσιμο πρώτης τάξης, όταν η συνάρτηση κατανομής του δενεξαρτάται από το χρόνο, δηλαδή 6χ(x1, n1) = 6χ(x1, 0), ενώ είναι ισχυρώς στάσιμοδεύτερης τάξης, όταν 6χ(x1, x2, n1, n2) = 6χ(x1, x2, n2 − n1).

Η ισχυρή στασιμότητα είναι πολύ περιοριστική και, τουλάχιστον για τις εφαρμογέςπου μας ενδιαφέρουν, όχι αναγκαία. Για το σκοπό αυτό είναι δυνατό να ορίσουμε τηνέννοια της στασιμότητας μόνο για μεγέθη που χρησιμοποιούμε, όπως για παράδειγμαστατιστικές πρώτης και δεύτερης τάξης. Ένα σήμα χn θα καλείται ασθενώς στάσιμοπρώτης τάξης, όταν

χn = 1[χn] = χ,


δηλαδή ο στοχαστικός μέσος όρος είναι μια σταθερά ανεξάρτητη του χρόνου. Ένα σήμαθα καλείται ασθενώς στάσιμο δεύτερης τάξης, όταν είναι ασθενώς στάσιμο πρώτης τάξηςκαι επιπλέον η συνάρτηση αυτοσυσχέτισης ικανοποιεί τη σχέση

Rχ(n1, n2) = Rχ(n2 − n1) = 1[(χn1 − χ)(χn2 − χ)].

Τέλος, δύο σήματα χn, φn θα καλούνται από κοινού ασθενώς στάσιμα, δεύτε-ρης τάξης όταν αυτά είναι ασθενώς στάσιμα δεύτερης τάξης και επιπλέον η συνάρτησηετεροσυσχέτισης ικανοποιεί τη σχέση

Rχ,ς(n1, n2) = Rχ,ς(n2 − n1) = 1[(χn1 − χ)(ςn2 − ς)].

Από σύμβαση, στην αυτοσυσχέτιση και την ετεροσυσχέτιση, θεωρούμε σαν όρισμα τηδιαφορά των χρονικών στιγμών του δεύτερου όρου του γινομένου μείον του πρώτου. Οισυναρτήσεις αυτοσυσχέτισης και ετεροσυσχέτισης στάσιμων σημάτων έχουν τις ακό-λουθες ενδιαφέρουσες συμμετρίες

Rχ(−n) = Rχ(n) (2.6)Rχ,ς(−n) = Rς,χ(n). (2.7)

Από την πρώτη συμπεραίνουμε ότι η συνάρτηση αυτοσυσχέτισης είναι άρτια συνάρτησητου n.

Όπως αναφέρθηκε σε προηγούμενο εδάφιο, στην πράξη χρησιμοποιούμε πολύ συχνάαριθμητικούς μέσους όρους για να προσεγγίσουμε τους στοχαστικούς μέσους όρους. Γιαπαράδειγμα, εάν χ είναι τυχαία μεταβλητή και χ(θ1), . . . ,χ(θK) είναι K υλοποιήσειςτης, τότε

χ = 1[χ] ≈ χ(θ1) + χ(θ2) + · · ·+ χ(θK)

K.

Το σημείο που πρέπει να τονισθεί στην προηγούμενη εκτίμηση είναι η ανάγκη για πολ-λαπλές υλοποιήσεις της τυχαίας μεταβλητής. Επεκτείνοντας την ιδέα αυτή σε ένα τυ-χαίο σήμα χn, είναι φανερό ότι, για να εκτιμηθεί ο στοχαστικός μέσος όρος χn τουσήματος, είναι απαραίτητο να υπάρχουν διαθέσιμες πολλαπλές υλοποιήσεις του στοχα-στικού σήματος, χn(θ1), χn(θ2), . . ., δηλαδή πολλαπλά σήματα. Στην περίπτωσηαυτή η εφαρμογή του αριθμητικού μέσου όρου για κάθε χρονική στιγμή καταλήγει σεπροσέγγιση του στοχαστικού μέσου όρου του σήματος ως εξής

χn = 1[χn] ≈χn(θ1) + χn(θ2) + · · ·+ χn(θK)

K. (2.8)

Η ανάγκη για πολλαπλά σήματα είναι εν γένει ανεπιθύμητη, αφού στην πράξη συνήθωςδιατίθεται ένα και μοναδικό σήμα (μια μόνον υλοποίηση).

Στην περίπτωση που το σήμα μας είναι ασθενώς στάσιμο πρώτης τάξης (με αποτέλε-σμα ο στοχαστικός μέσος όρος να είναι κοινός σε κάθε χρονική στιγμή), είναι λογικό να


αναρωτηθεί κανείς εάν είναι δυνατό να χρησιμοποιηθούν τα διαφορετικά χρονικά δείγ-ματα μιας υλοποίησης, ώστε να εκτιμηθεί ο κοινός στοχαστικός μέσος όρος όλων τωνδειγμάτων, δηλαδή εάν μπορούμε να γράψουμε

χ ≈ χ1(θ) + χ2(θ) + · · ·+ χK(θ)

K. (2.9)

Παρατηρούμε τη σημαντική διαφορά μεταξύ των δύο προσεγγίσεων. Η (2.8) αναφέρεταισε μια χρονική στιγμή και χρησιμοποιεί διαφορετικές υλοποιήσεις (διαφορετικά σήματαλόγω των θi), ενώ η (2.9) αναφέρεται σε μια υλοποίηση (ένα σήμα λόγω του μοναδικούθ) αλλά σε διαφορετικές χρονικές στιγμές.

Στάσιμα σήματα τα οποία ικανοποιούν

χ = limK→∞

χ1(θ) + χ2(θ) + · · ·+ χK(θ)

K

καλούνται εργοδικά πρώτης τάξης. Συνθήκες κάτω από τις οποίες ένα σήμα είναι ερ-γοδικό υπάρχουν, ωστόσο, επειδή ξεφεύγουν του σκοπού του παρόντος βιβλίου δεν θαπαρουσιαστούν. Ένα εύκολο παράδειγμα μη εργοδικού σήματος είναι η περίπτωση πουπροκύπτει από την άπειρη επανάληψη μιας τυχαίας μεταβλητής, δηλαδή χn = χ, όπουχ οποιαδήποτε τυχαία μεταβλητή. Στην περίπτωση αυτή ο κοινός στοχαστικός μέσοςόρος κάθε χρονικής στιγμής δεν συμπίπτει με τον χρονικό αριθμητικό μέσο όρο (γιατί;).

ε ανάλογο τρόπο είναι δυνατό να ορίσουμε την εργοδικότητα δεύτερης τάξης ενόςστάσιμου σήματος δεύτερης τάξης. Ενδιαφερόμαστε δηλαδή να εκτιμήσουμε στατιστι-κές δεύτερης τάξης από χρονικούς αριθμητικούς μέσους όρους, συγκεκριμένα

Rχ(k) = Rχ(n+ k − n) = limK→∞

1

K

K∑

n=1

(χn(θ)− χ)(χk+n(θ)− χ).

Παρατηρούμε και πάλι ότι για τον υπολογισμό της συνάρτησης αυτοσυσχέτισης, ότανέχουμε εργοδικότητα, είναι αρκετό ένα μόνο σήμα.

2.6.3 Πυκνότηταφάσματος ισχύος στοχαστικού σήματοςΣτην επεξεργασία σημάτων έχει πολύ μεγάλη σημασία το συχνοτικό περιεχόμενο (με-τασχηματισμός Fourier) ενός σήματος. Έχει επομένως ενδιαφέρον να εξετάσουμε μεποιο τρόπο η έννοια αυτή είναι δυνατό να επεκταθεί στην περίπτωση των στοχαστικώνσημάτων.

Ας θεωρήσουμε για ευκολία ένα στοχαστικό σήμα διακριτού χρόνου χn, το οποίοείναι στάσιμο, με μέση τιμή μηδέν και με συνάρτηση αυτοσυσχέτισης Rχ(n). Εάνεφαρμόσουμε τον Διακριτό ετασχηματισμός Fourier5 (Δ F) σε L χρονικά δείγματα

5Ο Δ F ορίζεται με ένα συντελεστή κανονικοποίησης 1/√L προκειμένου το σήμα στο χρόνο και στη

συχνότητα να έχει την ίδια ακριβώς ενέργεια.


τότε

XL(ejω) =

1√L

L−1∑

n=0

χne−jnω.

Επειδή τα χn είναι τυχαίες μεταβλητές συμπεραίνουμε ότι για κάθε συχνότητα ω = ω0

η ποσότητα XL(ejω0) είναι επίσης τυχαία μεταβλητή. ε άλλα λόγια η συνάρτησηXL(ejω) είναι μια στοχαστική διαδικασία αφού εξαρτάται από τη συχνότητα ω και γιακάθε τιμή της είναι τυχαία μεταβλητή.

Στα σήματα μεγάλη σημασία έχει η κατανομή ενέργειας ανά συχνότητα. Στην πε-ρίπτωση του στοχαστικού σήματος της προηγουμένης παραγράφου, αυτό εκφράζεταιμέσω του |XL(ejω)|2. Επειδή η ποσότητα αυτή είναι τυχαία, προκειμένου να προκύ-ψει μια ντετερμινιστική συνάρτηση της συχνότητας η οποία να είναι πρακτικά χρήσιμηεφαρμόζεται στοχαστικός μέσος όρος και υπολογίζεται το όριο για L → ∞. Προτείνε-ται συνεπώς η χρήση της ντετερμινιστικής συνάρτησης limL→∞ 1[|XL(ejω)|2] για τηνπεριγραφή της μέσης ενέργειας ανά συχνότητα (δηλαδή τον μέσον όρο της ενέργειας ανάσυχνότητα για όλα τα διαφορετικά σήματα/υλοποιήσεις που αντιπροσωπεύει το στοχα-στικό σήμα). αλούμε πυκνότητα φάσματος ισχύος ενός στάσιμου σήματος χn τησυνάρτηση που προκύπτει από το ακόλουθο όριο

Φχ(ejω) = lim

L→∞1[|XL(e

jω)|2]= lim

L→∞1

⎡

⎣ 1

L

∣∣∣∣∣

L−1∑

n=0

χne−jnω

∣∣∣∣∣

2⎤

⎦

=∞∑

n=−∞Rχ(n)e

−jnω = FRχ(n), (2.10)

όπου με F· συμβολίζουμε τον κλασικό μετασχηματισμό Fourier. Η πυκνότητα φά-σματος ισχύος, αφού αποτελεί τον ετασχηματισμό Fourier της συνάρτησης αυτοσυ-σχέτισης, εξαρτάται αποκλειστικά από στατιστικές δεύτερης τάξης του τυχαίου σήματοςχn.

ατ’ αντιστοιχία, για δύο από κοινού στάσιμα (πραγματικά) σήματα χn, ςn,έχουμε το όριο

Φχ,ς(ejω) = lim

L→∞1[XL(e

jω)S∗L(e

jω)]

= limL→∞

1[

1√L

(L−1∑

n=0

χne−jnω

)1√L

(L−1∑

n=0

ςnejnω

)]

=∞∑

n=−∞Rχ,ς(n)e

−jnω = FRχ,ς(n),

όπου με Φχ,ς(ejω) συμβολίζουμε το ετασχηματισμό Fourier της συνάρτησης ετεροσυ-σχέτισης. Η συνάρτηση Φχ,ς(ejω) καλείται συνάρτηση ετεροφάσματος.


Για τη συνάρτηση πυκνότητας φάσματος ισχύος, σαν συνέπεια της (2.6), έχουμε τιςακόλουθες ιδιότητες

Φχ(ejω) ∈ R, Φχ(e

jω) ≥ 0, Φχ(e−jω) = Φχ(e

jω),

είναι δηλαδή μια πραγματική, άρτια, μη αρνητική συνάρτηση της συχνότητας ω. Για τησυνάρτηση ετεροφάσματος, από την (2.7), ισχύει

Φχ,ς(e−jω) = Φ∗

χ,ς(ejω), Φχ,ς(e

−jω) = Φς,χ(ejω).

2.7 Επίδραση γραμμικού συστήματος σε στατιστικές σήματοςΈστω στοχαστικό σήμα χn, το οποίο αποτελεί είσοδο σε ένα γραμμικό, χρονικά στα-θερό σύστημα με κρουστική απόκριση hn. Η έξοδος του συστήματος είναι επίσηςστοχαστικό σήμα και ισχύει

ςn = hn ∗ χn =∞∑

k=−∞hkχn−k. (2.11)

Πρέπει να σημειώσουμε ότι το hn είναι μια ντετερμινιστική ακολουθία, σε αντίθεσημε την είσοδο και την έξοδο που είναι στοχαστικές διαδικασίες.

Εφαρμόζοντας στοχαστικό μέσον όρο στην (2.11), υπολογίζουμε τις στατιστικές πρώ-της τάξης της εξόδου συναρτήσει των αντίστοιχων στατιστικών της εισόδου,

ςn = hn ∗ χn.

Δηλαδή η ακολουθία των μέσων όρων της εξόδου είναι η συνέλιξη της κρουστικής από-κρισης με την ακολουθία των μέσων όρων της εισόδου. Συμπεραίνουμε επομένως ότι,όταν η είσοδος έχει μέση τιμή μηδέν, το ίδιο θα ισχύει και για την έξοδο.

Ας υποθέσουμε ότι το σήμα εισόδου χn είναι μηδενικής μέσης τιμής και ασθενώςστάσιμο δεύτερης τάξης με συνάρτηση αυτοσυσχέτισηςRχ(n) και πυκνότητα φάσματοςΦχ(ejω). Επιθυμούμε να υπολογίσουμε τις αντίστοιχες συναρτήσεις για το σήμα εξόδου.σχύουν οι παρακάτω σχέσεις

Rς,χ(n) = h−n ∗Rχ(n)

Rς(n) = hn ∗Rς,χ(n) = hn ∗ h−n ∗Rχ(n)

Φς(ejω) = |H(ejω)|2Φχ(e

jω). (2.12)

Η απόδειξη των σχέσεων αυτών είναι εύκολη. Από την (2.11) πολλαπλασιάζονταςμε χn+l, εφαρμόζοντας στοχαστικό μέσον όρο και χρησιμοποιώντας στασιμότητα, κα-ταλήγουμε

Rς,χ(l) = 1[ςnχn+l] =∞∑

k=−∞hk1[χn−kχn+l] =

∞∑

k=−∞hkRχ(l + k).

2.7 Επίδραση γραμμικού συστήματος σε στατιστικές σήματος 23

Αντικαθιστώντας στο τελευταίο άθροισμα όπου k το−k, αποδεικνύεται η πρώτη σχέση.Για να αποδείξουμε τη δεύτερη χρησιμοποιούμε πάλι την (2.11) αλλά πολλαπλασιά-

ζουμε αυτή τη φορά με ςl, και μετά εφαρμόζουμε μέσον όρο. Η τρίτη αποτελεί συνδυα-σμό της πρώτης και της δεύτερης και αποδεικνύεται με τα ακόλουθα βήματα

Φς(ejω) = FRς(n) = Fhn ∗ h−n ∗Rχ(n)

= FhnFh−nFRχ(n) = H(ejω)H(e−jω)Φχ(ejω)

= |H(ejω)|2Φχ(ejω),

όπου η τελευταία ισότητα οφείλεται στη γνωστή ιδιότητα του ετασχηματισμού Fourierπραγματικών ακολουθιώνH(e−jω) = H∗(ejω).

Παρατηρούμε ότι η πυκνότητα φάσματος της εξόδου είναι το γινόμενο της πυκνό-τητας φάσματος της εισόδου επί το μέτρο στο τετράγωνο της απόκρισης συχνότηταςτου γραμμικού φίλτρου. Η σχέση αυτή ουσιαστικά αντικαθιστά τη σχέση S(ejω) =H(ejω)X(ejω) των ντετερμινιστικών σημάτων που αποτελεί τη βάση στη θεωρία σχε-διασμού φίλτρων.

ια πολύ σημαντική συνέπεια της Σχέσης (2.12) είναι η παρακάτω πρόταση6.

Σχέση στοχαστικών σημάτων και γραμμικών συστημάτων : άτω από πολύ γενικέςσυνθήκες η πυκνότητα φάσματοςΦχ(ejω) ενός τυχαίου, στάσιμου σήματοςχn αναλύεται ως εξής

Φχ(ejω) = |Uχ(e

jω)|2 = Uχ(ejω)Uχ(e

−jω),

όπου Uχ(ejω) είναι ο ετασχηματισμός Fourier μιας αιτιατής, απόλυτααθροίσιμης ακολουθίας.

Ως εκ τούτου, όσον αφορά στις στατιστικές δεύτερης τάξης, κάτω από πολύ γενικέςσυνθήκες, ένα σήμα χn μπορεί να θεωρηθεί σαν έξοδος ενός γραμμικού, αιτιατού,χρονικά σταθερού, ευσταθούς συστήματος με απόκριση συχνότηταςUχ(ejω) και είσοδολευκό θόρυβο.

6Η απόδειξη της πρότασης υπάρχει στο βιβλίο [?]. Περισσότερες λεπτομέρειες υπάρχουν επίσης στοΕδάφιο 7.3.3.

3Βέλτιστη εξέταση υποθέσεων

3.1 ΕισαγωγικάΣτο παρόν κεφάλαιο θα παρουσιαστούν και θα αναλυθούν διεξοδικά τεχνικές εξέτασηςυποθέσεων. Θα επικεντρωθούμε κυρίως στις τεχνικές σταθερού αριθμού δειγμάτων στιςοποίες το πλήθος των δειγμάτων είναι δεδομένο και γνωστό εκ των προτέρων. Οι μέθο-δοι που θα μας απασχολήσουν μολονότι βασίζονται σε απλές έννοιες και αποτελέσμα-τα της Θεωρίας Πιθανοτήτων επιλύουν προβλήματα λήψης αποφάσεων πολύ γενικήςμορφής. Στην περίπτωση που οι στατιστικές των δειγμάτων είναι εντελώς γνωστές εκτων προτέρων, το πρόβλημα της εξέτασης υποθέσεων θα επιλυθεί πλήρως στη γενικήτου μορφή και μάλιστα με βέλτιστο τρόπο. Στην περίπτωση που οι εν λόγω στατιστι-κές περιέχουν άγνωστες ή τυχαίες παραμέτρους θα προταθούν ενδιαφέρουσες τεχνικέςεπίλυσης του προβλήματος. Όσον αφορά στην περίπτωση των άγνωστων παραμέτρων,γνωστός ευριστικός τρόπος επίλυσης της βιβλιογραφίας, θα αποδειχθεί ότι είναι βέλτι-στος σύμφωνα με καλώς ορισμένο κριτήριο.

3.2 Ντετερμινιστικοί κανόνες λήψης αποφάσεωνΗ πλέον συνήθης μορφή του προβλήματος εξέτασης υποθέσεων είναι η εξής: μας δια-τίθεται μια συλλογή από τυχαία δείγματα X = [χ1,χ2, . . . ,χN ]t και ενδιαφερόμαστενα επιλέξουμε μεταξύ δύο πιθανών σεναρίων όσον αφορά στη στατιστική τους συμπε-ριφορά

>0: X ∼ 70(X)>1: X ∼ 71(X),

όπου το πλήθοςN και οι από κοινού πυκνότητες πιθανότητας 70(X), 71(X) θεωρούνταιεντελώς γνωστές εκ των προτέρων. Τα σενάρια>0,>1 καλούνται υποθέσεις και η υπόθε-ση>0 είναι γνωστή σαν μηδενική ή ονομαστική ενώ η>1 σαν εναλλακτική. Θα πρέπει νασημειώσουμε ότι η 7i(X) αποτελεί την πυκνότητα πιθανότητας των τυχαίων δειγμάτωνX με δεδομένο ότι τα δείγματα ακολουθούν στην πραγματικότητα την υπόθεση >i.

ε κάθε υλοποίηση X των τυχαίων δειγμάτων X που διατίθεται, καλούμαστε νααποφασίσουμε εάν τα δεδομένα κατανέμονται σύμφωνα με την πυκνότητα πιθανότητας

24

3.2 τετερμινιστικοί κανόνες λήψης αποφάσεων 25

70 ή 71. Ένας κανόνας απόφασης θα βασιστεί επομένως αποκλειστικά στα διαθέσιμαδεδομένα X καθώς και στην εκ των προτέρων γνώση των δύο δυνατών στατιστικών.Πέραν αυτών θα υποθέσουμε ότι δεν διατίθεται άλλη πληροφορία.

Εάν ακολουθήσουμε μια ντετερμινιστική πολιτική αποφάσεων τότε σε κάθε διάνυ-σμα X ο κανόνας απόφασης πρέπει να αντιστοιχίσει μια μοναδική επιλογή (>0 ή >1).Εάν συγκεντρώσουμε όλα τα X στα οποία ο κανόνας απόφασης αντιστοιχίζει το σενά-ριο >1 και καλέσουμε το σύνολο αυτό A1 τότε το A1 αποτελεί υποσύνολο του χώρουRN μέσα στον οποίο κινούνται τα δεδομένα X . Γίνεται επίσης φανερό ότι εάν κάποιο

Σχήμα 3.1 : Σχηματική αναπαράσταση διαμελισμού του χώρου RN σε δύο ξένα μεταξύ τους υπο-σύνολα A0, A1 στα οποία λαμβάνονται αποφάσεις υπέρ των σεναρίων >0 και >1 αντίστοιχα.

X δεν ανήκει στο A1 αλλά στο συμπλήρωμα A0 = Ac1, τότε στην περίπτωση αυτή ο

κανόνας απόφασης αντιστοιχίζει το σενάριο >0 (θυμίζουμε ότι το A1 περιέχει όλα ταXγια τα οποία αποφασίζουμε υπέρ της >1, συνεπώς το συμπλήρωμά του A0 θα περιέχειόλα ταX για τα οποία αποφασίζουμε υπέρ του>0). Στο Σχήμα 3.1 παρουσιάζεται η γρα-φική αναπαράσταση διαμελισμού του χώρου σε δύο πιθανά σύνολα A0, A1. Δεν είναιδύσκολο να κατανοήσουμε ότι κάθε κανόνας απόφασης ισοδυναμεί με ένα διαφορετικόδιαμελισμό του χώρουRN . Επίσης κάθε διαμελισμός τουRN μπορεί άμεσα να μετατρα-πεί σε κανόνα λήψης αποφάσεων (αποφασίζουμε υπέρ του >1 εάνX ∈ A1 διαφορετικάαποφασίζουμε >0).

Η γενίκευση της δυαδικής περίπτωσης είναι προφανώς η εξέταση περισσοτέρων τωνδύο, δηλαδή πολλαπλών υποθέσεων. Εάν τα δεδομένα X μπορούν να προέλθουν απόK σενάρια, τότε έχουμε τις υποθέσεις

>0: X ∼ 70(X)>1: X ∼ 71(X)...

...>K−1: X ∼ 7K−1(X),

και στόχος μας είναι η επιλογή, με κάθε υλοποίηση X , μιας εκ των δυνατών αυτώνυποθέσεων.

ε βάση τη ντετερμινιστική λογική λήψης αποφάσεων, οφείλουμε να διαμελίσου-με το χώρο RN σε K υποσύνολα A0, A1, . . . , AK−1, τα οποία είναι ξένα μεταξύ τους,δηλαδή Ai ∩ Aj = ∅ για i = j, και τα οποία καλύπτουν πλήρως τον RN (δηλαδή

26 Κεφάλαιο 3 :Βέλτιστη εξέταση υποθέσεων

Σχήμα 3.2 : Σχηματική αναπαράσταση διαμελισμού του χώρου RN σε K μη επικαλυπτόμενασύνολα αποφάσεων A0, . . . , AK−1 στα οποία λαμβάνονται αποφάσεις υπέρ των σεναρίων>0, . . . ,>K−1 αντίστοιχα.

∪K−1i=0 Ai = RN ), όπως παραστατικά παρουσιάζεται στο Σχήμα 3.2. Παρατηρούμε ότι

και πάλι, σε κάθεX ∈ RN αντιστοιχίζεται, μοναδικά, μια από τιςK δυνατές υποθέσεις.

Ντετερμινιστικοί κανόνες απόφασης : Σε ένα πρόβλημα εξέτασης K υποθέσεων>0,>1, . . . ,>K−1, ένας ντετερμινιστικός κανόνας απόφασης που βασίζε-ται στα δεδομένα X ∈ RN , ισοδυναμεί με ένα διαμελισμό του χώρου RN

σε K μη επικαλυπτόμενα υποσύνολα A0, A1, . . . , AK−1, στα οποία ότανX ∈ Ai, τότε λαμβάνεται απόφαση υπέρ της υπόθεσης >i.

Η διαπίστωση αυτή είναι εξαιρετικά χρήσιμη αφού ουσιαστικά μας προσφέρει ένα απτόμαθηματικό μοντέλο για τους ντετερμινιστικούς κανόνες απόφασης. ογικό επόμενοβήμα θα αποτελούσε ο καθορισμός ενός διαμελισμού του χώρου που να καταλήγει σεβέλτιστο κανόνα απόφασης. Πριν όμως εξεταστούν προβλήματα της μορφής αυτής θεω-ρείται σκόπιμο να εμπλουτιστούν οι διαδικασίες απόφασης και με κανόνες που διαθέτουντο στοιχείο της τυχαιότητας.

3.3 Τυχαιοποιημένοι κανόνες λήψης αποφάσεωνΣτο προηγούμενο εδάφιο εξετάστηκαν ντετερμινιστικοί κανόνες απόφασης οι οποίοιαντιστοιχίζουν μια μοναδική υπόθεση σε κάθε σημείο X ∈ RN . Οι τυχαιοποιημένοικανόνες απόφασης δεν υπόκεινται στον συγκεκριμένο περιορισμό αφού είναι σε θέσηνα αντιστοιχήσουν όλες τις δυνατές υποθέσεις σε κάθε σημείο του χώρου!

Η επιλογή μιας υπόθεσης γίνεται με τη βοήθεια ενός παιχνιδιού τύχης στο οποίολαμβάνεται απόφαση υπέρ της υπόθεσης >i με πιθανότητα δi(X), i = 0, . . . ,K − 1,η οποία εξαρτάται από τα δεδομένα X .

Τυχαιοποιημένοι κανόνες απόφασης : Σε ένα πρόβλημα εξέτασης K υποθέσεων>0,>1, . . . ,>K−1, ένας τυχαιοποιημένος κανόνας απόφασης που βασίζε-ται αποκλειστικά σε μια συλλογή δεδομένων X ∈ RN , καθορίζεται απότις συναρτήσεις δ0(X), δ1(X), . . . , δK−1(X), στις οποίες η δi(X) εκφρά-ζει την πιθανότητα με την οποία η υπόθεση >i επιλέγεται σε ένα παιχνίδιτύχης.

3.3 Τυχαιοποιημένοι κανόνες λήψης αποφάσεων 27

Παρατηρούμε ότι ένας τυχαιοποιημένος κανόνας απόφασης δεν αποτελεί πλέον ένα δια-μελισμό του χώρου RN σε K υποσύνολα A0, A1, . . . , AK−1, όπως στη ντετερμινιστι-κή περίπτωση αλλά καθορίζεται με τη βοήθεια K συναρτήσεων πιθανότητας δ(X) =[δ0(X) · · · δK−1(X)]. Οι πιθανότητες δi(X) ≥ 0 ικανοποιούν την εξίσωση

δ0(X) + δ1(X) + · · ·+ δK−1(X) = 1, ∀X ∈ RN (3.1)

γεγονός που υποδηλώνει ότι με κάθε συλλογή δεδομένων X που μας διατίθεται, επιλέ-γουμε οπωσδήποτε μια από τις K διαθέσιμες υποθέσεις. Συνοψίζοντας, ο τρόπος από-φασης που προτείνεται είναι ο ακόλουθος: χρησιμοποιώντας τα δεδομένα X , υπολογί-ζονται οι πιθανότητες δi(X) και υλοποιείται ένα παιχνίδι τύχης στο οποίο με πιθανότηταδi(X) επιλέγεται η υπόθεση>i. Είναι επομένως φανερό ότι με τα ίδια δεδομέναX είναιδυνατό να παρθεί απόφαση υπέρ οιασδήποτε υπόθεσης, κάτι που φυσικά δεν συμβαίνειστην περίπτωση των ντετερμινιστικών κανόνων στους οποίους σε κάθε X αντιστοιχείμια μοναδική υπόθεση.

Οι τυχαιοποιημένοι κανόνες αποτελούν γενίκευση των ντετερμινιστικών κανόνωναπόφασης. Αυτό γίνεται εύκολα αντιληπτό μετά τον ορισμό της συνάρτησης δείκτη ενόςσυνόλου A

A(X) =

1 για X ∈ A0 αλλού.

ε τη βοήθεια της συνάρτησης αυτής ένας ντετερμινιστικός κανόνας, που διαμελίζειτο χώρο στα σύνολα A0, . . . , AK−1, εκφράζεται σαν τυχαιοποιημένος επιλέγοντας σανπιθανότητες απόφασης τις δi(X) = Ai(X), i = 0, . . . ,K − 1. Παρατηρούμε ότι∑K−1

i=0 Ai(X) = 1, αφού τα σύνολα δεν έχουν κοινό σημείο και καλύπτουν όλο τονχώρο. ΕάνX ∈ Ak τότε δk(X) = 1 ενώ οι υπόλοιπες πιθανότητες γίνονται μηδέν πράγ-μα που σημαίνει ότι με πιθανότητα 1 (συνεπώς ντετερμινιστικά) επιλέγεται η υπόθεση>k.

Η χρήση τυχαιοποιημένων κανόνων απόφασης είναι αντίθετη προς την ανθρώπινηαντίληψη σε θέματα λήψης αποφάσεων, όπου υπερτερεί σαφώς η προτίμηση για ντετερ-μινιστικούς κανόνες. Είναι ωστόσο αρκετά συχνή και η λήψη αποφάσεων με τη βοήθειαενός παιχνιδιού τύχης (όπως κορώνα/γράμματα) όταν η γνώση του προβλήματος δεν εί-ναι αρκετή ώστε να επιτρέπει τη λήψη ντετερμινιστικής απόφασης. Ενδιαφέρον στοιχείοαποτελεί το γεγονός ύπαρξης περιπτώσεων στην πράξη στις οποίες, όσο περίεργο και εάνακούγεται, η βέλτιστη επιλογή είναι ένας τυχαιοποιημένος κανόνας. Παρήγορο ευτυχώςσημείο είναι ότι στη συντριπτική πλειοψηφία των εφαρμογών οι βέλτιστοι κανόνες από-φασης, όπως θα διαπιστώσουμε στη συνέχεια, είναι κατά βάση ντετερμινιστικοί.

Στο εξής θα τοποθετηθούμε αποκλειστικά στο χώρο των τυχαιοποιημένων κανόνωναπόφασης με στόχο, στα επόμενα εδάφια, να προσδιοριστούν κανόνες, ή ισοδύναμα πι-θανότητες απόφασης δi(X), οι οποίοι να είναι βέλτιστοι σύμφωνα με καλώς καθορισμένακριτήρια απόδοσης.


3.4 Εξέταση δυαδικών υποθέσεωνΘα ξεκινήσουμε την εξέταση υποθέσεων με την απλούστερη δυνατή περίπτωση, δηλαδήτην εξέταση δυαδικών υποθέσεων όπου, όπως προαναφέραμε, καλούμαστε να επιλέξου-με μεταξύ των υποθέσεων >0,>1. Είναι επομένως απαραίτητο να καθοριστούν οι δύοπιθανότητες απόφασης δ(X) = [δ0(X) δ1(X)] (ουσιαστικά η μια εκ των δύο αφού, λό-γω της (3.1), δ0(X) = 1−δ1(X)). Στη συνέχεια θα παρουσιαστούν αναλυτικά διάφοροιεναλλακτικοί τρόποι λήψης βέλτιστων αποφάσεων για τη δυαδική περίπτωση καθώς καιοι δυνατές επεκτάσεις τους στην εξέταση πολλαπλών υποθέσεων.

3.4.1 Εξέταση δυαδικών υποθέσεων κατά BayesΣε ένα πρόβλημα εξέτασης υποθέσεων έχουν ενδιαφέρον τα ακόλουθα γεγονότα: Απο-φασίζω υπέρ της υπόθεσης>i ενώ τα δεδομένα ακολουθούν στην πραγματικότητα την υπό-θεση >j. Το γεγονός αυτό θα το συμβολίζουμε σαν .i&>j. Στη δυαδική περίπτωσηυπάρχουν τέσσερα γεγονότα της μορφής αυτής τα οποία απαριθμούνται στη συνέχεια

.0&>0 : σωστή απόφαση, όστος απόφασης = C00

.1&>0 : λανθασμένη απόφαση, όστος απόφασης = C10

.0&>1 : λανθασμένη απόφαση, όστος απόφασης = C01

.1&>1 : σωστή απόφαση, όστος απόφασης = C11

Σε μια αντιμετώπιση του προβλήματος κατά Bayes, σε κάθε ένα από τα τέσσερα γεγο-νότα .i&>j αντιστοιχίζεται ένα κόστος απόφασης Cij . Τα τέσσερα αυτά κόστη κα-θορίζονται από τον Ερευνητή (ο οποίος είναι ο μόνος κατάλληλος να ποσοτικοποιήσειτη σημασία των αποφάσεών του) και θα θεωρηθούν σταθερές και γνωστές ποσότητες.ε τη βοήθεια των ποσοτήτων αυτών είναι δυνατό να οριστεί το μέσο κόστος C(δ), το

οποίο εξαρτάται φυσικά από τον κανόνα απόφασης δ(X) = [δ0(X) δ1(X)], ως εξής

C(δ) =1∑

i=0

1∑

j=0

CijS(.i&>j). (3.2)

Το μέσο κόστος αποτελεί λογικό κριτήριο απόδοσης ενός κανόνα απόφασης. Ως εκ τού-του, στη συνέχεια, θα επικεντρωθούμε στην κατάλληλη επιλογή των πιθανοτήτων δi(X)στοχεύοντας στην ελαχιστοποίηση του εν λόγω κριτηρίου.

Χρησιμοποιώντας δεσμευμένες πιθανότητες οι πιθανότητες ενδιαφέροντος γράφο-νται

S(.i&>j) = S(.i|>j)S(>j).

Οι πιθανότητες S(>0),S(>1) = 1 − S(>0) εκφράζουν την εκ των προτέρων (αρχική)γνώση μας για τη συχνότητα εμφάνισης κάθε υπόθεσης και θα θεωρηθούν στη συνέ-χεια γνωστές. Η ποσότητα S(.i|>j) εκφράζει την πιθανότητα να αποφασίσουμε υπέρτης υπόθεσης >i με δεδομένο ότι τα δείγματα ακολουθούν στην πραγματικότητα την

3.4 Εξέταση δυαδικών υποθέσεων 29

υπόθεση >j . Οι δύο πιθανότητες σφάλματος S(.1|>0) και S(.0|>1) στη Στατιστικήβιβλιογραφία καλούνται Τύπου και Τύπου αντίστοιχα.

ε ένα τυχαιοποιημένο κανόνα, σε κάθε σημείο X του χώρου αποφασίζουμε υπέρτης >i με ποσοστό δi(X), με την πιθανότητα φυσικά αυτή να είναι ανεξάρτητη από τηνπραγματική υπόθεση που δημειουργεί τα δείγματα X . Όταν τα δείγματα ακολουθούντην υπόθεση >j τότε η πυκνότητα πιθανότητάς τους είναι η 7j(X), αυτό συνεπάγεται ταεξής

S(.i|>j) =

∫S(.i, X < X ≤ X + dX|>j)

=

∫S(.i|X < X ≤ X+dX,>j)S(X < X ≤ X+dX|>j) =

∫δi(X)7j(X)dX,

όπου για τη δεύτερη ισότητα χρησιμοποιήθηκε η σχέση (2.2). Ο πρώτος όρος μετά τηδεύτερη ισότητα είναι η πιθανότητα να επιλέξουμε την i-οστή υπόθεση με δεδομένο ότιτα δείγματα μας είναι X και η πραγματική υπόθεση >j . Όπως όμως εξηγήσαμε παρα-πάνω, με δεδομένα τα δείγματα, η πιθανότητα επιλογής είναι ίση προς δi(X) η οποίαείνα ανεξάρτητη της πραγματικής υπόθεσης. Είναι τέλος ξεκάθαρο από το ορισμό ότιS(X < X ≤ X + dX|>j) = 7j(X)dX , γεγονός που αποδίδει το τελευταίο ολοκλή-ρωμα. Αντικαθιστώντας στην (3.2) τις προηγούμενες δύο εξισώσεις, καταλήγουμε

C(δ) =1∑

i=0

1∑

j=0

CijS(>j)

∫δi(X)7j(X) dX (3.3)

=

∫δ0(X)[C00S(>0)70(X) + C01S(>1)71(X)] dX

+

∫δ1(X)[C10S(>0)70(X) + C11S(>1)71(X)] dX (3.4)

=

∫[δ0(X)c0(X) + δ1(X)c1(X)] dX (3.5)

όπουci(X) = Ci0S(>0)70(X) + Ci1S(>1)71(X), i = 0, 1, (3.6)

είναι γνωστές συναρτήσεις αφού, όπως παρατηρούμε από τον ορισμό τους εξαρτώνταιαποκλειστικά από εκ των προτέρων γνωστή πληροφορία. Χρησιμοποιώντας το γεγονόςότι ci(X) ≥ minc0(X), c1(X) και από την (3.1) ότι δ0(X)+δ1(X) = 1 με δi(X) ≥ 0,διαπιστώνουμε ότι για τη (3.5) μπορούμε να γράφουμε

C(δ) =

∫[δ0(X)c0(X) + δ1(X)c1(X)] dX

≥∫

mini=0,1

ci(X)[δ0(X) + δ1(X)] dX

=

∫mini=0,1

ci(X) dX. (3.7)


Το τελευταίο ολοκλήρωμα στη Σχέση (3.7) αποτελεί κάτω φράγμα στο μέσο κόστοςοποιουδήποτε κανόνα απόφασης αφού είναι ανεξάρτητο του δ(X). Το ερώτημα είναικατά πόσο υπάρχει κανόνας ο οποίος πετυχαίνει ακριβώς το εν λόγω κάτω όριο αφούτότε ο κανόνας αυτός θα αποτελούσε βέλτιστη (κατά Bayes) επιλογή επειδή θα διέθετετο μικρότερο δυνατό μέσο κόστος. Θα δούμε αμέσως ότι ένας τέτοιος κανόνας πράγματιυπάρχει και μάλιστα είναι, κατά βάση, ντετερμινιστικός.

Εάν ορίσουμε τα ακόλουθα τρία σύνολα

A0 = X : c0(X) < c1(X)A1 = X : c1(X) < c0(X)A01 = X : c0(X) = c1(X),

τότε με τη βοήθειά τους μπορούμε να γράψουμε

C(δ) ≥∫

mini=0,1

ci(X) dX =

∫

A0

c0(X) dX +

∫

A1

c1(X) dX

+

∫

A01

[γ0(X)c0(X) + γ1(X)c1(X)] dX

=

∫c0(X)[ A0(X) + γ0(X) A01(X)] dX

+

∫c1(X)[ A1(X) + γ1(X) A01(X)] dX,

όπου γi(X) ≥ 0 αυθαίρετες συμπληρωματικές συναρτήσεις πιθανότητας (δηλαδή γ0(X)+γ1(X) = 1, γi(X) ≥ 0). Από την προηγούμενη ανάλυση συμπεραίνουμε ότι η βέλτι-στη επιλογή των πιθανοτήτων απόφασης είναι

δi(X) = Ai(X) + γi(X) A01(X), i = 0, 1. (3.8)

Ο βέλτιστος κανόνας είναι επομένως κατά βάση ντετερμινιστικός αφού αποφασίζουμεμε βεβαιότητα υπέρ της >0 όταν c0(X) < c1(X), προτιμούμε την υπόθεση >1 ότανc1(X) < c0(X) και τέλος, μόνον όταν οι δύο συναρτήσεις είναι ίσες καταφεύγουμε σεένα τυχαίο παιχνίδι λήψης αποφάσεων προτιμώντας το >0 με πιθανότητα γ0(X) και το>1 με γ1(X) = 1− γ0(X).

ολονότι η ύπαρξη του συνόλου A01 αφήνει μια αίσθηση αβεβαιότητας (λόγω μημοναδικότητας του βέλτιστου κανόνα) το γεγονός αυτό, στην πράξη, δεν είναι ιδιαίτεραενοχλητικό επειδή συνήθως το A01 έχει μηδενική πιθανότητα εμφάνισης και συνεπώς,στις περιπτώσεις αυτές, δεν μας απασχολεί ο καθορισμός των πιθανοτήτων γi(X). Ακό-μη και όταν η πιθανότητα του συνόλου A01 δεν είναι μηδενική, για τη μέθοδο Bayes,είναι δυνατό να το αντιστοιχήσουμε αυθαίρετα σε οποιαδήποτε από τις δύο υποθέσειςκρίνεται σκόπιμο δίχως αυτό να μεταβάλει τη συνολική βέλτιστη απόδοση.


Αντικαθιστώντας τα ci(X) από την (3.6) και υποθέτοντας ότι το κόστος μιας λανθα-σμένης απόφασης είναι μεγαλύτερο από το κόστος μιας σωστής, δηλαδή C10 > C00 καιC01 > C11 καταλήγουμε σε ισοδύναμη περιγραφή του βέλτιστου κανόνα απόφασης

Απόφαση Συνθήκη

>1 όταν 71(X)70(X) >

(C10−C00)S(>0)(C01−C11)S(>1)

>1 με πιθανότητα γ1(X) όταν 71(X)70(X) =

(C10−C00)S(>0)(C01−C11)S(>1)

>0 με πιθανότητα γ0(X) όταν 71(X)70(X) =

(C10−C00)S(>0)(C01−C11)S(>1)

>0 όταν 71(X)70(X) <

(C10−C00)S(>0)(C01−C11)S(>1)

Τον κανόνα αυτόν παριστάνουμε με συμπαγή τρόπο ως εξής

71(X)

70(X)

>1

!>0

(C10 − C00)S(>0)

(C01 − C11)S(>1)(3.9)

έχοντας υπόψη ότι στην περίπτωση της ισότητας είναι απαραίτητο να εφαρμόσουμε τυ-χαιοποιημένη λήψη απόφασης.

Συμπερασματικά, το βέλτιστο τεστ κατά Bayes συνίσταται στον υπολογισμού τουλόγου πιθανοφάνειας G(X) = 71(X)

70(X) και στη σύγκρισή του με το σταθερό κατώφλι(C10−C00)S(>0)(C01−C11)S(>1)

. Εάν ο λόγος πιθανοφάνειας υπερτερεί του κατωφλίου αποφασίζουμευπέρ της υπόθεσης >1, εάν υπολείπεται, υπέρ της >0 και τέλος όταν συμπίπτει αποφα-σίζουμε υπέρ της μιας ή της άλλης υπόθεσης είτε ντετερμινιστικά είτε ακολουθώνταςκάποια αυθαίρετη τυχαιοποίηση. Το τελευταίο γεγονός δεν έχει καμία σημασία όταν ηπιθανότητα εμφάνισής του είναι μηδενική. Αυτό συμβαίνει όταν π.χ. η τυχαία μεταβλη-τή G(X ) = 71(X )

70(X ) έχει πυκνότητα πιθανότητας απαλλαγμένη από συνάρτηση Dirac στο

σημείο (C10−C00)S(>0)(C01−C11)S(>1)

. Ο κανόνας αυτός απόφασης καλείται τεστ λόγου πιθανοφάνειας.Είναι πολύ συχνό επίσης να λογαριθμούμε τις δύο πλευρές της Σχέσης (3.9), με απο-

τέλεσμα να συγκρίνουμε τον λογάριθμο του λόγου πιθανοφάνειας με κατώφλι

log( 71(X)

70(X)

) >1

!>0

log((C10 − C00)S(>0)

(C01 − C11)S(>1)

). (3.10)

Στην ειδική περίπτωση που τα δείγματα χn, n = 1, . . . , N είναι στατιστικά ανεξάρτηταμε πυκνότητες πιθανότητας 7n0 (x), 7n1 (x) κάτω από τις δύο υποθέσεις αντίστοιχα, τότε τοτεστ λόγου πιθανοφάνειας γράφεται

N∏

n=1

7n1 (xn)7n0 (xn)

>1

!>0

(C10 − C00)S(>0)

(C01 − C11)S(>1),


ή λογαριθμώντας,

N∑

n=1

log( 7n1 (xn)

7n0 (xn)

) >1

!>0

log((C10 − C00)S(>0)

(C01 − C11)S(>1)

).

Εάν επιπλέον τα δείγματα, κάτω από κάθε υπόθεση, έχουν την ίδια κατανομή τότε ο κα-νόνας γράφεται

N∑

n=1

φ(xn)>1

!>0

log((C10 − C00)S(>0)

(C01 − C11)S(>1)

), (3.11)

όπου φ(x) = log(71(x)/70(x)) και 70(x), 71(x) είναι οι κοινές πυκνότητες πιθανότηταςτων δειγμάτων κάτω από τις υποθέσεις >0,>1 αντίστοιχα.

3.4.2 Ελαχιστοποίηση πιθανότητας σφάλματοςΕάν στη μεθοδολογία που αναπτύχθηκε στο προηγούμενο εδάφιο, επιλέξουμε C00 =C11 = 0 και C10 = C01 = 1, τότε το μέσο κόστος γίνεται

C(δ) = S(.0&>1) + S(.1&>0),

εκφράζει δηλαδή την πιθανότητα σφάλματος (λανθασμένης απόφασης), ποσότητα εξαι-ρετικά σημαντική σε πολλές εφαρμογές (ιδίως τηλεπικοινωνίες). Το αντίστοιχο βέλτιστοBayes τεστ (3.9) παίρνει τότε τη μορφή

71(X)

70(X)

>1

!>0

S(>0)

S(>1)=

S(>0)

1− S(>0), (3.12)

το οποίο συνεχίζει να είναι ένα τεστ λόγου πιθανοφάνειας αλλά με διαφορετικό κατώφλι.Ένας διαφορετικός τρόπος γραφής του προηγούμενου τεστ είναι ο εξής

71(X)S(>1)

70(X)S(>0) + 71(X)S(>1)

>1

!>0

70(X)S(>0)

70(X)S(>0) + 71(X)S(>1),

όπου στη δεξιά και αριστερή πλευρά της ανισότητας αναγνωρίζουμε τις εκ των υστέ-ρων πιθανότητες S(>1|X) και S(>2|X) αντίστοιχα. Συνεπώς το τεστ συνίσταται στηνεπιλογή της υπόθεσης με τη μεγαλύτερη εκ των υστέρων πιθανότητα.

Στο τεστ (3.12), εάν οι εκ των προτέρων πιθανότητες των δύο υποθέσεων είναι ίσες,δηλαδή S(>0) = S(>1) = 0.5, ο βέλτιστος κανόνας απόφασης γράφεται

71(X)

70(X)

>1

!>0

1 ή ισοδύναμα 71(X)>1

!>0

70(X).

ε άλλα λόγια, αποφασίζουμε υπέρ της υπόθεσης που έχει τη μεγαλύτερη πιθανοφάνεια.


Όπως γίνεται φανερό, το μεγαλύτερο πρόβλημα σε μια λογική τύπου Bayes αποτε-λούν ο καθορισμός των παραμέτρων Cij και των εκ των προτέρων πιθανοτήτων S(>i).Ειδικά οι τελευταίες, σε ορισμένες εφαρμογές, είναι εξαιρετικά δύσκολο να προσδιορι-στούν1. Προκειμένου να εξαλείψουμε την ανάγκη γνώσης των εκ των προτέρων πιθανο-τήτων S(>0),S(>1) = 1 − S(>0) αναπτύχθηκαν δύο εναλλακτικές μέθοδοι τις οποίεςπαρουσιάζουμε στη συνέχεια.

3.4.3 Min-Max κανόνες απόφασηςΣτο εδάφιο αυτό θα θεωρήσουμε ότι δεν είναι γνωστή η εκ των προτέρων πιθανότηταπ0 = S(>0). Θα επιχειρήσουμε επομένως να κατασκευάσουμε βέλτιστο κανόνα πουδεν απαιτεί την εν λόγω γνώση.

Από την Εξίσωση (3.4) διαπιστώνεται ότι το μέσο κόστος, εκτός του κανόνα δ(X) =[δ0(X) δ1(X)], εξαρτάται και από την άγνωστη εκ των προτέρων πιθανότητα π0, δηλαδή

C(δ,π0) = π0

∫[C00δ0(X) + C10δ1(X)]70(X) dX

+ (1− π0)

∫[C01δ0(X) + C11δ1(X)]71(X) dX

= π0C0(δ) + (1− π0)C1(δ), (3.13)

όπου Ci(δ) συμβολίζει το μέσο κόστος απόφασης με δεδομένο ότι η πραγματικότηταείναι >i. Για συγκεκριμένο κανόνα απόφασης δ(X), από την (3.13) συνάγεται ότι τομέσο κόστος C(δ,π0) είναι γραμμική συνάρτηση της πιθανότητας π0, γεγονός που δενεπιτρέπει τη χρήση του σαν κριτηρίου απόδοσης2. Προκειμένου να καταλήξουμε σεχρήσιμο κριτήριο μπορούμε να επιλέξουμε τη χειρότερη περίπτωση πιθανότητας π0 πουείναι δυνατό να εμφανιστεί για τον κανόνα δ(X), δηλαδή

C(δ) = max0≤π0≤1

C(δ,π0) = maxC0(δ), C1(δ). (3.14)

Επειδή το C(δ) εξαρτάται μόνο από τον κανόνα απόφασης δ(X) μπορεί να αποτελέ-σει κριτήριο απόδοσης. Ο βέλτιστος επομένως κανόνας συνίσταται στην επιλογή τουδ(X) = [δ0(X) δ1(X)] που ελαχιστοποιεί το C(δ), δηλαδή ενδιαφερόμαστε να επιλύ-σουμε το ακόλουθο min-max πρόβλημα

minδ

max0≤π0≤1

C(δ,π0). (3.15)

1Στις ψηφιακές τηλεπικοινωνίες οι υποθέσεις θεωρούνται ισοπίθανες και ενδιαφερόμαστε κυρίως γιατην ελαχιστοποίηση της πιθανότητας σφάλματος. Σε εφαρμογές όμως ανίχνευσης όπως στα ραντάρ, είναιπολύ δύσκολο να προσδιοριστεί το (εκ των προτέρων) ποσοστό εμφάνισης ή μη ενός αεροπλάνου.

2Ένα κριτήριο απόδοσης πρέπει να ποσοτικοποιεί την απόδοση του κάθε κανόνα υπολογίζοντας συγκε-κριμένη αριθμητική ποσότητα και όχι συνάρτηση.


Ένα πρόβλημα βελτιστοποίησης που βρίσκεται σε άμεση σχέση με το min-max πρό-βλημα της (3.15) είναι το αντίστοιχο max-min, δηλαδή

max0≤π0≤1

minδ

C(δ,π0). (3.16)

Τα δύο αυτά προβλήματα είναι διαφορετικά και δεν έχουν κατ’ ανάγκη την ίδια λύση3.Στην περίπτωσή μας, όπως θα διαπιστώσουμε, η λύση του τελευταίου αποτελεί λύση καιτου (3.15). Ο λόγος που επιλέγουμε το (3.16), αντί του επιθυμητού (3.15), είναι διότι ηλύση του (3.16) είναι άμεση.

Εάν η εκ των προτέρων πιθανότητα π0 ήταν γνωστή τότε θα μπορούσαμε να κα-τασκευάσουμε το βέλτιστο Bayes τεστ από τη Σχέση (3.9), τον κανόνα του οποίου θασυμβολίζουμε με δπ0(X) αφού εξαρτάται από την τιμή της παραμέτρου π0. Το αντί-στοιχο βέλτιστο μέσο κόστος θα το συμβολίζουμε με C(π0), δηλαδή

C(π0) = minδ

C(δ,π0) = C(δπ0 ,π0).

Η εκ των προτέρων πιθανότητα π∗0 στην οποία η συνάρτηση C(π0) εμφανίζει μέγιστοδίνει επομένως τη λύση στο max-min πρόβλημα της (3.16). Στο εν λόγω π∗0 αντιστοιχείο κανόνας απόφασης Bayes δπ∗

0(X)

71(X)

70(X)

>1

!>0

(C10 − C00)π∗0(C01 − C11)(1− π∗0)

, (3.17)

με τον οποίο ολοκληρώνεται η επίλυση του max-min προβλήματος (3.16).Στόχος μας στη συνέχεια είναι να δείξουμε ότι ο κανόνας δπ∗

0(X) επιλύει επίσης και

το min-max πρόβλημα της (3.15), δηλαδή ότι για κάθε κανόνα δ(X) ισχύει

maxπ0

C(δ,π0) ≥ maxπ0

C(δπ∗0,π0). (3.18)

Παρατηρούμε κατ’ αρχάς ότι για οποιονδήποτε κανόνα δ(X) ισχύει

maxπ0

C(δ,π0) ≥ C(δ,π∗0) ≥ minδ

C(δ,π∗0) = C(δπ∗0,π∗0) = C(π∗0).

Συνεπώς για να δείξουμε την ανισότητα (3.18) αρκεί να εξασφαλίσουμε ότι

C(π∗0) = C(δπ∗0,π∗0) = max

π0C(δπ∗

0,π0). (3.19)

Η απόδειξη της (3.19) απαιτεί λεπτομερή ανάλυση της συνάρτησηςC(π0) = C(δπ0 ,π0).Στο Σχήμα 3.3 εμφανίζεται μια πιθανή μορφή της συνάρτησης C(π0). Έστω ότι κα-

θορίζουμε μια τιμή π0 = ϖ και βρίσκουμε τον αντίστοιχο κανόνα Bayes δϖ(X). Εάν


Σχήμα 3.3 : Αναπαράσταση των συναρτήσεων C(π0), C(δϖ,π0).

χρησιμοποιήσουμε τον εν λόγω κανόνα για τη περίπτωση μιας οιασδήποτε άλλης αρχι-κής πιθανότητας π0 τότε το μέσο κόστος που προκύπτει είναι C(δϖ,π0). Η συνάρτησηαυτή, λόγω της (3.13), είναι γραμμική ως προς π0 και παρουσιάζεται επίσης στο σχήμαμε γκρίζο χρώμα. Η εν λόγω ευθεία τέμνει τη συνάρτηση C(π0) στο σημείο π0 = ϖαφού εξ ορισμού C(ϖ) = C(δϖ,ϖ). Το ερώτημα είναι κατά πόσο είναι δυνατόν ηγραμμή C(δϖ,π0) να διαθέτει τιμές χαμηλότερες της C(π0), όπως παρουσιάζεται στοσχήμα. Η απάντηση είναι αρνητική, διότι εάν συνέβαινε κάτι τέτοιο, τότε για την εκ τωνπροτέρων πιθανότητα ϖ1 η χρήση του κανόνα δϖ(X) που αποδίδει κόστος C(δϖ,ϖ1)(γκρίζα κηλίδα) θα ήταν προτιμητέα του κανόνα Bayes δϖ1(X) που αποδίδει βέλτιστο(ελάχιστο) κόστος C(ϖ1) (κυανή κηλίδα), καταλήγουμε δηλαδή σε αντίφαση. Συνεπώςη γραμμή C(δϖ,π0) τέμνει σε ένα μοναδικό σημείο την καμπύλη C(π0) (υποχρεωτικάστο C(ϖ)) και ως εκ τούτου είναι εφαπτόμενη της C(π0) στο π0 = ϖ (όπως η μαύ-ρη γραμμή). Επιπλέον η εφαπτομένη πρέπει να είναι πάντοτε πάνω από την καμπύληC(π0), πράγμα που υποδηλώνει ότι η C(π0) είναι μια κυρτή συνάρτηση.

Σχήμα 3.4 : Πιθανή μορφή της συνάρτησης C(π0) με εμφάνιση του μέγιστου στο εσωτερικό τουδιαστήματος [0, 1].

ε δεδομένο ότι η C(π0) είναι κυρτή συμπεραίνουμε ότι θα διαθέτει μοναδικό μέγι-στο το οποίο μπορεί να εμφανιστεί σε τρία διαφορετικά σημεία. Στην πρώτη περίπτωσηπου φαίνεται στο Σχήμα 3.4, το μέγιστο εμφανίζεται στο εσωτερικό του διαστήματος

3Τα προβλήματα min-max και max-min αποτελούν αντικείμενο της Θεωρίας Παιγνίων. Σε περίπτωσημάλιστα που καταλήγουν στην ίδια λύση τότε αυτή καλείται τιμή του παιχνιδιού.


[0, 1], οπότε o κανόνας δπ∗0(X) έχει σταθερή απόδοση για όλες τις τιμές της παραμέτρου

π0 (αφού η εφαπτόμενη γραμμή στο π∗0 είναι οριζόντια). Αυτό φυσικά συνεπάγεται

C(δπ∗0,π∗0) = C(δπ∗

0,π0) = max

π0C(δπ∗

0,π0),

επομένως ισχύει η (3.19). Η δεύτερη περίπτωση αντιστοιχεί στην εμφάνιση του μέγι-στου στο δεξιό άκρο δηλαδή π∗0 = 1, με αποτέλεσμα ο κανόνας δπ∗

0(X) να αποφασίζει

πάντοτε υπέρ του >0 (γιατί;). Παρατηρούμε από το Σχήμα 3.5 (αριστερά) ότι η C(π0),

Σχήμα3.5 : Τυπική μορφή της συνάρτησηςC(π0) όταν το μέγιστο εμφανίζεται στα δύο άκρα τουδιαστήματος [0, 1].

λόγω κυρτότητας είναι αύξουσα, με αποτέλεσμα και η εφαπτομένη στο σημείο π0 = 1(που αντιστοιχεί στη συνάρτηση C(δπ∗

0,π0)) να είναι επίσης αύξουσα και άρα ισχύει η

(3.19). Τέλος η τρίτη περίπτωση αντιστοιχεί στην εμφάνιση του μέγιστου στο σημείοπ∗0 = 0 οπότε, όπως φαίνεται και στο Σχήμα 3.5 (δεξιά), ηC(π0) λόγω κυρτότητας είναιφθίνουσα, ο προτεινόμενος κανόνας αποφασίζει πάντοτε υπέρ του >1 και η γραμμικήσυνάρτηση C(δπ∗

0,π0) είναι επίσης φθίνουσα (αφού εφάπτεται της C(π0) στο π0 = 0)

με αποτέλεσμα να ισχύει και πάλι η (3.19), πράγμα που ολοκληρώνει την απόδειξη.Το βέλτιστο min-max τεστ εμφανίζεται στη Σχέση (3.17). ολονότι ο min-max κα-

νόνας δίνει μαθηματική λύση στο πρόβλημα της άγνωστης εκ των προτέρων πιθανότηταςπ0 = S(>0) καταλήγει πολύ συχνά σε τεστ το οποίο είναι απαισιόδοξο επειδή προσπα-θεί να προστατευθεί ενάντια στη χειρότερη δυνατή περίπτωση αρχικών πιθανοτήτων.άλιστα, δεν είναι σπάνιο η μέθοδος να καταλήγει σε ένα από τα δύο ακραία τεστ στα

οποία παίρνεται απόφαση πάντοτε υπέρ της μιας εκ των δύο υποθέσεων4.

Σημαντική ιδιότητα τουmin-max κανόνα

Όπως διαπιστώνουμε από την ανάλυση που προηγήθηκε, η πλέον ενδιαφέρουσα περί-πτωση min-max κανόνα λαμβάνει χώραν όταν το π∗0 εμφανίζεται στο εσωτερικό τουδιαστήματος (0, 1). Θα δείξουμε στη συνέχεια ότι τότε ισχύει μια σημαντική ιδιότητα ηοποία αποτελεί συνηθισμένο χαρακτηριστικό των min-max τεχνικών.

4Για συνθήκη ικανή να εξασφαλίσει την ύπαρξη μη ακραίου min-max τεστ βλέπε Άσκηση 3.3.


Από το Σχήμα 3.4 παρατηρούμε ότι η συνάρτηση C(δπ∗0,π0) είναι μια σταθερά ως

προς π0, επομένως από (3.13) και επειδή C(δπ∗0, 1) = C(δπ∗

0, 0) συμπεραίνουμε ότι

C0(δπ∗0) = C1(δπ∗

0). (3.20)

Παρατηρούμε δηλαδή, ότι ο min-max βέλτιστος κανόνας εξισορροπεί τα δύο κόστηC0(δ), C1(δ) το μέγιστο των οποίων, από την (3.13), καθορίζει την απόδοση του κα-νόνα δ(X). Το χαρακτηριστικό της εξισορρόπησης πολλαπλών κριτηρίων είναι πολύσυνηθισμένο φαινόμενο σε min-max τεχνικές. Από την (3.13) έχουμε ότι

C0(δπ∗0) = C10S(.∗

1|>0) + C00S(.∗0|>0) = C00 + (C10 − C00)S(.∗

1|>0)

C1(δπ∗0) = C11S(.∗

1|>1) + C01S(.∗0|>1) = C01 − (C01 − C11)S(.∗

1|>1)

όπου το .∗i υποδηλώνει την απόφαση υπέρ της υπόθεσης >i χρησιμοποιώντας τον κα-

νόνα δπ∗0(X). ε βάση τις δύο σχέσεις που αναφέραμε, από την ισότητα (3.20) συμπε-

ραίνουμε ότι

S(.∗1|>0) =

C01 − C00

C10 − C00− C01 − C11

C10 − C00S(.∗

1|>1). (3.21)

Παρατηρούμε δηλαδή ότι υπάρχει μια γνωστή γραμμική σχέση μεταξύ των δύο πιθα-νοτήτων S(.∗

1|>1),S(.∗1|>0). Για την ειδική περίπτωση που C00 = C11 = 0 και

C10 = C01 = 1 η σχέση αυτή παίρνει τη μορφή

S(.∗1|>0) = 1− S(.∗

1|>1) = S(.∗0|>1), (3.22)

με άλλα λόγια ο min-max κανόνας εξισορροπεί τα δύο σφάλματα Τύπου και Τύπου .

3.4.4 Εξέταση δυαδικών υποθέσεων κατά Neyman-PearsonΣε περιπτώσεις όπου μια από τις δύο υποθέσεις έχει μεγαλύτερη σημασία (π.χ. στο ρα-ντάρ η ανίχνευση αεροπλάνου μπορεί να χαρακτηριστεί σημαντικότερη από μια λανθα-σμένη ανίχνευση), είναι δυνατό να ακολουθήσουμε μια διαφορετική τακτική και εύκολανα ξεπεράσουμε το πρόβλημα καθορισμού των εκ των προτέρων πιθανοτήτων S(>i). Ηορολογία που θα χρησιμοποιηθεί στη συνέχεια προέρχεται από το πρόβλημα ανίχνευσηςσε ραντάρ, ως εκ τούτου οι ποσότητες

SA = S(.1|>1), SEΣ = S(.1|>0), SAΠ = S(.0|>1)

θα καλούνται πιθανότητα ανίχνευσης, πιθανότητα εσφαλμένου συναγερμού (σφάλμα Τύ-που ) και πιθανότητα απώλειας (σφάλμα Τύπου ), αντίστοιχα.

Σε ένα πρόβλημα ανίχνευσης είναι φυσικό να επιθυμούμε μεγιστοποίηση της SA(ισοδύναμα ελαχιστοποίηση της SΑΠ) και ελαχιστοποίηση της SEΣ επιλέγοντας κατάλ-ληλα τον κανόνα δ(X) = [δ0(X) δ1(X)]. Οι δύο αυτές απαιτήσεις είναι δυστυχώς αντα-γωνιστικές και είναι αδύνατη η σύγχρονη ικανοποίησή τους αφού η αύξηση της πρώτης


πιθανότητας οδηγεί σε υποχρεωτική αύξηση και τη δεύτερη. ε βάση αυτό το γεγονόςοι Neyman και Pearson πρότειναν το ακόλουθο ενδιαφέρον πρόβλημα βελτιστοποίησης

maxδ

SA, με περιορισμό SEΣ ≤ α, (3.23)

όπου το 0 ≤ α ≤ 1 εκφράζει το μέγιστο αποδεκτό ποσοστό εσφαλμένων συναγερμώνκαι αποτελεί ποσότητα που καθορίζεται από τον Ερευνητή. Η πιθανότητα α καλείταιστάθμη του τεστ. ε άλλα λόγια: επιθυμούμε να ορίσουμε τον κανόνα που μεγιστοποιείτην πιθανότητα ανίχνευσης αλλά την ίδια στιγμή εξασφαλίζεται ότι οι εσφαλμένοι συνα-γερμοί δεν ξεπερνούν μια προκαθορισμένη στάθμη α.

Το πρόβλημα με τον τρόπο που τέθηκε έχει απόλυτη πρακτική σημασία διότι εκ-φράζει την ανάγκη για την καλύτερη δυνατή ανίχνευση της υπόθεσης >1 όταν η πραγ-ματικότητα είναι >1, αλλά με σύγχρονο έλεγχο των εσφαλμένων συναγερμών (λανθα-σμένων αποφάσεων υπέρ του >1 όταν η πραγματικότητα είναι >0). Αξιοσημείωτο είναιτο γεγονός ότι στη διατύπωση του προβλήματος δεν υπεισέρχονται οι εκ των προτέρωνπιθανότητες αφού το κριτήριο βασίζεται αποκλειστικά στις δεσμευμένες πιθανότητες.

Η εύρεση του βέλτιστου κανόνα είναι παραδόξως εξαιρετικά απλή και το αποτέλε-σμα εντελώς οικείο. ατ’ αρχάς παρατηρούμε ότι

SA(δ) =

∫δ1(X)71(X) dX, SEΣ(δ) =

∫δ1(X)70(X) dX,

όπου σημειώσαμε την εξάρτηση των δύο πιθανοτήτων από τον κανόνα απόφασης δ(X).ε τη χρήση πολλαπλασιαστή Lagrange μετατρέπουμε το πρόβλημα βελτιστοποίησης

με περιορισμό (3.23) σε ένα ισοδύναμο πρόβλημα δίχως περιορισμό ως εξής

P(δ) = SA(δ)− λSEΣ(δ) =

∫δ1(X)71(X) dX − λ

∫δ1(X)70(X) dX,

όπου λ ≥ 0 ο πολλαπλασιαστής Lagrange. Ενδιαφερόμαστε να μεγιστοποιήσουμετο P(δ) ως προς δ(X) αλλά πλέον για όλους τους δυνατούς κανόνες δ(X) και όχιμόνον όσους ικανοποιούν τον περιορισμό SEΣ(δ) ≤ α. Παρατηρούμε ότι αφού ταδ0(X), δ1(X) είναι (συμπληρωματικές) συναρτήσεις πιθανότητας ισχύει 0 ≤ δ1(X) ≤1, επομένως μπορούμε να γράψουμε5

P(δ) =

∫δ1(X)[71(X)− λ70(X)] dX ≤

∫max71(X)− λ70(X), 0 dX.

Το τελευταίο ολοκλήρωμα αποτελεί άνω φράγμα στην απόδοση οιουδήποτε κανόνα, συ-νεπώς εάν υπάρχει επιλογή η οποία να έχει αυτή την απόδοση, υποχρεωτικά θα μεγιστο-ποιεί το P(δ).

5Ποιό θα ήταν το πάνω φράγμα εάν η συνάρτηση δ(x) μπορούσε να πάρει τιμές στο διάστημα [-1,1];


Εάν ορίσουμε τα τρία σύνολα

A0 =

X :

71(X)

70(X)< λ

, A1 =

X :

71(X)

70(X)> λ

, A01 =

X :

71(X)

70(X)= λ

τότε μπορούμε να γράψουμε για το άνω φράγμα

P(δ) ≤∫

max71(X)− λ70(X), 0 dX

=

∫

A1

[71(X)− λ70(X)] dX +

∫

A01

γ1(X)[71(X)− λ70(X)] dX

=

∫[ A1(X) + γ1(X) A01(X)][71(X)− λ70(X)] dX,

όπου 1 ≥ γ1(X) ≥ 0 αυθαίρετη συνάρτηση πιθανότητας. Συμπεραίνουμε επομένως ότιο κανόνας ο οποίος μεγιστοποιεί το P(δ) ορίζεται από τις συναρτήσεις

δ1(X) = A1(X) + γ1(X) A01(X)

δ0(X) = 1− δ1(X) = A0(X) + 1− γ1(X) A01(X)

και είναι κατά βάση ντετερμινιστικός αφού αποφασίζει υπέρ το >1 όταν ο λόγος πιθα-νοφάνειας είναι μεγαλύτερος από το κατώφλι λ, υπέρ του >0 όταν είναι μικρότερος καιτέλος χρησιμοποιεί τυχαιοποίηση όταν οι δύο ποσότητες συμπίπτουν.

Το τεστ στο οποίο καταλήξαμε είναι το γνώριμο τεστ του λόγου πιθανοφάνειας

71(X)

70(X)

>1

!>0

λ.

Απομένει βεβαίως να καθορισθεί το κατώφλι λ καθώς και η πιθανότητα γ1(X), ποσότη-τες οι οποίες μέχρι στιγμής είναι άγνωστες. Τα λ και γ1(X) θα επιλεγούν έτσι, ώστε ναικανοποιείται ο περιορισμός του εσφαλμένου συναγερμού με ισότητα. Το πρώτο βήμαείναι να θεωρήσουμε ότι η πιθανότητα γ1(X) = γ είναι μια σταθερά. ε την επιλογήαυτή οι δύο πιθανότητες ενδιαφέροντος γράφονται

SA(λ, γ) =

∫

X:71(X)70(X)>λ

71(X) dX + γ

∫

X:71(X)70(X)=λ

71(X) dX (3.24)

SEΣ(λ, γ) =

∫

X:71(X)70(X)>λ

70(X) dX + γ

∫

X:71(X)70(X)=λ

70(X) dX = α, (3.25)

όπου παρατηρούμε ότι στην (3.25) επιθυμούμε να ικανοποιήσουμε τον περιορισμό τουεσφαλμένου συναγερμού με ισότητα επιλέγοντας κατάλληλα τις παραμέτρους λ, γ.


Προκειμένου να καθορίσουμε τη λύση της Εξίσωσης (3.25) ας μελετήσουμε αρχικάτη συνάρτηση

F (λ) = S(X :

71(X)

70(X)≥ λ

∣∣∣>0

)=

∫

X:71(X)70(X)≥λ

70(X) dX. (3.26)

Η συνάρτηση αυτή λόγω του ορισμού της είναι φθίνουσα και συνεχής από αριστερά,δηλαδή για ϵ > 0

limϵ→0+

F (λ− ϵ) = F (λ-) = F (λ).

ενώ από δεξιά έχουμε

limϵ→0+

F (λ+ ϵ) = F (λ+) ≤ F (λ).

ε τη βοήθεια των παρατηρήσεων αυτών συμπεραίνουμε ότι

F (λ+) = S(X :

71(X)

70(X)> λ |>0

)(3.27)

F (λ)− F (λ+) = S(X :

71(X)

70(X)= λ |>0

). (3.28)

Χρησιμοποιώντας τις δύο προηγούμενες σχέσεις η Εξίσωση (3.25) γράφεται

SEΣ(λ, γ) = F (λ+) + γ[F (λ)− F (λ+)] = α. (3.29)

Τέλος παρατηρούμε ότι F (0) = 1 και F (∞) = 0. Αντιπροσωπευτική μορφή της συ-νάρτησηςF (λ) παρουσιάζεται στο Σχήμα 3.6. Επειδή η συνάρτηση είναι μονότονη καιφραγμένη, είναι κατά βάση συνεχής με το πολύ αριθμήσιμο πλήθος από ασυνέχειες. Εάνη στάθμη α τέμνει την καμπύληF (λ) σε σημείο συνέχειας (στο Σχήμα 3.6 η περίπτωσητης γκρίζας οριζόντιας γραμμής) τότε η επιλογή στις παραμέτρους είναι

λ∗ = F−1(α), γ = 0.

Σχήμα3.6 : Αντιπροσωπευτική μορφή της συνάρτησηςF (λ) και πιθανά σενάρια για τη λύση τηςεξίσωσης SEΣ = α.


Αφού το λ = F−1(α) είναι σημείο συνέχειας, λόγω της (3.28), η πιθανότητα να συ-μπέσει ο λόγος πιθανοφάνειας με το κατώφλι είναι μηδενική, επομένως η τυχαιοποίησηδεν μας ενδιαφέρει (εάν συμβεί το γεγονός τότε αποφασίζουμε αυθαίρετα υπέρ της μιαςή της άλλης υπόθεσης). Εύκολα διαπιστώνεται ότι η επιλογή των παραμέτρων που πε-ριγράψαμε ικανοποιεί τον περιορισμό (3.25) ή τον ισοδύναμό του (3.29) αφού

SEΣ(λ∗, γ) = F (λ∗+) = F (λ∗) = α.

Εάν η στάθμη α διέρχεται από σημείο λ∗ το οποίο είναι σημείο ασυνέχειας τηςF (λ)(η περίπτωση της μαύρης οριζόντιας γραμμής) τότε δεν υπάρχει λ τέτοιο, ώστεF (λ) =α. Στην περίπτωση αυτή η επιλογή των παραμέτρων είναι η ακόλουθη

λ = λ∗ : F (λ∗) > α ≥ F (λ∗+), γ =α− F (λ∗+)

F (λ∗)− F (λ∗+).

Όταν δηλαδή το λ = λ∗ είναι σημείο ασυνέχειας, λόγω της (3.28), συνάγεται ότι ο λό-γος πιθανοφάνειας συμπίπτει με το κατώφλι λ∗ με πιθανότητα F (λ∗) − F (λ∗+) > 0,επομένως είναι απαραίτητη η τυχαιοποίηση κάθε φορά που συμβαίνει το συγκεκριμένογεγονός. αι πάλι ικανοποιείται ο περιορισμός (3.25) αφού, με αντικατάσταση του γεπαληθεύεται η ισχύς της (3.29).

Έως το σημείο αυτό ορίστηκε ένας συγκεκριμένος κανόνας απόφασης, που θα συμ-βολίζουμε με δNP(X). Πρόκειται για ένα τεστ λόγου πιθανοφάνειας με καθορισμένοκατώφλι λ∗ και πιθανότητα τυχαιοποίησης γ. Απομένει να αποδείξουμε ότι το τεστ αυ-τό όντως επιλύει το πρόβλημα βελτιστοποίησης με περιορισμό που ορίστηκε στη Σχέ-ση (3.23). ε άλλα λόγια πρέπει να δείξουμε ότι ο δNP(X) μεγιστοποιεί την πιθανότηταανίχνευσης μεταξύ όλων των τεστ δ(X) που ικανοποιούν τον περιορισμό του εσφαλμένουσυναγερμού. Έστω επομένως κανόνας δ(X) = [δ0(X) δ1(X)] που ικανοποιεί τον πε-ριορισμό, δηλαδή

∫δ1(X)70(X) dX ≤ α, τότε για τις μη αρνητικές τιμές των λ∗, γ οι

οποίες καθορίστηκαν προηγουμένως, μπορούμε να γράψουμε

SA(δ)− λ∗ α =

∫δ1(X)71(X) dX − λ∗ α

≤∫δ1(X)71(X) dX − λ∗

∫δ1(X)70(X) dX

=

∫δ1(X)[71(X)− λ∗70(X)] dX

≤∫

max71(X)− λ∗70(X), 0 dX

=

∫

71(X)70(X)>λ∗

[71(X)− λ∗70(X)] dX

+ γ

∫

71(X)70(X)=λ∗

[71(X)− λ70(X)] dX


=

∫

71(X)70(X)>λ∗

71(X) dX + γ

∫

71(X)70(X)=λ∗

71(X) dX

− λ∗[∫

71(X)70(X)>λ∗

70(X) dX + γ

∫

71(X)70(X)=λ∗

70(X) dX

]

= SA(δNP)− λSEΣ(δNP)

= SA(δNP)− λ∗α,

όπου στην προτελευταία ισότητα χρησιμοποιήθηκαν οι (3.24), (3.25). Συγκρίνονταςτον πρώτο με τον τελευταίο όρο, συμπεραίνουμε ότι SA(δ) ≤ SA(δNP), γεγονός πουολοκληρώνει την απόδειξη της πρότασης.

Εάν παραβλέψουμε για ευκολία την περίπτωση της τυχαιοποίησης γ, οι δύο πιθανό-τητες SA,SEΣ από τις (3.24), (3.25), γράφονται

SA = S( 71(X)

70(X)> λ

∣∣∣>1

), SEΣ = S

( 71(X)

70(X)> λ

∣∣∣>0

).

ε τη βοήθεια της βαθμωτής τυχαίας μεταβλητής

G(X ) =71(X )

70(X )

μπορούμε να ορίσουμε τις δύο συναρτήσεις κατανομής κάτω από τις δύο υποθέσεις

60G(x) = S (G(X ) ≤ x|>0) , 61

G(x) = S (G(X ) ≤ x|>1) ,

οι παράγωγοι των οποίων αποδίδουν τις δύο πυκνότητες πιθανότητας 70G(x), 71G(x) τηςτυχαίας μεταβλητής G(X ). Στο Σχήμα 3.7 παρουσιάζεται η τυπική μορφή των πυκνο-

Σχήμα 3.7 : Τυπική μορφή της πυκνότητας πιθανότητας του λόγου πιθανοφάνειας κάτω από τιςδύο υποθέσεις και υπολογισμός των πιθανοτήτων SA,SEΣ.

τήτων αυτών. Οι πιθανότητες ενδιαφέροντοςSA,SEΣ αντιστοιχούν στο εμβαδόν των δύοκαμπυλών που βρίσκονται στην σκιασμένη, διαφανή περιοχή, δηλαδή στην ολοκλήρωσητων δύο πυκνοτήτων στο διάστημα [λ,∞).


3.4.5 Χαρακτηριστική λειτουργίας δέκτη

Η πιθανότητα ανίχνευσης SA σαν συνάρτηση της στάθμης SEΣ αποτελεί ένα πολύ εν-διαφέροντα τρόπο περιγραφής της απόδοσης ενός κανόνα απόφασης. εταβάλλονταςτη στάθμη SEΣ = α ∈ [0, 1], δημιουργούνται ζεύγη τιμών (SEΣ,SA) τα οποία σχηματί-ζουν μια καμπύλη στο επίπεδο με άξονες SEΣ,SA η οποία καλείται χαρακτηριστική λει-τουργίας δέκτη (Χ Δ). Η συγκεκριμένη ορολογία προέρχεται και πάλι από το πρόβλημαανίχνευσης σε ραντάρ. Παραδείγματα καμπυλών Χ Δ παρουσιάζονται στο Σχήμα 3.8.Παρατηρούμε ότι η καμπύλη κείτεται εξ΄ολοκλήρου στο εσωτερικό ενός τετραγώνου με

SA

SEΣ

Σχήμα 3.8 : Παράδειγμα καμπυλών Χ Δ και περιοχές απόδοσης κανόνων απόφασης.

πλευρά μοναδιαίου μήκους. Όσο περισσότερο πλησιάζει η καμπύλη την οριζόντια γραμ-μή SA = 1 τόσο καλύτερος θεωρείται ο κανόνας αφού επιτυγχάνει μεγαλύτερες τιμέςστην πιθανότητα ανίχνευσης.

Θα πρέπει να τονισθεί ότι σε κάθε σοβαρό κανόνα απόφασης, η αντίστοιχη καμπύληΧ Δ θα πρέπει να ευρίσκεται εξ’ ολοκλήρου πάνω από τη διαγώνιο SA = SEΣ. Αυτόγίνεται εύκολα αντιληπτό αφού ο πλήρως τυχαιοποιημένος κανόνας δ1(X) = α (καιεπομένως δ0(X) = 1 − α), ο οποίος δεν χρησιμοποιεί τα δεδομένα X , επιτυγχάνειαπόδοση SA = SEΣ = α με αντίστοιχη καμπύλη Χ Δ τη διαγώνιο SA = SEΣ. Συνεπώςένας κανόνας που χρησιμοποιεί τα διαθέσιμα δείγματαX θα πρέπει να έχει τουλάχιστοντην απόδοση αυτή.

Παρατηρούμε τέλος ότι ο μοναδικός τρόπος για να επιτύχουμε SEΣ = 0 (όταν ταδεδομένα είναι φυσικά τυχαίες μεταβλητές και όχι ντετερμινιστικές ποσότητες) είναι νααποφασίζουμε πάντοτε υπέρ του >0, πράγμα που καταλήγει σε απόδοση SA = 0. Απότην άλλη πλευρά SEΣ = 1 επιτυγχάνεται επιλέγοντας πάντοτε >1 το οποίο αποδίδειSA = 1. Συνεπώς μια καμπύλη Χ Δ περνά υποχρεωτικά από τα σημεία (0,0) και (1,1).Θα πρέπει τέλος να αναφέρουμε ότι υπάρχει καμπύλη Χ Δ η οποία αποτελεί άνω όριο:


Ιδανική απόδοση : Η καμπύλη Χ Δ ενός τεστ δεν είναι δυνατό να υπερβεί σεκανένα σημείο την καμπύλη Χ Δ του Neyman-Pearson τεστ (γιατί;).

Επομένως η καμπύλη Χ Δ του Neyman-Pearson τεστ αποτελεί το ιδανικό άνω όριοτο οποίο μπορεί να επιτύχει ένα τεστ εξέτασης δυαδικών υποθέσεων. Είναι βεβαίωςξεκάθαρο ότι η καμπύλη αυτή είναι πάντοτε πάνω από τη διαγώνιο SA = SEΣ (γιατί;).

Στο Σχήμα 3.8 δημιουργούνται τρεις βασικές περιοχές. Η πρώτη περιλαμβάνεται με-ταξύ της Χ Δ του Neyman-Pearson και της διαγωνίου, όπου βρίσκονται οι Χ Δ τωνκαλών κανόνων απόφασης. Υπάρχει κατόπιν η περιοχή κάτω της διαγωνίου στην οποίαη απόδοση ενός κανόνα είναι χειρότερη από την απόδοση του πλήρως τυχαιοποιημένουτεστ το οποίο δεν χρησιμοποιεί τα δεδομένα. Ως εκ τούτου, κανόνες που έχουν τέτοιααπόδοση θεωρούνται κακοί. Τέλος υπάρχει η περιοχή που βρίσκεται πάνω από την κα-μπύλη Χ Δ του Neyman-Pearson τεστ και η οποία δεν είναι προσπελάσιμη από κανένακανόνα απόφασης.

Όσον αφορά στους κανόνες τύπου Neyman-Pearson, δηλαδή σύγκριση λόγου πιθα-νοφάνειας με ένα κατώφλι έχουμε να παρατηρήσουμε ότι στις περιπτώσεις που ο κανό-νας εμφανίζει τυχαιοποίηση, όπως στις Εξισώσεις (3.24), (3.25), η καμπύλη Χ Δ εμφα-νίζει γραμμικά τμήματα αφού και οι δύο πιθανότητες αποτελούν γραμμική συνάρτηση τηςπαραμέτρου γ. Συγκεκριμένα εάν το κατώφλιλ είναι σημείο ασυνέχειας της συνάρτησηςF (λ) της Σχέσης (3.26), δηλαδή η πιθανότητα ο λόγος πιθανοφάνειας να ισούται με τοκατώφλι είναι μη μηδενική, τότε η Χ Δ διέρχεται από τα σημεία (SEΣ(λ, 0),SA(λ, 0)),(SEΣ(λ, 1),SA(λ, 1)) και είναι γραμμική ανάμεσά τους.

Είναι φυσικό να αναρωτηθεί κανείς γιατί να ενδιαφερόμαστε για κανόνες απόφα-σης που δεν είναι Neyman-Pearson βέλτιστοι. Ο λόγος που καθιστά ενίοτε αδύνατη τηχρήση του Neyman-Pearson τεστ είναι η ανάγκη του για ακριβή γνώση των δύο πυκνο-τήτων 70(X), 71(X). Επειδή η απαίτηση αυτή δεν ικανοποιείται πάντοτε στην πράξη,καταφεύγουμε στη χρήση εναλλακτικών μεθόδων. Ωστόσο και στις περιπτώσεις αυτέςη καμπύλη Χ Δ του Neyman-Pearson τεστ μπορεί να αποτελέσει πρότυπο για αξιολό-γηση της απόδοσης κάθε εναλλακτικού τεστ.Παράδειγμα 3.1 : Έστω τυχαία μεταβλητή χ και οι ακόλουθες δύο υποθέσεις

>0: χ = w

>1: χ = s+ w,

όπου w είναι τυχαία μεταβλητή με κατανομή Laplace της μορφής f(w) = 0.5e−|w|. Για τοs ισχύει s = ±1, αλλά θα υποθέσουμε ότι δεν γνωρίζουμε εκ των προτέρων το πρόσημο (καιεπομένως την ακριβή τιμή) του s.

Ας προσδιορίσουμε αρχικά το βέλτιστο τεστ υποθέτοντας ότι το s είναι απολύτως γνωστό.Οι δύο πυκνότητες πιθανότητας είναι 70(x) = 0.5e−|x| και 71(x) = 0.5e−|x−s| και το βέλτιστοNeyman-Pearson τεστ

e−|x−s|+|x|>1

!>0

λ, ή ισοδύναμα −|x− s|+ |x|,>1

!>0

log(λ).


Εύκολα διαπιστώνουμε ότι το βέλτιστο τεστ γράφεται

φ(sx)>1

!>0

log(λ), όπου φ(x) =

⎧⎨

⎩

−1 όταν x ≤ 02x− 1 όταν 0 ≤ x ≤ 1

1 όταν 1 ≤ x.

Παρατηρούμε ότι η εφαρμογή του βέλτιστου κανόνα απαιτεί τη γνώση του s.Ένας διαφορετικός τρόπος αντιμετώπισης του προβλήματος συνίσταται στην κατασκευή

ενός τεστ το οποίο να μην εξαρτάται από το s. Για το σκοπό αυτό μπορούμε να θεωρήσουμεότι το s είναι τυχαία μεταβλητή και ότι κάθε μια από τις δύο δυνατές τιμές της μπορεί να εμφα-νιστεί με πιθανότητα 0.5. ε τη λογική αυτή η πυκνότητα πιθανότητας κάτω από το >1 γίνεται71(x) = 0.25(e−|x−1| + e−|x+1|) ενώ το αντίστοιχο τεστ λόγου πιθανοφάνειας γράφεται

71(x)70(x)

= 0.5(e−|x−1|+|x| + e−|x+1|+|x|

) >1

!>0

λ,

το οποίο μετά από πράξεις είναι ισοδύναμο προς

ψ(x)>1

!>0

log(λ), όπου ψ(x) =

|x|− 1 + log(cosh(|x|)) όταν 0 ≤ |x| ≤ 1

log(cosh(1)) όταν 1 ≤ |x|,

αποτέλεσμα που είναι ανεξάρτητο του s. αι στους δύο κανόνες που παρουσιάστηκαν, όταν τοκατώφλι πάρει τιμές ίσες προς τις οριακές τιμές των δύο συναρτήσεων φ(x) ή ψ(x) τότε ο λόγοςπιθανοφάνειας γίνεται ίσος με το κατώφλι με πιθανότητα μεγαλύτερη του μηδενός.

Ας υποθέσουμε ότι κάτω από το >1 η ακριβής τιμή του s είναι s = 1. Εάν γνωρίζαμε τηνπληροφορία αυτή τότε θα μπορούσαμε να εφαρμόσουμε το πρώτο τεστ με s = 1 το οποίο θαήταν βέλτιστο. Για να υπολογίσουμε τις πιθανότητες ανίχνευσης και εσφαλμένου συναγερμούπαρατηρούμε ότι μόνο για−1 < log(λ) < 1 ο κανόνας είναι ντετερμινιστικός και αποφασίζουμευπέρ του >1 όταν x > 0.5[log(λ) + 1] = η(λ). Οι πιθανότητες ενδιαφέροντος γίνονται

SA = S(φ(x) ≥ log(λ)|>1) =

⎧⎨

⎩

1 log(λ) ≤ −11− 0.5e−(1−η) −1 < log(λ) ≤ 1

0 1 < log(λ)

SEΣ = S(φ(x) ≥ log(λ)|>0) =

⎧⎨

⎩

1 log(λ) ≤ −10.5e−η −1 < log(λ) ≤ 1

0 1 < log(λ).

Παρατηρούμε ότι οι πιθανότητες ενδιαφέροντος εμφανίζουν ασυνέχειες από τον συνδυασμό(1, 1) στον (1− 0.5e−1, 0.5) για log(λ) = −1, καθώς και από το συνδυασμό (0.5, 0.5e−1) στον(0, 0) για log(λ) = 1. Συνεπώς στις δύο αυτές τιμές του κατωφλίου θα εφαρμοστεί τυχαιοποίησηη οποία θα δημιουργήσει γραμμική μετάβαση από το ένα σημείο της Χ Δ στο άλλο.

Ας υποθέσουμε τώρα ότι δεν γνωρίζουμε την πληροφορία ότι s = 1 και, εσφαλμένως, εκτι-μούμε ότι s = −1. Εάν χρησιμοποιήσουμε την τιμή αυτή στο πρώτο τεστ τότε φυσικά ο κανόναςπου προκύπτει δεν είναι πλέον βέλτιστος. Για τον υπολογισμό των δύο πιθανοτήτων έχουμε ότικάτω από το >0, λόγω συμμετρίας, η πιθανότητα είναι ακριβώς ίδια με προηγουμένως, ενώ για


την πιθανότητα ανίχνευσης ισχύει

SA = S(φ(−x) ≥ log(λ)|>1) =

⎧⎨

⎩

1 log(λ) ≤ −10.5e−(1+η) −1 < log(λ) ≤ 1

0 1 < log(λ)

Παρατηρούμε και πάλι τις δύο ασυνέχειες που θα δημιουργήσουν δύο γραμμικά τμήματα στηναντίστοιχη καμπύλη Χ Δ.

Εάν αντί του πρώτου τεστ, που χρειάζεται τον ακριβή προσδιορισμό του s, χρησιμοποιήσου-με τον δεύτερο κανόνα, που είναι ανεξάρτητος της παραμέτρου, τότε το τεστ για−1 ≤ log(λ) <log(cosh(1)) είναι ισοδύναμο προς |x| > ψ−1(log(λ)) = κ(λ). Οι δύο πιθανότητες ενδιαφέρο-ντος γράφονται

SA = S(ψ(x) ≥ log(λ)|>1) =

⎧⎨

⎩

1 log(λ) ≤ −11− e−1 sinh(κ) −1 < log(λ) ≤ log(cosh(1))

0 log(cosh(1)) < log(λ)

SEΣ = S(ψ(x) ≥ log(λ)|>0) =

⎧⎨

⎩

1 log(λ) ≤ −1e−κ −1 < log(λ) ≤ log(cosh(1))0 log(cosh(1)) < log(λ).

Οι δύο πιθανότητες παρουσιάζουν ασυνέχεια μόνο για log(λ) = log(cosh(1)) και επομένως μόνοστην περίπτωση αυτή θα χρειαστεί τυχαιοποίηση η οποία θα οδηγήσει την αντίστοιχη καμπύληΧ Δ από τον συνδυασμό (0.5(1 + e−2), e−1) στον (0, 0) με γραμμικό τρόπο.

SA

SEΣ

Σχήμα 3.9 : αμπύλες Χ Δ για τον βέλτιστο κανόνα με σωστό πρόσημο (κυανή), με λάθος πρό-σημο (μαύρη) και εναλλακτικό κανόνα ανεξάρτητο του προσήμου (λευκή).

Στο Σχήμα 3.9 παρουσιάζονται οι καμπύλες Χ Δ για τις τρεις περιπτώσεις. Παρατηρού-με ότι το βέλτιστο τεστ όταν γνωρίζουμε το πρόσημο του s έχει την καλύτερη απόδοση (κυανήκαμπύλη). Δυστυχώς όμως το τεστ αυτό, εάν κάνουμε λάθος στο πρόσημο εμφανίζει εξαιρετι-κά κακή απόδοση (μαύρη καμπύλη) η οποία είναι σημαντικά κατώτερη ακόμη και του τελείωςτυχαιοποιημένου κανόνα (διαγώνιος) που δεν χρησιμοποιεί την πληροφορία του δείγματος. Το


δεύτερο τεστ (λευκή καμπύλη) από την άλλη πλευρά είναι φυσικά κατώτερο του βέλτιστου, αλ-λά εξασφαλίζει αξιοπρεπή απόδοση δίχως την ανάγκη εκ των προτέρων γνώσης του προσήμου.Πρέπει τέλος να σημειώσουμε την ύπαρξη των γραμμικών τμημάτων και στις τρεις καμπύλεςΧ Δ που είναι αποτέλεσμα της τυχαιοποίησης στα αντίστοιχα τεστ. Τα εν λόγω τμήματα εμ-φανίζονται με λεπτότερου πάχους γραμμή. Φυσικά οι επιδόσεις των δύο καλών κανόνων είναιμακριά από την ιδανική τιμή SA = 1, αλλά αυτό είναι εν μέρει αναμενόμενο αφού χρησιμοποιεί-ται μόλις ένα δείγμα.

3.4.6 Υπολογισμός κατωφλίουmin-max κανόνα απόφασηςε τη βοήθεια της καμπύλης Χ Δ ενός κανόνα λόγου πιθανοφάνειας, είναι δυνατό να

προταθεί ένας γραφικός τρόπος υπολογισμού του κατωφλίου του min-max βέλτιστουτεστ του Εδαφίου 3.4.3. Στο Σχήμα 3.10 παρουσιάζεται η γραφική αναπαράσταση της

SA

SEΣ

Σχήμα 3.10 : Γραφικός υπολογισμός κατωφλίου του min-max κανόνα.

καμπύλης Χ Δ ενός κανόνα λόγου πιθανοφάνειας με κυανό χρώμα. Από της Εξίσω-ση (3.21) έχουμε για τον min-max βέλτιστο κανόνα ότι ισχύει μια γραμμική σχέση τηςμορφής

SA = c0 − c1SEΣ

μεταξύ των δύο πιθανοτήτων, όπου c0, c1 γνωστές ποσότητες. Η σχέση αυτή ορίζει στοεπίπεδο (SEΣ,SA) μια ευθεία η οποία σημειώνεται στο σχήμα με μαύρη λεπτή γραμμή.Το σημείο τομής των δύο καμπυλών ορίζει το ζευγάρι των πιθανοτήτων (SEΣ,SA) τουβέλτιστου min-max κανόνα. Σύμφωνα με την Άσκηση 3.6 η κλίση της εφαπτομένης στηΧ Δ στο σημείο τομής (λευκή γραμμή), καθορίζει τέλος και το επιθυμητό κατώφλι τουmin-max τεστ.

3.4.7 Εξισορροπημένη πιθανότητα σφάλματοςολονότι στα περισσότερα συστήματα ανίχνευσης, στόχο αποτελεί η ελαχιστοποίηση

της πιθανότητας σφάλματος, σε ορισμένες εφαρμογές (κυρίως στις ψηφιακές τηλεπικοι-


νωνίες) υπάρχει έντονο ενδιαφέρον τα σφάλματα ανά υπόθεση να είναι εξισορροπημένα.Για παράδειγμα σε ένα δυαδικό σύστημα τηλεπικοινωνιών στο οποίο μεταδίδονται μη-δενικά και μονάδες με ίση πιθανότητα, δεν είναι επιθυμητό να γίνονται περισσότερασφάλματα στην ανίχνευση του ενός συμβόλου απ’ ό,τι στο άλλο, έστω και εάν αυτόελαχιστοποιεί τη συνολική πιθανότητα σφάλματος. Για το λόγο αυτό στο παρόν εδάφιοθα εξεταστούν κανόνες οι οποίοι ελαχιστοποιούν την συνολική πιθανότητα σφάλματοςαλλά πετυχαίνουν συγχρόνως εξισορρόπηση των δύο σφαλμάτων.

Ένας κανόνας απόφασης δ(X) = [δ0(X) δ1(X)] θα καλείται εξισορροπημένος εφό-σον

SEΣ =

∫δ1(X)70(X) dX =

∫δ0(X)71(X) dX = SAΠ, (3.30)

εξισορροπεί δηλαδή τις πιθανότητες εσφαλμένου συναγερμού και απώλειας. ε βάσητον εν λόγω περιορισμό είναι επιθυμητό να επιλεγεί ο κανόνας ο οποίος μεγιστοποιείτην πιθανότητα ορθής επιλογής μιας εκ των δύο υποθέσεων ή ισοδύναμα ελαχιστοποιείμια εκ των δύο πιθανοτήτων σφάλματος. όγω φυσικά του περιορισμού (3.30) δεν έχεισημασία ποια από τις δύο υποθέσεις θα επιλεγεί.

Θα πρέπει να σημειώσουμε ότι η έννοια των εξισορροπημένων πιθανοτήτων σφάλ-ματος εμφανίστηκε για πρώτη φορά στους min-max κανόνες και συγκεκριμένα στηνΕξίσωση (3.22) σαν παράγωγο της εν λόγω τεχνικής. Στο παρόν εδάφιο θα εστιάσου-με την ανάλυσή μας στην έννοια της εξισορρόπησης αυτής καθ’ εαυτής με στόχο ναανακαλύψουμε το βέλτιστο εξισορροπημένο τεστ.

Ας επιχειρήσουμε επομένως να ελαχιστοποιήσουμε την πιθανότητα SEΣ, να επιλέ-ξουμε δηλαδή τον βέλτιστο κανόνα ως εξής

δ(X) = argminδ

∫δ1(X)70(X) dX

μεταξύ όλων των κανόνων που ικανοποιούν την απαίτηση της εξισορρόπησης (3.30).Χρησιμοποιώντας πολλαπλασιαστή Lagrange μετατρέπουμε το πρόβλημα βελτιστο-

ποίησης με περιορισμό σε ένα αντίστοιχο δίχως περιορισμό και εφαρμόζουμε τους κά-τωθι υπολογισμούς

P(δ) =

∫δ1(X)70(X) dX − λ

(∫δ1(X)70(X) dX −

∫δ0(X)71(X) dX

)

=

∫δ1(X)(1− λ)70(X) dX +

∫δ0(X)λ71(X) dX

≥∫

min(1− λ)70(X),λ71(X) dX.

Εύκολα διαπιστώνουμε ότι εάν λ > 1 τότε αποφασίζουμε πάντοτε υπέρ της υπόθεσης>1, με αποτέλεσμα η πιθανότητα απώλειας να είναι 0 ενώ η πιθανότητα εσφαλμένουσυναγερμού 1 (δεν είναι δηλαδή εφικτή η εξισορρόπηση). Σε αντίστοιχο συμπέρασμα


καταλήγουμε εάν επιλέξουμε λ < 0. Συνεπώς η εξισορρόπηση των δύο σφαλμάτωνείναι δυνατή μόνον όταν λ ∈ [0, 1]. Υποθέτοντας ότι ο πολλαπλασιαστής Lagrangeβρίσκεται στο διάστημα αυτό, διαπιστώνουμε ότι ο βέλτιστος κανόνας ορίζεται ως εξής

71(X)

70(X)

>1

!>0

1− λ

λ= η,

δηλαδή το γνώριμό μας τεστ του λόγου πιθανοφάνειας. Το κατώφλι η επιλέγεται έτσι,ώστε να ικανοποιείται ο περιορισμός (3.30). Για το σκοπό αυτό παρατηρούμε ότι εάνορίσουμε

F0(η) =

∫

71(X)70(X)≥η

70(X) dX, F1(η) =

∫

71(X)70(X)≤η

71(X) dX,

τότε η μεν πρώτη συνάρτηση για τιμές 0 ≤ η < ∞ είναι φθίνουσα με F0(0) = 1,F0(∞) = 0, ενώ η δεύτερη είναι αύξουσα με F1(0) = 0, F0(∞) = 1. Εάν τέλοςγια ευκολία υποθέσουμε ότι και οι δύο αυτές συναρτήσεις είναι συνεχείς, τότε υπάρχεισημείο τομής η∗ των δύο συναρτήσεων το οποίο αποτελεί το επιθυμητό κατώφλι.

Εάν οι δύο καμπύλες δεν τέμνονται λόγω ασυνέχειας, τότε είναι εύκολο να δείξου-με, αντίστοιχα με την περίπτωση Neyman-Pearson, ότι υπάρχει κατώφλι το οποίο συ-νοδεύεται από πιθανότητα τυχαιοποίησης που εφαρμόζεται κάθε φορά που ο λόγος πι-θανοφάνειας συμπίπτει με το κατώφλι. Οι λεπτομέρειες επαφίενται σαν άσκηση (βλέπεΆσκηση 3.8).

Η συνολική πιθανότητα σφάλματος (ΠΣ), υποθέτοντας ίσες εκ των προτέρων πιθα-νότητες για τις δύο υποθέσεις, γίνεται

ΠΣ = 0.5(SEΣ + SAΠ) = SEΣ = SAΠ,

είναι δηλαδή επίσης ίση προς τις δύο επιμέρους εξισορροπημένες πιθανότητες σφάλμα-τος.

Σχέση εξισορροπημένου καιmin-max κανόνα

Όπως ακριβώς στην min-max περίπτωση, έτσι και για τον εξισορροπημένο κανόνα εί-ναι δυνατός ο γραφικός προσδιορισμός του βέλτιστου κατωφλίου. Στο Σχήμα 3.11, στοεπίπεδο (SEΣ,SA) παρουσιάζεται η καμπύλη Χ Δ του τεστ λόγου πιθανοφάνειας. Τοσημείο τομής της καμπύλης με την ευθεία SA = 1− SEΣ (μαύρη γραμμή) ορίζει τις πι-θανότητες SEΣ,SA του βέλτιστου εξισορροπημένου κανόνα. Η κλίση της εφαπτομένηςστην καμπύληΧ Δστο σημείο τομής (λευκή γραμμή), ορίζει το βέλτιστο κατώφλι. Συν-δυάζοντας την Εξίσωση (3.22) με το Εδάφιο 3.4.6, διαπιστώνεται ότι με τον ίδιο ακριβώςτρόπο υπολογίζεται το min-max βέλτιστο τεστ για την ειδική περίπτωσηC00 = C11 = 0,C10 = C01 = 1 που αναφέρεται στην πιθανότητα σφάλματος. Επομένως τα δύο αυτά


SA

SEΣ

Σχήμα 3.11 : Γραφικός υπολογισμός κατωφλίου του εξισορροπημένου κανόνα.

βέλτιστα τεστ (εξισορροπημένο και min-max) συμπίπτουν. Η μη γραφική απόδειξη τηςισοδυναμίας των δύο κανόνων επαφίεται σαν άσκηση (βλέπε Άσκηση 3.9).Παράδειγμα 3.2 : Έστω τυχαία μεταβλητή χ η οποία κάτω από την υπόθεση >0 έχει κατανομή χ ∼N (0,σ2), ενώ κάτω από την υπόθεση >1, χ ∼ N (s,σ2), όπου s > 0 είναι γνωστή ποσότητα.Εύκολα διαπιστώνεται ότι το βέλτιστο τεστ που ελαχιστοποιεί την πιθανότητα σφάλματος

x>1

!>0

s

2

είναι επίσης εξισορροπημένο αποδίδοντας σφάλμα ίσο προς 1 − Φ( s2σ ) = Q( s

2σ ) σε κάθε υπό-θεση.

Ας υποθέσουμε τώρα ότι δεν μας διατίθεται το χ αλλά το ζ = χ2 με τη χρήση του οποίουπρέπει να επιλέξουμε μεταξύ των δύο υποθέσεων6. Οι πυκνότητες πιθανότητας κάτω από τις δύουποθέσεις γίνονται

70(z) =1√

2πσ2ze−

z2σ2 u(z), 71(z) =

1

2√2πσ2z

e−

(√

z+s)2

2σ2 + e−(√

z−s)2

2σ2

u(z),

όπου u(z) η μοναδιαία βηματική συνάρτηση. Ο λόγος πιθανοφάνειας παίρνει τη μορφή

71(z)70(z)

= e−s2

2σ2 cosh(√

zs

σ2

) >1

!>0

λ.

Για την περίπτωση του τεστ που ελαχιστοποιεί την πιθανότητα σφάλματος έχουμε ότι λ = 1 καιεπιλύοντας ως προς z, το τεστ γράφεται ισοδύναμα

√z

σ

>1

!>0

σ

scosh−1(e−

s2

2σ2 ) =s

2+

1

slog(1 +

√1− e−s2

)= η,

6Η περίπτωση αυτή εμφανίζεται στις οπτικές ίνες όπου με τις φωτοδιόδους μετράται η ενέργεια τουσήματος και όχι το ίδιο το σήμα.


όπου s = sσ και χρησιμοποιήθηκε η ισότητα cosh−1(x) = log(x +

√x2 − 1), x ≥ 1. Οι

πιθανότητες εσφαλμένου συναγερμού και απώλειας παίρνουν τη μορφή

SEΣ = 2 (1− Φ(η)) , SAΠ = Φ(η + s) + Φ(s− η)

ενώ η συνολική πιθανότητα σφάλματος είναι το ημιάθροισμα των δύο αυτών πιθανοτήτων

ΠΣ = 1− Φ(η) + 0.5 Φ(η + s) + Φ(s− η) .

Για την περίπτωση του εξισορροπημένου τεστ, έχουμε ότι είναι της μορφής

71(z)70(z)

= e−s2

2σ2 cosh(√

zs

σ2

) >1

!>0

η,

το οποίο είναι ισοδύναμο προς√z

σ

>1

!>0

σ

scosh−1(ηe−

s2

2σ2 ) = τ.

Θα πρέπει να καθοριστεί το κατώφλι τ έτσι, ώστε οι πιθανότητες SEΣ και SAΠ να είναι ίσες. Οιδύο αυτές πιθανότητες έχουν παρόμοια μορφή με του προηγούμενου τεστ, δηλαδή

SEΣ = 2 [1− Φ(τ)] , SAΠ = Φ(τ + s) + Φ(s− τ)

και το βέλτιστο κατώφλι τ αποτελεί λύση της εξίσωσης

2 [1− Φ(τ)] = Φ(τ + s) + Φ(s− τ),

και μπορεί να υπολογιστεί αριθμητικά.

Σχήμα 3.12 : Πιθανότητα εσφαλμένου συναγερμού (λευκή), απώλειας (μαύρη), συνολικού σφάλ-ματος (κυανή γραμμοσκιασμένη) για βέλτιστο τεστ και απόδοση εξισορροπημένου τεστ (γκρί-ζα) σαν συνάρτηση του σηματοθορυβικού λόγου s2

σ2 .

Στο Σχήμα 3.12 παρουσιάζονται για διαφορετικές τιμές του σηματοθορυβικού λόγου (ΣΘ )s2 = s2

σ2 , οι πιθανότητες εσφαλμένου συναγερμού (λευκή) και απώλειας (μαύρη) του βέλτι-στου τεστ καθώς και η πιθανότητα σφάλματος (κυανή γραμμοσκιασμένη). Παρατηρούμε ότι


στο βέλτιστο τεστ οι δύο πιθανότητες SEΣ, SAΠ διαφέρουν σημαντικά. Στο ίδιο σχήμα, μεγκρίζα καμπύλη απεικονίζεται η κοινή πιθανότητα εσφαλμένου συναγερμού και απώλειας τουεξισορροπημένου τεστ, η οποία συμπίπτει επίσης με τη συνολική πιθανότητα σφάλματος. Τοεξισορροπημένο τεστ εμφανίζει ελάχιστα χειρότερη (μεγαλύτερη) πιθανότητα σφάλματος απότο βέλτιστο (η διαφορά δεν διακρίνεται δια γυμνού οφθαλμού) για όλες τις τιμές του ΣΘ . Θυ-σιάζοντας αυτό το πρακτικά ασήμαντο ποσοστό απόδοσης εξασφαλίζεται η ίδια συμπεριφορά σεσφάλματα κάτω από κάθε υπόθεση.

3.5 Εξέταση πολλαπλών υποθέσεων κατά BayesΌπως αναφέρθηκε στο Εδάφιο 3.3 στην εξέταση πολλαπλών υποθέσεων πρέπει να επιλέ-ξουμε μεταξύK δυνατών σεναρίων >0, . . . ,>K−1, όπου στην υπόθεση >i τα δεδομέναακολουθούν την πυκνότητα πιθανότητας 7i(X).

Ένας κανόνας απόφασης, με κάθε συλλογή δεδομένων X , διαθέτει K επιλογές καιαφού ενδιαφερόμαστε για τυχαιοποιημένους κανόνες δ(X) = [δ0(X) · · · δK−1(X)] θαπρέπει να ορίσουμε τιςK συναρτήσεις πιθανότητας δi(X) που ικανοποιούν την σότη-τα (3.1).

Στη διαδικασία απόφασης εμφανίζονταιK2 γεγονότα της μορφής .i & >j, i, j =0, . . . ,K − 1, (αποφασίζω υπέρ υπόθεσης >i, ενώ τα δεδομένα στην πραγματικότηταακολουθούν την υπόθεση >j). Σε κάθε τέτοιο γεγονός αντιστοιχίζεται ένα κόστος Cij

πράγμα που επιτρέπει τον υπολογισμό του μέσου κόστους

C(δ) =K−1∑

i=0

K−1∑

j=0

CijS(.i & >j) =K−1∑

i=0

K−1∑

j=0

CijS(.i|>j)S(>j)

=K−1∑

i=0

K−1∑

j=0

CijS(>j)

∫δi(X)7j(X) dX

=

∫ K−1∑

i=0

δi(X)

⎛

⎝K−1∑

j=0

CijS(>j)7j(X)

⎞

⎠dX

=

∫ [K−1∑

i=0

δi(X)ci(X)

]dX,

όπου, αντίστοιχα με τη δυαδική περίπτωση, ορίζουμε τις συναρτήσεις

ci(X) =K∑

j=0

CijS(>j)7j(X), i = 0, . . . ,K − 1.

Επειδή και πάλι ci(X) ≥ minj cj(X) και λόγω του ότι δi(X) ≥ 0, μπορούμε να γρά-

3.5 Εξέταση πολλαπλών υποθέσεων κατά Bayes 53

ψουμε

C(δ) =

∫ [K−1∑

i=0

δi(X)ci(X)

]dX

≥∫

mini=0,...,K−1

ci(X)

[K−1∑

i=0

δi(X)

]dX

=

∫min

i=0,...,K−1ci(X) dX,

όπου για την τελευταία ισότητα έγινε χρήση της Εξίσωσης (3.1). Το τελευταίο ολοκλή-ρωμα αποτελεί κάτω φράγμα στην απόδοση οιουδήποτε κανόνα και, όπως στη δυαδικήπερίπτωση, μπορούμε να κατασκευάσουμε κανόνα του οποίου η απόδοση να συμπίπτειμε το όριο αυτό γεγονός που καθιστά τον εν λόγω κανόνα βέλτιστο κατά Bayes.

Για τον προσδιορισμό του βέλτιστου κανόνα είναι απαραίτητο να ορίσουμε διάφο-ρα σύνολα σημείων κατ’ αντιστοιχία με τη δυαδική περίπτωση. ατ’ αρχάς έχουμε τασύνολα

Ai = X : ci(X) < cj(X), ∀j = i,τα οποία περιέχουν όλα τα X για τα οποία το ci(X) είναι αυστηρά μικρότερο όλων τωνυπολοίπων συναρτήσεων cj(X). Τα σύνολα αυτά θα αποτελέσουν το ντετερμινιστικότμήμα του βέλτιστου κανόνα. Υπάρχει επίσης μια πληθώρα από σύνολα στα οποία δύοή και περισσότερες συναρτήσεις είναι μεταξύ τους ίσες και συγχρόνως οι μικρότερες σεμέγεθος. Εάν i1 < i2 < · · · , τότε τα σύνολα αυτά ορίζονται

Ai1i2 = X : ci1(X) = ci2(X) < cj(X), ∀j = i1, i2,Ai1i2i3 = X : ci1(X) = ci2(X) = ci3(X) < cj(X), ∀j = i1, i2, i3,

......

A012···(K−1) = X : c0(X) = c1(X) = · · · = cK−1(X).

Όλα τα σύνολα με πολλαπλούς δείκτες συνεισφέρουν στο τυχαιοποιημένο τμήμα τουβέλτιστου κανόνα. Παρατηρούμε τότε ότι

C(δ) ≥∫

mini=0,...,K−1

ci(X) dX =K−1∑

i=0

∫

Ai

ci(X) dX

+∑

i1,i2,...,ik

∫

Ai1···ik

[γi1(X)ci1(X) + · · ·+ γik(X)cik(X)] dX,

όπου γi1(X) + · · · + γik(X) = 1. Από τα παραπάνω συμπεραίνουμε ότι ο βέλτιστοςκανόνας ορίζεται μέσω των ακόλουθων πιθανοτήτων απόφασης

δj(X) = Aj (X) + γj(X)∑

i1,i2,...,ik

Ai1···ik(X), όπου j ∈ i1, . . . , ik.


ε άλλα λόγια επιλέγουμε ντετερμινιστικά το>j κάθε φορά που το cj(X) είναι αυστηράη μικρότερη συνάρτηση μεταξύ όλων των ci(X), ενώ όταν το cj(X) είναι μεν η μικρό-τερη συνάρτηση αλλά είναι επίσης ίση και με κάποιες άλλες συναρτήσεις ci1(X), . . . ,cik(X) τότε εφαρμόζουμε αυθαίρετη τυχαιοποίηση μεταξύ των αντίστοιχων υποθέσεων.

Για την ειδική περίπτωση που ενδιαφερόμαστε για την ελαχιστοποίηση της πιθα-νότητας σφάλματος, επιλέγουμε Cii = 0 και Cij = 1 για i = j με αποτέλεσμα οισυναρτήσεις ci(X) να παίρνουν τη μορφή

ci(X) =K−1∑

k=0k =i

S(>k)7k(X) =K−1∑

k=0

S(>k)7k(X)− S(>i)7i(X).

Παραλείποντας τις περιπτώσεις ισότητας που οδηγούν σε τυχαιοποίηση, παρατηρούμεότι επιλέγουμε την υπόθεση >i όταν η συνάρτηση ci(X) είναι η μικρότερη από όλες τιςσυναρτήσεις. όγω της προηγούμενης όμως σχέσης αυτό συμβαίνει όταν

i = arg minj=0,...,K−1

K−1∑

k=0

S(>k)7k(X)− S(>j)7j(X)

= arg maxj=0,...,K−1

S(>j)7j(X) = arg maxj=0,...,K−1

S(>j)7j(X)∑K−1

k=0 S(>k)7k(X)

= arg maxj=0,...,K−1

S(>j |X = X.

ε δεδομένα τα δείγματα X , το βέλτιστο κατά Bayes τεστ, το οποίο ελαχιστοποιεί τηνπιθανότητα εσφαλμένης απόφασης, επιλέγει την υπόθεση που έχει την μεγαλύτερη εκτων υστέρων πιθανότητα. Φυσικά σε περίπτωση που περισσότερες από μια τέτοιες πι-θανότητες συμπίπτουν και είναι οι μεγαλύτερες, τότε εφαρμόζεται τυχαιοποίηση στηνεπιλογή μεταξύ των αντίστοιχων υποθέσεων.Παράδειγμα 3.3 : Έστω τρεις υποθέσεις >0,>1,>2, με αντίστοιχες πυκνότητες πιθανότητας 70(X),71(X),72(X). Επιθυμούμε να επιλέξουμε μεταξύ των τριών υποθέσεων έτσι, ώστε να ελαχιστο-ποιείται η πιθανότητα σφάλματος.

Εάν καλέσουμε Gi(X) = 7i(X)70(X) , di =

S(>0)S(>i)

, i = 1, 2, τότε από τη θεωρία που αναπτύχθηκεπροηγουμένως έχουμε ότι επιλέγουμε >0 όταν S(>0)70(X) > S(>i)7i(X), i = 1, 2, πράγμαπου είναι ισοδύναμο προς Gi(X) < di, i = 1, 2. ε τον ίδιο τρόπο μπορούμε να δείξουμε ότιεπιλέγουμε >1 όταν G1(X) > d1 και d2G1(X) > d1G2(X), ενώ τελικά επιλέγουμε >2 ότανG2(X) > d2 και d2G1(X) < d1G2(X). Οι περιοχές αυτές παρουσιάζονται στο Σχήμα 3.13 στοεπίπεδο με άξονες G1(X), G2(X). Πέρα από τις τρεις περιοχές στις οποίες αποφασίζουμε υπέρτων αντίστοιχων υποθέσεων υπάρχουν επίσης οι τρεις (λευκές) γραμμές X : G1(X) = d1,X : G2(X) = d2 και X : d2G1(X) = d1G2(X), που αποτελούν τα σύνολα A01, A02, A12,

στα οποία επιλέγουμε μεταξύ δύο υποθέσεων με τυχαιότητα, τέλος υπάρχει και το σημείο όπουσυγκλίνουν και οι τρεις γραμμές X : G1(X) = d1 & G2(X) = d2 & d2G1(X) = d1G2(X) το

3.5 Εξέταση πολλαπλών υποθέσεων κατά Bayes 55

Σχήμα 3.13 : Διαμελισμός του χώρου σε τρεις περιοχές απόφασης οι οποίες ελαχιστοποιούν τηνπιθανότητα σφάλματος.

οποίο αντιστοιχεί στο σύνολοA012 και όπου αποφασίζουμε με τυχαιότητα μεταξύ και των τριώνυποθέσεων >0,>1,>2.

Παράδειγμα 3.4 : Ένα πολύ ενδιαφέρον πρόβλημα εξέτασης πολλαπλών υποθέσεων, το οποίο βρί-σκει εφαρμογή στις ψηφιακές τηλεπικοινωνίες αναφέρετε σε δύο τυχαίες μεταβλητές χ1,χ2 οιοποίες είναι ανεξάρτητες Gaussian και ικανοποιούν τις ακόλουθεςK υποθέσεις

>n: χ1 = N(A cos(n 2π

K ),σ2), χ2 = N

(A sin(n 2π

K ),σ2), n = 0, . . . ,K − 1,

όπου A > 0. Το εν λόγω πρόβλημα εμφανίζεται σε ψηφιακό σύστημα μετάδοσης με κωδικοποί-ηση QPSK. Συνηθισμένες τιμές τουK είναι δυνάμεις του 2.

Είναι εύκολο από τα παραπάνω να υπολογιστεί η πυκνότητα πιθανότητας των δεδομένωνκάτω από κάθε υπόθεση, έχουμε επομένως ότι

7n(x1, x2) =1

2πσ2e−

12σ2 (x1−A cos(φn))

2+(x2−A sin(φn))2, n = 0, . . . ,K − 1,

όπου φn = n 2πK . Θεωρώντας τις υποθέσεις ισοπίθανες, ενδιαφερόμαστε για το τεστ το οποίο

ελαχιστοποιεί την πιθανότητα σφάλματος. Σύμφωνα με τη θεωρία που αναπτύχθηκε, το βέλτιστοτεστ αποφασίζει υπέρ της υπόθεσης >i εφόσον

i = arg maxn=0,...,K−1

1

2πσ2e−

12σ2 (x1−A cos(φn))

2+(x2−A sin(φn))2

= arg minn=0,...,K−1

(x1 −A cos(φn))2 + (x2 −A sin(φn))2

= arg maxn=0,...,K−1

x1 cos(φn) + x2 sin(φn)


ρ cos(θ) cos(φn) + ρ sin(θ) sin(φn)


cos(θ − φn) = arg maxn=0,...,K−1

cos(|θ − φn|)

= arg minn=0,...,K−1

min|θ − φn|, 2π − |θ − φn|

όπου (ρ, θ) είναι το σημείο (x1, x2) σε πολικές συντεταγμένες και θ ∈ [0, 2π). Η τελευταίαισότητα οφείλεται στο γεγονός ότι cos(x) = cos(2π − x), με αποτέλεσμα σαν γωνία μεταξύδύο διανυσμάτων να θεωρούμε αυτή που είναι μικρότερη από π. Παρατηρούμε ότι στη βέλτιστη


Σχήμα 3.14 : Βέλτιστες περιοχές απόφασης γιαK = 5.

απόφαση υπεισέρχεται μόνον η γωνία θ και επιλέγεται η υπόθεση εκείνη της οποίας η αντίστοιχηγωνία φn είναι πλησιέστερα στη θ. Οι βέλτιστες περιοχές απόφασης στο επίπεδο (x1, x2) πα-ρουσιάζονται στο Σχήμα 3.14 για την περίπτωση του K = 5. ε λευκές ευθείες σημειώνονταιοι γωνίες φn. Παρατηρούμε ότι το επίπεδο διαιρείται σε K διαδοχικούς τομείς γωνίας 2π

K μεκέντρο την αρχή των αξόνων. άθε τομέας ισοκατανέμεται γύρω από την αντίστοιχη γωνία φn.

Έχει επίσης ενδιαφέρον ο υπολογισμός της πιθανότητας σφάλματος. Εάν καλέσουμε ρ =tan(π/K) τότε, λόγω συμμετρίας, η πιθανότητα αυτή είναι ίση προς

ΠΣ = 1− S (χ1 ≥ 0; |χ2| ≤ ρχ1) = 1− S(|χ2| ≤ ρχ+

1

)

= 1− S(∣∣∣χ2

σ

∣∣∣≤ ρχ+1

σ

)= 1χ1

[1− S

(∣∣∣χ2

σ

∣∣∣≤ ρχ+1

σ

∣∣∣χ1

)]

= 21χ1

[Q

(ρχ+1

σ

)]= 21χ

[Q

(ρ

(A

σ+ χ

)+)]

,

όπου χ Gaussian N (0, 1) και Q(·) = 1− Φ(·) συμβολίζει τη συμπληρωματική συνάρτηση τηςGaussian κατανομής. Ο τελευταίος μέσος όρος υπολογίζεται αναλυτικά στην περίπτωσηK = 2(ρ = ∞) όπου διαπιστώνεται ότι ΠΣ = 1 − S(χ1 ≥ 0) = Q(A/σ). Για κάθε άλλη τιμή του Kδεν είναι δυνατό να υπολογιστεί αναλυτικά. πορούμε όμως να προσδιορίσουμε ενδιαφέρονταάνω και κάτω φράγματα. Επειδή

2Q(x) ≥ 2Q(x+) = 2Q(x)− [2Q(x)− 1] x≤0(x) ≥ 2Q(x)− x≤0(x),

εφαρμόζοντας τη γνωστή ιδιότητα της συνάρτησης Q(·) ότι 1χ[Q(α+ λχ)] = Q(α/√1 + λ2),

καταλήγουμε

2Q

(A

σsin

π

K

)≥ ΠΣ ≥ 2Q

(A

σsin

π

K

)−Q

(A

σ

). (3.31)

Στο Σχήμα 3.15 παρουσιάζεται το αποτέλεσμα του αριθμητικού υπολογισμού του μέσου όρου,δηλαδή η ΠΣ σαν συνάρτηση του ΣΘ =A2

σ2 , για διαφορετικές τιμές του K (μαύρη γραμμή) κα-

3.6 Εξέταση υποθέσεων με πολλαπλές διακριτές υποπεριπτώσεις 57

Σχήμα 3.15 : Πιθανότητα σφάλματος σαν συνάρτηση του ΣΘ και του αριθμού K των γωνιών(αριθμητικός υπολογισμός με μαύρη γραμμή και φράγματα με κυανή).

θώς και τα δύο φράγματα (κυανή γραμμή). Ας σημειωθεί ότι για πιθανότητες σφάλματος μι-κρότερες το 10−1 τα δύο φράγματα ουσιαστικά συμπίπτουν με το αποτέλεσμα της αριθμητικήςολοκλήρωσης, με το άνω φράγμα να αποτελεί καλύτερη προσέγγιση ακόμη και για μεγάλες τιμέςτης πιθανότητας σφάλματος. Διαπιστώνουμε ότι η ΠΣ φθίνει με αυξανόμενο ΣΘ και αυξάνειμε αυξανόμενο K. Έχει τέλος ιδιαίτερο ενδιαφέρον ο υπολογισμός των εν λόγω πιθανοτήτωνμε εξομοίωση με τη βοήθεια της μεθόδου που περιγράφεται στο ΕδάφιοΑ.7 (βλέπε Παράδειγ-μαΑ.2).

3.6 Εξέταση υποθέσεων με πολλαπλές διακριτές υποπεριπτώσειςΥπάρχουν εφαρμογές στις οποίες μια ή περισσότερες υποθέσεις εμφανίζονται να διαθέ-τουν πολλαπλές υποϋποθέσεις. Θα αναπτύξουμε τη θεωρία για τη δυαδική περίπτωση,ωστόσο τα αποτελέσματα εύκολα γενικεύονται στην εξέταση περισσοτέρων υποθέσε-ων. Θεωρούμε επομένως ότι οι δύο υποθέσεις αποτελούνται από περισσότερες της μιαςυποϋποθέσεων

>0: X ∼ 701(X) με πιθανότητα ϖ1...

X ∼ 70L(X) με πιθανότητα ϖL.

>1: X ∼ 711(X) με πιθανότητα π1...

X ∼ 71K(X) με πιθανότητα πK .Παρατηρούμε ότι η υπόθεση >1 διαθέτει K δυνατές υποϋποθέσεις με αντίστοιχη πι-θανότητα εμφάνισης για την υποϋπόθεση 71i(X) ίση προς πi ενώ η >0 διαθέτει L μεαντίστοιχες πιθανότητες ϖi. Φυσικά ισχύει ότι

∑Ki=1 πi =

∑Li=1ϖi = 1, γεγονός

το οποίο εξασφαλίζει ότι κάτω από κάθε υπόθεση >i εμφανίζεται οπωσδήποτε μια τωνυποϋποθέσεων.


Στην περίπτωση των υποθέσεων με πολλαπλές υποϋποθέσεις, σε αντιδιαστολή μετην εξέταση πολλαπλών υποθέσεων, δεν ενδιαφερόμαστε να διακρίνουμε μεταξύ υποϋπο-θέσεων. ας ενδιαφέρει απλώς να αποφασίσουμε ότι κάποια υποϋπόθεση μιας εκ τωνδύο υποθέσεων έχει εμφανιστεί (δίχως να προσδιορίζουμε ποια είναι η συγκεκριμένηυποϋπόθεση). Για το σκοπό αυτό είναι αρκετό να συνδυάσουμε τις διάφορες υποϋπο-θέσεις και να ορίσουμε μια συνολική πυκνότητα πιθανότητας για κάθε υπόθεση. Αφού,π.χ. με δεδομένο ότι εμφανίστηκε μια από τις K υποϋποθέσεις στην υπόθεση >1, η πι-θανότητα η τυχαία μεταβλητήX να έχει πυκνότητα 71i(X) είναι πi, συμπεραίνουμε ότιη συνολική πυκνότητα πιθανότητας της X κάτω από την υπόθεση >1 είναι

71(X) = π1711(X) + π2712(X) + · · ·+ πK 71K(X). (3.32)

Ομοίως για την υπόθεση >0 έχουμε

70(X) = ϖ1701(X) +ϖ2702(X) + · · ·+ϖL70L(X).

ε τις εν λόγω πυκνότητες πιθανότητας η εξέταση υποθέσεων μετατρέπεται στη γνωστήδυαδική περίπτωση στην οποία εξετάζουμε μεταξύ των 70(X) και 71(X) με αποτέλεσμανα καταλήγουμε στο ακόλουθο τεστ

71(X)

70(X)=

∑Ki=1 πi71i(X)

∑Li=1ϖi70i(X)

>1

!>0

λ.

Τονίζεται ότι στην περίπτωση των πολλαπλών υποϋποθέσεων είναι δυνατόν ορισμέ-νες από τις υποθέσεις να είναι απλές. Η συνηθέστερη μάλιστα περίπτωση αντιστοιχείστην >0 να είναι απλή υπόθεση με πυκνότητα πιθανότητας 70(X) ενώ η >1 πολλαπλή.Το βέλτιστο τεστ τότε γράφεται

71(X)

70(X)=

K∑

i=1

πi71i(X)

70(X)

>1

!>0

λ, (3.33)

περιλαμβάνει δηλαδή το γραμμικό συνδυασμό των επιμέρους λόγων πιθανοφάνειας.Παράδειγμα 3.5 : Έστω δεδομένα X = [χ1, . . . ,χN ]t, τα οποία είναι της μορφής

χn = αnb1 + βnb2 + wn, n = 1, . . . , N,

όπου A = [α1, · · · ,αN ]t και B = [β1, . . . ,βN ]t γνωστά διανύσματα, η ακολουθία wn εί-ναι α.ι.κ. Gaussian θόρυβος με wn ∼ N (0,σ2) και τέλος τα b1, b2 είναι ανεξάρτητες τυχαίεςμεταβλητές (οι ίδιες για όλα τα n) οι οποίες παίρνουν τις τιμές ±1 με ίση εκ των προτέρων πι-θανότητα και είναι ανεξάρτητες του θορύβου. Ενδιαφερόμαστε για τη δημιουργία ενός τεστ τοοποίο να αποφασίζει για την τιμή της τυχαίας μεταβλητής b1 και να ελαχιστοποιεί την πιθανότητασφάλματος7.

7Το μοντέλο αυτό σήματος συναντάται σε τηλεπικοινωνίες τύπου CDMA όπου τα bi εκφράζουν ταbits πληροφορίας των χρηστών που χρησιμοποιούν το CDMA σύστημα. Στο πρόβλημα που περιγράφουμεενδιαφερόμαστε για την ανάκτηση της πληροφορίας μόνον του πρώτου χρήστη τον οποίο θεωρούμε σαντον χρήστη ενδιαφέροντος. Τα διανύσματα A,B είναι γνωστά σαν υπογραφές των αντίστοιχων χρηστών.

3.6 Εξέταση υποθέσεων με πολλαπλές διακριτές υποπεριπτώσεις 59

Οι δύο υποθέσεις που πρέπει να εξετάσουμε είναι >0 : b1 = −1 και >1 : b1 = 1. Παρατη-ρούμε βέβαια ότι κάτω από κάθε υπόθεση υπάρχουν δύο δυνατές υποϋποθέσεις ανάλογα με τηντιμή που παίρνει το bit b2, συνεπώς οι υποθέσεις μας γίνονται

>0 : χn ∼ N (−αn − βn,σ2) με πιθανότητα 0.5, αντιστοιχεί σε b2 = −1

χn ∼ N (−αn + βn,σ2) με πιθανότητα 0.5, αντιστοιχεί σε b2 = 1.>1 : χn ∼ N (αn − βn,σ2) με πιθανότητα 0.5, αντιστοιχεί σε b2 = −1

χn ∼ N (αn + βn,σ2) με πιθανότητα 0.5, αντιστοιχεί σε b2 = 1.Βάσει των παραπάνω παρατηρήσεων συμπεραίνεται ότι και οι δύο υποθέσεις είναι σύνθετες.όγω ανεξαρτησίας των δειγμάτων του θορύβου οι πυκνότητες πιθανότητας γράφονται

70(X) = 0.5

(1√

(2π)Nσ2Ne−

12σ2 ∥X+A+B∥2

+1√

(2π)Nσ2Ne−

12σ2 ∥X+A−B∥2

)

71(X) = 0.5

(1√

(2π)Nσ2Ne−

12σ2 ∥X−A+B∥2

+1√

(2π)Nσ2Ne−

12σ2 ∥X−A−B∥2

).

Το βέλτιστο (κατά Bayes) τεστ λόγου πιθανοφάνειας που ελαχιστοποιεί την πιθανότητα σφάλ-ματος, μετά από πράξεις και απλοποιήσεις, γράφεται

(e

2σ2 AtX

) cosh(

|BtX−AtB|σ2

)

cosh(

|BtX+AtB|σ2

)>1

!>0

1

το οποίο όταν λογαριθμηθεί γίνεται ισοδύναμο προς

AtX +σ2

2log

⎛

⎝cosh

(|BtX−AtB|

σ2

)

cosh(

|BtX+AtB|σ2

)

⎞

⎠>1

!>0

0. (3.34)

Παρατηρούμε κατ’ αρχάς ότι όταν τα διανύσματα A,B είναι κάθετα (AtB = 0) τότε το τεσταπλοποιείται στο

AtX>1

!>0

0 ή ισοδύναμα b1 = sgn(AtX), (3.35)

γίνεται δηλαδή γραμμικό και ανεξάρτητο της ισχύος του θορύβου σ2. ε άλλα λόγια συσχετίζου-με τα δείγματαX με το διάνυσμαA που αντιστοιχεί στον πρώτο χρήστη (χρήστη ενδιαφέροντος)και επιλέγουμε το πρόσημο της συσχέτισης. Ο εν λόγω κανόνας καλείται ανιχνευτής προσαρμο-σμένου φίλτρου και αποτελεί ένα πολύ απλό κανόνα απόφασης όσον αφορά στην επιλογή τουbit b1. Ο κανόνας αυτός μπορεί φυσικά να εφαρμοστεί για κάθε περίπτωση διανυσμάτων A,Bαλλά, όπως δείξαμε, είναι βέλτιστος μόνον όταν τα δύο διανύσματα είναι κάθετα. Η υλοποίησήτου απαιτεί γνώση μόνο του διανύσματος (υπογραφής) A που αντιστοιχεί στον χρήστη ενδιαφέ-ροντος.

Ο ανιχνευτής προσαρμοσμένου φίλτρου είναι γνωστό ότι υποφέρει από το φαινόμενο κοντά-μακριά (near-far problem). Εάν ο δεύτερος χρήστης (όχι ο χρήστης ενδιαφέροντος) είναι πιοκοντά στο δέκτη και εμφανίζεται με μεγαλύτερη ενέργεια από το χρήστη ενδιαφέροντος, τότε


Σχήμα 3.16 : Τυπική μορφή των περιοχών απόφασης για το βέλτιστο μη γραμμικό τεστ (3.34).

είναι δυνατό ο ανιχνευτής προσαρμοσμένου φίλτρου να μην ανιχνεύει τον χρήστη ενδιαφέροντοςαλλά τον δεύτερο χρήστη.

Όταν AtB = 0 τότε ο βέλτιστος κανόνας απόφασης απαιτεί, όπως παρατηρούμε από την(3.34), την εκ των προτέρων γνώση του σ2 καθώς και των δύο διανυσμάτων A,B. Επιπλέ-ον δε είναι ένας μη γραμμικός κανόνας απόφασης. Παρατηρούμε επίσης ότι για να πάρουμεαπόφαση είναι απαραίτητες μόνον οι δύο ποσότητες AtX,BtX και όχι ολόκληρο το διάνυσμαX . Στο Σχήμα 3.16 παρουσιάζεται μια τυπική περίπτωση των περιοχών απόφασης στο επίπεδο(AtX,BtX), όπου έχουμε υποθέσει ότι σ2 = 0.1 και AtB = 0.2. Οι περιοχές αυτές πρέπεινα συγκριθούν με τα δύο ημιεπίπεδα (δεξιά και αριστερά του κάθετου άξονα AtX = 0) για τοτεστ προσαρμοσμένου φίλτρου (3.35). Στο σχήμα τέλος παρουσιάζεται με λεπτή μαύρη γραμμήτο όριο των δύο περιοχών για σ2 ≪ 1. Το τεστ αυτό αποτελεί μια εναλλακτική επιλογή τουπροσαρμοσμένου φίλτρου για την περίπτωση που το σ2 είναι μικρό αλλά όχι γνωστό το ακριβέςτου μέγεθος.

3.7 Γενικευμένο τεστ λόγου πιθανοφάνειας

Ένας διαφορετικός τρόπος προσέγγισης δυαδικών υποθέσεων με πολλαπλές υποϋποθέ-σεις της μορφής

>0: X ∼ 701(X) με πιθανότητα ϖ1...

X ∼ 70L(X) με πιθανότητα ϖL.>1: X ∼ 711(X) με πιθανότητα π1

...X ∼ 71K(X) με πιθανότητα πK ,

συνίσταται στην αρχική επιλογή μιας εκ των δύο κύριων υποθέσεων και κατόπιν επι-λογής μιας των υποϋποθέσεων της επιλεγήσης υπόθεσης. Η σύνθετη αυτή διαδικασίαακολουθείται όταν ο Ερευνητής επιθυμεί να διαπιστώσει, πέραν της κύριας υπόθεσης,

3.7 Γενικευμένο τεστ λόγου πιθανοφάνειας 61

ποια ακριβώς υποϋπόθεση είναι υπεύθυνη για τα συγκεκριμένα δείγματα X που δια-τίθενται. ε άλλα λόγια, δεν αρκούμαστε μόνο στην απόφαση υπέρ μιας εκ των δύοκύριων υποθέσεων >0,>1 αλλά μας ενδιαφέρει και ποια συγκεκριμένη υποϋπόθεση εί-ναι υπεύθυνη για τα διαθέσιμα δεδομένα. Η διαδικασία αυτή επιλογής της υποϋπόθεσηςκαλείται απομόνωση. ε άλλα λόγια επιχειρείται μια από κοινού διαδικασία εξέτασηςυποθέσεων και απομόνωσης υποϋπόθεσης.

Θυμίζουμε ότι∑L

i=1ϖi =∑K

i=1 πi = 1 και ότι τα ϖi,πi συμβολίζουν την πιθανό-τητα εμφάνισης της αντίστοιχης υποϋπόθεσης με δεδομένο ότι εμφανίστηκε η υπόθεση>0 ή >1 αντίστοιχα. Το πρόβλημα που αναφέραμε θα μπορούσε να αντιμετωπιστεί μετεχνικές εξέτασης πολλαπλών υποθέσεων, μετατρέποντας κάθε υποϋπόθεση σε μια ξε-χωριστή υπόθεση (βλέπε Άσκηση 3.24). Ωστόσο η πορεία αυτή έχει το μειονέκτημα ότιχάνει την αρχική ομαδοποίηση των υποϋποθέσεων σε δύο κύριες ομάδες (κάτω από τιςυποθέσεις>0,>1) αφού θεωρεί κάθε υποϋπόθεση σαν μια ξεχωριστή οντότητα. Θα ανα-πτύξουμε στη συνέχεια μια διαφορετική βέλτιστη μεθοδολογία η οποία δεν παρουσιάζειτο πρόβλημα που μόλις αναφέραμε.

Εφόσον πρέπει να επιλέξουμε μεταξύ L + K διαφορετικών υποϋποθέσεων γίνεταιφανερό ότι ο κανόνας απόφασης θα πρέπει να είναι της μορφής

δ(X) = [δ01(X) · · · δ0L(X) δ11(X) · · · δ1K(X)] (3.36)

όπου 1 ≥ δij(X) ≥ 0 και∑L

i=1 δ0i(X) +∑K

i=1 δ1i(X) = 1. Παρατηρούμε τότε ότιένας διαφορετικός τρόπος παραμετροποίησης του κανόνα απόφασης είναι ο ακόλουθος

δ0j = δ0(X)γ0j(X), j = 1, . . . , L

δ1j = δ1(X)γ1j(X), j = 1, . . . ,K,(3.37)

όπου

δ0(X) =L∑

j=1

δ0j(X), δ1(X) =L∑

j=1

δ1j(X) (3.38)

γ0j(X) =δ0j(X)

δ0(X)γ1j(X) =

δ1j(X)

δ1(X). (3.39)

Από τον ορισμό των νέων ποσοτήτων συμπεραίνεται ότι δi(X), γij(X) ∈ [0, 1] καθώςκαι

δ0(X) + δ1(X) =L∑

i=1

γ0i(X) =K∑

i=1

γ1i(X) = 1.

Οι εν λόγω ποσότητες μάλιστα εκφράζουν πιθανότητες συγκεκριμένων γεγονότων. Τοδi(X) εκφράζει τη συνολική πιθανότητα να επιλέξουμε την υπόθεση >i ενώ το γij(X)την πιθανότητα να απομονώσουμε την υποϋπόθεση j, με δεδομένο ότι έχουμε επιλέξειτην υπόθεση >i.


Ως εκ τούτου, στην από κοινού διαδικασία εξέτασης υποθέσεων και απομόνωσηςυποϋπόθεσης έχουμε δύο δυνατές παραμετροποιήσεις για τη διαδικασία της τυχαιοποιη-μένης επιλογής. Η μια παραμετροποίηση αναφέρεται σε κανόνα απόφασης της μορφής(3.36) και το εναλλακτικό είναι η χρήση των ακόλουθων ποσοτήτων

δ(X) = [δ0(X) δ1(X) γ01(X) · · · γ0L(X) γ11(X) · · · γ1K(X)]. (3.40)

Είναι προφανές ότι οι δύο παραμετροποιήσεις είναι ισοδύναμες αφού από τη δεύτερηπαίρνουμε την αρχική με χρήση των σχέσεων (3.37), ενώ η δεύτερη προκύπτει από τηνπρώτη μέσω των σχέσεων (3.39).

Οι δύο διαφορετικές παραμετροποιήσεις στην ουσία υπονοούν και διαφορετικούςτρόπου λήψης τυχαιοποιημένης απόφασης. έσω της (3.37) επιλέγεται απευθείας ηβασική υπόθεση αλλά και η υποϋπόθεση. ε άλλα λόγια συγχρόνως γίνεται εξέτασηυποθέσεων και απομόνωση. ε τη δεύτερη παραμετροποίηση (3.39) ο αντίστοιχος κα-νόνας απόφασης υποδιαιρείται σε δύο βασικά στάδια. Στο πρώτο, με τη βοήθεια τωνδύο πιθανοτήτων δ0(X), δ1(X), αποφασίζουμε υπέρ μιας εκ των δύο κύριων υποθέσε-ων >0,>1. Στο δεύτερο βήμα, με δεδομένη την επιλογή της υπόθεσης >i από το πρώτοβήμα, χρησιμοποιούμε τις πιθανότητες γi1(X), γi2(X), . . . , ώστε να απομονώσουμε,δηλαδή να αποφασίσουμε υπέρ μιας των υποϋποθέσεων της υπόθεσης αυτής. Η τυχαιο-ποίηση που εφαρμόζεται στη δεύτερη φάση είναι ανεξάρτητη αυτής που εφαρμόστηκεστο προηγούμενο βήμα.

Αφού οι δύο τρόποι απόφασης είναι ισοδύναμοι, στη συνέχεια θα επικεντρωθούμεστο δεύτερο τρόπο. Ας εξετάσουμε κάτω από κάθε υπόθεση πότε γίνεται σωστή επιλογήυπόθεσης και υποϋπόθεσης, υπολογίζοντας τις αντίστοιχες πιθανότητες. Η πιθανότητασφάλματος κάτω από κάθε υπόθεση είναι φυσικά η συμπληρωματική πιθανότητα του ναέχουμε σωστή απόφαση. Σωστή απόφαση έχουμε όταν επιλέγεται σωστά η υπόθεση καικατόπιν απομονώνεται σωστά η υποϋπόθεση, δηλαδή

S(Σωστή Απόφαση |>0) =

∫δ0(X)

(L∑

i=1

γ0i(X)ϖi70i(X)

)dX.

Παρατηρούμε δε ότι μπορούμε να γράψουμε

S(Σωστή Απόφαση |>0) ≤∫δ0(X) max

i=1,...,Lϖi70i(X)dX, (3.41)

ομοίως

S(Σωστή Απόφαση |>1) =

∫δ1(X)

(K∑

i=1

γ1i(X)πi71i(X)

)dX

≤∫δ1(X) max

i=1,...,Kπi71i(X)dX. (3.42)

3.7 Γενικευμένο τεστ λόγου πιθανοφάνειας 63

Από τις δύο ανισότητες (3.41), (3.42) συνάγεται ότι, για δεδομένες δ0(X), δ1(X), οιδύο πιθανότητες σωστής απόφασης φράσσονται από αντίστοιχες ποσότητες οι οποίεςείναι ανεξάρτητες των πιθανοτήτων γ0i(X), γ1i(X). Είναι μάλιστα εμφανές ότι το πά-νω φράγμα είναι εφικτό όταν επιλέγεται ντετερμινιστικά η υποϋπόθεση που υλοποιείτη μεγιστοποίηση maxiϖi70i(X) ή maxi πi71i(X) (ή εφαρμόζουμε τυχαιοποίηση εάντο μέγιστο υλοποιείται από περισσότερες της μιας υποϋποθέσεων). ε άλλα λόγια επι-λέγουμε την υποϋπόθεση με τη μεγαλύτερη εκ των υστέρων πιθανότητα εμφάνισης. Τοενδιαφέρον σημείο είναι ότι ο τρόπος αυτός βέλτιστης επιλογής των υποϋποθέσεων είναιανεξάρτητος των συναρτήσεων δ0(X), δ1(X). Οι δύο προηγούμενες σχέσεις αποτελούντο βασικό λόγο για τον οποίο η προτεινόμενη μέθοδος διαφέρει από την προσέγγισηεξέτασης πολλαπλών υποθέσεων. ε τη βοήθειά τους γίνεται ομαδοποίηση των υποϋ-ποθέσεων κάθε κύριας υπόθεσης, γεγονός που δεν συμβαίνει στην εξέταση πολλαπλώνυποθέσεων.

Στη συνέχεια θα υποθέσουμε ότι η επιλογή των υποϋποθέσεων γίνεται με τον βέλ-τιστο τρόπο που περιγράφτηκε. Απομένει επομένως να καθοριστούν και οι δύο τε-λευταίες συμπληρωματικές συναρτήσεις δ0(X), δ1(X) προκειμένου να ορίσουμε πλή-ρως τον κανόνα απόφασης. Από το σημείο αυτό δεν είναι πλέον δυνατό να προχωρή-σουμε ανεξάρτητα όσον αφορά στις δύο πιθανότητες επειδή η βελτίωση της μιας πι-θανότητας συνεπάγεται την μείωση της άλλης. πορούμε επομένως είτε να ακολου-θήσουμε μια τακτική τύπου Neyman-Pearson, εξετάζοντας κανόνες για τους οποίουςS( ανθασμένης Απόφασης |>0) ≤ α και επιλέγοντας εκείνον που μεγιστοποιεί την πι-θανότητα maxδ S(Σωστή Απόφαση |>1) ή, εναλλακτικά, να μεγιστοποιήσουμε συγχρό-νως τις δύο πιθανότητες σωστής απόφασης, αλλά για κανόνες οι οποίοι τις εξισορροπούν.

Παραλείποντας τις λεπτομέρειες (οι οποίες επαφίενται σαν άσκηση), και στις δύοπεριπτώσεις το βέλτιστο τεστ στο οποίο καταλήγουμε είναι της μορφής

maxi=1,...,K

πi71i(X)

maxi=1,...,L

ϖi70i(X)

>1

!>0

λ.

Εάν μάλιστα θεωρήσουμε ότι σε κάθε υπόθεση οι υποϋποθέσεις είναι ισοπίθανες τότετο προηγούμενο τεστ στο παίρνει την ειδική μορφή

maxi=1,...,K

71i(X)

maxi=1,...,L

70i(X)

>1

!>0

λK

L= λ′. (3.43)

το οποίο είναι γνωστό σαν γενικευμένο τεστ λόγου πιθανοφάνειας. Το κατώφλι λ ή λ′(και η πιθανότητα τυχαιοποίησης) επιλέγονται έτσι, ώστε να ικανοποιείται ο εκάστοτεπεριορισμός.

Ας σημειωθεί ότι στη βιβλιογραφία το γενικευμένο τεστ λόγου πιθανοφάνειας δενεμφανίζεται να είναι βέλτιστο υπό καμία έννοια. ολονότι η χρήση του είναι αρκε-τά διαδεδομένη στην πράξη, προτείνεται κυρίως σαν ευριστικός τρόπος αντιμετώπισης


του προβλήματος ανίχνευσης/απομόνωσης. αθίσταται επομένως φανερό ότι τα αποτε-λέσματα του παρόντος εδαφίου αποδίδουν μια πολύ σημαντική ιδιότητα στον εν λόγωκανόνα απόφασης υποστηρίζοντας και θεωρητικά τη γνωστή καλή του επίδοση σε πρα-κτικά προβλήματα.

3.8 Εξέταση υποθέσεων με τυχαίες παραμέτρουςΗ πιο συχνή περίπτωση σύνθετων υποθέσεων εμφανίζεται όταν κάτω από κάθε υπόθεσηη πυκνότητα πιθανότητας εμπεριέχει τυχαίες παραμέτρους. Αναφερόμαστε και πάλι γιαευκολία στη δυαδική περίπτωση

>0: X ∼ 70(X|A0), pA0(A0)

>1: X ∼ 71(X|A1), pA1(A1),

όπου Ai παράμετροι. Εάν οι παράμετροι δεν είναι γνωστές τότε και οι πυκνότητες7i(X|Ai) είναι άγνωστες και επομένως δεν είναι δυνατό να εφαρμοστούν τα βέλτιστατεστ της δυαδικής περίπτωσης που απαιτούν απόλυτη γνώση των δύο πυκνοτήτων πιθα-νότητας.

Εάν θεωρήσουμε ότι οι παράμετροιAi αποτελούν υλοποιήσεις τυχαίων μεταβλητώνAi με γνωστή εκ των προτέρων πυκνότητα πιθανότητας pAi(Ai) τότε είναι δυνατό ναδημιουργήσουμε ένα συνεχές υποπεριπτώσεων. Όντως αφού με δεδομένη την υπόθεση>i, η πιθανότητα του γεγονότος Ai− dAi < Ai ≤ Ai είναι pAi(Ai) dAi ορίζουμε τιςυποϋποθέσεις

>i&Ai < Ai ≤ Ai + dAi: X ∼ 7i(X|Ai) με πιθανότητα pAi(Ai) dAi.

ατ’ αναλογία προς την Εξίσωση (3.32) συμπεραίνουμε τότε ότι η πυκνότητα πιθανό-τητας που αντιπροσωπεύει την υπόθεση >i είναι

7i(X) =

∫7i(X|Ai)pAi(Ai) dAi = 1Ai [7i(X|Ai)], (3.44)

στην οποία δεν υπάρχουν πλέον άγνωστες παράμετροι. Στην προηγούμενη σχέση το1Ai [·] συμβολίζει μέσον όρο ως προς τις τυχαίες παραμέτρους Ai. ε άλλα λόγια ότανη πυκνότητα πιθανότητας εμπεριέχει τυχαίες παραμέτρους για τις οποίες είναι γνωστή ηεκ των προτέρων κατανομή τους, τότε χρησιμοποιούμε τη μέση πυκνότητα πιθανότηταςπου προκύπτει από την (3.44) ώστε να εφαρμόσουμε το αντίστοιχο βέλτιστο τεστ.

Στη συνέχεια θα προτείνουμε τρόπους αντιμετώπισης του ειδικού προβλήματος εξέ-τασης υποθέσεων στο οποίο η υπόθεση>0 είναι απλή με γνωστή πυκνότητα πιθανότητας70(X) ενώ η >1 ορίζεται από την πυκνότητα πιθανότητας 71(X|A) με άγνωστη την εκτων προτέρων πυκνότητα πιθανότητας pA (A) των παραμέτρων.

3.9 Σύνθετες υποθέσεις 65

3.9 Σύνθετες υποθέσειςΗ διαδικασία της εξέτασης υποθέσεων καθίσταται σημαντικά δυσκολότερο πρόβλημαόταν οι παράμετροι που εμφανίζονται στις πυκνότητες πιθανότητας είναι εντελώς άγνω-στοι. Δεν διατίθενται δηλαδή οι εκ των προτέρων πυκνότητες πιθανότητας των παραμέ-τρων. Οι υποθέσεις σε μια τέτοια περίπτωση καλούνται σύνθετες.

Στη συνέχεια θα αναφερθούμε σε δυνατούς τρόπους επίλυσης του προβλήματος ανί-χνευσης για σύνθετες υποθέσεις. άθε μέθοδος ξεπερνά με το δικό της ιδιαίτερο τρόποτο πρόβλημα της έλλειψης εκ των προτέρων στατιστικής περιγραφής των παραμέτρων.Θέλουμε και πάλι να τονίσουμε ότι στόχος μας είναι να αποφασίσουμε μεταξύ των δυ-νατών υποθέσεων και όχι να εκτιμήσουμε παραμέτρους ή να επιλέξουμε υποϋποθέσεις.

3.9.1 Χρήση ομοιόμορφης πυκνότητας πιθανότηταςΗ απλούστερη δυνατή αντιμετώπιση συνίσταται στο να θεωρήσουμε ότι η πυκνότηταπιθανότητας των παραμέτρων είναι ομοιόμορφη. Η ομοιόμορφη κατανομή είναι ίσωςη πλέον ενδεδειγμένη όταν δεν υπάρχει καμία εκ των προτέρων πληροφορία για τις τυ-χαίες ποσότητες που μας ενδιαφέρουν αφού θεωρεί ότι όλες οι δυνατές τιμές είναι τοίδιο πιθανές. πορούμε επομένως να εφαρμόσουμε ό,τι αναφέρθηκε στα προηγούμεναεδάφια χρησιμοποιώντας την εν λόγω κατανομή. Φυσικά το τεστ που θα προκύψει δενείναι βέλτιστο κατά καμία έννοια αλλά αποτελεί έναν άμεσο και εξαιρετικά απλό τρόποαντιμετώπισης του προβλήματος των σύνθετων υποθέσεων.

3.9.2 Ομοιόμορφα πιο ισχυρός κανόνας απόφασηςΥπάρχει μια ειδική αλλά εξαιρετικά ενδιαφέρουσα κατηγορία εξέτασης υποθέσεων στηνοποία η έλλειψη αρχικής γνώσης της κατανομής pA (A) των παραμέτρων δεν αποτελείιδιαίτερο μειονέκτημα. Έστω η παρακάτω εξέταση δυαδικών υποθέσεων

>0: X ∼ 70(X)

>1: X ∼ 71(X|A),

όπου ταA αποτελούν άγνωστες παραμέτρους για τις οποίες δεν υπάρχει εκ των προτέρωνγνώση για τη στατιστική συμπεριφορά τους. Εάν ήταν γνωστές οι παράμετροιA τότε τοβέλτιστο τεστ του λόγου πιθανοφάνειας θα ήταν

71(X|A)

70(X)

>1

!>0

λ,

όπου λ κατώφλι που εξαρτάται από το είδος του κριτηρίου που χρησιμοποιούμε.Έστω τώρα ότι το παραπάνω τεστ λόγου πιθανοφάνειας, μετά από μετασχηματι-

σμούς, είναι δυνατό να λάβει την παρακάτω ισοδύναμη μορφή

g(X)>1

!>0

η(A), (3.45)


όπου g(X) γνωστή συνάρτηση και η(A) ένα νέο κατώφλι που περιλαμβάνει σταθερέςτου προβλήματος και τις άγνωστες παραμέτρους A. Εάν ενδιαφερόμαστε για το βέλτι-στο Neyman-Pearson τεστ, τότε το κατώφλι η πρέπει να επιλεγεί έτσι, ώστε να ικανο-ποιείται ο περιορισμός της πιθανότητας εσφαλμένου συναγερμού, επομένως θα πρέπεινα ικανοποιεί την εξίσωση

SEΣ = S(g(X ) > η|>0) =

∫

X:g(X)>η70(X) dX = α, (3.46)

όπου α είναι το μέγιστο αποδεκτό ποσοστό εσφαλμένων συναγερμών (σταθερά πουκαθορίζεται από τον Ερευνητή). Αφού η πυκνότητα πιθανότητας 70(X) είναι γνωστήσυμπεραίνουμε ότι το κατώφλι η μπορεί να προσδιοριστεί επακριβώς από την Εξίσω-ση (3.46), μολονότι οι παράμετροι A είναι άγνωστοι. Το τελικό τεστ που προκύπτειείναι της μορφής

g(X)>1

!>0

η,

όπου το κατώφλι η γίνεται ανεξάρτητο των αγνώστων παραμέτρωνA. Το τεστ αυτό αφούείναι ισοδύναμο προς το βέλτιστο Neyman-Pearson τεστ, είναι και το ίδιο βέλτιστο καιμάλιστα για κάθε τιμή των αγνώστων παραμέτρωνA. Τεστ που έχουν την ιδιότητα αυτήκαλούνται ομοιόμορφα πιο ισχυρά (ΟΠ ).Παράδειγμα3.6 : Έστω διάνυσμαX = [χ1 · · ·χN ]t απόN τυχαίες μεταβλητές και καλούμαστε ναεπιλέξουμε μεταξύ των ακόλουθων δύο υποθέσεων:

>0: χn = wn, n = 1, . . . , N

>1: χn = s+ wn, n = 1, . . . , N, s > 0,

όπου wn είναι α.ι.κ. (ανεξάρτητες και της ίδιας κατανομής) τυχαίες μεταβλητές με κοινή πυκνό-τητα πιθανότητας wn ∼ N (0, 1). α εξεταστεί κατά πόσο υπάρχει ΟΠ τεστ στην περίπτωσηαυτή όταν η παράμετρος s είναι θετική αλλά άγνωστη, και αν ναι να βρεθεί το βέλτιστο κατάNeyman-Pearson τεστ που εξασφαλίζει πιθανότητα εσφαλμένου συναγερμού ίση προς 0.001.

Το βέλτιστο τεστ πιθανοφάνειας είναι το

71(X|s)70(X)

=

∏Nn=1 e

−0.5(xn−s)2

∏Nn=1 e

−0.5x2n

= e0.5∑N

n=1[x2n−(xn−s)2] = es

∑Nn=1 xn−0.5Ns2

>1

!>0

λ

ογαριθμώντας την προηγούμενη σχέση και διαιρώντας με s τις δύο πλευρές καταλήγουμε

N∑

n=1

xn

>1

!>0

log(λ)s

+ 0.5Ns = η(s).

Παρατηρούμε ότι η μορφή αυτή του βέλτιστου τεστ συμπίπτει με την (3.45), επομένως το βέλ-τιστο τεστ κατά Neyman-Pearson είναι ΟΠ όσον αφορά στην παράμετρο s. Για να προσδιορί-σουμε το κατώφλι η, παρατηρούμε ότι κάτω από την υπόθεση >0 τα xn είναι ανεξάρτητα και


Gaussian N (0, 1) επομένως το∑N

n=1 xn είναι και αυτό Gaussian N (0, N). Συνεπώς η πιθανό-τητα εσφαλμένου συναγερμού γράφεται

α = SEΣ = S(

N∑

n=1

xn > η∣∣∣>0

)= 1− S

(N∑

n=1

xn ≤ η∣∣∣>0

)

= 1− S(

1√N

N∑

n=1

xn ≤ η√N

∣∣∣>0

)= 1− Φ

(η√N

),

όπου η τελευταία ισότητα προκύπτει από το γεγονός ότι 1√N

∑Nn=1 xn ∼ N (0, 1) και Φ(x)

συμβολίζει την αντίστοιχη συνάρτηση κατανομής. Από την τελευταία σχέση συμπεραίνουμε ότι

η =√NΦ−1(1− α)

και για την περίπτωση που α = 0.001 έχουμε ότι Φ−1(0.999) = 3.0902, άρα η = 3.0902√N .

Το ΟΠ τεστ επομένως γίνεται

N∑

n=1

xn

>1

!>0

3.0902√N,

το οποίο όπως παρατηρούμε δεν εξαρτάται από την παράμετρο s και είναι Neyman-Pearson βέλ-τιστο για όλα τα s > 0.

SA

SEΣ

Σχήμα 3.17 : αμπύλες Χ Δ για την ανίχνευση σταθερού θετικού σήματος σε Gaussian θόρυβοσαν συνάρτηση των τιμών της παραμέτρου

√Ns = 0, 1, 2, 3.

Η παράμετρος s υπεισέρχεται μόνο στην απόδοση του τεστ, δηλαδή στην πιθανότητα ανί-χνευσης. άτω από την υπόθεση >1 ισχύει xn ∼ N (s, 1), επομένως

∑Nn=1 xn ∼ N (Ns,N),


με αποτέλεσμα

SA = S(

N∑

n=1

xn > η∣∣∣>1

)= 1− S

(N∑

n=1

xn ≤ η∣∣∣>1

)

= 1− S(

1√N

N∑

n=1

(xn − s) ≤ η −Ns√N

∣∣∣>1

)= 1− Φ

(η −Ns√

N

)

= 1− Φ(Φ−1(1− α)−

√Ns)= Φ

(√Ns− Φ−1(1− α)

).

Στο Σχήμα 3.17 παρουσιάζονται οι καμπύλες Χ Δ του τεστ για τιμές τις παραμέτρου√Ns =

0, 1, 2, 3. Παρατηρούμε ότι καθώς το γινόμενο√Ns αυξάνει, η συμπεριφορά του τεστ βελτιώ-

νεται αφού πλησιάζει περισσότερο την ιδανική τιμή SA = 1. Το γινόμενο√Ns αυξάνει είτε με

αύξηση του αριθμού των δειγμάτων N ή με αύξηση της παραμέτρου s.Εάν είχαμε s < 0 μπορείτε να βρείτε το αντίστοιχο ΟΠ τεστ; Τι γίνεται στην περίπτωση

που δεν γνωρίζουμε το πρόσημο της παραμέτρου s, υπάρχει ΟΠ τεστ;

3.9.3 Τοπικά πιο ισχυρός κανόνας απόφασηςΣυχνά σε εφαρμογές μας δίνεται ένα τυχαίο διάνυσμαX το οποίο έχει πυκνότητα πιθα-νότητας f(X|θ), όπου θ παράμετρος, και επιθυμούμε να διακρίνουμε μεταξύ των παρα-κάτω δύο υποθέσεων

>0: θ = 0

>1: θ > 0.

Στην περίπτωση της υπόθεσης >1 δεν γνωρίζουμε ακριβώς τις τιμές της παραμέτρου θ,ούτε έχουμε υπόψη μας κάποια εκ των προτέρων κατανομή pθ(θ) η οποία θα μας βοη-θούσε να καταλήξουμε σε ένα βέλτιστο τεστ εξέτασης σύνθετων υποθέσεων.

Εάν δεν υπάρχει ΟΠ τεστ τότε, ένας τρόπος για να καταλήξουμε σε ένα βέλτιστο (ωςπρος κάποια έννοια) τεστ είναι να θεωρήσουμε ότι, κάτω από την υπόθεση >1, η παρά-μετρος θ διαφέρει ελάχιστα από το μηδέν8. ολονότι η αντιμετώπιση του προβλήματοςκατ’ αυτό τον τρόπο μοιάζει να είναι αυθαίρετη, πρέπει να τονίσουμε ότι όταν η παρά-μετρος θ παίρνει τιμές που είναι πολύ διαφορετικές από το μηδέν, τότε σχεδόν οποιο-δήποτε λογικό τεστ είναι σε θέση να επιτύχει σωστή απόφαση με μεγάλη πιθανότητα.Υιοθετώντας επομένως την υπόθεση των μικρών τιμών, ισοδυναμεί με ανάλυση της δυ-σκολότερης δυνατής εκδοχής του προβλήματος εξέτασης των δύο υποθέσεων.

Η υπόθεση της μικρής παραμέτρου, επιτρέπει την εφαρμογή του αναπτύγματος Tay-lor ως προς θ9

7(X|θ) ≈ 7(X|0) + θ[∂θ7(X|θ)|θ=0]. (3.47)8Η ανάλυση είναι ακριβώς ίδια εάν η παράμετρος θ διαφέρει ελάχιστα από κάποια γνωστή τιμή θ0

η οποία είναι η τιμή της παραμέτρου κάτω από την υπόθεση >0.9Επειδή η προσέγγιση f(X, 0) + θ[∂θf(X, θ)|θ=0] έχει ολοκλήρωμα, ως προςX , ίσο προς τη μονάδα

θα μπορούσε να εκληφθεί ως πυκνότητα πιθανότητας η οποία προσεγγίζει την αρχική. Δυστυχώς η ιδέααυτή δεν είναι υποχρεωτικά σωστή επειδή δεν εξασφαλίζεται η μη αρνητικότητα της προσέγγισης.


Ακολουθώντας τακτική κατά Neyman-Pearson, έχουμε ότι το βέλτιστο τεστ είναι

7(X|θ)7(X|0) ≈ 1 + θ

∂θ7(X|θ)|θ=0

7(X|0)

>1

!>0

λ.

εταφέροντας τη μονάδα στο δεξιό μέλος και διαιρώντας με θ > 0 καταλήγουμε στοτεστ

∂θ7(X|θ)|θ=0

7(X|0)

>1

!>0

λ− 1

θ= η(θ) (3.48)

το οποίο είναι της μορφής

g(X)>1

!>0

λ− 1

θ= η(θ)

όπου g(X) γνωστή συνάρτηση ανεξάρτητη του θ. Παρατηρούμε ότι η άγνωστη παράμε-τρος θ μεταφέρεται στο κατώφλι το οποίο μπορεί να προσδιοριστεί επακριβώς από τονπεριορισμό στην πιθανότητα του εσφαλμένου συναγερμού, όπως και στην περίπτωσητων ΟΠ τεστ. Για την ειδική περίπτωση που τα δείγματα είναι α.ι.κ. τότε 7(X|θ) =∏N

n=1 7(xn|θ), όπου f(x|θ) η κοινή πυκνότητα πιθανότητας των δειγμάτων, ενώ το τεστγράφεται

N∑

n=1

∂θ7(xn|θ)|θ=0

7(xn|0)>1

!>0

η. (3.49)

Το τεστ στο οποίο καταλήξαμε στην (3.48) καλείται τοπικό επειδή υποθέτουμε ότι ηπαράμετρος θ, κάτω από την υπόθεση >1, παίρνει τιμές κοντινές προς την ονομαστικήτης τιμή (που έχουμε υποθέσει ότι είναι το 0). Είναι επίσης προσεγγιστικά βέλτιστοόταν η παράμετρος θ είναι όντως μικρή. Η ιδιότητα αυτή προκύπτει από το γεγονόςότι το τεστ προήλθε μετά από προσέγγιση του βέλτιστου (λόγου πιθανοφάνειας) τεστκάνοντας χρήση της υπόθεσης της μικρής παραμέτρου. Επομένως πρόκειται για ένατοπικά πιο ισχυρό (ΤΠ ) τεστ.

Φυσικά η χρήση του τοπικού τεστ δεν περιορίζεται στις μικρές τιμές του θ αλλάμπορεί να εφαρμοστεί για κάθε (θετική) τιμή της παραμέτρου. Η υπόθεση της μικρήςπαραμέτρου έγινε με στόχο τη εύρεση ενός πρακτικά υλοποιήσιμου τεστ, γεγονός πουδιαφορετικά θα ήταν δύσκολο10.Παράδειγμα 3.7 : Έστω, όπως στο προηγούμενο παράδειγμα, οι δύο υποθέσεις

>0: χn = wn, n = 1, . . . , N

>1: χn = s+ wn, n = 1, . . . , N, s > 0,

όπου ταwn είναι α.ι.κ. τυχαίες μεταβλητές με κοινή πυκνότητα πιθανότητας f(w). Προσδιορίστετο ΤΠ τεστ.

10Για τη γενίκευση του ΤΠ τεστ στην περίπτωση περισσοτέρων της μιας παραμέτρων βλέπε Παράδειγ-μα 3.11. Επίσης για μια εναλλακτική σημασία του ΤΠ βλέπε Άσκηση 3.12.


Η από κοινού συνάρτηση πυκνότητας πιθανότητας κάτω από την υπόθεση >1 γίνεται

7X (X|s) =N∏

n=1

7(xn − s).

Παρατηρούμε επίσης ότι η πυκνότητα πιθανότητας των δεδομένων κάτω από την υπόθεση >0

είναι 7X (X|0), συνεπώς το πρόβλημα εμπίπτει πλήρως στην περίπτωση που εξετάσαμε. Τοτοπικό τεστ, σύμφωνα με τη θεωρία που αναπτύχθηκε και τη Σχέση (3.49) είναι

∂s∏N

n=1 7(xn − s)|s=0∏Nn=1 7(xn)

=N∑

n=1

−7′(xn)

7(xn)

>1

!>0

η.

Το κατώφλι η προσδιορίζεται μέσω της εξίσωσης

∫∑N

n=1−7′(xn)

7(xn) >η

N∏

n=1

7(xn) dx1 · · · dxn = α,

η οποία υλοποιεί τον περιορισμό του μέγιστου αποδεκτού ποσοστού εσφαλμένου συναγερμού.Όσον αφορά στον υπολογισμό του κατωφλίου η είναι δυνατό να ακολουθηθεί ένας εναλλα-

κτικός τρόπος του ολοκληρώματος της προηγούμενης εξίσωσης (το οποίο είναι συνήθως εξαι-ρετικά πολύπλοκο). Για την περίπτωση που το N είναι μεγάλο συνιστάται η εφαρμογή του ε-ντρικού Οριακού Θεωρήματος ( ΟΘ) του Παραρτήματος Α’. Πράγματι εάν καλέσουμε z(x) =−7′(x)/7(x) τότε τα z(xn) είναι α.ι.κ. όπως δηλαδή απαιτεί η κλασική περίπτωση του ΟΘ.Έχουμε επίσης ότι11

µ0 = 1[z(xn)|>0] =

∫z(x)7(x) dx =

∫[−7′(x)] dx = 7(−∞)− 7(∞) = 0,

καισ20 = 1[z2(xn)|>0] =

∫z2(x)7(x) dx =

∫[7′(x)]2

7(x) dx.

Το ΟΘ ισχυρίζεται ότι η συνάρτηση κατανομής του κανονικοποιημένου αθροίσματος των z(xn)συγκλίνει στη συνάρτηση κατανομής μιας κανονικοποιημένης Gaussian τυχαίας μεταβλητής, δη-λαδή

limN→∞

S(

1

σ20

√N

N∑

n=1

z(xn) ≤ z

)= Φ(z),

επομένως

α = SEΣ = S(

N∑

n=1

−7′(xn)

7(xn)> η

∣∣∣>0

)= S

(1

σ20

√N

N∑

n=1

−7′(xn)

7(xn)>

η

σ20

√N

∣∣∣>0

)

≈ 1− Φ

(η

σ20

√N

),

11Για ομαλή συνάρτηση πυκνότητας πιθανότητας 7(x) για την οποία υπάρχει το όριο f(±∞) =limx→±∞ 7(x), επειδή

∫7(x) dx = 1, συμπεραίνουμε ότι 7(±∞) = 0.


από το οποίο υπολογίζεται ότιη ≈ σ2

0

√NΦ−1(1− α).

ολονότι το ΟΘ μπορεί να χρησιμοποιηθεί με μεγάλη επιτυχία για την προσέγγιση τουκατωφλίου η, το ίδιο θεώρημα δεν συνιστάται στην περίπτωση του υπολογισμού της πιθανότηταςανίχνευσης

SA = S(

N∑

n=1

−7′(xn)

7(xn)> η

∣∣∣>1

)=

∫∑N

n=1−7′(xn)

7(xn) >η

N∏

n=1

7(xn − s) dx1 · · · dxn.

Το σφάλμα της Gaussian προσέγγισης στην περίπτωση αυτή είναι μη αμελητέο (γιατί;).

Ειδική περίπτωσηΕίναι δυνατόν η προσέγγιση Taylor στη Σχέση (3.47) να οδηγήσει σε όρο

∂θ7(X|θ)|θ=0 ≡ 0

ο οποίος είναι ταυτόσημα μηδέν. Στις περιπτώσεις αυτές πρέπει να συνεχίσουμε το ανά-πτυγμα Taylor για μεγαλύτερους όρους, έως ότου ανακαλύψουμε τον πρώτο μη (ταυτό-σημα) μηδενικό όρο. Εάν για παράδειγμα στην πυκνότητα πιθανότητας 7(X|θ) ο πρώτοςμη μηδενικός όρος στο ανάπτυγμα Taylor είναι οK-οστός, τότε το ανάπτυγμα γράφεται

7(X|θ) ≈ 7(X|0) + θK

K![∂KθK 7(X|θ)|θ=0].

Στην περίπτωση αυτή το τοπικό τεστ γίνεται

∂KθK 7(X|θ)|θ=0

7(X|0)

>1

!>0

(K!)(λ− 1)

θK= η(θ),

που είναι της μορφής

g(X)>1

!>0

η(θ),

και το κατώφλι η, υπολογίζεται κατά τον γνωστό τρόπο12.

3.9.4 Συνδυασμός αγνώστων και τυχαίων παραμέτρωνΕίναι δυνατό κάτω από κάποια υπόθεση η αντίστοιχη πυκνότητα πιθανότητας να διαθέτειδύο είδη παραμέτρων, όπου για μεν το πρώτο είναι γνωστή η εκ των προτέρων πυκνότηταπιθανότητας ενώ για το δεύτερο όχι. Για παράδειγμα έστω οι παρακάτω υποθέσεις

>0: X ∼ 70(X)

>1: X ∼ 71(X|A,B),

12Για διαφορετική περίπτωση τοπικά βέλτιστου κανόνα βλέπε επίσης Άσκηση 3.17.


όπου οι μεν παράμετροιA θεωρούνται άγνωστοι οι δεB υλοποίηση τυχαίων μεταβλητώνB με γνωστή εκ των προτέρων πυκνότητα πιθανότητας pB(B). Στην περίπτωση αυτήμπορούμε να εκμεταλλευτούμε την εκ των προτέρων γνώση και να ορίσουμε για τηνυπόθεση >1 την πυκνότητα

71(X|A) =

∫71(X|A,B)pB(B) dB = 1B[71(X|A,B)],

πράξη που μας οδηγεί στην εξέταση των ακόλουθων δύο υποθέσεων

>0: X ∼ 70(X)

>1: X ∼ 71(X|A).

Η επίλυση του τελευταίου προβλήματος επιτυγχάνεται μέσω ενός ΟΠ τεστ (εφόσονυπάρχει) ή εναλλακτικά με τη χρήση ενός ΤΠ τεστ.

Παράδειγμα 3.8 : Έστω δύο τυχαίες μεταβλητές χ1,χ2 που ικανοποιούν τις ακόλουθες δύο υποθέ-σεις

>0: χ1 = w1, χ2 = w2

>1: χ1 = A cos(φ) + w1, χ2 = A sin(φ) + w2,

όπου w1, w2 α.ι.κ τυχαίες μεταβλητές με κοινή κατανομή N (0, 1) και A,φ τυχαίες παράμε-τροι. Για τη φάση φ είναι γνωστό ότι είναι ομοιόμορφα κατανεμημένη στο [0, 2π], ενώ για τηνπαράμετρο A ότι είναι θετική. Επιθυμούμε δηλαδή να διακρίνουμε κατά πόσο ένα σημείο μεσυντεταγμένες (χ1,χ2) βρίσκεται πάνω σε κύκλο ακτίνας A ή, εναλλακτικά, η θέση του είναιεντελώς τυχαία.

Οι πυκνότητες πιθανότητας κάτω από τις δύο υποθέσεις γράφονται

70(x1, x2) =1

2πe−

12 (x

21+x2

2), 71(x1, x2|A,φ) =1

2πe−

12 (x1−A cos(φ))2− 1

2 (x2−A sin(φ))2 .

Για την υπόθεση >1 πρέπει να ολοκληρώσουμε ως προς την παράμετρο φ, αφού είναι γνωστή ηεκ των προτέρων πυκνότητα πιθανότητας της παραμέτρου αυτής

71(x1, x2|A) =

∫ 2π

0

1

2π71(x1, x2|A,φ) dφ

=

∫ 2π

0

1

(2π)2e−

12 [(x1−A cos(φ))2+(x2−A sin(φ))2] dφ. (3.50)

Παρατηρούμε από το Σχήμα 3.18 ότι ο όρος (x1 − A cos(φ))2 + (x2 − A sin(φ))2 στον εκθέ-τη της συνάρτησης είναι η απόσταση (στο τετράγωνο) του σημείου (x1, x2) από το σημείο τουκύκλου με ακτίνα A και γωνία φ. έσω της πράξης της ολοκλήρωσης ως προς φ, αθροίζονταιτα εκθετικά των αποστάσεων όλων των σημείων του κύκλου (παρουσιάζονται, σαν παράδειγμα,στο σχήμα τρεις τέτοιες αποστάσεις). Το αποτέλεσμα, λόγω συμμετρίας, εξαρτάται μόνο απότην απόσταση του σημείου (x1, x2) από το κέντρο του κύκλου και θα είναι επομένως το ίδιο εάναντικατασταθεί το σημείο (x1, x2) με το σημείο που είναι πάνω στον κάθετο άξονα με συντεταγ-μένες (0,

√x21 + x2

2) (γκρίζες γραμμές). ε τη βοήθεια της παρατήρησης αυτής το ολοκλήρωμα


(x1, x2)

(0,√

x21 + x2

2)

Σχήμα 3.18 : Γεωμετρική αναπαράσταση της διαδικασίας ολοκλήρωσης στην Εξίσωση (3.50).

της Εξίσωσης (3.50) γράφεται

71(x1, x2|A) =

∫ 2π

0

1

(2π)2e−

12 [(x1−A cos(φ))2+(x2−A sin(φ))2] dφ

=

∫ 2π

0

1

(2π)2e−

12 [(A cos(φ))2+(ρ−A sin(φ))2] dφ

=1

2πe−

12 (ρ

2+A2)

∫ 2π

0

1

2πeAρ sin(φ) dφ =

1

2πe−

12 (ρ

2+A2)I0(Aρ),

όπου ρ =√

x21 + x2

2 και I0(x) =∫ 2π0

12π e

x sin(φ) dφ είναι η τροποποιημένη συνάρτηση Besselπρώτου είδους και μηδενικής τάξης13.

Ας εξετάσουμε τώρα κατά πόσο υπάρχει ΟΠ τεστ μεταξύ των 70(x1, x2) και 71(x1, x2, A).Παρατηρούμε ότι

71(x1, x2, A)

70(x1, x2)= e−

A2

2 I0(Aρ)>1

!>0

λ

το οποίο είναι ισοδύναμο προς

ρ =√

x21 + x2

2

>1

!>0

I−10

(λe

A2

2

)

A= η(A),

όπου εκμεταλλευτήκαμε το γεγονός ότι η συνάρτηση I0(x) είναι γνησίως αύξουσα για x ≥ 0.Διαπιστώνουμε ότι η άγνωστη παράμετρος A ενσωματώνεται στο νέο κατώφλι η, πράγμα πουυποδηλώνει ότι το Neyman-Pearson τεστ είναι ΟΠ .

Για τον υπολογισμό του κατωφλίου η έχουμε ότι

α = SFA =

∫ ∫

x1,x2:√

x21+x2

2>η

1

2πe−

12 (x

21+x2

2) dx1 dx2.

13Τη θαυμάσια αυτή γεωμετρική απόδειξη τη χρωστάμε στον αγαπητό συνάδελφο αθ. Γεώργιο Ευθυ-βουλίδη τον οποίο ευχαριστούμε για την ευρηματικότητά του!


SA

SEΣ

Σχήμα 3.19 : αμπύλες Χ Δ για ανίχνευση σημείου πάνω σε κύκλο ακτίνας A παρουσία αθροι-στικού Gaussian θορύβου σαν συνάρτηση των τιμών της παραμέτρου A = 0, 1, 2, 3.

Εφαρμόζοντας την αλλαγή μεταβλητών x1 = ρ cos(ψ), x2 = ρ sin(ψ), το διάστημα ολοκλήρω-σης για την ρ είναι [η,∞) ενώ για την ψ το [0, 2π], τέλος το γινόμενο των διαφορικών dx1 dx2

είναι ίσο προς την ακωβιανή ορίζουσα των μετασχηματισμών επί το γινόμενο των διαφορικώνdρ dψ πράγμα που συνεπάγεται ότι dx1 dx2 = ρ dρ dψ. Χρησιμοποιώντας τους μετασχηματι-σμούς το ολοκλήρωμα γράφεται

α =

∫ ∫

x1,x2:√

x21+x2

2>η

1

2πe−

12 (x

21+x2

2) dx1 dx2 =

∫ ∞

η

∫ 2π

0

1

2πe−

12ρ

2

ρ dρ dψ

=

∫ ∞

ηe−

12ρ

2

ρ dρ = e−η2

2 .

Επιλύοντας ως προς η, καταλήγουμε η =√log(α−2), ενώ το τελικό ΟΠ τεστ μπορεί επίσης να

γραφτεί

x21 + x2

2

>1

!>0

log(α−2),

το οποίο είναι Neyman-Pearson βέλτιστο για κάθε τιμή της παραμέτρου A.Για τον υπολογισμό της πιθανότητας ανίχνευσης SA = S(x2

1 + x22 > η2|>1) παρατηρούμε

ότι κάτω από την υπόθεση >1 οι τυχαίες μεταβλητές x1, x2 είναι ανεξάρτητες Gaussian με μέ-ση τιμή A cos(φ), A sin(φ) αντίστοιχα και μοναδιαία διασπορά. πορεί κανείς να διαπιστώσει(χρησιμοποιώντας γεωμετρικά επιχειρήματα, όπως και προηγουμένως) ότι η πιθανότητα ανίχνευ-σης εξαρτάται μόνο από το άθροισμα των τετραγώνων των δύο μέσων τιμών δηλαδή τουA2. ΣτοΠαράρτημαΑ, ΕδάφιοΑ.5, ορίζεται η μη κεντρική χ-τετράγωνο τυχαία μεταβλητή μεN βαθμούςελευθερίας και συντελεστή μη κεντρικότητας ίσο προς c2 σαν

χ2 = χ21 + χ2

2 + · · ·+ χ2N

όπου χn = N (µn, 1) και c2 =∑N

n=1 µ2n. Εάν καλέσουμε S(χ2 ≤ x) = G(x,N, c2) την

αντίστοιχη συνάρτηση κατανομής τότε η πιθανότητα ανίχνευσης του ΟΠ τεστ γίνεται ίση προς


SA = 1 − G(log(α−2), 2, A2) και σχετίζεται με την κατανομή μιας μη κεντρικής χ-τετράγωνοκατανομής με 2 βαθμούς ελευθερίας και συντελεστή μη κεντρικότητας ίσο προςA2. Οι καμπύλεςΧ Δ παρουσιάζονται στο Σχήμα 3.19 για τιμές της παραμέτρου A = 0, 1, 2, 3.

3.9.5 Γενικεύσεις του Neyman-Pearson τεστ∗

Όταν κάτω από την υπόθεση>1 υπάρχουν περισσότερες της μιας υποπεριπτώσεων τότε,όπως είδαμε, είναι δυνατή η χρήση του κανόνα απόφασης του Εδαφίου 3.6 ή, εναλλα-κτικά, η χρήση ενός ΟΠ τεστ (εφόσον υπάρχει). Στη μεν πρώτη περίπτωση απαιτείταιη εκ των προτέρων γνώση της πιθανότητας εμφάνισης κάθε υποϋπόθεσης, ενώ στη δεύ-τερη δεν είναι εξασφαλισμένη η ύπαρξη ενός τεστ της μορφής αυτής. Υπάρχει συνεπώςενδιαφέρον να αναπτυχθούν μέθοδοι για περιπτώσεις κατά τις οποίες δεν είναι δυνατόνα εφαρμοστούν οι δύο αυτές τεχνικές.

Θα παρουσιάσουμε στη συνέχεια κάποια εναλλακτικά κριτήρια τονίζοντας τις δυ-σκολίες που εμφανίζονται στον προσδιορισμό της αντίστοιχης αναλυτικής τους λύσης.Πριν όμως προχωρήσουμε προς την κατεύθυνση αυτή, ας ορίσουμε ακριβώς το πρό-βλημα εξέτασης υποθέσεων που μας ενδιαφέρει. Θεωρούμε ότι έχουμε τις ακόλουθεςυποθέσεις

>0: X ∼ 70(X)

>1: X ∼ 711(X)...

X ∼ 71K(X),

και ενδιαφερόμαστε να διακρίνουμε μεταξύ >0 και >1 δίχως ωστόσο, στην περίπτωσητου >1, να μας απασχολεί ο προσδιορισμός της ακριβούς υποϋπόθεσης. Παρατηρούμεότι στην υπόθεση >1 δεν είναι γνωστές οι εκ των προτέρων πιθανότητες εμφάνισης τωνυποϋποθέσεων, συνεπώς δεν είναι δυνατή η εφαρμογή του βέλτιστου σύνθετου κανόνα.Οι τεχνικές που θα παρουσιαστούν στη συνέχεια βασίζονται σε αντιμετώπιση του προ-βλήματος μέσω μιας λογικής τύπου min-max, και η οποία ευθύνεται για τον μη ακριβήαναλυτικό προσδιορισμό της βέλτιστης λύσης.

Min-maxως προς την απόλυτη απόδοση υποϋποθέσεωνΕάν καλέσουμε π = [π1, . . . ,πK ] τις άγνωστες εκ των προτέρων πιθανότητες των υπο-ϋποθέσεων της υπόθεσης >1 και δ(X) = [δ0(X) δ1(X)] τον κανόνα απόφασης, τότε ηπιθανότητα ανίχνευσης γράφεται

SA(δ,π) =K∑

i=1

πi

∫δ1(X)71i(X) dX =

K∑

i=1

πiSA(δ, i),

γίνεται δηλαδή συνάρτηση του διανύσματος των αγνώστων αρχικών πιθανοτήτων π,όπου

SA(δ, i) =

∫δ1(X)71i(X) dX, i = 1, . . . ,K,


συμβολίζει την πιθανότητα ανίχνευσης κάτω από την υποϋπόθεση i. πορούμε επομέ-νως να επιλύσουμε το ακόλουθο min-max πρόβλημα με περιορισμό

maxδ

minπ

SA(δ,π), SEΣ(δ) ≤ α. (3.51)

ε άλλα λόγια για κάθε κανόνα απόφασης που ικανοποιεί τη στάθμηα των εσφαλμένωνσυναγερμών, ενδιαφερόμαστε για τη χειρότερη δυνατή εμφάνιση αρχικών πιθανοτήτωνη οποία ελαχιστοποιεί την πιθανότητα ανίχνευσης. Επιλέγουμε τέλος τον κανόνα εκείνοπου μεγιστοποιεί τη χειρότερη αυτή απόδοση.

Είναι εύκολο να διαπιστώσουμε ότι

minπ

SA(δ,π) = mini

SA(δ, i),

οπότε το min-max πρόβλημα της (3.51) είναι επίσης ισοδύναμο με

maxδ

mini

SA(δ, i), SEΣ(δ) ≤ α, (3.52)

δηλαδή επιλέγουμε τον κανόνα εκείνο που μεγιστοποιεί τη χειρότερη απόδοση μεταξύτων υποϋποθέσεων.

Min-maxως προς τη σχετική απόδοση υποϋποθέσεωνΕάν ήταν γνωστό εκ των προτέρων ποια υποϋπόθεση θα εμφανιστεί τότε θα ήταν δυ-νατό να χρησιμοποιήσουμε τον αντίστοιχο βέλτιστο Neyman-Pearson κανόνα της. Αςκαλέσουμε SA(i), i = 1, . . . ,K, τις αντίστοιχες βέλτιστες πιθανότητες ανίχνευσης γιακάθε υποϋπόθεση. Αφού φυσικά δεν είναι διαθέσιμη η συγκεκριμένη εκ των προτέρωνπληροφορία χρησιμοποιούμε τον ίδιο κανόνα δ(X) για κάθε περίπτωση, με απόδοσηSA(δ, i) για την υποπερίπτωση i. Είναι βεβαίως σαφές ότι SA(δ, i) ≤ SA(i) (γιατί;).

δανική επιλογή κανόνα θα αποτελούσε εκείνος ο οποίος θα είχε απόδοση SA(δ, i)όσο το δυνατόν εγγύτερα στη βέλτιστη Neyman-Pearson απόδοση SA(i), για κάθε υπο-ϋπόθεση i. Η εν λόγω παρατήρηση προτρέπει σε δύο πιθανά min-max προβλήματα. Στοπρώτο γίνεται χρήση της σχετικής απόδοσης

maxδ

mini

SA(δ, i)

SA(i), SEΣ(δ) ≤ α, (3.53)

και επιλέγεται ο κανόνας ώστε να μεγιστοποιεί τη χειρότερη σχετική απόδοση μεταξύτων υποπεριπτώσεων. Εναλλακτικά μπορούμε να θεωρήσουμε τη διαφορά από τη βέλ-τιστη απόδοση14

minδ

maxiSA(i)− SA(δ, i), SEΣ(δ) ≤ α,

και να επιλεγεί ο κανόνας ώστε να ελαχιστοποιείται η μέγιστη απόσταση από τη βέλ-τιστη απόδοση, μεταξύ των υποπεριπτώσεων. Προκειμένου να υπάρχει το ίδιο είδος

14Υπενθυμίζεται ότι SA(δ, i) ≤ SA(i).


προβλήματος και για την περίπτωση αυτή όπως και στις δύο προηγούμενες, μπορούμεισοδύναμα να επιλύσουμε

maxδ

miniSA(δ, i)− SA(i), SEΣ(δ) ≤ α. (3.54)

Μορφή της βέλτιστης λύσηςαι τα τρία min-max προβλήματα που αναφέρθηκαν έχουν λύση η οποία εκφράζεται ως

εξής. Υπάρχουν πιθανότητες π∗1, . . . ,π∗K τέτοιες ώστε π∗1+ · · ·+π∗K = 1, με τη βοήθειατων οποίων ο βέλτιστος κανόνας δ∗(X) γράφεται

δ∗(X) :K∑

i=1

π∗i71i(X)

70(X)

>1

!>0

λ. (3.55)

Εάν L από τιςK πιθανότητες π∗i είναι μη μηδενικές, και δίχως απώλεια της γενικότηταςθεωρήσουμε ότι είναι οι π∗i > 0, i = 1, . . . , L ≤ K, ενώ π∗L+1 = · · · = π∗K = 0, τότεπρέπει να ισχύει

P(δ∗, 1) = P(δ∗, 2) = · · · = P(δ∗, L) < P(δ∗, i), i = L+ 1, . . . ,K, (3.56)

προκειμένου ο κανόνας δ∗(X) να επιλύει το max-min πρόβλημα. ΤοP(δ, i) συμβολίζειτο εκάστοτε κριτήριο, δηλαδή είναι ίσο προς SA(δ, i) για (3.52), SA(δ,i)

SA(i)για (3.53) και

SA(δ, i)− SA(i) για (3.54).Εάν επιλέξουμε αυθαίρετα L δείκτες μεταξύ των 1, . . . ,K, τότε οι L−1 ισότητες

στη (3.56) σε συνδυασμό με τον περιορισμό στην πιθανότητα εσφαλμένου συναγερμού,είναι αρκετές ώστε να προσδιοριστούν οι μη μηδενικές πιθανότητες π∗i και το κατώφλι λγια τον βέλτιστο κανόνα (3.55). Θα πρέπει ωστόσο να εξασφαλιστεί ότι ικανοποιούνταικαι οι αντίστοιχες ανισότητες στη (3.56) προκειμένου η συγκεκριμένη επιλογή να οδηγείστο βέλτιστο κανόνα. Υπάρχουν το πολύ 2K − 1 δυνατοί συνδυασμοί δεικτών οι οποίοιπρέπει να εξεταστούν ώστε να βρεθούν οι πιθανότητες που ικανοποιούν τις ισότητες καιανισότητες της (3.56). Ακόμη και για μικρόK αυτό μπορεί να αποβεί ένα δύσκολο καιυπολογιστικά απαιτητικό εγχείρημα.

Το βασικό χαρακτηριστικό της βέλτιστης λύσης είναι ότι ισοδυναμεί με ένα βέλτι-στο κανόνα απόφασης σαν αυτό του Εδαφίου 3.6 ο οποίος έχει την τάση να εξισορροπείτις αποδόσεις των υποϋποθέσεων. Η απόδειξη ότι ο κανόνας δ∗(X) που ορίστηκε στηΣχέση (3.55) είναι βέλτιστος, δεν είναι ιδιαίτερα δύσκολη. Για τα προβλήματα (3.52)και (3.54) παρατηρούμε ότι

mini

P(δ, i) ≤K∑

i=1

π∗i P(δ, i) =L∑

i=1

π∗i P(δ, i)

≤L∑

i=1

π∗i P(δ∗, i) = P(δ∗, 1) = · · · = P(δ∗, L) = mini

P(δ∗, i),


με τη δεύτερη ανισότητα να είναι αποτέλεσμα του γεγονότος ότι το δ∗(X) είναι το βέλ-τιστο σύνθετο τεστ για τις αρχικές πιθανότητες π∗i και την τελευταία ισότητα να είναιαπόρροια της (3.56). Για το πρόβλημα (3.53) η πορεία είναι ακριβώς ίδια μόνο που στογραμμικό συνδυασμό αντί των πιθανοτήτων π∗i πρέπει να χρησιμοποιήσουμε τις πιθα-νότητες π∗i =

π∗i SA(i)∑π∗i SA(i)

. Οι λεπτομέρειες επαφίενται σαν άσκηση.

Παράδειγμα3.9 : Έστω δείγματαχ1, . . . ,χN τα οποία είναι α.ι.κ. άτω από την υπόθεση>0 έχουμεότι χn ∼ N (0, 1) ενώ κάτω από την >1 εμφανίζονται δύο υποϋποθέσεις, είτε χn ∼ N (s1, 1) ήχn ∼ N (−s2, 1), όπου s1, s2 υποθέτουμε γνωστές ποσότητες. Ενδιαφερόμαστε να επιλέξουμεμεταξύ των δύο υποθέσεων εξασφαλίζοντας στάθμη εσφαλμένων συναγερμών ίση προς α. Εάνοι δύο μέσοι όροι είχαν το ίδιο πρόσημο κάτω από την υπόθεση >1 τότε γνωρίζουμε από τοΠαράδειγμα 3.6 ότι υπάρχει ΟΠ τεστ. Επομένως έχει ενδιαφέρον η περίπτωση που s1, s2 > 0.

Ας εξετάσουμε στο παρόν παράδειγμα το κριτήριο (3.52). Έστω π∗1 ,π

∗2 = 1 − π∗

1 οι δύοαρχικές πιθανότητες τις οποίες αναζητούμε. Ο βέλτιστος κανόνας (3.55) τότε γράφεται

δ∗(X) : G(x) = e−s1xπ∗1e

− s212 + es2x(1− π∗

1)e− s22

2

>1

!>0

λ, (3.57)

όπου si =√Nsi και x = 1√

N

∑Nn=1 xn. Παρατηρούμε ότι το τεστ στο οποίο καταλήξαμε

διαθέτει τις δύο παραμέτρους λ και π∗1 οι οποίες είναι απαραίτητο να προσδιοριστούν, ώστε

το τεστ να είναι πρακτικά εφαρμόσιμο. Για το σκοπό αυτό έχουμε δύο εξισώσεις, θα πρέπειSEΣ(δ∗) = α και SA(δ∗, 1) = SA(δ∗, 2). Δηλαδή να ικανοποιείται η στάθμη εσφαλμένωνσυναγερμών με ισότητα και οι δύο πιθανότητες ανίχνευσης να είναι εξισορροπημένες.

Σχήμα 3.20 : Τυπική μορφή λόγου πιθανοφάνειας και αντίστοιχες περιοχές απόφασης βέλτιστουκανόνα.

Στο Σχήμα 3.20 παρατηρούμε την τυπική μορφή του λόγου πιθανοφάνειας G(x) καθώς καιτις δύο περιοχές απόφασης που δημιουργούνται για τις δύο υποθέσεις. Συμπεραίνουμε ότι τοβέλτιστο τεστ είναι ισοδύναμο με το να αποφασίζουμε υπέρ του >0 όταν x ∈ (A,B) και υπέρτου >1 όταν x ∈ (−∞, A]∪ [B,∞), όπου A,B παράμετροι με A ≤ B. Παρατηρούμε ότι η νέαμορφή του βέλτιστου κανόνα είναι απόλυτα ισοδύναμη προς την (3.57) αφού διαθέτει ακριβώςτον ίδιο αριθμό παραμέτρων (τις A,B) που απαιτούνται να προσδιοριστούν. άτω από τηνυπόθεση >0 έχουμε ότι x ∼ N (0, 1) συνεπώς η πρώτη εξίσωση της ικανοποίησης της στάθμηςτου εσφαλμένου συναγερμού γράφεται

Φ(A) + 1− Φ(B) = α.


άτω από την υπόθεση >1 στη μεν πρώτη υποϋπόθεση έχουμε ότι x ∼ N (s1, 1) ενώ στη δεύ-τερη x ∼ N (−s2, 1). Για να εξισορροπήσουμε τις δύο πιθανότητες ανίχνευσης πρέπει να ικα-νοποιείται η εξίσωση

Φ(A− s1) + 1− Φ(B − s2) = Φ(A+ s2) + 1− Φ(B + s2).

Άμεσα διαπιστώνεται ότι η ισότητα αυτή ισχύει εφόσον

A+B = s1 − s2,

η οποία μπορεί να χρησιμοποιηθεί στην πρώτη εξίσωση και να καταλήξει στην ακόλουθη σχέσηπροσδιορισμού του A

Φ(A)− Φ(−A+ s1 − s2) = 1− α.

Αποδεικνύεται εύκολα ότι υπάρχει πάντοτε λύση η οποία ικανοποιεί B ≥ s1−s22 ≥ A. Επομέ-

νως η μορφή του βέλτιστου τεστ που προτάθηκε είναι εφαρμόσιμη για κάθε τιμή της στάθμηςεσφαλμένων συναγερμών α.

3.9.6 Γενικευμένο τεστ λόγου πιθανοφάνειας παρουσία τυχαίων παραμέτρωνΠολύ μεγαλύτερο ενδιαφέρον παρουσιάζει το ίδιο ακριβώς πρόβλημα που περιγράψαμεστο προηγούμενο εδάφιο, αλλά με τις δύο κύριες υποθέσεις να ορίζονται με τη βοήθειαπυκνοτήτων πιθανότητας οι οποίες διαθέτουν τυχαίες παραμέτρους. Ενδιαφερόμαστεδηλαδή για το ακόλουθο πρόβλημα εξέτασης υποθέσεων

>0: X ∼ 70(X|A0), όπου A0 υλοποίηση του A0 με A0 ∼ pA0(A0).>1: X ∼ 71(X|A1), όπου A1 υλοποίηση του A1 με A1 ∼ pA1(A1).

ε άλλα λόγια οι πυκνότητες πιθανότητας των δεδομένων χαρακτηρίζονται από διανυ-σματικές παραμέτρους A0, A1 οι οποίες αποτελούν υλοποιήσεις τυχαίων διανυσμάτωνA0,A1 αντίστοιχα, για τα οποία είναι γνωστές οι εκ των προτέρων πυκνότητες πιθανότη-τας pA0(A0), pA1(A1). αι για την περίπτωση αυτή, επιθυμούμε να επιλέξουμε μεταξύτων δύο υποθέσεων>0,>1, όπως επίσης να αποφασίσουμε και για την τιμή των παραμέ-τρων. Πρόκειται δηλαδή, κατά κάποια έννοια, για ένα συνδυασμό εξέτασης υποθέσεωνκαι εκτίμησης παραμέτρων.

Ακολουθώντας την ίδια ιδέα που χρησιμοποιήθηκε στο Εδάφιο 3.8, είναι δυνατό ναδημιουργήσουμε υποϋποθέσεις σε κάθε κύρια υπόθεση για τις οποίες είναι γνωστή η εκτων προτέρων πιθανότητα εμφάνισης, συγκεκριμένα ενδιαφερόμαστε για τις υποϋποθέ-σεις

Ai < Ai ≤ Ai + dAi: X ∼ 7i(X|Ai), με πιθανότητα pAi(Ai)dAi.

Δημιουργούμε δηλαδή ένα συνεχές υποϋποθέσεων για κάθε κύρια υπόθεση αντιστοιχί-ζοντας σε κάθε υποϋπόθεση μια διαφορική αρχική πιθανότητα. Επειδή ο κανόνας από-φασης δ(X) θα πρέπει να έχει τη δυνατότητα επιλογής μεταξύ του συνεχούς των υπο-ϋποθέσεων που ορίστηκαν, δεν είναι δυνατό να αναπαρίσταται με πεπερασμένο αριθμόαπό πιθανότητες δi(X). Αντ’ αυτού απαιτείται ο καθορισμός μιας συνάρτησης δ(A|X)


που αποτελεί πυκνότητα πιθανότητας ως προς τις παραμέτρους A. ε το τρόπο αυτό εί-ναι δυνατό να αποδοθεί διαφορική πιθανότητα επιλογής δ(A|X)dA σε κάθε (διαφορική)υποϋπόθεση.

Ακολουθώντας την παραμετροποίηση του προηγούμενου εδαφίου προτείνουμε τηνακόλουθη μορφή του κανόνα απόφασης

δ(X) = [δ0(X)γ0(A0|X)dA0 δ1(X)γ1(A1|X)dA0]

όπου 1 ≥ δi(X) ≥ 0, γi(Ai|X) ≥ 0 και δ0(X) + δ1(X) =∫γi(Ai|X) dAi = 1, i =

0, 1. Παρατηρούμε ότι οι δύο συναρτήσεις δi(X) είναι όπως και προηγουμένως αφού μετη βοήθειά τους αποφασίζουμε μεταξύ των δύο κύριων υποθέσεων >0,>1. Οι συναρτή-σεις γi(Ai|X), i = 0, 1 από την άλλη πλευρά είναι πυκνότητες πιθανότητας ως προς Ai

με δεδομένο το διάνυσμα X . Γίνεται επίσης κατανοητό ότι οι διαφορικές συναρτήσειςγi(Ai|X)dAi παίζουν ουσιαστικά το ρόλο των συναρτήσεων γij(X) του πεπερασμένουαριθμού υποϋποθέσεων του προηγουμένου εδαφίου.

ατ’ αντιστοιχία με τις Εξισώσεις (3.41), (3.42), οι δύο πιθανότητες σφάλματος γρά-φονται

S(Σωστή Απόφαση |>i) =

∫δi(X)

(∫γi(Ai|X)pAi(Ai)7i(X|Ai) dAi

)dX

≤∫δi(X) sup

Ai

pAi(Ai)7i(X|Ai)dX.

Το προηγούμενο άνω φράγμα είναι εφικτό με επιλογή της ακόλουθης πυκνότητας πιθα-νότητας γi(Ai|X) = Dirac(Ai−Ao

i (X)), όπουAoi (X) = arg supAi

pAi(Ai)7i(X|Ai)(για ευκολία έχουμε υποθέσει ότι το supAi

pAi(Ai)7i(X|Ai) εμφανίζεται για πεπερα-σμένες τιμές Ai = Ao

i (X)). Συμπεραίνουμε δηλαδή ότι για την πυκνότητα πιθανότηταςγi(Ai|X) η καλύτερη επιλογή αντιστοιχεί στην τοποθέτηση όλης της πιθανοτικής μάζαςστην τιμή Ai = Ao

i (X) στην οποία εμφανίζεται το μέγιστο.Από το σημείο αυτό και μετά, το πρόβλημα είναι ακριβώς ίδιο με τη διακριτή περί-

πτωση. Η βέλτιστη επιλογή μεταξύ των δύο κύριων υποθέσεων γίνεται μέσω του κανόνα

supA1pA1(A1)71(X|A1)

supA0pA0(A0)70(X|A0)

>1

!>0

λ,

με το κατώφλι να επιλέγεται έτσι, ώστε να ικανοποιείται ο εκάστοτε περιορισμός.Παράδειγμα3.10 : Έστω ότι ενδιαφερόμαστε να επιλύσουμε το πρόβλημα του Παραδείγματος 3.8 μετη βοήθεια του γενικευμένου τεστ πιθανοφάνειας. Δηλαδή αντί να χρησιμοποιήσουμε σύνθετοτεστ για την περίπτωση της άγνωστης φάσης φ θα εφαρμόσουμε γενικευμένο τεστ. Όσον αφοράστην περίπτωση της παραμέτρου A, και πάλι θα επιχειρήσουμε να διαπιστώσουμε την ύπαρξηενός ΟΠ τεστ. Παρατηρούμε ότι

maxφ∈[0,2π)

71(x1, x2|A,φ)p(φ) = maxφ∈[0,2π)

1

4π2e−

12 (x

21+x2

2+A2−2A[x1 cosφ+x2 sinφ])


το οποίο, εκφράζοντας τις συντεταγμένες (x1, x2) σε πολικές (ρ, θ) γράφεται

maxφ∈[0,2π)

71(x1, x2|A,φ)p(φ) =1

4π2e−

12 (x

21+x2

2+A2−2A√

x21+x2

2)

με βέλτιστη επιλογή φ = θ (εφόσον ορίσουμε θ ∈ [0, 2π)).Σχηματίζοντας τον γενικευμένο λόγο πιθανοφάνειας και συγκρίνοντας με ένα κατώφλι, δη-

μιουργείται το τεστ1

2πe−

12 (A

2−2A√

x21+x2

2)>1

!>0

λ

το οποίο μετά από λογαρίθμηση και με δεδομένο ότι A > 0, γίνεται ισοδύναμο προς

√x21 + x2

2

>1

!>0

A

2+log(2πλ)

A= η(A).

Το τεστ στο οποίο καταλήξαμε είναι ακριβώς ίδιο με αυτό του Παραδείγματος 3.8 και αφού ηπαράμετρος A εμπεριέχεται εξ ολοκλήρου στο κατώφλι, το τεστ είναι ΟΠ (ως προς A). Τοκατώφλι υπολογίζεται όπως ακριβώς και στο Παράδειγμα 3.8.

Η περίπτωση των αγνώστων παραμέτρωνΕάν δεν είναι γνωστές οι εκ των προτέρων πυκνότητες πιθανότητας pAi(Ai) και γνωρί-ζουμε ότι Ai ∈ Ωi, οι παράμετροι δηλαδή παίρνουν τιμές σε δύο γνωστά σύνολα, τότεμπορούμε να υποθέσουμε για τις αρχικές πυκνότητες πιθανότητας ότι είναι ομοιόμορ-φες μέσα σε κάθε σύνολο Ωi, δηλαδή pAi(Ai) = 1

µ(Ωi), όπου 0 < µ(Ωi) < ∞, το

(Lebesgues) μέτρο του συνόλου Ωi. Αυτό οδηγεί στο ακόλουθο βέλτιστο τεστ

supA1∈Ω171(X|A1)

supA0∈Ω070(X|A0)

>1

!>0

λµ(Ω1)

µ(Ω0)= τ,

ενώ οι αντίστοιχες πιθανότητες σωστής απόφασης γράφονται

S(Σωστή Απόφαση |>0) =1

µ(Ω0)

∫

supA1∈Ω171(X|A1)

supA0∈Ω070(X|A0)

>τ

supA0∈Ω0

70(X|A0) dX,

S(Σωστή Απόφαση |>1) =1

µ(Ω1)

∫

supA1∈Ω171(X|A1)

supA0∈Ω070(X|A0)

<τ

supA1∈Ω1

71(X|A1) dX.

Η συνηθέστερη περίπτωση συνόλων Ωi είναι να καλύπτουν όλο τον χώρο. Για την επι-λογή αυτή το γενικευμένο τεστ παίρνει τη μορφή

supA171(X|A1)

supA070(X|A0)

>1

!>0

τ.


Στην περίπτωση που η υπόθεση >0 είναι απλή, το τεστ γράφεται

supA1∈Ω1

71(X|A1)

70(X)

>1

!>0

τ,

και εάν επιπλέον δεν γνωρίζουμε και το σύνολο Ω1 τότε μπορούμε να θεωρήσουμε ότικαλύπτει όλο το χώρο, επομένως

supA1

71(X|A1)

70(X)

>1

!>0

τ.

Το κατώφλι τ και στις δύο προηγούμενες περιπτώσεις υπολογίζεται επακριβώς για τονκανόνα Neyman-Pearson, από την απαίτηση ικανοποίησης του περιορισμού της πιθανό-τητας εσφαλμένου συναγερμού.

Θα πρέπει να σημειωθεί ότι το γενικευμένο τεστ του λόγου πιθανοφάνειας δεν απο-τελεί πανάκεια για όλες τις περιπτώσεις που υπάρχουν άγνωστοι παράμετροι. Είναι δυ-νατόν η διπλή μεγιστοποίηση η οποία εφαρμόζεται στον αριθμητή και παρονομαστή τουλόγου πιθανοφάνειας να καταλήξει σε κανόνες των οποίων η απόδοση μπορεί να είναιπολύ κακή, απαιτείται επομένως προσεκτική χρήση του (βλέπε Άσκηση 3.21 για περί-πτωση που καταλήγει σε άχρηστο κανόνα).Παράδειγμα 3.11 : ε τη βοήθεια του γενικευμένου τεστ του λόγου πιθανοφάνειας είναι δυνατή μιαενδιαφέρουσα γενίκευση του ΤΠ κανόνα εξέτασης του Εδαφίου 3.9.3. Έστω το τυχαίο διάνυσμαX το οποίο έχει πυκνότητα πιθανότητας f(X|Θ) όπου Θ διάνυσμα αγνώστων παραμέτρων.πορούμε πάντοτε να γράψουμε ότιΘ = θJ , όπου θ > 0 συμβολίζει το μέτρο τουΘ και J είναι

η κανονικοποιημένη μορφή του διανύσματος, δηλαδή J = Θ∥Θ∥ , γεγονός το οποίο συνεπάγεται

∥J∥ = 1. ας ενδιαφέρει η εξέταση των ακόλουθων δύο υποθέσεων

>0: θ = 0

>1: θ > 0,

με τη δημιουργία ενός ΤΠ τεστ. Θεωρώντας ότι το θ είναι μικρό, μπορούμε να εφαρμόσουμετο ακόλουθο ανάπτυγμα Taylor15

7(X|Θ) ≈ 7(X|0) + θ [∂Θ7(X|Θ)|Θ=0] J.

Στη συνέχεια θα πρέπει να υπολογίσουμε το μέγιστο της πυκνότητας πιθανότητας ως προς Θ.Επειδή όμως ενδιαφερόμαστε για τοπικό τεστ θα υποθέσουμε ότι 0 ≤ θ ≤ θ0 ≪ 1. Επομένως

sup0≤θ≤θ0

sup

∥J∥=17(X|Θ)

≈ 7(X|0) + sup

0≤θ≤θ0

θ sup∥J∥=1

[∂Θ7(X|Θ)|Θ=0] J

= 7(X|0) + sup0≤θ≤θ0

θ∥∂Θ7(X|Θ)|Θ=0∥

= 7(X|0) + θ0∥∂Θ7(X|Θ)|Θ=0∥,15Εάν Θ = [θ1, . . . , θk]

t και h(Θ) συνάρτηση του Θ, τότε ∂Θh(Θ) = [∂θ1h(Θ), . . . , ∂θkh(Θ)], συμ-βολίζει την κλήση (grad) της συνάρτησης (που συνήθως παριστάνεται σαν διάνυσμα γραμμής).

3.10 Ενδιάμεσες αποφάσεις 83

όπου χρησιμοποιήθηκε η ανισότητα των Cauchy-Schwarz ότι για δύο διανύσματα X,Y ισχύει|XtY | ≤ ∥X∥∥Y ∥. Το τοπικό γενικευμένο τεστ του λόγου πιθανοφάνειας επομένως γράφεται

sup0≤θ≤θ0 sup∥J∥=1 7(X|Θ)

7(X|0) ≈ 1 + θ0∥∂Θ7(X|Θ)|Θ=0∥

7(X|0)

>1

!>0

λ,

το οποίο είναι βεβαίως ισοδύναμο με το τεστ

g(X) =∥∂Θ7(X|Θ)|Θ=0∥

7(X|0)

>1

!>0

λ− 1

θ0= η.

Το κατώφλι η υπολογίζεται έτσι, ώστε να ικανοποιείται ο περιορισμός της πιθανότητας τωνεσφαλμένων συναγερμών σε ένα τεστ Neyman-Pearson.

3.10 Ενδιάμεσες αποφάσεις

Υπάρχουν εφαρμογές στις οποίες, μολονότι τα δεδομένα X προέρχονται από K δυνα-τές υποθέσεις, εμείς ενδιαφερόμαστε να δημιουργήσουμε περισσότερες από K επιλογέςστον κανόνα απόφασης. Οι επιπλέον επιλογές θα μπορούσαν, για παράδειγμα, να αντα-νακλούν τον βαθμό εμπιστοσύνης που δείχνουμε προς τις εν λόγω αποφάσεις. Ας εξετά-σουμε την περίπτωση όπου τα δεδομένα X ακολουθούν δύο δυνατές υποθέσεις >0,>1

αλλά επιτρέπονται τρεις επιλογές στις αποφάσεις μας η .0 υπέρ της >0, η .1 υπέρ της>1 και τέλος η .ε που σημαίνει (επίκληση) “ειδικού” και εκφράζει ανασφάλεια υπέρμιας απόφασης της μορφής >0 ή >1. Η συγκεκριμένη επιλογή αντανακλά την ανάγκηεπίκλησης “ειδικού” ο οποίος θα επιληφθεί της τελικής απόφασης. Ο λόγος φυσικά πουδεν χρησιμοποιείται συνεχώς ο ειδικός είναι επειδή η εμπλοκή του συνεπάγεται μεγάλοκόστος.

Ένας άλλος τρόπος απόφασης θα μπορούσε να επιτρέπει τέσσερις επιλογές π.χ. “Σί-γουρα υπέρ >1”, “Μάλλον υπέρ >1”, “Σίγουρα υπέρ >0” και τέλος “ άλλον υπέρ >0”.Ενώ δηλαδή οι υποθέσεις είναι δύο, οι δυνατές αποφάσεις είναι τέσσερις και εκφράζουνδιαφορετικό βαθμό εμπιστοσύνης ως προς την αντίστοιχη επιλογή16.

3.10.1 Μεθοδολογία κατά Bayes

Επιστρέφοντας στην περίπτωση των τριών επιλογών, υπάρχει η δυνατότητα να ακολου-θήσουμε λογική τύπου Bayes και να αντιστοιχήσουμε κόστηCij στα γεγονότα .i&>jόπου τώρα i = 0, ε, 1, j = 0, 1. Ο κανόνας απόφασης καθορίζεται από τρεις πιθανό-τητες δ(X) = [δ0(X) δε(X) δ1(X)] με δ0(X) + δε(X) + δ1(X) = 1, και για το μέσο

16Αποφάσεις της μορφής αυτής συναντώνται στις Βάσεις Δεδομένων σε προβλήματα ταυτοποίησης κα-ταχωρήσεων, βλέπε άρθρο [DA1969] για Neyman-Pearson μεθοδολογία και [VM2003] για μεθοδολογίαBayes.


κόστος απόφασης μπορούμε να γράψουμε

C(δ) =∑

i=0,ε,1

∑

j=0,1

CijS(.i&>j) =∑

i=0,ε,1

∑

j=0,1

Cij

∫δi(X)S(>j)7j(X) dX

=∑

i=0,ε,1

∫δi(X)[Ci0S(>0)70(X) + Ci1S(>1)71(X)] dX

=

∫[δ0(X)c0(X) + δε(X)cε(X) + δ1(X)c1(X)] dX

≥∫

mini=0,ε,1

ci(X) dX,

όπουci(X) = Ci0S(>0)70(X) + Ci1S(>1)71(X), i = 0, ε, 1.

Εάν υποθέσουμε τώρα ότι το κόστος σωστής απόφασης είναι μικρότερο του κόστους μηαπόφασης το οποίο είναι μικρότερο του κόστους εσφαλμένης απόφασης, δηλαδή C10 ≥Cε0 ≥ C00 και C01 ≥ Cε1 ≥ C11, και εάν για ευκολία παραβλέψουμε τις περιπτώσειςισότητας των συναρτήσεων που καταλήγουν σε τυχαιοποίηση, τότε αποφασίζουμε .0

(υπέρ του >0) όταν c0(X) < c1(X) και c0(X) < cε(X). Οι δύο αυτές ανισότητεςσυνδυάζονται στην απλή σχέση

71(X)

70(X)< t0 = min

Cε0 − C00

C01 − Cε1,C10 − C00

C01 − C11

S(>0)

S(>1).

Ομοίως αποφασίζουμε .1 (υπέρ του >1) όταν c1(X) < c0(X) και c1(X) < cε(X), μετις δύο σχέσεις να συνδυάζονται στην

71(X)

70(X)> t1 = max

C10 − Cε0

Cε1 − C11,C10 − C00

C01 − C11

S(>0)

S(>1).

Παρατηρούμε δηλαδή ότι υπάρχουν δύο κατώφλια t0, t1 για τα οποία ισχύει

t1 ≥(C10 − C00)S(>0)

(C01 − C11)S(>1)≥ t0.

Όταν ο λόγος πιθανοφάνειας υπερβαίνει το μεγαλύτερο κατώφλι αποφασίζουμε υπέρτης υπόθεσης >1, όταν υπολείπεται του μικρότερου υπέρ της >0, τέλος όταν ο λόγοςβρίσκεται μεταξύ των δύο κατωφλίων δεν αποφασίζουμε υπέρ καμίας υπόθεσης.

Στην ειδική περίπτωση που

(Cε0 − C00)S(>0)

(C01 − Cε1)S(>1)≥ (C10 − C00)S(>0)

(C01 − C11)S(>1)≥ (C10 − Cε0)S(>0)

(Cε1 − C11)S(>1),

τότε t0 = t1 =(C10−C00)S(>0)(C01−C11)S(>1)

με αποτέλεσμα η τρίτη επιλογή .ε να εξαφανίζεται εντε-λώς και ο βέλτιστος κανόνας να μετατρέπεται σε ένα κλασικό τεστ λόγου πιθανοφάνειας


ενός κατωφλίου στο οποίο παίρνεται υποχρεωτικά απόφαση υπέρ της μιας εκ των δύουποθέσεων.

Η δυνατότητα λήψης “τελεσίδικης” ή μη απόφασης είναι απόρροια των σχετικώντιμών που έχουν τα κόστη Cij . Εάν το κόστος λανθασμένης απόφασης γίνει σημαντικό,τότε είναι προτιμότερο να υπάρχει επιφυλακτικότητα στις αποφάσεις πράγμα που εκ-φράζεται μέσω της τρίτης επιλογής .ε της “μη απόφασης” η οποία κάνει την εμφάνισήτης στον βέλτιστο κανόνα.

3.10.2 Μεθοδολογία τύπου Neyman-PearsonΑντίστοιχα αποτελέσματα (μάλιστα σε πολύ πιο ενδιαφέρουσα μορφή) εμφανίζονταιόταν ακολουθήσουμε την προσέγγιση του προβλήματος κατά Neyman-Pearson. Σε προ-βλήματα λήψης αποφάσεων όπου γίνεται χρήση ενδιάμεσων αποφάσεων ενδιαφερόμα-στε εξίσου για τις δύο πιθανότητες σφάλματος S(.1|>0), S(.0|>1), δηλαδή του εσφαλ-μένου συναγερμού και της απώλειας (ή Τύπου και Τύπου ) τις οποίες θα επιθυμούσαμενα ελέγξουμε εκ των προτέρων. Πράγματι, η δυνατότητα επίκλησης ενός ειδικού, πουεκφράζεται μέσω της ενδιάμεσης επιλογής, μας επιτρέπει να ελέγξουμε πλήρως και τιςδύο αυτές πιθανότητες αφού είναι δυνατό να παραπέμψουμε “δύσκολες” περιπτώσειςστην επιπλέον κατηγορία. πορούμε επομένως να ορίσουμε δύο επίπεδα α,β ∈ [0, 1]τα οποία καθορίζουν τα μέγιστα επιτρεπτά σφάλματα, δηλαδή

S(.1|>0) ≤ α, S(.0|>1) ≤ β.

Έχοντας επιβάλει τους συγκεκριμένους περιορισμούς, το ερώτημα είναι ποιο είναι τοπλέον κατάλληλο πρόβλημα βελτιστοποίησης βάσει του οποίου θα προσδιοριστεί τοβέλτιστο τεστ.

Όπως αναφέρθηκε παραπάνω η επίκληση ενός ειδικού έχει συνήθως μεγάλο κόστος,επομένως είναι εντελώς λογικό να επιχειρήσουμε να ελαχιστοποιήσουμε το μέσο κόστοςτης εν λόγω διαδικασίας. Εάν καλέσουμε Ci ≥ 0, i = 0, 1 το κόστος χρήσης τηςενδιάμεσης απόφασης με δεδομένο ότι η πραγματική υπόθεση είναι >i, τότε το μέσοαυτό κόστος γράφεται

C (δ) = C0S(.ε|>0)S(>0) + C1S(.ε|>1)S(>1). (3.58)

ολονότι σε μεθοδολογία τύπου Neyman-Pearson αποφεύγεται η χρήση των εκ τωνπροτέρων πιθανοτήτων S(>i) καθώς και τα κόστη Ci, παρουσιάζεται η γενικότερη αυ-τή μορφή του προβλήματος προκειμένου να αναδείξουμε μια πολύ σημαντική ιδιότητατου τελικού τεστ. Συγκεκριμένα θα διαπιστώσουμε ότι το τελικό βέλτιστο τεστ είναιανεξάρτητο της επιλογής των εν λόγω παραμέτρων.

Εάν ανακαλέσουμε το κλασικό τεστ κατά Neyman-Pearson, γνωρίζουμε ότι ότανη πιθανότητα εσφαλμένου συναγερμού ικανοποιεί S(.1|>0) ≤ α τότε η αντίστοιχη


πιθανότητα απώλειας S(.0|>1) έχει τη μικρότερη δυνατή τιμή βNP(α) για το Neyman-Pearson τεστ, με τις δύο πιθανότητες να συνδέονται μέσω των σχέσεων

α = S(.1|>0) = S( 71(X)

70(X)> t|>0

)

βNP(α) = S(.0|>1) = S( 71(X)

70(X)< t|>1

).

(3.59)

ε τη βοήθεια της πρώτης ισότητας υπολογίζεται το κατώφλι t και με τη δεύτερη ηβέλτιστη τιμή της πιθανότητας απώλειας. Ο προσεκτικός αναγνώστης φυσικά παρατή-ρησε ότι, χάριν ευκολίας, θεωρήσαμε μηδενική την πιθανότητα ο λόγος πιθανοφάνειαςνα ισούται με το κατώφλι.

Εάν η επιλογή του επιπέδου σφάλματος β ικανοποιεί β ≥ βNP(α), τότε το βέλτιστοτεστ είναι το κλασικό τεστ Neyman-Pearson, αφού ικανοποιούνται οι δύο περιορισμοίκαι δεν γίνεται καθόλου επίκληση της ενδιάμεσης απόφασης, με αποτέλεσμα το αντί-στοιχο μέσο κόστος να είναι μηδενικό (το ελάχιστο δυνατό). Επομένως το πρόβληματης βελτιστοποίησης του μέσου κόστους έχει ενδιαφέρον όταν β < βNP(α). Δηλαδήόταν απαιτήσουμε η πιθανότητα απώλειας να είναι μικρότερη αυτής που αποδίδει τοτεστ Neyman-Pearson.

Υποθέτοντας ότι β < βNP(α) ας επιχειρήσουμε να ελαχιστοποιήσουμε το μέσο κό-στος που ορίσαμε στην (3.58), μεταξύ όλων των τεστ που ικανοποιούν τους δύο περιο-ρισμούς. ε τη βοήθεια των πολλαπλασιαστών Lagrange λ0,λ1 > 0 μετατρέπουμε τοαρχικό πρόβλημα σε ένα πρόβλημα δίχως περιορισμούς

C ′(δ) = C0S(.ε|>0)S(>0) + C1S(.ε|>1)S(>1) + λ0α+ λ1β.

Αντικαθιστώντας τα α,β με τις μικρότερές τους πιθανότητες σφάλματος, παρατηρούμεότι

C ′(δ) ≥∫δε(X)[C0S(>0)70(X) + C1S(>1)71(X)]

+ δ1(X)λ070(X) + δ0(X)λ171(X)dX.

Χρησιμοποιώντας την τεχνική ελαχιστοποίησης την οποία έχουμε επαναλάβει σε προη-γούμενα προβλήματα, καταλήγουμε στο ότι το C ′(δ) ελαχιστοποιείται με τις επιλογές

.ε: C0S(>0)70(X) + C1S(>1)71(X) < minλ070(X),λ171(X)

.1: λ070(X) < minC0S(>0)70(X) + C1S(>1)71(X),λ171(X)

.0: λ171(X) < minC0S(>0)70(X) + C1S(>1)71(X),λ070(X)Ας εξετάσουμε αρχικά την ενδιάμεση απόφαση. Η αντίστοιχη ανισότητα είναι εύκολονα δείξουμε ότι είναι ισοδύναμη προς

t0 =C0S(>0)

λ1 − C1S(>1)<

71(X)

70(X)<λ0 − C0S(>0)

C1S(>1)= t1


όπου έχουμε υποθέσει για τους πολλαπλασιαστές Lagrange ότι η επιλογή τους είναι τέ-τοια, ώστε να εξασφαλίζεται λi > CiS(>i) και t0 < t1. Από την τελευταία ανισότητασυνεπάγεται

λ0λ1 − λ1C0S(>0)− λ0C0S(>0) > 0. (3.60)

Επαναλαμβάνοντας τη διαδικασία για την απόφαση υπέρ του >1, καταλήγουμε ότι ηαπόφαση αυτή λαμβάνεται όταν

71(X)

70(X)> max

t1,

λ0λ1

.

Είναι όμως εύκολο να διαπιστώσουμε ότι, λόγω της (3.60), ισχύει ότι t1 > λ0λ1, οπότε

συμπεραίνουμε ότι αποφασίζουμε υπέρ του >1 κάθε φορά που ο λόγος πιθανοφάνειαςυπερβαίνει το κατώφλι t1. ε τον ίδιο ακριβώς τρόπο αποδεικνύεται ότι αποφασίζουμευπέρ του >0 όταν ο λόγος πιθανοφάνειας είναι μικρότερος από το κατώφλι t0.

Εξαιρετικά αξιοσημείωτο στο πρόβλημα αυτό είναι το γεγονός ότι τα δύο κατώφλιαt0 < t1 είναι ανεξάρτητα των παραμέτρων Ci,S(Hi). Πράγματι οι δύο αυτές ποσότητεςορίζονται σαν οι λύσεις των δύο εξισώσεων

S( 71(X)

70(X)> t1|>0

)= α, S

( 71(X)

70(X)< t0|>1

)= β, (3.61)

όπου βεβαίως για να είναι αποδεκτό το εν λόγω ζευγάρι πρέπει να ισχύει t0 < t1. Παρα-τηρούμε από τις σχέσεις (3.59) ότι το t1 είναι το κατώφλι του κλασικού Neyman-Pearsonτεστ, επομένως επειδή έχουμε υποθέσει ότι β < βNP(α) αυτό έχει σαν αποτέλεσμα

S( 71(X)

70(X)< t0|>1

)= β < βNP(α) = S

( 71(X)

70(X)< t1|>1

),

γεγονός που συνεπάγεται ότι πράγματι t0 < t1.Φυσικά για να ολοκληρωθεί η απόδειξη πρέπει να αποδείξουμε ότι ο κανόνας που

ορίσαμε όντως ελαχιστοποιεί το μέσο κόστος C (δ). Για το σκοπό αυτό θα πρέπει ναακολουθήσουμε πορεία ανάλογη με αυτή που χρησιμοποιήθηκε στην περίπτωση τουκλασικού Neyman-Pearson τεστ με τους πολλαπλασιαστές Lagrange να επιλέγονται μετις συγκεκριμένες τιμές

λ0 = t1C1S(>1) + C0S(>0), λ1 = t−10 C0S(>0) + C1S(>1),

και τα t0, t1 να αποτελούν τις λύσεις των δύο εξισώσεων (3.61).Ολοκληρώνοντας, θα πρέπει να τονίσουμε ότι με την επιλογήC0 = 0,C1 = S−1(>1)

και C1 = 0, C0 = S−1(>0), αποδεικνύουμε ότι το τεστ που σχεδιάσαμε ελαχιστοποιείσυγχρόνως τις πιθανότητεςS(.ε|>0),S(.ε|>1). ε άλλα λόγια ελαχιστοποιεί την πιθα-νότητα επίκλησης της ενδιάμεσης απόφασης (ειδικού), κάτω και από τις δύο υποθέσεις.


3.11 Υπολογισμός απόδοσης κανόνων εξέτασης υποθέσεωνΣτο παρόν εδάφιο θα ασχοληθούμε συστηματικά με το πρόβλημα του υπολογισμού τηςαπόδοσης του τεστ λόγου πιθανοφάνειας. Η λεπτομερής εξέταση του προβλήματοςαυτού κρίθηκε αναγκαία επειδή ο υπολογισμός των πιθανοτήτων ενδιαφέροντος όπωςπ.χ. της πιθανότητας ανίχνευσης

SA =

∫

X:71(X)70(X)>λ

71(X) dX,

στις περισσότερες περιπτώσεις (με μοναδική εξαίρεση την Gaussian) είναι αδύνατο ναυπολογιστεί αναλυτικά. ε δεδομένο μάλιστα ότι το εν λόγω ολοκλήρωμα είναι πολ-λαπλό, θεωρείται δύσκολη ακόμη και η αριθμητική του ολοκλήρωση. Είναι επομένωςαναγκαίο να καταφύγουμε σε μεθόδους οι οποίες αποφεύγουν τον απ’ ευθείας υπολο-γισμό του παραπάνω ολοκληρώματος. ια πρώτη γεύση τέτοιων μεθόδων πήραμε στοΠαράδειγμα 3.7. Την ιδέα αυτή, θα επιχειρήσουμε να γενικεύσουμε στη συνέχεια. Θαπρέπει βέβαια να τονισθεί ότι τα αποτελέσματα που θα παρουσιαστούν είναι ασυμπτω-τικά δηλαδή ισχύουν για “μεγάλο” αριθμό δειγμάτων N , υπόθεση η οποία είναι αρκετάσυχνή στην πράξη.

3.11.1 Υπολογισμός κατωφλίου με τη βοήθεια του ΚΟΘ3.11.2 Υπολογισμός απόδοσης με συνδυασμό Θεωρήματος Crammer και ΚΟΘ3.12 Ασκήσεις3.1 : Έστω τυχαιοποιημένος κανόνας απόφασης δ(X) = [δ0(X) · · · δK−1(X)]. Περιγράψτε πρα-κτικό τρόπο υλοποίησης του εν λόγω κανόνα όταν είναι γνωστές οι πιθανότητες δi(X), i =

1, . . . ,K−1, και σας διατίθεται μηχανισμός δημιουργίας ανεξάρτητων τυχαίων αριθμών ομοιό-μορφα κατανεμημένων στο διάστημα [0, 1] (π.χ. με τη βοήθεια της εντολής Matlab `M/).

3.2 : Θεωρείστε ότι σας διατίθεται η πυκνότητα πιθανότητας f(X|A) όπου A αποτελεί υλοποίη-ση μιας τυχαίας μεταβλητήςA με εκ των προτέρων πυκνότητα πιθανότητας pA (A). Οι δυνατέςτιμές της παραμέτρου A δημιουργούν ένα συνεχές δυνατών υποθέσεων. Περιγράψτε τη μορφήπου έχει ένας τυχαιοποιημένος κανόνας απόφασης για το εν λόγω πρόβλημα καθώς και το αντί-στοιχο παιχνίδι τύχης για να πάρετε απόφαση. Όπως και στην προηγούμενη άσκηση προτείνετεπρακτικό τρόπο υλοποίησης του κανόνα απόφασης υποθέτοντας και πάλι ότι διατίθεται μηχα-νισμός δημιουργίας ανεξάρτητων τυχαίων αριθμών ομοιόμορφα κατανεμημένων στο διάστημα[0, 1]. Προτείνετε επίσης βέλτιστο τεστ το οποίο μεγιστοποιεί την πιθανότητα σωστής απόφα-σης. Στην περίπτωση αυτή τι ακριβώς κάνει ο κανόνας απόφασης όσον αφορά στην παράμετροA;

3.3 : Στην περίπτωση του min-max βέλτιστου τεστ στην εξέταση δυαδικών υποθέσεων, υπολογί-στε την τιμή του βέλτιστου Bayes κόστους C(π0) όταν η εκ των προτέρων πιθανότητα πάρει τιςτιμές π0 = 0, 1. ατόπιν ορίστε μια απλή ικανή συνθήκη η οποία εξασφαλίζει ότι η C(π0) θα


παρουσιάζει μέγιστο στο εσωτερικό του διαστήματος [0, 1]. κανοποιείται η συνθήκη αυτή στηνπερίπτωση της ελαχιστοποίησης της πιθανότητας σφάλματος;

3.4 : Έστω τυχαίες μεταβλητές χn, n = 1, . . . , N και οι δύο υποθέσεις >0 : χn = −s + wn,>1 : χn = s+wn, μεwn α.ι.κ. τυχαίος θόρυβος καιS(>0) = S(>1) = 0.5. Ενδιαφερόμαστε γιατο Bayes τεστ που ελαχιστοποιεί την πιθανότητα εσφαλμένης απόφασης. Εάν s > 0, καθορίστεσυνθήκες για την πυκνότητα πιθανότητας του θορύβου 7w(w) με τις οποίες το βέλτιστο τεστγίνεται ανεξάρτητο της παραμέτρου s. Η περίπτωση αυτή αποτελεί το ανάλογο του ΟΠ τεστγια την εξέταση υποθέσεων κατά Bayes.

3.5 : Στην περίπτωση εξέτασης δυαδικών υποθέσεων κατά Neyman-Pearson δείξτε ότι υπάρχειεπίσης και το χειρότερο δυνατό τεστ του οποίου την πιθανότητα ανίχνευσης δεν μπορεί να υπο-λείπεται κανένας κανόνας απόφασης. Τι συμπέρασμα βγάζετε τελικά για τις δυνατές περιοχέςστις καμπύλες Χ Δ;

3.6 :Αποδείξτε ότι σε μια καμπύληΧ Δ ενός τεστ λόγου πιθανοφάνειας η κλίση της εφαπτομένηςτης καμπύλης σε οποιοδήποτε σημείο είναι ίση με το κατώφλι λ του αντίστοιχου τεστ. Υπόδει-ξη: Η κλίση της εφαπτομένης είναι ίση προς το λόγο S(λ−dλ<G(X)≤λ|>1)

S(λ−dλ<G(X)≤λ|>0). Εκφράστε κάθε πιθα-

νότητα σαν ολοκλήρωμα και κατόπιν χρησιμοποιείστε την ιδιότητα αλλαγής μέτρου (Εδάφιο 2.5)∫A 71(X) dX =

∫A G(X)70(X) dX .

3.7 :Αποδείξτε ότι η καμπύλη Χ Δ ενός Neyman-Pearson τεστ είναι κυρτή. Υπόδειξη: Θεωρείστεδύο τιμές α1 < α2 της πιθανότητας εσφαλμένου συναγερμού καθώς και τους αντίστοιχους βέλτι-στους κανόνες. ατασκευάστε ένα κανόνα που με πιθανότητα π επιλέγει την εφαρμογή του πρώτουβέλτιστου κανόνα και με 1− π του δεύτερου. Εναλλακτικά μπορείτε να αποδείξετε, με τη βοήθειατης προηγούμενης άσκησης, ότι η κλίση της καμπύλης είναι φθίνουσα συνάρτηση της πιθανότηταςεσφαλμένου συναγερμού.

3.8 : Για την περίπτωση του εξισορροπημένου τεστ του Εδαφίου 3.4.7, όταν υπάρχει σημείο η∗τέτοιο, ώστε F0(η∗-) > F1(η∗-) και F0(η∗+) < F1(η∗+), αποδείξτε ότι το βέλτιστο τεστ έχεισαν κατώφλι το η∗ και πιθανότητα τυχαιοποίησης γ την

γ =F1(η∗+)− F0(η∗+)

F1(η∗+)− F0(η∗+) + F0(η∗-)− F1(η∗-).

3.9 : Θεωρείστε το min-max βέλτιστο τεστ (ως προς την αρχική πιθανότητα π0 = S(>0)) για τηνπερίπτωση C00 = C11 = 0 και C01 = C10 = 1. Αποδείξτε για το τεστ αυτό ότι είναι επίσης τοβέλτιστο εξισορροπημένο τεστ.

3.10 : Σε αντιστοιχία με το εξισορροπημένο τεστ του Εδαφίου 3.4.7 μας ενδιαφέρουν τα τεστ γιατα οποία ισχύει SEΣ = KSAΠ, όπου K γνωστή ποσότητα. ε άλλα λόγια οι δύο πιθανότητεςσφάλματος να μην είναι εξισορροπημένες αλλά η μια να είναι K φορές η άλλη. εταξύ όλωντων τεστ που ικανοποιούν τον εν λόγω περιορισμό, επιθυμούμε να επιλέξουμε το καλύτερο, αυτόδηλαδή που ελαχιστοποιεί τη μια από τις δύο πιθανότητες σφάλματος. Βρείτε τη μορφή τουβέλτιστου τεστ και περιγράψτε γραφικό τρόπο προσδιορισμού του με τη βοήθεια της καμπύληςΧ Δ. Ποια η σχέση του με το γενικό min-max τεστ.


3.11 : Γενικεύστε την έννοια του εξισορροπημένου τεστ στην εξέταση πολλαπλών υποθέσεων.Βρείτε τη μορφή του βέλτιστου τεστ. Υπόδειξη: Η πιθανότητα σφάλματος κάτω από την υπόθεση>i είναι ίση προς

∫[1 − δi(X)]7i(X) dX . Δείξτε ότι για ένα τεστ K υποθέσεων απαιτούνται

K−1 περιορισμοί που εξασφαλίζουν εξισορρόπηση στις πιθανότητες σφάλματος. Χρησιμοποιείστεπολλαπλασιαστές Lagrange για να λάβετε υπόψη τους εν λόγω περιορισμούς.

3.12 : Δείξτε ότι το τοπικά βέλτιστο τεστ μεγιστοποιεί την παράγωγο της πιθανότητας ανίχνευσηςστο σημείο θ = 0. Ποια είναι η θεωρητική (και πρακτική) σημασία του αποτελέσματος αυτού;

3.13 : Έστω δείγματα της μορφής xn =√θ + wn, n = 1, . . . , N όπου τα wn είναι α.ι.κ. Εν-

διαφερόμαστε να εξετάσουμε τις δύο υποθέσεις θ = 0 και θ > 0. Διαπιστώστε ότι δεν υπάρχειΤΠ τεστ για το πρόβλημα που ορίστηκε. Προτείνετε έναν απλό τρόπο επαναδιατύπωσης τουπροβλήματος ο οποίος να καταλήγει σε ΤΠ τεστ.

3.14 : Στο Παράδειγμα 3.5 του Εδαφίου 3.6, βρείτε τη μορφή του βέλτιστου τεστ για σ2 ≪ 1 καιαποδείξτε ότι μπορούμε να γράψουμε τη βέλτιστη απόφαση σαν

b1 = sgn(AtX − sgn(AtB)sgn(BtX)min|AtB|, |BtX|

).

Συγκρίνετε το τεστ αυτό με το τεστ προσαρμοσμένου φίλτρου (3.35) ως προς την πιθανότητασφάλματος, για διαφορετικές τιμές του σ2 και του εσωτερικού γινομένου AtB, υποθέτοντας ότι∥A∥ = ∥B∥ = 1.

3.15 : Στο Παράδειγμα 3.5 του Εδαφίου 3.6, δείξτε ότι το βέλτιστο τεστ συγκλίνει στην απόφαση

b1 = sgn(AtX)

όταν σ2 ≫ 1.

3.16 : Για το Παράδειγμα 3.5 του Εδαφίου 3.6 αντί να βρείτε το βέλτιστο κανόνα απόφασης για τοb1, κατασκευάστε το βέλτιστο τεστ που ελαχιστοποιεί την πιθανότητα σφάλματος για την επιλογήτου συνδυασμού (b1, b2). Βρείτε το βέλτιστο διαμελισμό του επιπέδου με άξονες (AtX,BtX).Εάν χρησιμοποιούσατε το εν λόγω τεστ για να αποφασίσετε μόνο για το b1 πως θα συνδυάζατετις περιοχές; Είναι το τεστ αυτό ίδιο με το βέλτιστο τεστ του Παραδείγματος 3.5; Αν όχι, πωςεξηγείτε τη διαφορά;

3.17 : Έστω παραμετρική πυκνότητα πιθανότητας 7(X, θ) και οι δύο υποθέσεις >0 : θ < 0 και>1 : θ > 0. ατασκευάστε τοπικά βέλτιστο τεστ που να διακρίνει μεταξύ των δύο υποθέσεων.Επιλέξτε το κατώφλι ώστε να ικανοποιείται ο περιορισμός των λανθασμένων συναγερμών γιαθ = 0 και δείξτε ότι το τεστ που κατασκευάσατε μεγιστοποιεί την παράγωγο της πιθανότηταςανίχνευσης και ελαχιστοποιεί την παράγωγο της πιθανότητας λανθασμένου συναγερμού στο θ =0. Τι συμπέρασμα εξάγετε όσον αφορά στην ικανοποίηση του περιορισμού για θ < 0;

3.18 : Στο Παράδειγμα 3.7, εξηγείστε το λόγο για τον οποίο ο υπολογισμός της πιθανότητας ανί-χνευσης με χρήση του ΟΘ αποτυγχάνει. Τι μπορείτε να πείτε για την περίπτωση που το s

αλλάζει με τον αριθμό των δεδομένων N με τον ακόλουθο τρόπο: s = s0/√N . Είναι τότε

η Gaussian προσέγγιση αξιόπιστη και γιατί;


3.19 : Στο Παράδειγμα 3.4 αποδείξτε ότι η Σχέση (3.31) ισχύει ασυμπτωτικά, δηλαδή ο λόγοςτης ακριβούς πιθανότητας σφάλματος ως προς την προσέγγιση ότι τείνει στη μονάδα καθώς οΣΘ τείνει στο άπειρο. Δείξτε επίσης ότι στο Σχήμα 3.15 η κλίση των καμπυλών ισούται με−0.5 sin2(π/K) log10 e.

3.20 : Στα πλαίσια εξέτασης σύνθετων υποθέσεων του Εδαφίου 3.6 θεωρείστε ότι έχετε δύο πυ-κνότητες κάτω από την υπόθεση >1 την 711(X) = N (1, 1) με αρχική πιθανότητα π1 = 0.2και την 712(X) = N (−1, 1) με αρχική πιθανότητα π2 = 0.8. Εάν η πυκνότητα πιθανότηταςκάτω από την >0 είναι η 70(X) = N (0, 1) σχεδιάστε τις δύο καμπύλες Χ Δ του τεστ (3.33) γιατις δύο πιθανές κατανομές κάτω από το >1 (η SA εξαρτάται από την κατανομή των δεδομένωνκάτω από την εναλλακτική υπόθεση). άντε τους ίδιους υπολογισμούς όταν χρησιμοποιήσετετο γενικευμένο τεστ του λόγου πιθανοφάνειας

maxi=1,2

πi71i(X)

70(X)

>1

!>0

λ

και συγκρίνετε τη σχετική συμπεριφορά των δύο κανόνων απόφασης, τι παρατηρείτε;

3.21 : Στο Παράδειγμα 3.10 εξετάστε τι θα συμβεί εάν εφαρμόσετε το γενικευμένο τεστ του λόγουπιθανοφάνειας και για την παράμετρο του πλάτουςA. Τι συμπέρασμα βγάζετε για το γενικευμένοτεστ, από την παρατήρησή σας αυτή;

3.22 : Επιλύστε το Παράδειγμα 3.9 χρησιμοποιώντας τα κριτήρια (3.53) και (3.54). Διαπιστώστεότι η δεύτερη εξίσωση της εξισορρόπησης δεν καταλήγει πλέον σε απλή σχέση όπως στην περί-πτωση του κριτηρίου (3.52). Επίσης αποδείξτε ότι όταν s1 = s2 (συμμετρική περίπτωση) τότετα τρία κριτήρια (3.52), (3.53), (3.54) είναι ισοδύναμα και, λόγω συμμετρίας, η βέλτιστη λύσηαντιστοιχεί στην επιλογή π∗

1 = π∗2 = 0.5.

3.23 : Επιλύστε το Παράδειγμα 3.9 χρησιμοποιώντας το κριτήριο (3.52) για την περίπτωση που ταs1, s2 δεν είναι γνωστά αλλά ικανοποιούν τις σχέσεις s1 ≥ s10 > 0 και s2 ≥ s20 > 0, όπου οιοριακές τιμές s10, s20 είναι γνωστές. Υπόδειξη: Αποδείξτε ότι ο βέλτιστος κανόνας συμπίπτει μεαυτόν του παραδείγματος με τη θέση των s1, s2 να παίρνουν τα γνωστά όρια s01, s02. Δείξτε ότιοποιαδήποτε άλλη τιμή των μέσων όρων s1, s2 βελτιώνει τη απόδοση του τεστ.

3.24 : Αποδείξτε ότι εάν στον κανόνα της (3.43) επιλέξουμε το κατώφλι να είναι ίσο προς λ =S(>0)S(>1)

, τότε το τεστ που προκύπτει είναι το Bayes το οποίο ελαχιστοποιεί την πιθανότητα σφάλ-ματος σε ένα πρόβλημα εξέτασης πολλαπλών υποθέσεων στο οποίο οι υποϋποθέσεις θεωρούνταιδιαφορετικές υποθέσεις. Υπόδειξη: Υποθέτοντας ότι οι αρχικές πιθανότητες των δύο κύριων υπο-θέσεων είναι S(>0),S(>1), βρείτε ποια είναι η πιθανότητα εμφάνισης κάθε υποπερίπτωσης.

3.25 : Για την περίπτωση του τεστ της προηγούμενης άσκησης, τι μπορείτε να πείτε όταν οι πιθα-νότητες α,β είναι τέτοιες, ώστε δεν υπάρχουν κατώφλια που ικανοποιούν λ0 ≤ λ1;

3.26 : Βρείτε τη μορφή του βέλτιστου Bayes τεστ όταν σε ένα πρόβλημα εξέτασης δύο υποθέσεωνεπιθυμούμε την ύπαρξη τεσσάρων επιλογών στις αποφάσεις μας. Γενικεύστε το αποτέλεσμα γιαK δυνατές επιλογές. Βρείτε κατάλληλες συνθήκες για τα κόστη ώστε να δημιουργούνται όλεςοι εν λόγω επιλογές.

4Βέλτιστη ανίχνευση σημάτων

4.1 ΕισαγωγικάΗ ανίχνευση σημάτων αποτελεί ειδική περίπτωση της θεωρίας εξέτασης υποθέσεων. Ταδεδομένα X = [χ1, . . . ,χN ]t θεωρούμε ότι ακολουθούν τις εξής δύο υποθέσεις

>0: X = S0 + W

>1: X = S1 + W ,

όπου Si = [si1, . . . , siN ]t σήματα και W = [w1, . . . , wN ]t αθροιστικός θόρυβος. Η συ-

νηθέστερη περίπτωση αντιστοιχεί στην επιλογή S0 = 0, στην οποία ενδιαφερόμαστε γιατην ανίχνευση του σήματος S1 παρουσία αθροιστικού θορύβου.

Τα σήματα Si εμφανίζονται με τρεις διαφορετικές μορφές. Εάν τα δύο σήματα είναιντετερμινιστικά και απολύτως γνωστά τότε εξετάζουμε το πρόβλημα της σύμφωνης ανί-χνευσης. Η δεύτερη περίπτωση αναφέρεται σε ντετερμινιστικά σήματα Si(Ai) τα οποίαείτε διαθέτουν άγνωστες παραμέτρουςAi ή τυχαίες παραμέτρουςAi για τις οποίες είναιγνωστή η εκ των προτέρων πυκνότητα πιθανότητας pAi(Ai) κάτω από κάθε υπόθεση.Οι τυχαίες παράμετροι Ai θεωρούνται ανεξάρτητες του θορύβου W . Η τρίτη περίπτω-ση περιλαμβάνει τυχαία σήματα τα οποία θα συμβολίζουμε με Si (για συμφωνία με τονσυμβολισμό που ακολουθείται). Στα σήματα της μορφής αυτής υποθέτουμε ότι είναιγνωστή η εκ των προτέρων πυκνότητα πιθανότητας fSi(S) κάτω από κάθε υπόθεση καιότι είναι επίσης ανεξάρτητα του αθροιστικού θορύβου W .

Πριν προχωρήσουμε με την ανάλυση κάθε περίπτωσης χωριστά ας παρουσιάσουμεκάποια κοινά χαρακτηριστικά του προβλήματος ανίχνευσης. Όσον αφορά στον αθροι-στικό θόρυβο W , είναι πολύ συνηθισμένο να θεωρείται ότι πρόκειται για τυχαίο διά-νυσμα το οποίο διαθέτει την ίδια κατανομή κάτω από τις δύο υποθέσεις. Η ειδική αυτήπερίπτωση θα αποτελέσει το βασικό μοντέλο θορύβου στα επόμενα εδάφια. Εάν fW (W )συμβολίζει την πυκνότητα πιθανότητας του διανύσματος θορύβου τότε η πυκνότητα πι-θανότητας fi(X), i = 0, 1, του διανύσματος δεδομένων X κάτω από την υπόθεσηHi,για σύμφωνη ανίχνευση γράφεται

fi(X) = fW (X − Si), i = 0, 1, (4.1)

92

4.1 Εισαγωγικά 93

ενώ το τεστ λόγου πιθανοφάνειας γίνεται

fW (X − S1)

fW (X − S0)

>1

!>0

λ. (4.2)

Το τεστ αυτό είναι απόλυτα υλοποιήσιμο αφού είναι γνωστές όλες οι αναγκαίες ποσότη-τες που το ορίζουν.

Όταν τα σήματα έχουν άγνωστες παραμέτρους τότε η (4.1) γράφεται

fi(X|Ai) = fW (X − Si(Ai)) (4.3)

σχέση που εκφράζει την πυκνότητα πιθανότητας με δεδομένο το Ai. Το τεστ λόγουπιθανοφάνειας (με δεδομένες τις παραμέτρους) γράφεται

fW (X − S1(A1))

fW (X − S0(A0))

>1

!>0

λ. (4.4)

Το εν λόγω τεστ δεν είναι πρακτικά υλοποιήσιμο αφού περιλαμβάνει άγνωστες παραμέ-τρους και σε επόμενο εδάφιο θα τύχει περαιτέρω ανάλυσης.

Όταν οι παράμετροι είναι τυχαίες, τότε η (4.3) εκφράζει την κατανομή των δειγμά-τωνX με δεδομένο ότι οι τυχαίες παράμετροιAi παίρνουν την τιμήAi = Ai, επομένωςβρισκόμαστε στην περίπτωση σύνθετων υποθέσεων και οι αντίστοιχες πυκνότητες πιθα-νότητας γράφονται

fi(X) =

∫fW (X − Si(Ai))pAi(Ai) dAi = 1Ai [fW (X − Si(Ai))], (4.5)

γεγονός που καταλήγει στο ακόλουθο τεστ λόγου πιθανοφάνειας

1A1 [fW (X − S1(A1))]

1A0 [fW (X − S0(A0))]

>1

!>0

λ. (4.6)

Φυσικά εναλλακτικός τρόπος επίλυσης του προηγούμενου προβλήματος αποτελεί το γε-νικευμένο τεστ λόγου πιθανοφάνειας το οποίο αποδίδει συγχρόνως και εκτίμηση τωναντίστοιχων παραμέτρων, δηλαδή

supA1fW (X − S1(A1))pA1(A1)

supA0fW (X − S0(A0))pA0(A0)

>1

!>0

λ. (4.7)

αι τα δύο τεστ είναι πρακτικά υλοποιήσιμα διότι όλες οι ποσότητες είναι γνωστές ή δύ-νανται να υπολογιστούν.

94 Κεφάλαιο 4 :Βέλτιστη ανίχνευση σημάτων

Για την περίπτωση στοχαστικών σημάτων Si, λόγω ανεξαρτησίας τους από το διά-νυσμα θορύβου, η (4.1) εκφράζει την πυκνότητα πιθανότητας των δειγμάτων X με δε-δομένο ότι Si = Si, συνεπώς

fi(X) =

∫fW (X − S)fSi(S) dS = 1Si [fW (X − Si)], (4.8)

με αντίστοιχο τεστ λόγου πιθανοφάνειας

1S1 [fW (X − S1)]

1S0 [fW (X − S0)]

>1

!>0

λ. (4.9)

Εάν θεωρήσουμε τα δύο σήματα σαν τυχαίες παραμέτρους (αφού πρόκειται για διανύ-σματα πεπερασμένου μήκους), είναι και πάλι δυνατό να εφαρμόσουμε το γενικευμένοτεστ πιθανοφάνειας το οποίο εκτός από επιλογή της υπόθεσης θα κάνει και εκτίμηση τουίδιου του σήματος, δηλαδή

supS1fW (X − S1)fS1(S1)

supS0fW (X − S0)fS0(S0)

>1

!>0

λ. (4.10)

Παρατηρούμε ότι σύμφωνα με τις υποθέσεις που έχουν γίνει, τα δύο τελευταία τεστ είναιπρακτικά υλοποιήσιμα.

Τα τεστ στα οποία καταλήξαμε αποτελούν άμεση συνέπεια της γενικής θεωρίας εξέ-τασης υποθέσεων του προηγουμένου κεφαλαίου. Είναι συνεπώς ξεκάθαρο ότι για ναεπιτευχθεί περαιτέρω ανάλυση είναι απαραίτητο να γίνουν επιπλέον εξειδικεύσεις. Γιατο λόγο αυτό, στη συνέχεια θα εξετάσουμε ειδικές περιπτώσεις συνδυασμών σημάτωνκαι θορύβου οι οποίες εμφανίζονται σε σημαντικά προβλήματα ανίχνευσης. Η σημα-σία των αποτελεσμάτων αυτών είναι τόσο μεγάλη ώστε να δικαιολογείται η ύπαρξη τουπαρόντος ανεξάρτητου κεφαλαίου.

4.2 Σύμφωνη ανίχνευση σημάτωνΗ σύμφωνη ανίχνευση σημάτων αποτελεί το συνηθέστερο πρόβλημα ανίχνευσης στηνπράξη. Στη συνέχεια θα εξειδικεύσουμε το πρόβλημα αυτό περαιτέρω και θα εξετάσουμετην περίπτωση ανίχνευσης γνωστού σταθερού σήματος σε α.ι.κ. θόρυβο. Η ειδική αυτήπερίπτωση θα τύχει εκτενούς ανάλυσης επειδή θα αποτελέσει πρότυπο για την επίλυσηγενικότερων προβλημάτων που περιλαμβάνουν μη σταθερά σήματα σε θόρυβο.

4.2.1 Σύμφωνη ανίχνευση σταθερού σήματος σε α.ι.κ. θόρυβοΣτο εδάφιο αυτό υποθέτουμε ότιS0 = 0 καιS1 = [s, . . . , s], όπου s γνωστή παράμετρος.ε άλλα λόγια οι δύο υποθέσεις που μας ενδιαφέρουν είναι οι εξής

4.2 Σύμφωνη ανίχνευση σημάτων 95

Σχήμα 4.1 : Σχηματική αναπαράσταση συστήματος ανίχνευσης σταθερού σήματος σε α.ι.κ. θόρυ-βο.

H0: χn = wn

H1: χn = s+ wn, n = 1, . . . , N,

όπου wn είναι α.ι.κ. δείγματα με την ίδια πυκνότητα πιθανότητας fw(w). Σύμφωνα μετις υποθέσεις αυτές, το βέλτιστο τεστ (4.2) γράφεται

N∏

n=1

fw(xn − s)

fw(xn)

>1

!>0

λ,

ή λογαριθμώνταςN∑

n=1

log(fw(xn − s)

fw(xn)

) >1

!>0

log(λ) = η.

Εάν ορίσουμε τη συνάρτηση

ϕ(x) = log(fw(x− s)

fw(x)

)

τότε το βέλτιστο τεστ παίρνει την απλή μορφή

N∑

n=1

ϕ(xn)>1

!>0

η, (4.11)

που αντιστοιχεί στην εφαρμογή του (εν γένει) μη γραμμικού μετασχηματισμού ϕ(x)σε κάθε δείγμα xn, άθροισης των μετασχηματισμένων δειγμάτων και τέλος σύγκρισηςτου αθροίσματος με ένα κατώφλι. Η μέθοδος που μόλις περιγράψαμε παρουσιάζεταιστο Σχήμα 4.1 το οποίο αποτελεί τον κλασικό τρόπο σχηματικής αναπαράστασης τηςδιαδικασίας ανίχνευσης σταθερού σήματος σε α.ι.κ. θόρυβο στη βιβλιογραφία.

Στη συνέχεια θα εξειδικεύσουμε το σύστημα που περιγράψαμε για διάφορα είδη θο-ρύβου και θα υπολογίσουμε τη μη γραμμικότητα ϕ(x) για Gaussian θόρυβο καθώς καιτύπου Laplace ή Cauchy. Στο ΕδάφιοΑ.5 του ΠαραρτήματοςΑ, υπάρχουν οι αντίστοι-χες πυκνότητες πιθανότητας.


Συμμετρικόςθόρυβος: Θα παρουσιάσουμε κατ’ αρχάς ένα εναλλακτικό σύστημα ανίχνευσηςτο οποίο μπορεί να εφαρμοστεί στην περίπτωση συμμετρικών θορύβων στους οποίους ηπυκνότητα πιθανότητας είναι άρτια συνάρτηση, ικανοποιεί δηλαδή τη σχέση fw(−w) =fw(w). Παρατηρούμε τότε ότι η μη γραμμικότητα ϕ(x) γράφεται

ϕ(x) = log(fw(x− s)

fw(x)

)= log

(fw(sgn(s)x− |s|)

fw(sgn(s)x)

)= log

(fw(x− |s|

2 )

fw(x+ |s|2 )

)

όπου x = sgn(s)x− |s|2 = sgn(s)(x− s

2).

Το βέλτιστο τεστ (4.11), εάν το διαιρέσουμε με τη σταθερή ποσότητα 2|f ′w(

|s|2 )|/fw(

|s|2 )

γράφεταιN∑

n=1

ψ(xn)>1

!>0

ηfw(

|s|2 )

2|f ′w(

|s|2 )|

= ν (4.12)

όπου xn = sgn(s)(xn − s2) και

ψ(x) =fw(

|s|2 )

2|f ′w(

|s|2 )|

log

(fw(x− |s|

2 )

fw(x+ |s|2 )

). (4.13)

Η γραφική αναπαράσταση του εναλλακτικού αυτού συστήματος ανίχνευσης παρουσιά-ζεται στο Σχήμα 4.2. Θα πρέπει να σημειώσουμε ότι η διαίρεση με τη σταθερά 2|f ′

w(|s|2 )|/fw(

|s|2 )

Σχήμα 4.2 : Εναλλακτικό σύστημα ανίχνευσης σταθερού σήματος σε α.ι.κ. συμμετρικό θόρυβο.

δεν είναι αναγκαία. Εφαρμόστηκε ώστε να επιβληθεί κάποια μορφή κανονικοποίησηςστη συνάρτηση ψ(x), η οποία θα καταστεί απαραίτητη στη συνέχεια για λόγους σύγκρι-σης. ε την εν λόγω κανονικοποίηση, για τις πιο ενδιαφέρουσες περιπτώσεις τυχαίωνμεταβλητών, εξασφαλίζεται ότι ψ′(0) = 1. Επιπλέον παρατηρούμε ότι η συνάρτησηψ(x) είναι περιττή αφού ψ(−x) = −ψ(x). Ας εξετάσουμε τώρα τη μορφή που παίρνειτο εναλλακτικό σύστημα ανίχνευσης όταν ο θόρυβος είναι Gaussian, Laplace ή Cauchy.

Gaussian θόρυβος: Στην περίπτωση αυτή έχουμε fw(w) = 1√2πσ2

e−1

2σ2w2

, οπότε οι συ-ναρτήσεις ϕ(x),ψ(x) έχουν την ειδική μορφή

ϕ(x) =s

σ2

(x− s

2

), ψ(x) = x. (4.14)


Όσον αφορά στο εναλλακτικό τεστ (4.12) στην Gaussian περίπτωση γίνεται

N∑

n=1

sgn(s)(xn − s

2

) >1

!>0

ησ2

|s| = ν,

ενώ η αναπαράσταση του Σχήματος 4.2 απλοποιείται σε αυτή του Σχήματος 4.3, αφού ησυνάρτηση ψ(x) μπορεί να παραληφθεί. Είναι επίσης εύκολο να διαπιστωθεί ότι το τεστ

Σχήμα 4.3 : Εναλλακτικό σύστημα ανίχνευσης σταθερού σήματος σε α.ι.κ. Gaussian θόρυβο.

απλοποιείται περαιτέρω με τη μεταφορά του όρουN |s|2 στο δεξιό μέλος του κατωφλίου.

Το τεστ που προκύπτει γράφεται

N∑

n=1

sgn(s)xn>1

!>0

N|s|2

+ ησ2

|s| = τ ή

(N∑

n=1

xn

)sgn(s)

>1

!>0

τ,

όπου με τη δεύτερη μορφή αντικαθίστανται οιN αλλαγές προσήμου με μια και τα αντί-στοιχα συστήματα ανίχνευσης παρουσιάζονται στο Σχήμα 4.4(α),(β). Διαπιστώνεται ότιλόγω της γραμμικότητας των συναρτήσεων ϕ(x),ψ(x) το σύστημα ανίχνευσης απλο-ποιείται σημαντικά σε σχέση με τις γενικές περιπτώσεις των Σχημάτων 4.1 ή 4.2. Θαπρέπει τέλος να σημειώσουμε ότι με το σύστημα του Σχήματος 4.4 απαιτείται η γνώση

Σχήμα 4.4 : Απλοποιημένο σύστημα ΟΠ ανίχνευσης σταθερού σήματος σε α.ι.κ. Gaussian θόρυ-βο.

μόνο του προσήμου του s και όχι του πλάτους του, ενώ για τον υπολογισμό του κατω-φλίου τ είναι απαραίτητη και η διασπορά σ2 του θορύβου. Πρόκειται δηλαδή για ένα


ΟΠ τεστ ως προς την απόλυτη τιμή |s| του σήματος. Το αποτέλεσμα αυτό αποτελείγενίκευση του Παραδείγματος 3.6.ΘόρυβοςLaplace: ΗLaplace πυκνότητα πιθανότητας δίνεται από τον τύπο fw(w) = µ

2 e−µ|w|,

µ > 0 με αποτέλεσμα οι μη γραμμικότητες ϕ(x),ψ(x) να παίρνουν την ειδική μορφή

ϕ(x) =

⎧⎨

⎩

−µ|s| για sgn(s)x ≤ 0µ2sgn(s)x− |s| για 0 ≤ sgn(s)x ≤ |s|

µ|s| για |s| ≤ sgn(s)x,

ψ(x) =

⎧⎪⎨

⎪⎩

− |s|2 για x ≤ − |s|

2

x για − |s|2 ≤ x ≤ |s|

2|s|2 για |s|

2 ≤ x.

(4.15)

Στην περίπτωση αυτή δεν επιτυγχάνεται καμία περαιτέρω απλοποίηση και το σύστημαανίχνευσης είναι αυτό του Σχήματος 4.2.Θόρυβος Cauchy: Η πυκνότητα πιθανότητας της τυχαίας αυτής μεταβλητής δίνεται από τοντύπο fw(w) = σ

π1

σ2+x2 , γεγονός που οδηγεί στις εξής μη γραμμικότητες

ϕ(x) = log(

σ2 + x2

σ2 + (x− s)2

), ψ(x) =

4σ2 + s2

8|s| log

(σ2 + (x+ |s|

2 )2

σ2 + (x− |s|2 )

2

). (4.16)

Ποιοτική ερμηνεία των αποτελεσμάτωνΣτο Σχήμα 4.5 παρουσιάζονται οι τρεις συναρτήσειςψ(x) από τις Εξισώσεις (4.14), (4.15),(4.16) για την περίπτωση Gaussian (μαύρη), Laplace (γκρίζα) και Cauchy (κυανή σκια-σμένη) θορύβου. Παρατηρούμε ότι η συνεισφορά κάθε δείγματος xn = sgn(s)(xn− s

2)

Σχήμα 4.5 : Η συνάρτηση ψ(x) για θόρυβο: Gaussian (μαύρη), Laplace (γκρίζα) και Cauchy(κυανή σκιασμένη).

στο άθροισμα του τεστ (4.12) και επομένως στην ίδια την τελική απόφαση εξαρτάταιαπό την τιμή του μετασχηματισμού ψ(xn). Στην Gaussian περίπτωση τα δείγματα xnδεν μετασχηματίζονται αφού ψ(x) = x, επομένως συμμετέχουν στο τεστ γραμμικά ως


προς το μέγεθός τους. Στην περίπτωση του θορύβου Laplace η γραμμικότητα ισχύειμόνο στο εσωτερικό του διαστήματος [− |s|

2|s|2 ]. Εάν το δείγμα xn είναι εκτός του δια-

στήματος αυτού τότε η συνεισφορά του περιορίζεται στις τιμές± |s|2 . ε άλλα λόγια, για

θόρυβο Laplace οι μεγάλες τιμές των δειγμάτων xn λαμβάνονται μεν υπόψη αλλά συμ-μετέχουν με ένα σταθερό ποσοστό στο άθροισμα του τεστ. Η κατάσταση γίνεται πολύπιο ενδιαφέρουσα στην περίπτωση του θορύβου Cauchy. Παρατηρούμε ότι τα δείγματασυνεισφέρουν (σχεδόν) γραμμικά με το μέγεθός τους εφόσον βρίσκονται στο διάστημα[− |s|

2|s|2 ], αλλά από εκεί και μετά όσο μεγαλύτερο είναι ένα δείγμα τόσο μικρότερη γί-

νεται η συνεισφορά του στο άθροισμα του τεστ, επειδή η συνάρτηση ψ(x) φθίνει στομηδέν.

Σχήμα 4.6 : Πυκνότητα πιθανότητας Gaussian τυχαίας μεταβλητής καθώς και τύπου Laplace καιCauchy. Στη λεπτομέρεια, σχετικό μέγεθος ουρών.

Συμπερασματικά, εκτός της Gaussian περίπτωσης, στα άλλα δύο είδη θορύβων εμ-φανίζεται να υπάρχει μια δυσπιστία όσον αφορά στις υψηλές τιμές των δειγμάτων. Η δυ-σπιστία εκφράζεται περισσότερο έντονα στο θόρυβο Cauchy, λιγότερο στον Laplace καικαθόλου στον Gaussian. Το γεγονός αυτό μπορεί να εξηγηθεί εάν παρατηρήσουμε τιςπυκνότητες πιθανότητας των θορύβων στο Σχήμα 4.6. Στη μεγέθυνση παρουσιάζονταιοι λεγόμενες “ουρές” κάθε συνάρτησης. Παρατηρούμε ότι η Gaussian έχει τις λιγότεροπαχιές ουρές, ακολουθεί η Laplace και τέλος η Cauchy, η οποία διαθέτει τις περισσότεροπαχιές ουρές. Επειδή σε μια τυχαία μεταβλητή χ ισχύει ότι Sχ ≥ τ =

∫∞τ fχ(x) dx,

γίνεται κατανοητό ότι όσο πιο παχιές είναι οι ουρές σε μια πυκνότητα πιθανότητας, τόσοσυχνότερα η τυχαία μεταβλητή παρουσιάζει ακραίες (μεγάλες) τιμές. Αυτό οδηγεί στηνακόλουθη πρόταση:

Ανίχνευση σήματος σε θόρυβο με παχιές ουρές : Στην περίπτωση θορύβου με πα-χιές ουρές, μια μεγάλη τιμή δείγματος οφείλεται περισσότερο συχνά στονίδιο το θόρυβο και λιγότερο στην παρουσία σήματος.

Η διαπίστωση αυτή προτρέπει σε συντηρητική μεταχείριση των ακραίων δειγμάτων, γε-γονός το οποίο υλοποιείται μέσω της αντίστοιχης συνάρτησης ψ(x) η οποία στην πε-ρίπτωση θορύβων με παχιές ουρές, παίρνει μικρές τιμές για μεγάλα x. Αυτό έχει σαν


Σχήμα 4.7 : Σχηματική αναπαράσταση συστήματος ανίχνευσης σημάτων σε ανεξάρτητο θόρυβο.

αποτέλεσμα ακραία δείγματα xn να λαμβάνονται ελάχιστα υπόψη στο βέλτιστο τεστ(4.12).

4.2.2 Σύμφωνη ανίχνευση σημάτων σε ανεξάρτητο θόρυβοΣτο παρόν εδάφιο θα εξετάσουμε τη γενική περίπτωση ανίχνευσης σημάτων σε θόρυβοτου οποίου τα δείγματα είναι μεν ανεξάρτητα αλλά όχι υποχρεωτικά της ίδιας κατανομής.όγω ανεξαρτησίας των δειγμάτων του θορύβου, το τεστ λόγου πιθανοφάνειας (4.2)

γράφεταιN∏

n=1

fn(xn − s1n)

fn(xn − s0n)

>1

!>0

λ,

όπου fn(w) είναι η πυκνότητα πιθανότητας του n-οστού δείγματος θορύβου και sin είναιτο n-οστό δείγμα του σήματος Si (το γνωστό σήμα κάτω από την υπόθεση Hi). Εάνλογαριθμήσουμε την προηγούμενη σχέση έχουμε την ισοδύναμη μορφή του βέλτιστουτεστ

N∑

n=1

ϕn(xn)>1

!>0

log(λ) = η

όπου η συνάρτηση ϕn(x) εξαρτάται από το δείκτη n και ορίζεται από τη σχέση

ϕn(x) = log(fn(x− s1n)

fn(x− s0n)

).

Η γραφική αναπαράσταση της διαδικασίας ανίχνευσης παρουσιάζεται στο Σχήμα 4.7και, όπως είναι αναμενόμενο, παρουσιάζει σημαντικές ομοιότητες με αυτή του Σχήμα-τος 4.1. Η μόνη διαφορά έγκειται στο γεγονός ότι η μη γραμμικότητα ϕn(x) δεν είναιπλέον σταθερή αλλά εξαρτάται από το δείκτη n. Η εξάρτηση αυτή υπάρχει ακόμη καιόταν τα δείγματα θορύβου έχουν την ίδια κατανομή fw(w) αφού

ϕn(x) = log(fw(x− s1n)

fw(x− s0n)

).


Εάν οι πυκνότητες πιθανότητας fn(w) είναι άρτιες συναρτήσεις τότε μπορούμε ναγράψουμε το τεστ με τον ακόλουθο ισοδύναμο τρόπο

N∑

n=1

ψn (xn)>1

!>0

η (4.17)

όπου xn = sgn(δn)(xn − dn2 ) και

δn = s1n − s0n, dn = s1n + s0n, ψn(x) = log

⎛

⎝fn(x− |δn|

2

)

fn(x+ |δn|

2

)

⎞

⎠ .

Η γραφική αναπαράσταση του συστήματος ανίχνευσης για συμμετρικό θόρυβο παρου-σιάζεται στο Σχήμα 4.8 και όπως διαπιστώνεται υπάρχουν σημαντικές ομοιότητες μεαυτό του Σχήματος 4.2.Παράδειγμα4.1 : α προσδιοριστεί το βέλτιστο σύστημα ανίχνευσης σημάτων σε ανεξάρτητοGaussianθόρυβο και να γίνουν οι απαραίτητες απλοποιήσεις όπου αυτό είναι δυνατό.

Εάν fn(w) = 1√2πσ2

n

e− 1

2σ2nw2

τότε κάνοντας αντικατάσταση στην (4.17) το τεστ γράφεται

N∑

n=1

s1n − s0nσ2n

(xn − s1n + s0n

2

) >1

!>0

η.

εταφέροντας στο δεξιό μέλος τις σταθερές ποσότητες μπορούμε επίσης να γράψουμε

N∑

n=1

s1n − s0nσ2n

xn

>1

!>0

η +1

2

N∑

n=1

(s1n)2 − (s0n)

2

σ2n

= τ,

πράγμα που καταλήγει στο σύστημα του Σχήματος 4.9.

4.2.3 Σύμφωνη ανίχνευση σημάτων σε εξαρτημένο Gaussian θόρυβοΟGaussian θόρυβος είναι ίσως μια από τις ελάχιστες περιπτώσεις στις οποίες είναι δυνα-τή η εξαγωγή αναλυτικών αποτελεσμάτων όταν τα δείγματα θορύβου είναι εξαρτημένα.

Σχήμα 4.8 : Σχηματική αναπαράσταση εναλλακτικού συστήματος ανίχνευσης σημάτων για ανε-ξάρτητο, συμμετρικό θόρυβο.


Σχήμα 4.9 : Απλοποιημένο σύστημα ανίχνευσης σημάτων σε ανεξάρτητο Gaussian θόρυβο.

Αναμφίβολα πρωτεύοντα ρόλο στο γεγονός αυτό παίζει η ύπαρξη της απλής αναλυτι-κής μορφής της από κοινού πυκνότητας πιθανότητας ενός Gaussian διανύσματος (βλέπεΠαράρτημαΑ, ΕδάφιοΑ.5). Θα υποθέσουμε λοιπόν ότι το διάνυσμα θορύβου W είναιGaussian N (0,ΣW ), με μέση τιμή μηδέν και μήτρα συνδιασποράς ΣW .

Το βέλτιστο τεστ (4.2) μετά από λογαρίθμηση γίνεται

XtΣ−1W (S1 − S0)−

1

2

St1Σ

−1W S1 − St

0Σ−1W S0

>1

!>0

η

και μεταφέροντας τις γνωστές ποσότητες στην πλευρά του κατωφλίου καταλήγουμε

XtΣ−1W (S1 − S0)

>1

!>0

η +1

2

St1Σ

−1W S1 − St

0Σ−1W S0

= τ. (4.18)

Το τεστ που προέκυψε, παρατηρούμε ότι είναι ένα τεστ συσχέτισης, δηλαδή το διάνυσμαδεδομένωνX συσχετίζεται με το σταθερό διάνυσμα∆ = Σ−1

W (S1−S0) = [δ1, . . . , δN ]t

και το αποτέλεσμα συγκρίνεται με το κατώφλι τ . Το αντίστοιχο σύστημα φαίνεται στοΣχήμα 4.10.

Σχήμα 4.10 : Σύστημα ανίχνευσης σημάτων σε εξαρτημένο Gaussian θόρυβο.

Ένας διαφορετικός τρόπος προσέγγισης του προβλήματος ο οποίος βασίζεται στησημαντική ιδιότητα των Gaussian μεταβλητών ότι όταν είναι ασυσχέτιστες είναι και ανε-ξάρτητες, συνίσταται στην προλεύκανση των δειγμάτων. ΕάνX το τυχαίο διάνυσμα των


δεδομένων και ορίσουμε X = Σ− 1

2W X , όπου υποθέτουμε ότι η μήτρα συνδιασποράς

ΣW είναι αντιστρέψιμη, τότε τα δύο διανύσματα X , X περιέχουν ακριβώς την ίδιαπληροφορία αφού από το ένα μπορούμε να ανακτήσουμε το άλλο και αντίστροφα. Αντίεπομένως να χρησιμοποιήσουμε το διάνυσμαX για να πάρουμε μια απόφαση, μπορού-με να χρησιμοποιήσουμε το X .

Ας εξετάσουμε κατ’ αρχάς τη στατιστική συμπεριφορά του X κάτω από τις δύουποθέσεις. Έχουμε ότι

X = Σ− 1

2W X = Σ

− 12

W (Si + W ) = Si + W

όπου Si = Σ− 1

2W Si = [si1, . . . , s

iN ]t αποτελούν γνωστά διανύσματα και W = Σ

− 12

W Wένα Gaussian διάνυσμα με μηδενική μέση τιμή και μήτρα συνδιασποράς

1[W W t] = Σ− 1

2W 1[W W t]Σ

− 12

W = Σ− 1

2W ΣW Σ

− 12

W = I.

Οι όροι του διανύσματος W , όπως παρατηρούμε, είναι ασυσχέτιστοι και αφού είναιGaussian θα είναι και ανεξάρτητοι. Επομένως, με τα μετασχηματισμένα δείγματα Xείναι δυνατό να εφαρμόσουμε τις τεχνικές των προηγουμένων εδαφίων όπου τα δείγματατου θορύβου είχαν υποτεθεί ανεξάρτητα. Ουσιαστικά μπορούμε να χρησιμοποιήσουμετα αποτελέσματα του Παραδείγματος 4.1 και το τεστ που προκύπτει γράφεται με τηνακόλουθη μορφή

N∑

n=1

(s1n − s0n)xn

>1

!>0

τ,

όπου X = Σ− 1

2W X = [x1, . . . , xN ]t. Το αντίστοιχο σύστημα ανίχνευσης παρουσιάζεται

στο Σχήμα 4.11.

Σχήμα 4.11 : Σύστημα ανίχνευσης σημάτων σε εξαρτημένο Gaussian θόρυβο με διαδικασία προ-λεύκανσης.

Είναι επίσης δυνατό να καταλήξουμε άμεσα στο ίδιο αποτέλεσμα μέσω του αρχικού


τεστ (4.18) παρατηρώντας ότι

XtΣ−1W (S1 − S0) = (Σ

− 12

W X)tΣ− 1

2W (S1 − S0) = Xt(S1 − S0)

=N∑

n=1

xn(s1n − s0n)

>1

!>0

τ.

Η πορεία όμως αυτή δεν εμβαθύνει στην ενδιαφέρουσα διαδικασία της προλεύκανσης,η οποία βρίσκει εφαρμογή και σε άλλα σημαντικά προβλήματα.

Για την περίπτωση αυτή είναι επίσης απλό να υπολογίσουμε τις πιθανότητες ανί-χνευσης και εσφαλμένου συναγερμού. Εάν καλέσουμε χ = X tΣ−1

W (S1 − S0) τότεκάτω από την υπόθεση Hi

χ ∼ N(StiΣ

−1W (S1 − S0), (S1 − S0)

tΣ−1W (S1 − S0)

).

Από αυτό συνάγεται ότι

SA = S(χ ≥ τ |>1) = 1− Φ

⎛

⎝ τ − St1Σ

−1W (S1 − S0)√

(S1 − S0)tΣ−1W (S1 − S0)

⎞

⎠

SEΣ = S(χ ≥ τ |>0) = 1− Φ

⎛

⎝ τ − St0Σ

−1W (S1 − S0)√

(S1 − S0)tΣ−1W (S1 − S0)

⎞

⎠ .

Είναι επίσης δυνατό να γράψουμε

SA = 1− Φ(τ − d), SEΣ = 1− Φ(τ) (4.19)

όπου

τ =τ − St

0Σ−1W (S1 − S0)√

(S1 − S0)tΣ−1W (S1 − S0)

, d =√(S1 − S0)tΣ

−1W (S1 − S0),

γεγονός που επιτρέπει το σχεδιασμό των καμπυλών Χ Δ με παράμετρο την d. Τοαποτέλεσμα συμπίπτει ακριβώς με αυτό του Σχήματος 3.17 όπου το ρόλο της παραμέ-τρου d παίζει η ποσόσητα

√Ns. Η ποσότητα d2 παίζει το ρόλο λόγου (ισχύος) σήματος

προς θόρυβο ( ΣΘ). Αυτό γίνεται άμεσα εμφανές στην περίπτωση που ο θόρυβος είναια.ι.κ. οπότε d2 = ∥S1−S0∥2

σ2 που αποτελεί όντως λόγο ισχύος του σήματος διαφοράς προςτην ισχύ του θορύβου. Από το Σχήμα 3.17 συμπεραίνεται τέλος ότι, για σταθερή πιθα-νότητα εσφαλμένου συναγερμού, η πιθανότητα ανίχνευσης αυξάνει όσο βελτιώνεται οΣΘ, το οποίο αποτελεί ένα πρακτικά εύλογο και αναμενόμενο αποτέλεσμα.

Παράδειγμα 4.2 : Θεωρώντας ότι υπάρχει η δυνατότητα επιλογής των σημάτων S0, S1, επιθυμούμενα βρούμε τα σήματα εκείνα τα οποία μεγιστοποιούν την απόδοση του βέλτιστου ανιχνευτή. Θα


υποθέσουμε ότι κάτω από κάθε υπόθεση το αντίστοιχο σήμα Si έχει ισχύ η οποία δεν ξεπερνάμια προκαθορισμένη ποσότητα pi, δηλαδή ∥Si∥2 ≤ pi, i = 0, 1. Επίσης θα θεωρήσουμε για τημήτρα συνδιασποράς ΣW του θορύβου ότι είναι γνωστή.

Για τεστ τύπου Neyman-Pearson, όπως διαπιστώνεται από την (4.19), για δεδομένη πιθανό-τητα εσφαλμένου συναγερμού (ισοδύναμα τ ), αρκεί να μεγιστοποιήσουμε την ποσότητα d2 =(S1 − S0)tΣ

−1W (S1 − S0). Αντίστοιχο συμπέρασμα εξάγουμε και για την περίπτωση του βέλτι-

στου εξισορροπημένου τεστ. Έχουμε ότι πρέπει το τ να είναι τέτοιο, ώστε SEΣ = SAΠ δηλαδήΦ(τ−d) = 1−Φ(τ) το οποίο συμβαίνει όταν τ−d = −τ ή τ = d

2 . Η επιλογή αυτή αποδίδει εξι-σορροπημένη πιθανότητα σφάλματος ΠΣ = SEΣ = SAΠ = 1−Φ(d2 ) η οποία ελαχιστοποιείται,όπως και προηγουμένως, όταν γίνει μέγιστο το d.

Προκειμένου να μεγιστοποιήσουμε την ποσότητα d είναι απαραίτητο να ανακαλέσουμε μιααπλή ιδιότητα των συμμετρικών μητρών. Εάν Q συμμετρική μήτρα τότε για κάθε διάνυσμα Xείναι γνωστό ότι ισχύει

λmin(Q)∥X∥2 ≤ XtQX ≤ λmax(Q)∥X∥2 (4.20)

όπου λmax(Q),λmin(Q) συμβολίζουν τη μεγαλύτερη και τη μικρότερη ιδιοτιμή της Q. σότηταέχουμε στην αριστερή (ισοδ. δεξιά) ανισότητα όταν και μόνον όταν τοX είναι ιδιοδιάνυσμα τηςQ που αντιστοιχεί στην ιδιοτιμή λmin(Q) (ισοδ. λmax(Q)).

Χρησιμοποιώντας την ιδιότητα που μόλις παρουσιάστηκε, αποδεικνύονται τα κάτωθι

d2 = (S1 − S0)tΣ−1

W (S1 − S0)

≤ λmax(Σ−1W )∥S1 − S0∥2 =

∥S1 − S0∥2

λmin(ΣW )

≤ (∥S1∥+ ∥S0∥)2

λmin(ΣW )

≤(√p1 +

√p0)2

λmin(ΣW ).

Παρατηρούμε ότι εφαρμόστηκε η ιδιότητα που αναφέραμε στην πρώτη ανισότητα. ατόπινχρησιμοποιήθηκε το γεγονός ότι οι μήτρες ΣW ,Σ−1

W έχουν αντίστροφες ιδιοτιμές (και τα ίδιαιδιοδιανύσματα), τέλος εφαρμόστηκε η τριγωνική ανισότητα του μέτρου ∥x− y∥ ≤ ∥x∥+ ∥y∥.Η τελευταία ποσότητα που υπολογίστηκε αποτελεί άνω όριο στην τιμή του d2. Το ερώτημα είναικατά πόσο υπάρχουν επιλογές των σημάτων S0, S1 οι οποίες το πετυχαίνουν.

Για να ισχύσει η πρώτη ανισότητα σαν ισότητα θα πρέπει η διαφορά S1 − S0 να αποτελείιδιοδιάνυσμα της ΣW που να αντιστοιχεί στη μικρότερη ιδιοτιμή της λmin(ΣW ), ενώ για ναέχουμε ισότητα στην τριγωνική ανισότητα θα πρέπει τα δύο σήματα να είναι συγγραμμικά. Απότις δύο αυτές παρατηρήσεις συνάγεται ότι και τα δύο σήματα S0, S1 πρέπει να είναι συγγραμμικάτου ιδιοδιανύσματος τηςΣW το οποίο αντιστοιχεί στην μικρότερη ιδιοτιμή λmin(ΣW ). Πράγματιεάν S είναι το ιδιοδιάνυσμα αυτό, δηλαδή

ΣW S = λmin(ΣW )S, ισοδύναμα Σ−1W S =

1

λmin(ΣW )S,

τότε είναι εύκολο να διαπιστώσουμε ότι επιλέγοντας

S1 =√p1

S

∥S∥ , S0 = −√p0

S

∥S∥


το αντίστοιχο d2 συμπίπτει με το άνω όριο. Η προηγούμενη επομένως επιλογή είναι η καλύτερηδυνατή.

Διαφορετικός Gaussian θόρυβος κάτω από κάθε υπόθεσηόγω της μεγάλης σημασίας που έχει το Gaussian μοντέλο θορύβου στην πράξη, θα

εξετάσουμε στο σημείο αυτό το γενικότερο πρόβλημα ανίχνευσης στο οποίο ο θόρυβοςδεν έχει την ίδια κατανομή κάτω από τις δύο υποθέσεις. ε άλλα λόγια θα υποθέσουμεότι ο θόρυβος W είναι N (0,Σi) κάτω από την υπόθεση Hi. σοδύναμα μπορούμε ναθεωρήσουμε ότι το διάνυσμα δεδομένων X είναι N (Si,Σi), όπου Σi, i = 0, 1, οιμήτρες συνδιασποράς του θορύβου κάτω από κάθε υπόθεση. Οι εν λόγω μήτρες δενθεωρούνται υποχρεωτικά ίσες.

Το τεστ του λόγου πιθανοφάνειας, μετά από λογαρίθμηση και μεταφορά των σταθε-ρών όρων στην πλευρά του κατωφλίου, γράφεται

Xt(Σ−11 S1 − Σ−1

0 S0) +1

2Xt(Σ−1

0 − Σ−11 )X

>1

!>0

τ (4.21)

όπου το κατώφλι τ σχετίζεται με το αρχικό κατώφλι λ μέσω της εξίσωσης

τ = log(λ) +1

2

St1Σ

−11 S1 − St

0Σ−10 S0 + log

(|Σ1||Σ0|

),

όπου |Σ| συμβολίζει την ορίζουσα της μήτρας Σ.Το τεστ (4.21) που προέκυψε διαφέρει σημαντικά από το αντίστοιχο της (4.18) όπου

ο θόρυβος είναι κοινός κάτω από τις δύο υποθέσεις. Στην (4.18) τα δεδομένα χρησιμο-ποιούνται με γραμμικό τρόπο κάτι που δεν συμβαίνει στην (4.21) η οποία περιλαμβάνεικαι γινόμενα ανά δύο των δειγμάτων μεταξύ τους. Η διαφορά αυτή δημιουργεί με τησειρά της τελείως διαφορετικούς διαμελισμούς του χώρου RN όσον αφορά στα σύνολααπόφασης των δύο τεστ. ατ’ αρχάς η (4.18), λόγω γραμμικότητας, διαμελίζει το χώροσε δύο ημιχώρους με τη βοήθεια του υπερεπιπέδου XtΣ−1

W (S1 − S0) = τ . Στην (4.21)από την άλλη πλευρά η υπερεπιφάνειαXt(Σ−1

1 S1−Σ−10 S0)+

12X

t(Σ−10 −Σ−1

1 )X = τμπορεί να έχει πολλές διαφορετικές μορφές ξεκινώντας από υπερέλλειψη (ότανΣ0 < Σ1

ή Σ0 > Σ1) και καταλήγοντας σε υπερεπιφάνειες που είναι συνδυασμός υπερελλείψεωνκαι υπερυπερβολών όταν δεν υπάρχει διάταξη μεταξύ των μητρών Σ0,Σ1.

Ο πολύπλοκος διαμελισμός του χώρου αντανακλάται και σε αντίστοιχη δυσκολίαυπολογισμού των πιθανοτήτων ανίχνευσης και εσφαλμένου συναγερμού. Οι πιθανότη-τες αυτές δεν είναι πλέον δυνατό να υπολογιστούν αναλυτικά όπως στην περίπτωση τουτεστ (4.18). Ο υπολογισμός τους γίνεται μόνο με αριθμητικές μεθόδους ή με εφαρμογήτο ΟΘ (όπου αυτό είναι επιτρεπτό).Παράδειγμα 4.3 : Έστω το πρόβλημα ανίχνευσης με παραμέτρους S0 = 0, S1 = [1, . . . , 1]t,

Σ0 = I, Σ1 = diag[K︷︸︸︷

1.5, · · · , 1.5,K︷︸︸︷

0.5, · · · , 0.5], επιθυμούμε να βρούμε το βέλτιστο τεστ καινα υπολογίσουμε το κατώφλι ώστε η πιθανότητα εσφαλμένου συναγερμού να είναι α ∈ (0, 1].

4.3 Ανίχνευση ντετερμινιστικών σημάτων με τυχαίες παραμέτρους 107

Για ευκολία έχουμε υποθέσει ότι το πλήθος των δειγμάτων είναι άρτιο δηλαδή N = 2K,οπότε το τεστ (4.21) γράφεται

2K∑

n=1

xn +1

4

K∑

n=1

x2n −

N∑

n=K+1

x2n

>1

!>0

τ.

το οποίο είναι ισοδύναμο προς

K∑

n=1

(xn + 2)2 −N∑

n=K+1

(xn − 2)2>1

!>0

4τ. (4.22)

Εάν καλέσουμε ζN =∑K

n=1(χn +2)2 −∑N

n=K+1(χn − 2)2, τότε, κάτω από την υπόθεσηH0,τα δείγματα χn είναι ανεξάρτητα Gaussian με κοινή κατανομή N (0, 1), γεγονός που επιτρέπειτους κάτωθι υπολογισμούς

1[ζN ] =K∑

n=1

1[(χn + 2)2]−N∑

n=K+1

1[(χn − 2)2] = 5K − 5K = 0

ΔιασπζN =K∑

n=1

1[([χn + 2]2 − 5)2] +N∑

n=K+1

1[([χn − 2]2 − 5)2] = 18N.

Για τον καθορισμό του κατωφλίου τ σε ένα τεστ Neyman-Pearson, ενδιαφερόμαστε για την πι-θανότητα εσφαλμένου συναγερμού η οποία με τη βοήθεια του ΟΘ (γενικευμένη μορφή), γιαμεγάλες τιμές του N , γράφεται

S(ζN > 4τ |>0) = S(

ζN√18N

>4τ√18N

|>0

)≈ 1− Φ

(4τ√18N

)= α

από την οποία συμπεραίνουμε ότι τ ≈ 1.061√NΦ−1(1 − α), όπου α η προκαθορισμένη τιμή

της πιθανότητας εσφαλμένου συναγερμού.

4.3 Ανίχνευση ντετερμινιστικών σημάτων με τυχαίες παραμέτρουςΌπως αναφέρθηκε στο εισαγωγικό εδάφιο, τα δύο σήματα είναι της μορφής Si(Ai), i =0, 1, εξαρτώνται δηλαδή από τυχαίες παραμέτρους Ai, για τις οποίες είναι γνωστές οιεκ των προτέρων πυκνότητες πιθανότητας pAi(Ai). ε άλλα λόγια οι δύο υποθέσειςείναι σύνθετες και η από κοινού πυκνότητα πιθανότητας για κάθε υπόθεση δίνεται απότην Εξίσωση (4.5), ενώ το βέλτιστο τεστ του λόγου πιθανοφάνειας από τη Σχέση (4.6).Θα εξειδικεύσουμε στη συνέχεια τη γενική αυτή περίπτωση για ενδιαφέροντα μοντέλασημάτων και θορύβου.

4.3.1 Ανίχνευση σε Gaussian θόρυβοΔίχως απώλεια της γενικότητας θα θεωρήσουμε ότι ο Gaussian θόρυβος είναι της μορφήςW ∼ N (0,σ2I). Σε διαφορετική περίπτωση μπορούμε να εφαρμόσουμε προλεύκαν-ση και να καταλήξουμε στη μορφή αυτή. Οι πυκνότητες πιθανότητας κάτω από κάθε


υπόθεση, για τη σύνθετη περίπτωση, γίνονται

fi(X) = 1Ai

[1√

(2π)Nσ2Ne−

12σ2 ∥X−Si(Ai)∥2

]

=1√

(2π)Nσ2Ne−

12σ2 ∥X∥21Ai [e

1σ2 (X

tSi(Ai)−∥Si(Ai)∥

2

2 )],

ενώ το τεστ λόγου πιθανοφάνειας γράφεται

1A1 [e1σ2 (X

tS1(A1)− ∥S1(A1)∥2

2 )]

1A0 [e1σ2 (X

tS0(A0)− ∥S0(A0)∥22 )]

>1

!>0

λ.

όγω του στοχαστικού μέσου όρου το βέλτιστο τεστ δεν μπορεί πλέον να έχει τη γραμ-μική μορφή (4.18) της σύγχρονης περίπτωσης. ικρή απλοποίηση επιτυγχάνεται εάνυποθέσουμε ότι τα σήματα Si(Ai) έχουν σταθερή ισχύ ανεξάρτητη των παραμέτρων,δηλαδή ∥Si(Ai)∥2 = c2i , τότε το βέλτιστο τεστ γράφεται

1A1 [e1σ2X

tS1(A1)]

1A0 [e1σ2X

tS0(A0)]

>1

!>0

λec21−c202σ2 = η, όταν ∥Si(Ai)∥2 = c2i . (4.23)

Παράδειγμα 4.4 : Ας εξετάσουμε την περίπτωση σημάτων της μορφής Si(ϑi) = ϑiSi σε Gaussianθόρυβο, όπουϑi = ±1 με ίση πιθανότητα και τα διανύσματαSi θεωρούνται γνωστά. Εξετάζουμεδηλαδή την περίπτωση κατά την οποία υπάρχει αβεβαιότητα προσήμου στο σήμα κάτω από κάθευπόθεση.

Διαπιστώνεται ότι ∥Si(ϑi)∥ = ∥Si∥, επομένως το βέλτιστο τεστ δίνεται από την (4.23) καιμπορεί να γραφτεί

0.5e1σ2 XtS1 + 0.5e−

1σ2 XtS1

0.5e1σ2 XtS0 + 0.5e−

1σ2 XtS0

=cosh

(1σ2 |XtS1|

)

cosh(

1σ2 |XtS0|

)>1

!>0

η.

Παρατηρούμε ότι το βέλτιστο τεστ εξαρτάται αποκλειστικά από τα XtSiσ2 , i = 0, 1 και στο Σχή-

μα 4.12 παρουσιάζεται μια τυπική μορφή των βέλτιστων περιοχών απόφασης στο επίπεδο πουορίζουν οι εν λόγω ποσότητες. Οι περιοχές που δημιουργούνται διαφέρουν σημαντικά από αυτέςτου γραμμικού τεστ

Xt(S1 − S0)

σ2=

XtS1

σ2− XtS0

σ2

>1

!>0

η

το οποίο είναι βέλτιστο για τη σύμφωνη περίπτωση στην οποία τα σήματα είναι πλήρως γνωστά(τι περιοχές δημιουργούνται στο τεστ αυτό;)

Παράδειγμα 4.5 : ια πολύ ενδιαφέρουσα εφαρμογή της θεωρίας που αναπτύχθηκε εμφανίζεταιστις ψηφιακές τηλεπικοινωνίες και συγκεκριμένα στην αποδιαμόρφωση και ανίχνευση ψηφια-κής πληροφορίας. Ας υποθέσουμε ότι πρόκειται για ένα δυαδικό σύστημα μετάδοσης στο οποίο,


Σχήμα4.12 : Τυπική μορφή των περιοχών απόφασης για το βέλτιστο τεστ του Παραδείγματος 4.4.

όταν το bit πληροφορίας είναι μηδέν, ο πομπός δεν εκπέμπει κανένα σήμα, ενώ όταν είναι μο-νάδα εκπέμπεται το σήμα s(t) = α(t) cos(Ω0t+ φ) για ένα χρονικό διάστημα T . Το είδος αυτόμετάδοσης καλείται μεταλλαγή λειτουργίας-παύσης. Ο δέκτης λαμβάνει το σήμα r(t) του οποίουη μορφή εξαρτάται φυσικά από το σήμα εκπομπής. Επομένως r(t) = w(t) όταν ο πομπός δενεκπέμπει σήμα (μεταδίδει δηλαδή το bit μηδέν) ενώ r(t) = s(t) +w(t) όταν ο πομπός εκπέμπειτο σήμα s(t) (μεταδίδει δηλαδή το bit μονάδα). Το w(t) συμβολίζει αθροιστικό θόρυβο. Η πα-ράμετρος φ εκφράζει αβεβαιότητα στη φάση η οποία οφείλεται στην ασύμφωνη αποδιαμόρφωσηστο δέκτη και είναι λογικό να θεωρηθεί ότι είναι τυχαία μεταβλητή, ομοιόμορφα κατανεμημένηστο [0, 2π]. Η συχνότητα Ω0 = 2π

T0καθώς και το σήμα α(t) θα θεωρηθούν ότι είναι γνωστές

ποσότητες. Θα θεωρήσουμε τέλος ότι η περίοδος εκπομπής T είναι ακέραιο πολλαπλάσιο τηςημιπεριόδου του σήματος, δηλαδή T = K T0

2 .Το σήμα r(t), σε κάθε χρονικό διάστημα T , δειγματοληπτείται με κανονικό τρόπο σε N

σημεία και δημιουργείται ένα διάνυσμαX με τη βοήθεια του οποίου πρέπει να ληφθεί απόφασηγια το bit πληροφορίας που εστάλη. Τα δείγματα X είναι της μορφής X = Si +W όπου κάτωαπό την υπόθεση H0 (ότι εστάλη μηδέν) έχουμε S0 = 0, ενώ κάτω από την υπόθεση H1 (ότιεστάλη μονάδα), το σήμα γίνεται

S1(φ) = A[α0 cos(φ),α1 cos(ω0 + φ), . . . ,αN−1 cos((N − 1)ω0 + φ)]t,

όπου ω0 = KπN και αn = α(nKT0

2N ). Παρατηρούμε δηλαδή ότι το σήμα εξαρτάται από τηντυχαία παράμετρο φ. Για το θόρυβο W θα υποθέσουμε ότι είναι λευκός, Gaussian με κατανομήN (0,σ2

wI). Το μέτρο του διανύσματος S1(φ) υπολογίζεται

∥S1(φ)∥2 =N−1∑

n=0

α2n cos

2(nω0 + φ) =1

2

N−1∑

n=0

α2n (1 + cos(2nω0 + 2φ))

=1

2

(N−1∑

n=0

α2n +

N−1∑

n=0

α2n cos(2nω0 + 2φ)

). (4.24)

Όσον αφορά στον τελευταίο όρο της προηγούμενης σχέσης, στις περισσότερες εφαρμογές ισχύει


ότι√√√√(

N−1∑

n=0

α2n cos(2nω0 + 2φ)

)2

+

(N−1∑

n=0

α2n sin(2nω0 + 2φ)

)2

=

∣∣∣∣∣

N−1∑

n=0

α2ne

j2φejn2ω0

∣∣∣∣∣

=

∣∣∣∣∣ej2φ

N−1∑

n=0

α2ne

jn2ω0

∣∣∣∣∣=

∣∣∣∣∣

N−1∑

n=0

α2ne

jn2ω0

∣∣∣∣∣≪N−1∑

n=0

α2n, (4.25)

δηλαδή η ακολουθία α2n έχει πολύ μικρότερη ενέργεια στη συχνότητα 2ω0 από ό,τι στη μηδενι-

κή συχνότητα. Αυτό π.χ. συμβαίνει όταν το σήμα α2n έχει συγκεντρωμένη την ενέργειά του σε

χαμηλές συχνότητες μικρότερες της 2ω0. Είναι επίσης δυνατόν η παράσταση∑N−1

n=0 α2ne

jn2ω0

να είναι ακριβώς μηδέν με αποτέλεσμα οι δύο υπόριζες ποσότητες να γίνουν επίσης μηδέν. Πα-ραδείγματα αποτελούν οι περιπτώσεις αn = ±α, δηλαδή το α2

n να είναι σταθερά ή η πρακτικάενδιαφέρουσα περίπτωσηαn = 1−cos(2π n

N ), δηλαδή τοα(t) να είναι ένα υψωμένο συνημίτονο(βλέπε επίσης Άσκηση 4.5).

Υιοθετώντας την υπόθεση ότι η ακολουθία α2n διαθέτει σημαντικά μικρότερη ενέργεια στη

συχνότητα 2ω0 απ’ ό,τι στη μηδενική συχνότητα, ο τελευταίος όρος στη (4.24) είναι αμελητέοςσε σχέση με τον προηγούμενο και συμπεραίνουμε ότι

∥S1(φ)∥2 ≈ 1

2

N−1∑

n=0

α2n.

Το γεγονός αυτό επιτρέπει τη χρήση του απλοποιημένου τεστ (4.23), το οποίο παίρνει τη μορφή

1φ[e1σ2 XtS1(φ)]

>1

!>0

λeA2

4σ2 ,

όπου A2 =∑N−1

n=0 α2n συμβολίζει την ενέργεια του σήματος αn. Χρησιμοποιώντας το ανά-

πτυγμα cos(nω0 + φ) = cos(nω0) cos(φ) − sin(nω0) sin(φ) το τεστ, με τη βοήθεια του Παρα-δείγματος 3.8, γράφεται

∫ 2π

0

1

2πe

√A2

2σ2 (zc cos(φ)−zs sin(φ)) dφ = I0

(√A2

2σ2

√z2c + z2s

) >1

!>0

λeA2

4σ2 ,

όπου

zc =

√2

σ2A2[α0 α1 cos(ω0) · · · αN−1 cos((N − 1)ω0)]X

zs =

√2

σ2A2[0 α1 sin(ω0) · · · αN−1 sin((N − 1)ω0)]X.

Το εν λόγω τεστ, επειδή η συνάρτηση I0(x) είναι αύξουσα, είναι ισοδύναμο προς το

√z2c + z2s

>1

!>0

√2σ2

A2I−10

(λe

A2

4σ2

)= η. (4.26)


Επειδή πρόκειται για τηλεπικοινωνιακή εφαρμογή η επιλογή του κατωφλίου θα γίνει έτσι,ώστε το τεστ που θα προκύψει να είναι το βέλτιστο εξισορροπημένο. Για το σκοπό αυτό πρέ-πει να υπολογίσουμε τις πιθανότητες εσφαλμένου συναγερμού και απώλειας και να επιλέξουμετο κατώφλι η ώστε να καταστούν ίσες. άτω από την υπόθεση H0 οι μεταβλητές zc, zs είναιGaussian N (0, 1), ας διαπιστώσουμε όμως κατά πόσο είναι και ανεξάρτητες. Εάν υπολογίσου-με τη συσχέτισή τους, χρησιμοποιώντας τον ορισμός τους παρατηρούμε ότι

1[zczs] =∑N−1

n=0 α2n2 sin(ω0) cos(ω0)

A2=

∑N−1n=0 α

2n sin(2ω0)∑N−1

n=0 α2n

≪ 1,

με την τελευταία ανισότητα να είναι απόρροια της (4.25). Αφού η συσχέτιση των δύο Gaussianμεταβλητών είναι αμελητέα συμπεραίνουμε ότι είναι (σχεδόν) ανεξάρτητες. Ομοίως κάτω απότην υπόθεσηH1 οι δύο μεταβλητές έχουν την ίδια ακριβώς συσχέτιση και συνεπώς είναι (σχεδόν)ανεξάρτητες Gaussian με κατανομή N (

√A2

2σ2 cos(φ), 1) και N (√

A2

2σ2 sin(φ), 1) αντίστοιχα.Χρησιμοποιώντας και πάλι τα αποτελέσματα του Παραδείγματος 3.8, οι δύο πυκνότητες σφάλ-ματος γράφονται

SEΣ = e−η2

2 , SAΠ = G

(η2, 2,

A2

2σ2

),

όπου, θυμίζουμε ότι, με G(x,K, c2) συμβολίζουμε τη συνάρτηση κατανομής μιας μη κεντρικήςχ-τετράγωνο κατανομής με K βαθμούς ελευθερίας και συντελεστή μη κεντρικότητας c2. Απότη θεωρία του εξισορροπημένου τεστ, το κατώφλι η πρέπει να αποτελεί λύση της εξίσωσης

e−η2

2 = G

(η2, 2,

A2

2σ2

)

και υπολογίζεται αριθμητικά.Για λόγους σύγκρισης θα εξετάσουμε επίσης την περίπτωση του σύμφωνου τεστ. Θα θεωρή-

σουμε δηλαδή ότι γνωρίζουμε τη φάση φ. Είναι τότε εύκολο να διαπιστώσουμε ότι το βέλτιστοτεστ που ελαχιστοποιεί την πιθανότητα σφάλματος είναι το

zc cos(φ)− zs sin(φ)>1

!>0

1

2

√A2

2σ2, (4.27)

το οποίο είναι μάλιστα εξισορροπημένο. Εάν ωστόσο στο τεστ (4.27) η φάση έχει επιλεγεί λάθοςκαι η πραγματική είναιψ αντίφ, τότε η απόδοση του “σύμφωνου” τεστ εξαρτάται από τη διαφοράτων δύο φάσεων αφού η πιθανότητα σφάλματος (ΠΣ) γράφεται

ΠΣ = 1− 1

2

Φ

(1

2

√A2

2σ2

)+ Φ

(√A2

2σ2cos(φ− ψ)− 1

2

√A2

2σ2

).

Παρατηρούμε ότι ο ρυθμός σφαλμάτων εμφανίζει ελάχιστο όταν φ = ψ, όταν δηλαδή το τεστείναι όντως σύμφωνο, με την ΠΣ να παίρνει την τιμή

ΠΣmin = 1− Φ

(1

2

√A2

2σ2

).


Το ίδιο τεστ εμφανίζει τη χειρότερη απόδοση όταν βρίσκεται εκτός φάσης δηλαδή φ και ψ δια-φέρουν κατά π, οπότε

ΠΣmax = 1− 1

2

Φ

(1

2

√A2

2σ2

)+ Φ

(−3

2

√A2

2σ2

)

≥ 1− 1

2

Φ

(1

2

√A2

2σ2

)+ Φ

(−1

2

√A2

2σ2

)=

1

2,

όπου χρησιμοποιήθηκε το γεγονός ότι η συνάρτηση κατανομής είναι αύξουσα και για τηνGaussianσυνάρτηση κατανομής ότι ισχύει η ιδιότητα Φ(−x) = 1− Φ(x). Συνεπώς, όταν το “σύμφωνο”τεστ είναι εκτός φάσης η απόδοσή του είναι χειρότερη και από την απόδοση ενός κανόνα από-φασης που βασίζεται στο τυχαίο αποτέλεσμα της ρίψης ενός νομίσματος (κορώνα/γράμματα)!

Σχήμα 4.13 : Πιθανότητα σφάλματος σαν συνάρτηση του ΣΘ του σύμφωνου τεστ (μαύρη), βέλ-τιστου εξισορροπημένου ασύμφωνου τεστ (κυανή) και σύμφωνου τεστ με λανθασμένη επιλογήφάσης (γκρίζες).

Στο Σχήμα 4.13 παρουσιάζεται η πιθανότητα σφάλματος του τεστ (4.27) σαν συνάρτηση τουΣΘ=A2

σ2 με παράμετρο τη διαφορά φάσης |φ−ψ|. Όπως αναφέρθηκε, η βέλτιστη απόδοση επι-τυγχάνεται όταν φ = ψ (μαύρη καμπύλη) και η πιθανότητα σφάλματος που προκύπτει αποτελείόριο για οποιοδήποτε άλλο τεστ. Δηλαδή, δεν υπάρχει τεστ του οποίου η πιθανότητα σφάλμα-τος να είναι μικρότερη από την πιθανότητα σφάλματος του (πραγματικά) σύμφωνου τεστ. Στοίδιο σχήμα παρουσιάζεται επίσης η απόδοση του (4.27) για χαρακτηριστικές τιμές της διαφοράς|φ − ψ| (γκρίζες καμπύλες). Παρατηρούμε ότι, ακόμη και για πολύ μικρές τιμές της διαφοράς,η απόδοση του “σύμφωνου” τεστ χειροτερεύει δραματικά, με κορύφωση της κακής απόδοσηςόταν |ψ − φ| = π.

Το ασύμφωνο τεστ (4.26) από την άλλη πλευρά (κυανή καμπύλη) έχει αξιοπρεπή απόδοση,η οποία υπολείπεται φυσικά της βέλτιστης, αλλά όχι ιδιαίτερα πολύ. Το ενδιαφέρον είναι ότι ηαπόδοση αυτή είναι εξασφαλισμένη για οποιαδήποτε τιμή της φάσης φ αφού το ίδιο το τεστ είναιανεξάρτητο της εν λόγω παραμέτρου.

Αντίστοιχα παρατηρήσεις μπορούν να γίνουν για την περίπτωση του γενικευμένουτεστ πιθανοφάνειας, όταν δηλαδή, ενδιαφερόμαστε και για την παράλληλη εκτίμηση των

4.4 Ανίχνευση ντετερμινιστικών σημάτων με άγνωστες παραμέτρους 113

παραμέτρων. Το τεστ γράφεται

supA1

e

1σ2

(XtS1(A1)− ∥S1(A1)∥

2

2

)

pA1(A1)

supA0

e

1σ2

(XtS0(A0)− ∥S0(A0)∥2

2

)

pA0(A0)

>1

!>0

λ,

ενώ για την περίπτωση που η ισχύς των δύο σημάτων είναι σταθερή, δηλαδή ∥Si(Ai)∥ =ci, απλοποιείται στο

supA1

e

1σ2 XtS1(A1)pA1(A1)

supA0

e

1σ2 XtS0(A0)pA0(A0)

>1

!>0

λec21−c202σ2 = τ.

Η επίλυση των δύο προηγούμενων παραδειγμάτων με τη βοήθεια του γενικευμένου τεστπαρουσιάζει αρκετό ενδιαφέρον και επαφίεται σαν άσκηση (βλέπε Άσκηση 4.6).

4.3.2 Ανίχνευση σε ανεξάρτητο μη Gaussian θόρυβο4.4 Ανίχνευση ντετερμινιστικών σημάτων με άγνωστες παραμέτρους4.5 Ανίχνευση τυχαίων σημάτων4.6 Ασκήσεις4.1 : Σχεδιάστε τη συνάρτηση ψ(x) για το πρόβλημα σύμφωνης ανίχνευσης σταθερού σήματος sσε α.ι.κ. γενικευμένο Gaussian θόρυβο. Χρησιμοποιείστε χαρακτηριστικές τιμές του εκθέτη c.Σημειώνεται ότι υπάρχουν τρεις περιοχές ενδιαφέροντος 0 < c ≤ 1, 1 < c < 2 και 2 ≤ c.Δώστε ποιοτική ερμηνεία των αποτελεσμάτων.

4.2 : Επαναλάβετε την προηγούμενη άσκηση αλλά χρησιμοποιώντας την Student’s-t πυκνότηταπιθανότητας και την συμμετρική άλφα-ευσταθή. Εξηγείστε τη μορφή της συνάρτησης ψ(x).

4.3 : Αποδείξτε ότι ισχύει

limx→∞

1− Φ(x)

e−12x2

x√2π

= 1.

Χρησιμοποιείστε το γεγονός αυτό για να αποδείξετε στο Παράδειγμα 4.5 ότι η ΠΣ του “σύμφω-νου” τεστ, σαν συνάρτηση της ποσότητας A2N

2σ2 , εμφανίζει εκθετική συμπεριφορά (γεγονός πουδικαιολογεί τις γραμμικές καμπύλες στο Σχήμα 4.13 εξ’ αιτίας του κατακόρυφου λογαριθμικούάξονα). Υπολογίστε τον εκθετικό ρυθμό μεταβολής της ΠΣ

limA2N2σ2 →∞

log(ΠΣ)A2N2σ2

.

Επιχειρείστε την ίδια εκτίμηση για την απόδοση του ασύμφωνου τεστ, τι συμπεραίνετε;


4.4 : Αποδείξτε τις ανισότητες της Σχέσης (4.22) στις οποίες βασίστηκε το Παράδειγμα 4.2. Υπό-δειξη: άθε συμμετρική μήτρα Q διαγωνοποιείται Q = UDUt, όπου D διαγώνιος μήτρα με πραγ-ματικά στοιχεία και U ορθοκανονική μήτρα.

4.5 : Στο Παράδειγμα 4.5 αποδείξτε ότι ο προτελευταίος όρος∑N−1

n=0 α2ne

jn2ω της Σχέσης (4.25)είναι ακριβώς μηδέν όταν αn = ±α ή αn = 1− cos(2π n

N ), n = 0, . . . , N − 1 (υπερυψωμένοσυνημίτονο), γεγονός που συνεπάγεται ότι ∥S1(φ)∥2 είναι σταθερό και η συσχέτιση των zc, zsείναι μηδέν.

4.6 : Επιλύστε τα Παραδείγματα 4.4, 4.5 χρησιμοποιώντας το γενικευμένο τεστ λόγου πιθανοφά-νειας. Στο πρώτο παράδειγμα διακρίνετε τις υποπεριοχές απόφασης κάθε κύριας υπόθεσης όπουαποφασίζεται για την τιμή του ϑ. Στο δεύτερο αποδείξτε ότι καταλήγουμε στο ίδιο τελικό τεστμε τη σύνθετη περίπτωση. Βρείτε επίσης την εκτίμηση της γωνίας φ που απορρέει από το γενι-κευμένο τεστ.

5Βέλτιστη εκτίμηση παραμέτρων

5.1 ΕισαγωγήΣτο κεφάλαιο αυτό θα επικεντρωθούμε στο πρόβλημα της εκτίμησης πεπερασμένου πλή-θους παραμέτρων από πεπερασμένο πλήθος διαθέσιμων δειγμάτων. Όπως και στο κε-φάλαιο της Εξέτασης Υποθέσεων, η έμφαση θα είναι στις βέλτιστες τεχνικές οι οποί-ες απαιτούν την εκ των προτέρων γνώση της στατιστικής των διαθέσιμων δειγμάτων,εκτός από ένα πεπερασμένο πλήθος παραμέτρων τις οποίες επιθυμούμε να προσδιορί-σουμε. Τις εν λόγω παραμέτρους θα τις αντιμετωπίζουμε είτε σαν τυχαίες μεταβλητέςμε γνωστή εκ των προτέρων στατιστική, ή σαν άγνωστες ποσότητες. Για κάθε περίπτω-ση θα επιδιώξουμε τη ανάπτυξη διαδικασιών βέλτιστης εκτίμησης σύμφωνα με λογικάκριτήρια απόδοσης.

Ένας πολύ ενδιαφέρον τρόπος επίλυσης του προβλήματος εκτίμησης παραμέτρωνσυνίσταται στην αντιμετώπισή του σαν ένα πρόβλημα εξέτασης πολλαπλών υποθέσεωνμε άπειρο πλήθος υποθέσεων. Στοιχεία της κατεύθυνσης αυτής παρουσιάστηκαν ήδηστο προηγούμενο κεφάλαιο, στόχος μας όμως στην παρούσα φάση είναι να αναπτύξουμετην ενδιαφέρουσα αυτή ιδέα περισσότερο και να συνδέσουμε στενά τα δύο, φαινομενικάδιαφορετικά, προβλήματα της Εξέτασης Υποθέσεων και Εκτίμησης Παραμέτρων.

5.2 Εκτίμηση τυχαίων παραμέτρων με τη μέθοδο Bayes5.2.1 Εκτιμητής ελαχιστοποίησης μέσου τετραγωνικού σφάλματος5.2.2 Εκτιμητής ελαχιστοποίησης μέσου απόλυτου σφάλματος5.2.3 Εκτιμητής μέγιστης εκ των υστέρων πιθανότητας5.3 Εκτίμηση αγνώστων παραμέτρων5.3.1 Εκτιμητής μέγιστης πιθανοφάνειας5.3.2 Αλγόριθμος Προσδοκίας/Μεγιστοποίησης5.3.3 Συνέπεια, αμεροληψία και ασυμπτωτικά Gaussian συμπεριφορά5.3.4 Κάτωφράγμα Cramer-Rao

115

!

!!!!

!"#$%&'()(!(

*#'#+&%&'(,-%.+#%./0!!!)12! 3456789!5374(("#!$%&'()*!+,!-)!./#012)*)2! (%)!'*/34)5!/6!2)().(1/#! (%)/*7,!-%)*)! (%)! *).)18)*!*).)18)0!&!#/107!8)*01/#!/6!&! 019#&4!&#2!2).12)0!-%1.%!%7'/(%)010! 10! (*:)!&5/#9!(%)!"!'/00134)!%7'/(%)0)0;!"#!(%)!31#&*7!.&0),!(%)!*).)18)*!%&2!(/!2).12)!3)(-))#!(%)!#:44!%7'/(%)010!#<!&#2!(%)!&4()*#&()!%7'/(%)010!#=;!

"#!(%10!.%&'()*,!-)!&00:5)!(%&(!(%)!*).)18)*!%&0!5&2)!&!2).101/#!1#!6&8/*!/6!(%)!(*:)!%7'/(%)010,!3:(!0/5)!'&*&5)()*!&00/.1&()2!-1(%!(%)!019#&4!5&7!#/(!3)!>#/-#;!!?%)!9/&4!10!(/!)0(15&()!(%/0)!'&*&5)()*0!1#!&#!/'(15:5!6&0%1/#!3&0)2!/#!&!61#1()!#:53)*!/6!0&5'4)0!/6!(%)!019#&4;!

@)(! $%%% ,;;;,, A= ! 3)!$! 1#2)')#2)#(! &#2! 12)#(1.&447!210(*13:()2! 0&5'4)0!/6! &!*&#2/5! 8&*1&34)! %,! -1(%! 0/5)! 2)#01(7! 6:#.(1/#! 2)')#21#9! /#! &#! :#>#/-#!'&*&5)()*! ;! @)(! $&&& ,;;;,, A= ! 3)! (%)! ./**)0'/#21#9! 8&4:)0! /6! 0&5'4)0!

$%%% ,;;;,, A= !&#2! B,;;;,,C A= $%%%' ,!&!6:#.(1/#!C&!0(&(10(1.B!/6!(%)!0&5'4)0!:0)2!(/!)0(15&()!(%)!'&*&5)()*!;!D)!.&44!

B,;;;,,CEA= $%%%' ! ! !!!!!!!!!!!!!!!!CF;=B!

(%)!()*+,-*./!/6!;!!?%)!8&4:)!(%&(!(%)!0(&(10(1.!&00:5)0!10!.&44)2!(%)!()*+,-*(!/6!!&#2!10!)G:&4! (/! B,;;;,,CE

A= $&&&' ;! "#!/*2)*! (/!&8/12!&#7!./#6:01/#!3)(-))#!&!

*&#2/5! 8&*1&34)! &#2! 1(0! 8&4:),! 1(! 0%/:42! 3)! #/()2! (%&(! E ,! (%)! )0(15&()! /6! ,! 10!&.(:&447! B,;;;,,C A= $%%%' ;!$/#0)G:)#(47,!-%)#!-)!0')&>!/6!(%)!5)&#!/6! E ,! HEI0 ,!-)!&*)!&.(:&447!*)6)**1#9!(/! BH,;;;,,CI A= $%%%'0 ;!

?%)!'&*&5)()*!(/!3)!)0(15&()2!5&7!3)!*&#2/5!/*!#/#*&#2/5;!?%)!)0(15&(1/#!/6!*&#2/5!'&*&5)()*0!10!>#/-#!&0!(%)!1-&()2!()*+,-*+.3,!-%14)!(%)!)0(15&(1/#!/6!#/#*&#2/5! '&*&5)()*0! 10! *)6)**)2! (/! &0! (%)! 5&J15:5! 41>)41%//2! )0(15&(1/#!CK@LB;!

!MN+!

Από το βιβλίο: B. C. Levy, Principles of Signal Detection and Parameter EstimationSpringer 2008.

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

4$'!)+*",$'3567'8)'9:)/)$*'*;)'0%<"0=0'&">)&";,,-')/*"0%*,:7'*;)$'8)'=/)'*;"/')/*"0%*,:' *,' +,09=*)' *;)' &">)&";,,-' :%*",' *)/*5' ' ?;"/' "/' +%&&)-' *;)' !"#"$%&'(")'&'*"&'+,,)-$%.','."/.5'4$'!)+*",$'3527'8)'9:)/)$*'*;)'+:"*):"%'@,:'%'A#,,-B')/*"0%*,:5'C;)$' *;)' 9%:%0)*):' *,' D)' )/*"0%*)-' "/' %' :%$-,0' E%:"%D&)7' 8)' =/)' *;)' F%G)/H')/*"0%*",$5' !9)+"@"+%&&G7' 8)' /*=-G' *;)' 0"$"0=0' 0)%$I/J=%:)' )/*"0%*",$7' *;)'0"$"0=0'0)%$'%D/,&=*)'E%&=)',@')::,:')/*"0%*",$7'%$-'*;)'0%<"0=0'%'9,/*):",:"')/*"0%*",$5'?;)'K:%0):IL%,'&,8):'D,=$-',$'*;)')/*"0%*,:'"/'9:)/)$*)-'"$'!)+*",$'3535' ?;)$7' 8)' #)$):%&"M)' *;)' %D,E)' +,$+)9*/' *,' 0=&*"9&)' 9%:%0)*):' )/*"0%*",$5'F%/)-' ,$' *;)' @%+*' *;%*' /,0)*"0)/' "*' "/' $,*' 9,//"D&)' *,' -)*):0"$)' *;)' ,9*"0=0'0)%$I/J=%:)' )/*"0%*)7' )E)$' "@' "*' )<"/*/7' 8)' 9:)/)$*' *;)' D)/*' &"$)%:' =$D"%/)-')/*"0%*,:7'8;"+;'"/'%'/=D,9*"0=0'/,&=*",$7'%$-'-"/+=//'*;)'+,$-"*",$/'=$-):'8;"+;'"*'D)+,0)/',9*"0=05'4$'!)+*",$'35N7'8)'9:)/)$*'*;)'&)%/*I/J=%:)')/*"0%*",$7'8;"+;'"/'-"@@):)$*'*;%$'*;)'%D,E)I0)$*",$)-'0)*;,-/7'"$'*;)'/)$/)'*;%*'"*'"/'$,*'D%/)-',$'%$' =$D"%/)-' )/*"0%*,:' 8"*;' 0"$"0=0' E%:"%$+)7' D=*' :%*;):' ,$' 0"$"0"M"$#' *;)'/J=%:)-'-"@@):)$+)'D)*8))$'*;)',D/):E)-'-%*%'%$-'*;)'/"#$%&'-%*%5'C)'+,$+&=-)'*;)'+;%9*):' 8"*;' %' D:")@' /)+*",$' ,$' :)+=:/"E)' &)%/*I/J=%:)' )/*"0%*",$' @,:' :)%&I*"0)'%99&"+%*",$/5''''!"#!$%&'$($)*'+,*'-../),01'$%1'.2))O/'0)$*",$)-'"$'*;)'9:)E",=/'@=$+*",$7'*;)'9:,+)-=:)'+,00,$&G'=/)-'*,')/*"0%*)'$,$:%$-,0' 9%:%0)*):/' "/' *;)' 0%<"0=0' &">)&";,,-- PQRS' )/*"0%*",$5' R)*'

0111 755577 6T ' D)'0- ,D/):E%*",$/' ,@' *;)' :%$-,0' E%:"%D&)'!7' 8"*;' /%09&)' E%&=)/'

0222 755577 6T 5' ?;)/)' :%$-,0' E%:"%D&)/' %:)' "$-)9)$-)$*' %$-' "-)$*"+%&&G'-"/*:"D=*)-5'R)*' SUPU "!3 '-)$,*)'*;)'+,$-"*",$%&'-)$/"*G'@=$+*",$',@'*;)':%$-,0'E%:"%D&)' 15' V,*)' *;%*' *;)' -)$/"*G' @=$+*",$' ,@' !' -)9)$-/' ,$' *;)' 9%:%0)*):' 7'

7'8;"+;'$))-/'*,'D)')/*"0%*)-5'?;)'&">)&";,,-'@=$+*",$7' S7P4 "/''

0

**1011 23322234

*0T

UU6TU75557 SUPSUPSU777PSPT

"! '''''P356S'

?;)' E%&=)' W ' *;%*' 0%<"0"M)/' *;)' &">)&";,,-' @=$+*",$' "/' +%&&)-' *;)' 5%6'575-&'*"&'+,,)-"/.'5%.,$',@'5' 4$',:-):' *,'0%<"0"M)' *;)' &">)&";,,-' @=$+*",$7' /*%$-%:-'*)+;$"J=)/',@'+%&+=&=/'0%G'D)'=/)-5' 'F)+%=/)' *;)' &,#%:"*;0"+' @=$+*",$' 6&$ ' "/'%'0,$,*,$"+%&&G' "$+:)%/"$#' @=$+*",$',@'67' %/'8%/' /;,8$' "$'K;%9*):'X7'0%<"0"M"$#'

SP4 ' "/' )J="E%&)$*' *,' 0%<"0"M"$#' SP&$ 4 5' Y)$+)7' "*' +%$' D)' /;,8$' *;%*' %'

$)+)//%:G'D=*'$,*'/=@@"+")$*'+,$-"*",$'*,',D*%"$'*;)'QR')/*"0%*)' W '"/'*,'/,&E)'*;)'&'*"&'+,,)-"87%.',#5'

'''' ZSUP&$ U "!3 '' ' '''''''''''''''P351S'

!"#"$%&%#'()&*$"&*+,' !"#

-,."#*",/%'!#+0%#&1$%%&'(% )*2 %+'%(,'%-./'-.,001%2345(.04%02%%641% )*3 %+'%6%04'7

(0704'%2345(.04%02% 8%(,6(%.9:%.2% ;<;< )*)* 33 $%=2% > %.9%64%?&@%02%:%

(,'4% )>*3 %.9%64%?&@%02% )*3 $%

%!"#$%&'()*+(%=4%@A6BC-'%D$;:%(,'%E'5'.F'1%9.G46-%341'E%,HC0(,'9'9%4<%641%4I%J69%

56784567$84

66

66

:$$$:;:<:K

:$$$:;:<:K

I

<

%

*6)% L993B.4G% (,'%5049(64(%$% .9%40(%/40J4:%0+(6.4% (,''?&%'9(.B6('% $9$> %02%

(,'%B'64$%

*+)% M3CC09'%40J%(,6(%(,'%B'64%$%.9%/40J4:%+3(%(,'%F6E.645'% ; %.9%34/40J4$%

N+(6.4%(,'%?&@%02% ; $%%:+9;&*+,%%O'('5(.04%(,'0EH%*P,6C('E%D)%J69%39'1%(0%1'('EB.4'%J,.5,%02%(,'%(J0%,HC0(,'9'9%J69%(E3'$%=4%(,.9%5,6C('E%02%'9(.B6(.04%(,'0EH:%J'%6993B'%(,6(%4<%.9%(E3'$%Q0J'F'E:%6%C6E6B'('E%.9%40(%/40J4%641%4''19%(0%+'%'9(.B6('1%39.4G'?&@<%%

*6)% R,'% C6E6B'('E% > % (0% +'% 1'('EB.4'1% .4% (,.9% 'A6BC-'% .9% $9$> :% J,'E'% (,'%

B'64 =$ $% M.45'% (,'% 96BC-'9% 6E'% .41'C'41'4(% 641% .1'4(.56--H% 1.9(E.+3('1:% (,'%-./'-.,001%2345(.04:%39.4G%*S$;):%.9%

5

6

5

6

655

6=

$1$1$>

< <;

;

;T;

;

U;

'AC;

<

;'AC

;

<)U* !" %

R6/.4G%(,'%-0G6E.(,B%04%+0(,%9.1'9:%J'%0+(6.4%

5

6

655=

$1$>

<;

;

;TU;;

<-4)U*-4 !" %

R,'%?&%'9(.B6('%.9%0+(6.4'1%+H%90-F.4G%(,'%-./'-.,001%'V36(.04:%69%9,0J4%.4%*S$!)$%Q'45':%

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

45678&$

599

59

59

7

!"#

##!"!"!

!$ #

%%

#

%

%#

%

%& !"'

,:'

#

%%"%!

5

6;58 <'=>?/@'*>)'AB')/*"0%*,:'"/' <6;58C5

#

%%!' "%! '

'

8D6''=>)'&"E)&">,,-'F?$+*",$'"/'

#

%

%

##

!"(

59

9

9

9

9)GH

9

568 '

=%E"$#'*>)'&,#%:"*>0@'I)',D*%"$'

#

%

% !"##(

59

99

9&$9&$

968&$ '

JD/):K)'*>%*'0%G"0"L"$#' 68&$ 9( 'I"*>':)/H)+*'*,' 9 '"/')M?"K%&)$*'*,'0"$"0"L"$#''

#

%

% !"#)

59

99

9&$68 '

N/"$#'*>)'"$K%:"%$+)'H:,H):*O@'"*'"/')%/"):'*,'-"FF):)$*"%*) 68 9) 'I"*>':)/H)+*'*,''

*,',D*%"$' !'C '*>)'AB.',F'@'"$/*)%-',F' 9C !' '*>)*AB.',F' <9 'P)$+)@'

#

%

% !"#+

+)

51

99

468

'',:''

#

%% !"

# 5

95C '

Q,$/)M?)$*&O@'*>)'AB.',F' 9 '"/' <6;58C5

99

#

%%!' !"# '

'

'

!"#! $%&%'()*+%,-)*.%)*/00,-'(1*0-1%21--R$'.G%0H&)' S<T@'I)' /,&K)-' *>)' >OH,*>)/"/' *)/*"$#' H:,D&)0'I>):)' *>)' %&*):$%*"K)'

>OH,*>)/"/'I%/'+,0H,/"*)<' '=>)'H%:%0)*):'!'?$-):'>OH,*>)/"/',5'I%/'?$E$,I$@'%&*>,?#>' "*' I%/' E$,I$' *>%*' !' I%/' )"*>):' H,/"*"K)' ,:' $)#%*"K)<' ' U>)$' !' I%/'H,/"*"K)',$&O'8$)#%*"K)',$&O6@'%'NAV'*)/*')G"/*)-'%$-'*>)'-)+"/",$':?&)'I%/'

!"#"$%&%#'()&*$"&*+,' !"#

$

%

&

$

%

'(

$$

-

-

. )

*+,)-+./0/12'$3)4(5)

%

%

$

&

%

'(

$$

-

-

. )

*+,)(2640/12'$7)8/(92)0:2)02.0)52./6(25)*+,)-+./0/12)$);4.)(+0)0:2).4<2)4.)0:2)02.0)52./6(25) *+,) (2640/12' $3) ;2) 9+(9'=525) 0:40) 4) >?@) 02.0) 5/5) (+0) 2A/.0) *+,) 4'')-+../B'2)14'=2.)+*)$C)0:40)/.3)-+./0/12)4(5)(2640/127)D:/.),2E=/,2.)0:40)5/**2,2(0)02.0.)B2)=.257)F(2)4--,+49:)/.)0+)=.2)0:2)9+(92-0.)5212'+-25)/()8290/+()G7%7)D:40)/.3);2)=.2)0:2),2E=/,25)5404)0+)2.0/<402)3)4.)0:+=6:):H-+0:2./.)-$)/.)0,=27)D:2(3);2)=.2)0:2.2)2.0/<402.)/()0:2)'/I2'/:++5),40/+)02.0)4.)/*) 0:2H)4,2)0:2)9+,,290)14'=2.7)D:2,2)4,2)<4(H);4H.)0+)2.0/<402)3)4.);/'')B2).:+;()/()0:/.)9:4-02,7)J*)0:2)2.0/<402.)=.25)4,2) 0:2) <4A/<=<) '/I2'/:++5) 2.0/<402.3) 0:2() 0:2) ,2.='0) /.) 94''25) 0:2) /%,%#"0*1%2'0*3%0*4++2'#"&*+'&%)&)4(5)/.)6/12()BH)

KLM

KLMKM

&

$

&L

<4A

&

$L

<4A

$

&

$

-

-

5

5./

!

!

"

") ))))))))))))))))MG7"K)

$ !4(5) & ) 4,2) 0:2)=(I(+;()-4,4<202,.) 0+)B2)2.0/<4025)=(52,):H-+0:2.2.) $- !4(5) &- 3),2.-290/12'H7)

)!"#$%&'()*+(N+(./52,)0:2)-,+B'2<)+*)OA4<-'2)P7#3);:2,2)$)/.)4('6,3,+7,'-4,4<202,7)FB04/()0:2) 62(2,4'/Q25) '/I2'/:++5) ,40/+) 02.0) 4(5) 9+<-4,2) /0) 0+) 0:2) +-0/<=<) R2H<4(S@24,.+()02.07))8+06&*+,))8/(92)0:2)9)+B.2,140/+(.)4,2)/(52-2(52(03)0:2)9+(5/0/+(4')52(./0H)*=(90/+(.)=(52,)B+0:):H-+0:2.2.) &$ 4(5 -- )4,2)

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!

"

"#$

!

"

"#$

%&#%'#

&#%'#

45

5

4674

45

5

3673

589

):;548679<

5):;

548679<

4

3

!

!

"

"

'

=>)?)(%'"/'%$'@$A$,=$';%?%0)*)?B'!"$+)'>C;,*>)/"/'#3'-,)/'$,*'+,$*%"$'%'9#3'"/'/"0;&)86' *>)' )/*"0%*",$' ;?,+)-@?)' "/' %;;&"+%D&)' *,' >C;,*>)/"/'#4' ,$&CB' E?,0' *>)'&"A)&">,,-')F@%*",$'#"G)$'DC'9HB186'*>)'IJ')/*"0%*)',K'%'@$-)?'#4'"/'#"G)$'DC'

38679&$ 467 4

%#%' #$ !" '

!@D/*"*@*"$#'K,? 8679 467 4#%' #$ !" "$'*>)'%D,G)')F@%*",$6'=)'>%G)''

3

545

5

!

"

" %&%

'',?''

!

"!)!

%4

4L '

M>)'-)*%"&/'%?)'#"G)$'"$'.:%0;&)'HB4B''M>)'&"A)&">,,-'?%*",'*)/*'D)+,0)/'

&$

5):;

54

L54):;

54

89

3

4

45

4

55

#

#

&

%&

!

"

"

!

""

* ! '

!@D/*"*@*"$#'K,?'*>)',D*%"$)-'G%&@)',K' %L '"$'*>)'%D,G)'):;?)//",$6'%$-'/"0;&"KC"$#'%K*)?'*%A"$#'*>)'&,#%?"*>06'*>)'*)/*'D)+,0)/'

&$54

3

45

45

#

#

&!

!

"" '

!"$+)'5

4

5 85N49

!

""&! ' "/'$,$$)#%*"G)6' *>)'-)+"/",$'="&&'%&=%C/'D)'#4' "K'' "/'

&)//'*>)$',$)'9 &$ '$)#%*"G)8',?''"/'/)*')F@%&'*,',$)B'O,$/)F@)$*&C6''+%$'%&=%C/'D)'+>,/)$'#?)%*)?'*>%$',?')F@%&'*,',$)B'M>@/6'%$')F@"G%&)$*'*)/*'"/'

!"#"$%&%#'()&*$"&*+,' !"#

$#

$

%

#$

#

&'$#

-

-

./

/

00 (

)*+,+ %# -(./0123&+'4&56()+(73'(08+(4*+(4+84(

#

%

#

#

#

-

-

./

1/

00 (

9*+(:+7181;'(,+<1;'8(3,+(8*;)'(1'(=1<0,+(>-#-(

?12+'( 4*+( :+81,+:( @,;A3A1&145( ;B( B3&8+( 3&3,C6( 4*+( 23&0+( ;B( # ( 73'( A+(:+4+,C1'+:-( D+B;,+( )+( 73'( <+4( 3'( +E@,+881;'( B;,( 2! 6( 4*+( @,;A3A1&145( ;B( B3&8+(

3&3,C6()+('++:(4;(:+4+,C1'+(4*+(:+'8145(B0'741;'(;B(1-(F1'7+(

/

003

/1

#

#(

4*+(C+3'(3':(23,13'7+(;B(3(0':+,(*5@;4*+818(-%(3,+(G+,;(3':( 6$ (,+8@+7412+&5-(H&&(

4*+( ;A8+,2341;'8( 3,+( ?308813'( 3':( 8434184173&&5( 1':+@+':+'4-( 9*086( 4*+(

:+'8145-B0'741;'( ;B(

/

0031

## ( 18(?308813'()14*(C+3'( G+,;( 3':( 23,13'7+( -$/ (

I;'8+/0+'4&56(1(18(?308813'()14*(C+3'(G+,;(3':(23,13'7+( -$ (9*34(186(

$

$

%J$

+E@$

#KJL

%

4-15 -1 (

9*+(@,;A3A1&145(;B(B3&8+(3&3,C6(B,;C(=1<0,+(>-$6(18(

(

!!"#$%&'!()*!!M+7181;'(,+<1;'8(;B(4*+(<+'+,3&1G+:(&1N+&1*;;:(,341;(4+84-(

-#((

(%(

1'

#(O#(

-%((-#((

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

''''''''''''!"#$%&'()*''()$/"*4'56$+*",$',5'!'6$-)7'"89'

:3

3

3

3

8:

33

);<3:

3);<

3:

*76)=>?-)+"-)

:

:

#$%%$%%

""&&''

@)' ,A/)7B)' *C%*' D)' %7)' %A&)' *,' -)*)70"$)' *C)' B%&6) : 57,0' *C)' -)7"B)-'<7,A%A"&"*4',5'5%&/)'%&%70'D"*C,6*'%$4'E$,D&)-#)',5'(9'F,D)B)7G'*C)'<7,A%A"&"*4',5' -)*)+*",$' +%$$,*' A)' -)*)70"$)-'D"*C,6*'(G' A6*' +%$' A)' )B%&6%*)-'D"*C'(' %/' %'

<%7%0)*)79' H$-)7' C4<,*C)/"/' ":G'

)

*+!::: ' "/' I%6//"%$' D"*C' 0)%$' )(' %$-'

B%7"%$+)' 93) 'F)$+)G'*C)'-)$/"*4'56$+*",$',5'!'"/'I%6//"%$'D"*C'0)%$ () %$-'B%7"%$+) 93 'JC%*'"/G'

3

3

:>3

);<3

:=>?:

()%"%, "! '

JC)'<7,A%A"&"*4',5'-)*)+*",$'5,7'%'#"B)$'B%&6)',5'(G'57,0'K"#67)'L91G'"/''

()#()#()#()#

$%()%$%()%

""&&-

::::

3

3

3

3

::

:

3);<

3:

3);<

3:

*76)=>?-)+"-)

:

:

'

'8'

=>? 8> 8", "! ! '

'&'.'&'.

:.M:.!%.

!"#"$%&%#'()&*$"&*+,' !"!

###########!!"#$%&'!()*!!$%&'()*#+,&-)(.&#.+#-#,&/%0#.12#

3&#4(5,0%#!2!1#.+#6178#()#('#'9.:&#)9;)#)9%#5%&%0;<(=%/#<(>%<(9../#0;)(.#)%')#?%0+.0@'#&%;0<*#;'#:%<<#;'#)9%#A%*@;&BC%;0'.&#)%')2###()+! ,-./!0123/124!"-1!5--6!/,32.43-1,!!D(&-%#)9%#%')(@;).0# E #('#;#0;&/.@#F;0(;G<%#;&/#@;*#;'',@%#@.0%#)9;&#.&%#F;<,%8#'.@%#-9;0;-)%0(')(-'#.+#;#H5../I#%')(@;)%#&%%/#).#G%#/%)%0@(&%/2##/,0*")%1'()&*$"&%###J%#';*# E #('#;&#,&G(;'%/#%')(@;).0#+.0##(+##

7E6 ( ##+.0#;<<## # ################KL2"M#

2*")'+3'()&*$"&+####N%)##

MK7E6 0( # # ################KL2LM#

12# 3+# MK0 /.%'# &.)# /%?%&/# .&# 7MK6 00 8# :%# ';*# )9;)# )9%# %')(@;).0 E 9;'# ;#

4,+5,'0*"'2#O9;)#('8# 0E #('#;&#,&G(;'%/#%')(@;)%2##P2# J9%&# 00 MK 8#;&#,&G(;'%/#%')(@;)%#-;&&.)#G%#.G);(&%/8#'(&-%##('#,&>&.:&2#3&#)9('#-;'%8#:%#';*#)9;)#)9%#%')(@;).0#9;'#;&#6,4,+5,'0*")2##

J9%&#)9%#?;0;@%)%0## ).#G%#%')(@;)%/#';)('+(%'#KL2"M#;&/#('#&.)#0;&/.@#K(2%28#)9%0%# ('# &.# ;# ?0(.0(# ?0.G;G(<()*# /(')0(G,)(.&# +.0#M8# ()# ('# '.@%)(@%'# 0%+%00%/# ).# ;'#"0)+76&%78'6,0*")%12#

!$'#Q#

MRK 1R 1.3 .- ! #

!!9'

!!9'

1'B1'#:'

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

45)'6%+*'*5%*'*5)')/*"0%*,7'"/'8$9"%/)-:';5"+5'0)%$/'*5%*'*5)'%<)7%#)'<%&8)',6'*5)' )/*"0%*)' "/' +&,/)' *,' *5)' *78)' <%&8):' -,)/' $,*' $)+)//%7"&=' #8%7%$*))' *5%*' *5)')/*"0%*,7'"/'>#,,-?@'45"/'"/')%/"&='/))$'9='*5)'+,$-"*",$%&'-)$/"*='68$+*",$',6'*5)')/*"0%*,7' /5,;$' "$' A"#87)' B?3?' C)' ,9/)7<)' *5%*' )<)$' *5,8#5' *5)' )/*"0%*)' "/'8$9"%/)-:' /"D%9&)' )77,7/' %7)' &"E)&=' *,' ,++87:' /"$+)' *5)'<%7"%$+)',6' *5)' )/*"0%*)' "/'&%7#)?'F,;)<)7:' "6' *5)'<%7"%$+)' "/'/0%&&:' *5)'<%7"%9"&"*=',6' *5)')/*"0%*,7'%9,8*' "*/')GH)+*)-'<%&8)'"/'%&/,'/0%&&?'I,$/)J8)$*&=:'*5)'<%7"%9"&"*=',6'*5)')/*"0%*,7'"/'+&,/)'*,'*5)'*78)'<%&8):'/"$+)'*5)')/*"0%*)'"/'8$9"%/)-:';5"+5'"/'%'-)/"7)-'6)%*87)?'F)$+):';)' /%=' *5%*' *5)' /)+,$-' 0)%/87)' ,6' J8%&"*=' ,6' *5)' )/*"0%*)' "/' *,' 5%<)' %' /0%&&'<%7"%$+)?''

!"#$%&'()*$"$+,+)-%.$%"/'' ' ' K ' "/' %'0"$"080'<%7"%$+)' %$-' 8$9"%/)-' LMNOP')/*"0%*)',6''"6:'6,7'%&&')/*"0%*)/' '/8+5'*5%*' QR 0 :';)'5%<)' Q<%7RQK<%7R '

6,7'%&&' ? '45%*'"/:' K '5%/'*5)'/0%&&)/*'<%7"%$+)'%0,$#'%&&'8$9"%/)-')/*"0%*)/',6'?''

12"&$&3'"3)0&3$+%3'' ' ' K ' "/' %' +,$/"/*)$*' )/*"0%*)',6' *5)'H%7%0)*)7':' 9%/)-',$)4',9/)7<)-'/%0H&)/:'"6'

''''''' S%&&6,7SK&"0 5

4' ''''''''''''''''LB?TP'

;5)7)' 5 '-)$,*)/'H7,9%9"&"*=?'

UHH&="$#'*5)'%9,<)'-)6"$"*",$'*,'<)7"6='*5)'+,$/"/*)$+=',6'%$')/*"0%*)'"/'$,*'/"0H&)?'45)'6,&&,;"$#'*5),7)0'"/'8/)-'"$/*)%-?''

67'2.'+?''V)*' K '9)'%$'8$9"%/)-')/*"0%*,7',6''9%/)-',$'4',9/)7<)-'/%0H&)/?''W6'

QKR&"0 0

4' ' ' ''''''''''''''''LB?XP'

'

'

'

''

!"#$%&'()*''()$/"*='68$+*",$',6'*5)'8$9"%/)-')/*"0%*,7' K ?'

''

Q<%7RQK<%7R '

PKLK8 '

!"#"$%&%#'()&*$"&*+,' !""

#$%&'(&

)*+,-#./'0

(-

& & &&&&&&&&&&&&&&&&12345&

678$& + &'9&#&:;$9'968$6&896'0#6;.&;(&3&&!"#$%&'()*+((

1#5& <8.'(=&'(&678&896'0#6;.& $.$+ &;(&>?#0@/8&23A&'9&#$&B$C'#98%&896'0#68&;(&$3&

1C5& D9&678&896'0#6;.& E+ $. &B$C'#98%F&&/+.0&*+,&&1#5& G78&896'0#6;.& $.$+ &'9&B$C'#98%&'(& $$( $. *+, 3&&H(68.&9BC96'6B6';$I&J8&;C6#'$&

$-$-

1(-

1-

($(-

2-

-

2-$.

AAA*+,AA

&

K8$:8I& $.$+ &'9&B$C'#98%3&

1C5& G78&896'0#6;.& E+ $. &'9&B$C'#98%&'(& 3*+, EE $.( &G7#6&'9I&&

E

A A

EEE

AEAA

-

2

-

2222

-

21$1-$(

-$1

-( &

K8$:8I& E+ $. &'9&B$C'#98%3&&&&&)*,! -./!01(!0234.2356((D$&678&L#=89M&896'0#6';$I&J8&#99'N$&#&:;96& 5+I1 ! &6;&#//&@#'.9& 5+I1 3&G78&:;96&'9&#&

$;$$8N#6'-8&.8#/&-#/B8& (B$:6';$&;(& 678& 6J;&.#$%;0&-#.'#C/89&&#$%& + 3&H9& '$& 678&L#=89M&%868:6';$I&678&.'9O&(B$:6';$&'9&%8('$8%&6;&C8&678&#-8.#N8&-#/B8&;(&678&:;96P&67#6&'9I&

*5+I1, !( & & &&&&&&&&&&&&&&123A)5&

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

45)' #,%&' "/' *,' 0"$"0"6)' *5)' 7"/8' 9:$+*",$' "$' ,7-)7' *,' ,;*%"$' < =' >5"+5' "/' *5)',?*"0:0')/*"0%*)@'A$'0%$B'?7,;&)0/=',$&B'*5)')77,7' C ';)*>))$'*5)')/*"0%*)'%$-'*5)'*7:)'D%&:)'"/',9'"$*)7)/*E'*5%*'"/='

<C ' ' ' ''''''''''''''F3@GGH'

I,$/)J:)$*&B='>)'>"&&',$&B'+,$/"-)7'+,/*/'>5"+5'%7)'%'9:$+*",$',9'*5)')77,7@''457))'+%/)/'>"&&';)'/*:-")-='%$-'*5)"7'+,77)/?,$-"$#'/8)*+5)/'%7)'/5,>$'"$'K"#:7)'3@2@''G@' !J:%7)-')77,7'

''''''''''' LH<FH<=F ! ' ' ''''''''''''''F3@GLH'

L@' M;/,&:*)'D%&:)',9')77,7'

''''''''''''' <H<=F! ' ' ''''''''''''''F3@G1H'

1@' N$"9,70'+,/*'9:$+*",$'

L<=O

L<=G

H<=F!

! ' ' ''''''''''''''F3@GPH'

45)':$8$,>$'?%7%0)*)7'"/'%//:0)-'*,';)'%'+,$*"$:,:/'7%$-,0'D%7"%;&)'>"*5'-)$/"*B'9:$+*",$' HF! @'45)'7"/8'9:$+*",$'+%$'*5)$';)')Q?7)//)-'%/''

'''''''''

' ''''F%H' ' ' ''''''F;H' ' ' '''''''F+H'!"#$%&'()*''I,/*'9:$+*",$/R'F%H'/J:%7)-')77,7='F;H'%;/,&:*)'D%&:)',9')77,7='%$-'F+H':$"9,70@'

'

H=<F! ! H=<F! !H=<F! !

''''''

L

!L !

'G'

!"#"$%&%#'()&*$"&*+,' !"#

$$$$

!!" --.( %&%'(&%)'(&* ( !!! $ $$$$$$$$$$$$$$&+,-"%$

./01$0230$41$0351$021$6/70$38193:1$/819$3;;$</77=>;1$83;?17$/@$$3AB$"($42191$"$=7$021$ 8160/9 ,C-

/0111 $ D1$ A/4$ @=AB$ 021$ 170=E30/9$ @/9$ 021$ 02911$ 6/70$

@?A60=/A7$6/A7=B191B,$$"#$#%! &'(')*)+&,-(./0*-1,+21131+245')-5,+$F21$ 170=E30/9$ 0230$ E=A=E=G17$ 021$ 9=75$ @?A60=/A$ @/9$ 021$ 6/70$ :=81A$ =A$ &+,-C%$ =7$91@1991B$0/$37$3$E=A=E?E$E13AH7I?391$170=E301$&JJKL%,$F21$6/9917</AB=A:$9=75$

@?A60=/A$=7$B1A/01B$>M$ $) ,$D1$2381$

$$$$$

!!!! "" --.---.$) %&%'&%&%'& (C

(C !! $$$$$$&+,-+%$

N7=A:$&-,O-%($021$9=75$@?A60=/A$63A$>1$9149=001A$37$$

-..-$) %&%'&%& P

C !!! "" 6 $ $$$$$$$$$$$$$$&+,-#%$

K=A61$021$B1A7=0M$@?A60=/A$ %& !". $ =7$A/AA1:30=81($E=A=E=G=A:$ $) $ =7$1I?=83;1A0$

0/$E=A=E=G=A:$021$1Q<9177=/A$=A$>9365107$/@$021$3>/81$1I?30=/A,$R1A61($035=A:$021$

B19=830=81$4=02$917<160$0/$ ' $3AB$7100=A:$=0$1I?3;$0/$G19/($41$2381$

S%&%'&' P

C

-.-- !" 6 $ $ $$$$$$$$$$$$$$&+,-T%$

N7=A:$U1=>A=GV7$9?;1$:=81A$=A$&-,!T%($41$/>03=A$

)P*%&' P !!# " (-.$)

6 $ $$$$$$$$$$$$$$&+,-O%$

F230$=7($021$E=A=E?E$E13AH7I?391$170=E301$ $)' $91<9171A07$021$6/AB=0=/A3;$E13A$

/@$$:=81A$",$W0$63A$137=;M$>1$72/4A$0230$021$716/AB$B19=830=81$4=02$917<160$0/$ $)' $

=7$</7=0=81HB1@=A=01($42=62$6/9917</AB7$0/$3$?A=I?1$E=A=E?E$/@$ ($) $3AB$=7$:=81A$

>M$

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!""! #$#$ 4546545 78 !!! "" ! '

''''''''''

!"%"! 4597:45 78 !!!! "" ! '''''''''''''5;<8=4'

>?)'+,$-"*",$%&'@%A"%$+)',B''#"@)$'"'"/'

'''''

!"% 4597:97@%A: 78 !!! " ! ' ''''''''''''''5;<8C4'

D)$+)E' #$ ' "/' FG/*' *?)' +,$-"*",$%&' @%A"%$+)' ,B' ' #"@)$' "E' %@)A%#)-' ,@)A' %&&'H,//"I&)'@%&G)/',B'"<'>?"/')/*"0%*",$'HA,+)-GA)'G/"$#'*?)'/JG%A)-')AA,A'+A"*)A",$'"/'/,0)*"0)/'A)B)AA)-'*,'%/'%'0"$"0G0'@%A"%$+)'5KL4',B')AA,A')/*"0%*",$<''"#$#%! &'(')*)+&,-(+./012*3,+4-2*,+15+67717+603')-3,++M$'*?"/'+%/)E'*?)'+,/*'BG$+*",$'"/'#"@)$'IN'5;<C14E'%$-'*?)'A"/O'"/'

' !!" !!"&'$

4E56E !#!! "" !!""

45645 7 ! ''5;<884'

P/"$#' *?)'/%0)'%A#G0)$*/'%/' "$'!)+*",$';<2<CE' *?)'A"/O'+%$'I)'0"$"0"Q)-'IN'0"$"0"Q"$#'*?)'"$*)#A%&'"$'IA%+O)*/E'R?"+?'"/'#"@)$'IN'

6

7

6

7 4546545465 !"!" !! "" !! ' ''''''''''''''5;<814'

("BB)A)$*"%*"$#' 5;<814'R"*?' A)/H)+*' *,' 6 E' %$-' /)**"$#' *?)' A)/G&*' )JG%&' *,'Q)A,E'R)',I*%"$'

''''''''''

&'$

&'$

!"!"6

7

6

7 4545 !! "" !! '' ''''''''''''''5;<8S4'

>?%*' "/E' *?)' )/*"0%*) &'$6 "/' FG/*' *?)'#(!)&*' ,B' *?)' +,$-"*",$%&' -)$/"*N' BG$+*",$'457 !" !" <'>?"/')/*"0%*)'"/'%&/,'O$,R$'%/'*?)'0"$"0G0'0)%$'%I/,&G*)'@%&G)',B+

)AA,A'5KTL.4')/*"0%*)E'%$-'*?G/' #&,(&'$ 66 <'

!"#"$%&%#'()&*$"&*+,' !"#

!"#"$! %&'()*)+,+-./012(.2(+3/0()&01++$%&'()*'+,-.%&/'0%1('.+,0(-%,'2-3*,'45'6789:;<'()*'=>5*1?'&-1@'4*0%/*1'

!!!! """ --.-../,. ';;6;6

ABC

AB

C

44 '

'''''''''' !!! "" --../,. ';69;6AB

ABC

4 ' ' ''''''''''''''678A";'

D)*&*'

!!" CAB

AB;6

AB

ABC !-. 4 ' ''''''''''''''678A7;'

! ' E*,%(*1' F&%4>4-G-(58' H*,0*<' ()*' &-1@' /,. ' -1' /-,-/-I*E' 45' />J-/-I-,2'

678A7;8'K%(*' ()>(' -,'/>J-/-I-,2' 678A7;' 6/-,-/-I-,2' /,. ;<'D*'>&*' 1*>&0)-,2' .%&'

()*' *1(-/>(*' B <' D)-0)' /-,-/-I*1' ;6C !" 4. 8' L)-1' -1' 0>GG*E' ()*' />J-/+/' >'

F%1(*&-%&-'*1(-/>(*'6MNO;<' $"0B <'D)-0)'-1'E*.-,*E'>1'

''''' P;6

B

C

$"0

. !" 4' ' ''''''''''''''678AQ;'

R1-,2'()*'G%2>&-()/<'D)-0)'-1'>'/%,%(%,-0>GG5'-,0&*>1-,2'.+,0(-%,<'678AQ;'4*0%/*1'

''''''''''' P

;6G, C

!" 4.' ' ''''''''''''''678AS;'

TU+>(-%,'678AS;'-1'0>GG*E'()*'12!'%3/"&*+,8'L)-1'-1'>',*0*11>&5'4+(',%('1+..-0-*,('0%,E-(-%,<'1-,0*' ;6C !" 4. '/>5')>3*'1*3*&>G'G%0>G'/>J-/>8'R1-,2'()*'=>5*1?'&+G*'

''';6

;6;6;6 C

C !#!

!"

"" .

...

4 ' ''''''''''''''678A#;'

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

%$-'*4)'5%+*'*4%*'

'''''''''''' 67&$67&$67&$67&$ 88 !"!! ### !!!! ! ''''''''''''''729136'

*4)$'*4)':;<')=>%*",$'0%?'@)'A)BA"**)$'%/'

''''''''''' 367&$67&$67&$ 88

!!! "!! ## !' ''''''''''''''7291C6'

D)'%&B%?/'%//>0)'*4%*''"/'/>55"+")$*&?'/0%&&E'/,'*4%*'*4)')/*"0%*)' "#$F '"/'#"G)$'

@?' *4)' :;<' )=>%*",$9' H4%*' "/E' *4)' +,/*' 5>$+*",$' /4,B$' "$' I"#>A)' 29J' 0%?' @)'-)5"$)-'%/''

6FE7C6EF7 % ' ' ''''''''''''''7291K6'

"#$%&'()*+,)'L,$/"-)A'*4)'MA,@&)0'B4)A)'*4)',@/)AG)-'/%0M&)/'%A)'

&'()* '' E999EKECE '

)+%$-'(''%A)'/*%*"/*"+%&&?'"$-)M)$-)$*'N%>//"%$'A%$-,0'G%A"%@&)/'B"*4'O)A,'0)%$'%$-'G%A"%$+)' K 9'I"$-' ","F E' "#$"F E'%$-' "#-."F 9'

''/0123405+'IA,0'729CP6E' *4)')/*"0%*) ","F "/' *4)'+,$-"*",$%&'0)%$',5'"'#"G)$'#9'H4)'-)$/"*?'5>$+*",$' 6878 !# "!) '"/')QMA)//)-'%/'

67

67687687

88 !

!!

#

## !

"!"!"! ))

) '

B4)A)'

K

K

K)QM

K

C67

""!) E''

&

'

')

"6"!

CK

K

8K67

)QMK

C687 !# '

%$-'*4)'0%A#"$%&'-)$/"*?'5>$+*",$' 67 !#! '"/'

!"#"$%&%#'()&*$"&*+,' !"#

-$$.$.-$$.. /// $%$&%$'%$% &' !!! """ (

)*+,(+-.+( $&%& !" $./ (/0(.(1234+/*3(*1($'(52+(+-.+( $% !". (/0(.(4*30+.3+(6/+-(!(.0(.(7.8.9,+,8(3,,:,:(+*(9./3+./3(+-,(.8,.(23:,8(+-,(4*3:/+/*3.;(:,30/+<(1234+/*3(,=2.;(+*(*3,>(?-.+(/0'(

0

11

0

/ $$2.

$.#

@@@

#

&@#,A7

$%$@%#

$&%!

!"

" (

BA7.3:/3C(+-,(,A7*3,3+'(6,(-.D,(

0

11

0

11

0

11

0

11

0

11

0

11

0

11

0

111

220

20

$0

220$$0

22$0$$$$22

#

@@

#

@

#

#

@

#

@

#

@

##

@@@@

##

###

#@#

@$#%$@%

(

?-,(;.0+(+6*(+,890(/3(+-,(,A7*3,3+(:*(3*+(/3D*;D,($'(.3:(4.3(5,(.50*85,:(/3(+-,(92;+/7;/4.+/D,(4*30+.3+(+*(*5+./3(

@

#

@@& #

#@#,A7$%$&%

0

11

$/ 2

0$3$. !!" (

6-,8,( ># 0$ (E<(/307,4+/*3'(+-,(4*3:/+/*3.;(9,.3(/0(

0

11$) 2

0/($

###&F ! (

G44*8:/3C(+*(%">@H$'( $) (/0(C/D,3(5<(

!!! " -./$) $%I&D.8J (

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

4)$+)5'/"$+) 678

!!" !" 5'*9)$' 33 78 ###$ !"

!!" :'

;9)%<=>')/*"0%*)'"/',?*%"$)-'@/"$#'82:3A7'%$-'82:3B7:';%C"$#'*9)'&,#%D"*90',E' 7F8F !" #"& 5'G)'9%H)'

3

63F 6

6

6

78&$7F8&$

'

((

#& )

'#*#" !!" '

;9)D)E,D)5'

I6

667F8&$

63

F

'

((

#

& )'

###" !" '

'

((#+, )

'#

66

6J '

;9%*' "/5' :JJ #$#+, ## 'K)'+,@&-'9%H)',?*%"$)-' *9"/' D)/@&*'-"D)+*&L'?L' "$/M)+*",$5'

/"$+)'G)'9%H)'/9,G$'*9%*' 7F8F !" #"& ' "/'N%@//"%$:'O,$/)P@)$*&L5'*9)'0%Q"0@0'

,E' 7F8F !" #"& ',++@D/'%*'"*/'0)%$'H%&@):'

R/"$#'*9)'E%+*'*9%*'*9)'N%@//"%$'-)$/"*L'E@$+*",$'"/'/L00)*D"+5'%$-'*9%*' #+-.#J '

"/'*9)'0)-"%$',E'*9)'+,$-"*",$%&'-)$/"*L'E@$+*",$' 7F8F !" #"& 5'G)'+,$+&@-)''

'

((#+,#$#+-. )

'###

66

6JJJ '

SD,0'82:1675' "E'' "/'%//@0)-' *,'?)' D%$-,0'G"*9 I78 " ' E,D' 5' *9)$'

*9)'<T')/*"0%*)'+%$'*9)$'?)'+,$/"-)D)-'*,'?)'%'/M)+"%&'+%/)',E'*9)'<=>')/*"0%*):'!@+9' %' -)$/"*L' E@$+*",$' E,D' ' +,$$,*)/' U)D,' %' MD",D"' "$E,D0%*",$' %?,@*' :'S@D*9)D0,D)5'*9)'<=>')/*"0%*)',E'%'N%@//"%$'-"/*D"?@*)-'M%D%0)*)D'"/')P@"H%&)$*'*,' *9)' <T' )/*"0%*)' %/' *9)' H%D"%$+)' "$+D)%/)/V' *9%*' "/5' *9)' -"/*D"?@*",$' ,E' *9)'M%D%0)*)D' *,' ?)' )/*"0%*)-' *)$-/' *,' ?)' @$"E,D0:' W$' #)$)D%&5' E,D' %' /L00)*D"+'-"/*D"?@*",$' +)$*)D)-' %*' *9)'0%Q"0@05' %/' /9,G$'S"#@D)' 2:28%75' *9)'0)%$5'0,-)5'%$-'0)-"%$'%D)'"-)$*"+%&:'WE'*9)'-"/*D"?@*",$',E'*9)'M%D%0)*)D'"/'@$"E,D05'*9)$'*9)'<=>5' *9)'<<!.5' %$-' *9)'<=X.' )/*"0%*)/' %D)' "-)$*"+%&:' W$' S"#@D)' 2:28?75' G)'"&&@/*D%*)'*9)'-"EE)D)$*')/*"0%*)/'G9)$'*9)'-)$/"*L'E@$+*",$'"/'$,*'/L00)*D"+:'Y)+%&&'*9%*'*9)'#.!/+0%"/'*9)'H%&@)',E')'E,D'G9"+9' 3Z67878 )12)12 5'G9"&)'*9)'

#3!.'"/'*9)'H%&@)'*9%*'9%/'*9)'#D)%*)/*'MD,?%?"&"*L',E',++@DD"$#:''

!"#"$%&%#'()&*$"&*+,' !"!

#'''''''''''''''''$%&# # # #####################$'&#

!"#$%&'()(''()*+,-.#/0*1-,2*+#+324,*5#6)7%-,2*+#-2#89:;#89<=;#%*>#88?=#)+-,@%-)+A#$%&#+.@@)-6,1#B>/;#%*>#$'&#*2*+.@@)-6,1#B>/C#$-#+$A#DEFC#G#EHHH#I23*#J,7).#%*>#?2*+;#K*1C#L)B6,*-)>#4,-3#B)6@,++,2*C&#

*+,-./&'()0'M#N,*># ;O$). #-3)#@,*,@0@#@)%*P+Q0%6)#)6626;#%*># $"/.O ;#-3)#@%R,@0@#%#B2+-)6,26,#)+-,@%-26+;#2/#0# /62@# -3)#2'+)6S%-,2*# C102 #0#%*>#1#%6)# 6%*>2@#S%6,%'7)+#4,-3#>)*+,-.#/0*1-,2*+#

&T$ET&$

ET&$ ...3 0 ##%*>##

H;ET

H;ET

ET&$

,%

,%%,3

,

,

,1 #

4+56&*+,''U3)# )+-,@%-)# $"/.O # @%R,@,V)+# -3)# >)*+,-.# /0*1-,2*# &CW$W 7.3 20 # ?,*1)# -3)#

12*>,-,2*%7# B62'%',7,-.# >)*+,-.# /0*1-,2*# ,+# .,02 %073 &EXT$&W$W ;# -3)#

B62'%',7,-.#>)*+,-.#/0*1-,2*#2/#2#,+#

8...%8..3.7373 .,0022 FTD

YT&$&W$&$ W

#

!!!!!

T;YT

TH;YT

H;YT

YT

T

T

T

T

7%%

7%%

7%%

%%

,,

,,

,,

,, #

@)%*;#@2>);#@)>,%*#

89<=#88?=#

&W$W 732 !&W$W 732 !

89:#8Z# 89:#

89<=#

88?=#

@2>)# @)>,%*# @)%*#!#

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

45)'%'6,/*)7",7"'-)$/"*8'9:$+*",$'"/;'97,0'<2=>?@;'#"A)$'B8'

C

DD

@EC<@<F

@<

@<@D<@D<

!!

"!

#

$$##$

%%

""%&'

"'"&'&"' '

@D<D &"' #$ ' "/' G)7,' )H+)6*' I5)$' J" ' %$-' C" =' 45)' %B,A)' )H67)//",$' "/'

0%H"0"G)-'I5)$' "! '"/'0"$"0"G)-='!"$+)'"'+%$'*%K)',$&8'*I,'A%&:)/;'B:*'0:/*'B)'+&,/)'*,'!;'I)'5%A)'

>

C9,7J

>

C9,7C

L

!

!"()* '

45)' 0)%$M/N:%7)' )77,7' )/*"0%*)' "/' *5)' 0)%$' ,9' *5)+ %' 6,/*)7",7"+ -)$/"*8'9:$+*",$'%/'#"A)$'B8'<2=C?@='O)$+);''

,"

%%

""%","&""'"!!

"!

#$(- CD@EC<@<F

@D<L '

!"$+)'

@;<@<@< JJ ./,../.. '*5)'0)%$M/N:%7)')/*"0%*)'"/'

C

C

L

!!

!

(-%%

%" '

%$-'I)'/))'*5%*' ()*"L '"/'$,*'"-)$*"+%&'*,' =L(-" '

''!"!! #$%&'$($%)*+,'-.%/+01**P7,0'*5)'QRS')N:%*",$',9'<2=1C@;'"9'I)'/)*'*5)'-)$/"*8'9:$+*",$',9''*,'G)7,;'9,7'%&&';'I)',B*%"$'*5)'&"K)&"5,,-')N:%*",$',9'<2=1@='45%*'"/;' *5)'QT')/*"0%*)'+%$'B)'+,$/"-)7)-'%/'%'/6)+"%&'+%/)',9' *5)'QRS')/*"0%*)='U$'*5"/'+%/);' *,'+5)+K'I5)*5)7'*5)' )/*"0%*)' "/' V#,,-;W' I)' $))-' *,' +,06:*)' "*/' B"%/' %$-' )77,7' A%7"%$+)' %$-'-)*)70"$)'"*/'+,$/"/*)$+8='U*'0%8'B)'A)78'-"99"+:&*'*,',B*%"$'%$')H67)//",$'9,7'*5)')77,7'A%7"%$+)='U$'*5"/'+%/);'*5)'V#,,-$)//W',9'*5)')/*"0%*,7'"/'/*:-")-'"$'*)70/',9'%'&,I)7' B,:$-' ,$' *5)' )77,7' A%7"%$+)=' 45"/' B,:$-' "/' K$,I$' %/' *5)' 01)(%123)4+

!"#"$%&%#'()&*$"&*+,' !"#

-+.,/$%&'(%)*+,(*-.+/%0/123%/4%+%5/267+27%8+*+,(7(*%96%:9;(2%0<%7'(%4/==/>92:%7'(/*(,$%%01%+#%$$%%?(7%7'(%;(57/*% 0

2333 @A$$$AAB CD! %*(8*(6(27%2%/06(*;+79/26A%+23% E %0(%7'(%1209+6(3%(679,+7/*%/4%$%&'(2%

CF GFH=2

D@FGEH;+*B"!4(

%% %%%%%%%%%%%%%%H"$!!G%

>'(*(%

%%%%%%%%%

CF

CCF GFH=2GFH=2 "" !! 4

(4

( % %%%%%%%%%%%%%%H"$!IG%

!#++4$%%%J/*%+2%1209+6(3%(679,+7/*% E A%>(%'+;(%

@FEB ( % % %%%%%%%%%%%%%%%%%%%%%%%%%%%%H"$!#G%

&'(*(4/*(A%

%%% KGFHGEH@FGEHB F

""! /4( % %%%%%%%%%%%%%%H"$!"G%

L944(*(279+792:%H"$!"G%>97'%*(68(57%7/%A%>(%/07+92%

%%% """"

!! /4/4

GFH

GFHGEH F

F % %%%%%%%%%%%%%%H"$!MG%

&'(%6(5/23%927(:*+=%96%(N1+=%7/%/2($%O692:%7'(%4+57%7'+7%

556

56556

GHGH

DGH=2 % % %%%%%%%%%%%%%%H"$!PG%

>'(*(% GH56 %96%+%412579/2%/4%5A'>(%5+2%(Q8*(66% RGFHF "!4 %+6%%

!"#$%&'()*)+*",$'%$-'./*"0%*",$'122

345&$

345

345 44

4

!!

! ""

" !!

!' ''''''''''''''526173'

!89/*"*8*"$#'526173'"$*,'5261:3;'<)',9*%"$'

=

345&$3453>5

44 !

!! "

" "!

! ' ''''''''''''''526?@3'

AB)'!+B<%CD'"$)E8%&"*F'/*%*)/'*B%*'

G

GG 35353535

"##$#%"##$"##% ' ''''''''''''''526?=3'

<B)C)' 35%$-35 #$#% ' %C)' *<,' H8$+*",$/' ,H' #6' .E8%&"*F' B,&-/' "H' %$-' ,$&F' "H'3535 #&%#$ ;' <"*B' &' %' +,$/*%$*6' I)<C"*"$#' 526173' "$' ,C-)C' *,' 8/)' *B)' !+B<%CD'

"$)E8%&"*F;'<)'B%J)'

=K3453>5L345345&$

444

!!!!

""" "!!!

'''''''''526?G3'

,C'

''''''' =345345&$

3453>5 4

G4

4G

!!!

!! ""

" "!!

"! '''526?13'

AB)' H"C/*' "$*)#C%&' 9)*<))$' 9C%+M)*/' "/' %+*8%&&F' K643>J%CL5 ' N)$+);' *B)'"$)E8%&"*F'9)+,0)/'

'''''

G4 345&$

=K43>J%CL5

$!( )

' ''''''''''''''526??3'

<B"+B'OC,J)/'5261136'P)' $,<' OC,J)' 5261?3;' <B"+B' /%F/' *B%*' *B)' QC%0)CRI%,' 9,8$-' +%$' 9)'

)SOC)//)-'"$'%'-"HH)C)$*'H,C06'P)'M$,<'*B%*'

!"#"$%&%#'()&*$"&*+,' !"#

$$$$$$$$$$

%&'(' !!" -. $ $ $$$$$$$$$$$$$$(")*+&$

,-../0/12-32-14$5627$8-9/8$6.$27/$/:;32-61$<-27$0/8=/>2$26$$0/8;?28$-1$

$$$$$$$$

@

&'(' !

!" -.

$ $ $$$$$$$$$$$$$$(")*"&$

A/<0-2-14$(")*"&$319$;8-14$(")!B&C$</$73D/$

$$$$$$$$

@&'(

&'(?1

'' !!!

"" -..

$$ $$$$$$$$$$$$$$(")*#&$

,-../0/12-32-14$343-1$<-27$0/8=/>2$26$C$</$6523-1$

@

&'(

&'(?1

&'(

&'(?1 '''E

'E !!

!!! ""

"" ..

-..

$$$$$$$(")*B&$

F;582-2;2-14$ (")*#&$ .60$ 27/$ 8/>619$ 2/0G$ 6.$ 27/$ 8/>619$ -12/403?$ 6.$ (")*B&C$ 319$

0/300314-14$2/0G8$H-/?98$

$$$$$$$$$$$$

E

'E

'E

&'(?1&'(?1 !! "" .(

.( $ $$$$$$$$$$$$$$(")*I&$

<7->7$-8$27/$83G/$38$(")!*&C$319$27/$=066.$6.$27/$27/60/G$-8$>6G=?/2/)$

J1$-G=602312$658/0D32-61$356;2$(")*!&$-8$2732$/:;3?-2H$76?98$-.$319$61?H$-.$

KL&M(

&'(?1 '

/

. !" $ $ $$$$$$$$$$$$$$(")+@&$

J1H$;15-38/9$/82-G3260$2732$832-8.-/8$27/$/:;3?-2H$-1$27/$N03G/0OA36$-1/:;3?-2H$6.$

(")!!&$-8$83-9$26$5/$31$%..*/*%,&'%)&*$"&+#0'P.$ 31$/..->-/12$ /82-G3260$/Q-828C$ -2$ >31$/38-?H$5/$ 876<1$ 2732$ -2$ /:;3?8$ 27/$RS'

/82-G32/)$T7/$RS$/:;32-61$-8$4-D/1$5H$

$ @

&'(?1

L

'

$1

. !"$ $ $$$$$$$$$$$$$$(")+%&$

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

4/"$#'526789:';<,="-)-'*>%*'%$')??"+")$*')/*"0%*)')@"/*/:'A)'>%=)'

'''''!"

!"

#$

BB

CDB9E5

9C5&$

!" ' ''''''''''''''5267F9'

A>"+>')GH%&/'I)<,'A>)$ 6BB!" '

'!"#$%&'()*)''J,$/"-)<'%',K/)<=%*",$/:'/H+>'*>%*'

%&'!( && ::F:L: '

A>)<)'!' "/' H$M$,A$' %$-''&/' %<)' /*%*"/*"+%&&N' "$-);)$-)$*' I)<,' 0)%$' O%H//"%$'<%$-,0'=%<"%K&)/'A"*>'H$M$,A$'=%<"%$+) 6F '

5%9' P"$-'*>)')/*"0%*)/' FB%$-B! '?,<' F%$-! :'<)/;)+*"=)&N6'

5K9' Q/'!B '%$')??"+")$*')/*"0%*,<R'5+9' P"$-'*>)'+,$-"*",$%&'=%<"%$+)',?'*>)')<<,<' D6C9B=%<E5 !!! '

')*"+,-*.''

5%9'4/"$#' 526F9:'A)'+%$'-)*)<0"$)' !B !%$-! FB ' /"0H&*%$),H/&N6'S>)'+,$-"*",$%&'

-)$/"*N'?H$+*",$',?'"'#"=)$' F%$- ! '"/'

%

&

& !/!$

LF

FF

F)@;

FL

9:C5 !" '

S%M"$#'*>)'&,#%<"*>0:'A)'>%=)'

%

&

& !/%!$L

F

FFF

FF&$

F9:C5&$ !" '

T)'*%M)'*>)'-)<"=%*"=)',?'*>)'%K,=)')GH%*",$'A"*>'<)/;)+*'*,' F%$- ! '*,',K*%"$'

*A,')GH%*",$/'"$'*A,'H$M$,A$/6'S>%*'"/:'

8F

F9:C5&$

LF

F

%

&

& !/!!$ !" '

!"#"$%&%#'()&*$"&*+,' !"#

$%&'

-

.

. $/-$0

()

*

**

*

+**

,-./0% !" '

12034%5'627' $1$8 '$%&' *8 $1 '94:;0<$%=2;90>-'?='2@<$4%'

-

..$1 /

-$

(

(8 '

$%&'

-

.$1.

-

.

-

...$1 $/

-/

-/

- (

*

(

*

(

* 8(((8 '

/@,' $1$8 '49'$%';%@4$9=&'=9<4:$<27'94%A='

$/(-

$(-

..$1

(

(B8C '

D2'AE=AF'46'<E='=9<4:$<27'49'=664A4=%<-'?=';9='/"GH+,'<2'2@<$4%'

-

.

-

..

. $/-

-$/$$0

( (**

* (,-./0% !" '

?E=7=' G8,I(/8$%&I,/(

*

-

.$1. $/-$-$2 ' J=%A=-' <E=' =9<4:$<27' 49'

=664A4=%<G''/A,' D2' &=<=7:4%=' <E=' A2%&4<42%$0' 3$74$%A=' 26' =7727-' ?=' ;9=' /"G!!,' $%&' /"G!),G'D$F4%5'<E='&=743$<43='26'<E='04F=04E22&'=K;$<42%'?4<E'7=9L=A<'<2'$-'?='2@<$4%'

**

**

,-./0% -

$$0

!" '

J=%A=-'

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!

""#

$

"""4

4

44

5678&$

9:75;<%=>8

!"

!

%&'"(&)*'+,-.(/0'1234,#+&,',*'.5+",6'&'"(3(&''?)' /@AA,/)' *B%*' ' "/' %' =%$-,0' A%=%0)*)=6' /@+B' *B%*' *B)' C,"$*' -)$/"*D' E@$+*",$'

5787 !"# ',E'*B)',F/)=<%*",$'<)+*,='"'%$-'*B)'A%=%0)*)=''%=)'G$,H$I'JB)$6'

4

6

4

568&$

9:5;<%=>8

!"#$

'' ''''''''''''''8KIL15'

HB)=)'

'''''''''''

568&$568&$ 64

44

6 !! "" #$#$ ' ''''''''''''''8KILM5'

.N@%&"*D',E'8KIL15'B,&-/'"E'%$-',$&D'"E''

!!! 5;8568&$ 6 7# !" ! ' ''''''''''''''8KILL5'

HB)=)' 7' "/' "$-)A)$-)$*' ,E'"' %$-' I' O@=*B)=0,=)6' *B)' &,H)=' F,@$-' ,E' 8KIL15' "/'%+B")<)-'H"*B')N@%&"*D'"E'%$-'"E' 5787 !"# '"/'P%@//"%$I'

Q*'%&/,'+%$'F)'/B,H$'*B%*'"E'*B)'&,H)='F,@$-',$'*B)'$,$=%$-,0'A%=%0)*)=',E'8KI1M5' "/'-)$,*)-'8' %$-' "E' *B)' &,H)='F,@$-',$' *B)' =%$-,0'A%=%0)*)=',E' 8KILM5' "/'-)$,*)-'96'*B)$'

4

4

58&$ #

$89 ' ' ' '8KILK5'

R)S*6' H)' A=)/)$*' *B)' #)$)=%&"T%*",$' ,E' *B)' U=%0)=VW%,' F,@$-' E,=' %' <)+*,='A%=%0)*)=' ,$' 0@&*"A&)' A%=%0)*)=' )/*"0%*",$' E,=' F,*B' =%$-,0' %$-' $,$=%$-,0'A%=%0)*)=/I''''

!"#"$%&%#'()&*$"&*+,' !"#

!"#!$%&'()&*+),-,$*'*-+*.'($,'(/0++$%&'(%)& *(+(*& (%+& ,-''.%/,(0/-%& (112/,(0/-%34& /0&'()&56&%6,633(*)& 0-& 67('/%6&3686*(2&1(*('606*3&3/'.20(%6-.32)9&:-*&67('1264&/%&(&*(+(*&(112/,(0/-%4&(&1*-526'&'()&56& 0-&630/'(06& 0;6& *(%<6&(%+&862-,/0)&-=&(& 0(*<60>&?;/26& /%&(&,-''.%/,(0/-%&(112/,(0/-%4& 0;6& 1*-526'& '()& 56& 0-& 630/'(06& 0;6& ('12/0.+64& (**/8(2& 0/'64& (%+& (&,(**/6*&=*[email protected]%,)&-=&(&*6,6/86+&3/<%(29&A;6*6=-*64&?6&,(%&%-?&6706%+&0;6&1(*('606*&630/'(0/-%& ,-%,6103& 0-& '.20/126& 1(*('606*39& A;6& 86,0-*& 0-& 56& 630/'(06+& '()& 56&*(%+-'&B/%&0;/3&,(36&?6&.36&0;6&C()63D&630/'(0/-%E&-*&%-%*(%+-'&B/%&0;/3&,(36&?6&.36&0;6&'(7/'.'&2/F62/;--+&630/'(0/-%E9&&!"#"1! +023453627++$%&0;/3&,(364&0;6&86,0-*&&/3&

-. G# && &&&&&&&&&&&&&&BH9I"E&

A;6%4&BH9!E&56,-'63&0;6&=-22-?/%<&360&-=&3/'.20(%6-.3&2/F62/;--+&6@.(0/-%3&

JE444K444B2% G#G##

..///0 !" &

JE444K444B2% G#G#G

..///0 !" &

&&& JE444K444B2% G#G#

...

///0 !" & &&&&&&&&&&&&&&BH9ILE&

$%&-*+6*& 0-&?*/06&BH9ILE&/%&(&'-*6&,-'1(,0&=-*'4&?6&+6=/%6&0;6&1(*0/(2&+6*/8(0/86&,-2.'%&86,0-*&5)&

-

.

G#

& & &BH9IME&

A;/3& -16*(0/-%& /3& <6%6*(22)& (112/6+& 0-& *-?& 86,0-*3& -%2)9& A;(0& /34& /=&NO G# ,

- 111 # 4&0;6%&

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!

"

!!

"

"

"

!

#

$$$

$$$

$$$

$$$

34

33

3

3

4

44

3

4

4

343

4

56! '

78)'9:');<%*",$'"/'*8)$'

! =>?@ =5@>6&$

"# "%&

' ' ' ' '>ABAC='

D)'/%E' "$'!)+*",$'ABF' *8%*'%'0)%/<G)',H';<%&"*I',H' *8)')/*"0%*)' "/' *8)'J"%/B'78)'+,$-"*",$%&'0)%$',H'*8)')/*"0%*)'#"K)$'JI'>ABA='J)+,0)/'

=>5@=>?6 $" ( ' ' ' ' '>ABA4='

LH' *8)'J"%/'K)+*,G' ! =>$ M' *8%*'"/M')%+8'+,0N,$)$*',H'*8)'J"%/'K)+*,G'"/'O)G,'H,G'

%$I'M'*8)$'*8)')/*"0%*)'"/'/%"-'*,'J)'<$J"%/)-B'D)'$,*)'*8%*'

=5>?6=5>P65@==>

P6>=> """$ ((( ' ''''''''''''''>ABA3='

Q' /)+,$-' 0)%/<G)' ,H' ;<%&"*I' ,H' *8)' )/*"0%*)' "/' *8)' +,$-"*",$%&' K%G"%$+)' ,H' *8)')GG,GB'R,G'0<&*"N&)'N%G%0)*)G/M'*8)'+,GG)/N,$-"$#'+,$-"*",$%&'+,K%G"%$+)'0%*G"S',H'*8)')GG,G'"/'

5@=PP

>=PP

6>P #

)#

)( % ' ' ''''''''''''''>ABA1='

E8)G)' )P'"/'*8)'J"%/'K)+*,G'#"K)$'JI'

''' =>5@=>P6

P $" () ' ' ''''''''''''''>ABAF='

T,*)'*8%*'%P '"/'%' !! '0%*G"SB'78)'*+*8')&)0)$*'"/''

'''''''''''' 5@=P>=

P6>

P )++)***+ ( % ' ' ''''''''''''''>ABAU='

E8"&)'*8),**8'-"%#,$%&')&)0)$*'"/'*8)'+,$-"*",$%&'K%G"%$+)'#"K)$'JI'

!"#"$%&%#'()&*$"&*+,' !"!

#$%%&'()*+&#$,()*+,#,()*+ ****** - ! - --------------&./..%-

-#"$%#./"+'0+1,2--012-234256785-89-412-:*);2*<=)8->8?5@-76-A7(25->B-412-98CC8D75A-4128*2;/-'34%+#%$/---E9-' -76-)5B-)>68C?42CB-?5>7)62@-2647;)48*-89- >)62@-85-412-8>62*()4785-(2F48*- "G- 4125- 412- F8()*7)5F2- 89- 412- 2**8*- 75- 412- 2647;)48*- 76- >8?5@2@- >B- 412-75(2*62G-)66?;75A-74-237646G-89-412-5*)4%#'*,6+#$"&*+,'$"&#*7-#/-

H#$%'%&'+& # 3( - - --------------&./."%-

D12*2-

$%$&C5%$&C5%$&C5 $I

I

$$ """# """ 6(66(3

-

--------------&./.J%-

H# -76-412-75(2*62-;)4*73-89-412-K7612*-7598*;)4785-;)4*73/-LM?)C74B-18C@6-85CB-79-

'%&%$B&C5 $N

86

3

- --------------&./.O%-

012-@2*7()47(26- I$

I$ P%$&)5@P%$& !! "" 66 - )*2-)66?;2@- 48- 23764- )5@-

48->2-)>68C?42CB-7542A*)>C2/-012-K7612*-7598*;)4785-;)4*73-76-@29752@-)6-

------------- $%$B&C5%$B&C5Q $N$N366( - -&./"R%-

D17F1-F)5-)C68->2-*2D*74425-)6-

-------- $%$B&C5Q $N36( - --------------&./"H%-

K8*- 67;SC7F74BG- D2- A7(2- 412- F85@74785)C- ()*7)5F2- 85- 412- 2**8*-9**** GGIGHG', G-D17F1-76->8?5@2@->B-412-752M?)C74B-

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!!!!! "

! 45567879%:4;9%:<

; ' ''''''''''''''7=>2<5'

!!" '"/'*?)'!*?'-"%#,$%&')&)0)$*'"$'*?)' ## '/@A%:)'0%*:"B' C! >'D?)$!%*?')&)0)$*',E' ! '"$'7=>2F5'"/'#"9)$'G6'

4

547&$

547&$ 44

%!!%

&'&'(" ""

' ''''''''''''''7=>215'

H?):)%/'*?)'!%*?')&)0)$*',E'7=>2C5'"/'#"9)$'G6'

'''''''''

4

547&$ 4

<

%!!%

&'(" "

' ' ''''''''''''''7=>235'

)*++'>$'I$)'H%6'*,'J:,9)'*?)'%G,9)'*?),:)0'H"*?,A*':)/,:*"$#'*,')B+)//"9)'0%*:"B',J):%*",$'"/'*?)'E,&&,H"$#>'!"$+)'*?)')/*"0%*",$/'%:)'A$G"%/)-'7*?)')BJ)+*)-'9%&A)',E')%+?')/*"0%*,:'"/'*?)'*:A)'9%&A)5K'H)'+%$'H:"*)'

'''''' !!! ,'( 547578L4578M 4

#### " ' ''''''''''''''7=>2N5'

,:'

F547L578M 4

### " ,'!! '' ''''''''''''''7=>2=5'

("EE):)$*"%*"$#'G,*?'/"-)/',E'7=>2=5'H"*?':)/J)+*'*,' % K'H)'?%9)'

'''''''''''''%

!

%! ,

'

547&$

578 4

##

# " ' ''''''''''''''7=>225'

O/"$#' 7=>1P5' E,:' *?)' "$*)#:%&K' %$-' *?)' E%+*' *?%*' $ Q! ' "/' *?)' R:,$)+S):' !% '

7A$"*6'E,:' %! K'%$-'T):,',*?):H"/)5K'7=>225'+%$'G)':)H:"**)$'%/'

!%%

! ,'

'

547&$547578 4

4

##

## ""

' ''''''''''''''7=>2P5'

!"#"$%&%#'()&*$"&*+,' !"#

$%&'()*+,-.*,/0'*,1.*&, 2- 3,0&),)*4(&*,-.*, 2. ,)(5*&'(%&06,7*/-%+,!,8.,(',-.*,&95:*+,%4,;0+05*-*+',-%,:*,*'-(50-*)<,0',

.

/

/

/

<=86&

<=86&

<=86&

<8>

=

?

=

2

=

22

"

"

"

"

!

#

#

#

,, , ,,,,,,,,,,,,,,8@A"B<,

C%-*,-.0-,-.*,5*0&,7069*',%4,-.*,/%5;%&*&-',%4,!,0+*,066,D*+%A, ,E.*,4(+'-, -*+5,(',D*+%,:*/09'*, -.*, *'-(50-*, (', 9&:(0'*)3,1.(6*, -.*, %-.*+, -*+5', 0+*, D*+%, (&, 6(F.-, %4,8@A!#<3,1.(/.,/0&,:*,1+(--*&,0',

,,,,, G

<=86&<=8

<=86& =

==

"""

" ##

# /(0/

/,,,,,,,,,,8@AHG<,

E.*,/%70+(0&/*,50-+(I,%4,!,(',-.*&,,

....

.

.1

222

222222

(

?2

????2

22?22

?J

G

G2

GG2

KL

2

!!$!! , ,8@AH2<,

%+,(&,;0+-(-(%&*),4%+53,

,,,,,,,,,,,,

G

G

2GG2?J

2

%%&%%%%%%$ !! , , ,,,,,,,,,,,,,,8@AH?<,

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!"$+)' *4)' +,5%6"%$+)' 0%*6"7' "/' $,$$)#%*"5)' -)8"$"*)9' %$-' +,$/):;)$*&<' "*/'-)*)60"$%$*'"/'$,$$)#%*"5)'-)8"$"*)9'*4)'-)*)60"$%$*',8'=3>?@A'"/'#"5)$'B<'

''''''''''''''''

!!!!

!

!

"""

""""""

#

1C

CC1CC

@@1@C

CD

E

E

@

A-)*= !" ## '''''''''''''=3>?1A'

F6,0' =G>1EA9'H)' ,B/)65)' *4%*' =3>?1A' +%$' B)'H6"**)$' "$' *)60/' ,8' *4)' +,8%+*,6'"@@>'I)$+)9'

@@CD

1C

1111C

CC1CC

CD +,8%+*,6-)* "

"""

""""""

##

!!!!

!

!

!!" ##

''''''=3>?GA'

J//;0"$#'*4%*'*4)'F"/4)6'0%*6"7'!'"/'$,$/"$#;&%69'H)'4%5)'

'''' E+,8%+*,6KL @@CD "$#

% !##" ## ' ''''''''''''''=3>?MA'

,6'

'''' ##""

#

!@@C

D+,8%+*,6

' ' ''''''''''''''=3>?3A'

H4"+4'"/'*4)'-)/"6)-'6)/;&*'#"5)$'"$'=3>2CA>''!"#"$! %&'()*+%,-./*0%%N$'*4)'O%<)/P')/*"0%*",$9'H)'0"$"0"Q)'*4)'+,/*'8;$+*",$' AK=R9L $& >'S,$/"-)6'$,H'

*4)')7*)$/",$',8'*4)'0)%$T/:;%6)')66,6'+6"*)6",$'%$-'*4)'UJV'+6"*)6",$'8,6'0;&*"W&)'W%6%0)*)6/')/*"0%*",$>'''()*+,-.)/(0$12#3)2#4*''N$'*4"/'+%/)9'*4)'+,/*'8;$+*",$'"/'*4)'/;0',8'*4)'/:;%6)/',8'*4)')66,6'/%0W&)/'#"5)$'B<'

!"#"$%&%#'()&*$"&*+,' !""

######## $%&&

$%&$'%$%()'$%()$'%&)

*

++

*

!!!!!! -.

***

.

**/

! ########%,-."$#

/01#2345#34#

######

001$) !!! " $6%$'%&) 6! # # ##############%,-..$#

7894:3:8:3;<#%,-."$#3;#%,-..$#=;>#843;<#:01#?=@14A#28B16#:01#2345#91CDE14#

######

02101 2

.

***$) $%'$%()$%

*

+ !!!! "" # ##############%,-.F$#

G4#91HD216#E3;3E3I3;<# :01# 2345# 34#1J83K=B1;:# :D#E3;3E3I3;<# :01#1LM21443D;# 3;# :01#92=C51:4# DH# %,-.F$-# N=C0# :12E# 91:O11;# :01# 92=C51:4# 34# MD43:3K16# =;># :084# :01#

E3;3E3I=:3D;#34#>D;1#:12EP9@P:12E-#Q2DE#%,-*F$6#:01#*:0#:12E# $%( !* #34#E3;3E3I1>#HD2#

!" 01*$)* $R%$%( R! # # ##############%,-FS$#

T;#K1C:D2#HD2E6#:01#UU7N#34#<3K1;#9@#

########

! " 01($) $R%'R)(R! # # ##############%,-F*$#

T:# C=;# 91# 40DO;# :0=:# :01# E1=;P4J8=21# 14:3E=:3D;# CDEE8:14# DK12# =# 3*,%"#'&#",)1+#$"&*+,#:D#@31B>#

# $%($%( !#! $)$) # # ##############%,-F+$#

O0121###34#=;# .4 E=:23L-#'56!'()&*$"&*+,##

Q2DE# %,-+.$6# :01# UGV# 14:3E=:1# $"7( # 34# D9:=3;1># 9@# E3;3E3I3;<# $R%R !" 1 -#

W1;12=B3I3;<# :01# 2148B:# :D# :01# 14:3E=:3D;# DH# E8B:3MB1# M=2=E1:124# 14:3E=:3D;6# O1#D9:=3;#:01#HDBBDO3;<#41:#DH#UGV#1J8=:3D;4X#

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

'' !"#

$%&"

445464789:&$

8:;

9

!

" !

' '''''''''''''':<=>18'

?/"$#':<=@>84'*A)'BCD')EF%*",$'+%$'G)'HI"**)$'"$'%'/"$#&)'J)+*,I'*,'G)'

8:;9 8K9:L&$!" !

$%&#

' ' '''''''''''''':<=>M8'

'(%$)(*+%,-.,/01''

NA)'+,J%I"%$+)'0%*I"O',P'*A)')II,I',P'%$Q'F$G"%/)-')/*"0%*,I' ; ',P' '"/'G,F$-)-'G)&,H'GQ'*A)'"$J)I/)',P'*A)'R"/A)I'"$P,I0%*",$'0%*I"O4'#4'%$-'"/'#"J)$'GQ'

''''''''#

K8;8:;L:23 ' ' '''''''''''''':<=>@8'

HA)I)'

'''''

84:&$ 45

5

!# "#3 ' ' '''''''''''''':<=><8'

S,*)'*A%*'*A)')EF%&"*Q'A,&-/'"P'%$-',$&Q'"P'

8;:84:&$ 4

4#

2

!" ' ' '''''''''''''':<=>28'

HA)I)' 4' "/' "$-)T)$-)$*' ,P' "%$- =' UP' *A)' +,$-"*",$%&' -)$/"*Q' PF$+*",$'

89:9 !"# '"/'V%F//"%$4'*A)'&,H)I'G,F$-',P':<=>@8'"/'%+A")J)-'H"*A')EF%&"*Q='

NA)'"$P,I0%*",$'0%*I"O'#'+%$'G)'HI"**)$'"$'*)I0/',P'$'%/'

8:&$

5

5

#3$# ' ' ' ':<=>38'

'

'

!"#! $%&'()*+%,-(.+$*,&%/(%&'*0,'1-('

U$' 0%$Q' TI%+*"+%&' TI,G&)0/4' "*' 0%Q' G)' $,*' T,//"G&)' *,' -)*)I0"$)' *A)' BB!.-)/*"0%*,I/',P'%'I%$-,0',I'%$'F$W$,H$'T%I%0)*)I4')J)$' "P' "*')O"/*/='R,I')O%0T&)4'

H)'-,'$,*'W$,H'*A)'TI,G%G"&"*Q'-)$/"*Q'PF$+*",$',P'*A)'-%*%4'GF*'H)'W$,H'*A)'P"I/*X

!"#"$%&%#'()&*$"&*+,' !"#

$%&'%( )*&( +',$*&-$%&'%( .$.'*/+( $0( 1/2( 3*( /41+( ,)+'5( /4'( .'/4$&+( &'6'7$8'&( 1*('+/1.)/1*9(/4'(8)%).'/'%+()*&(&'/'%.1*1*9(/4'(:%).'%-;)$(7$<'%(=$>*&(,)**$/(='()8871'&2( ?$<'6'%5( <'( +/177( <$>7&( 71@'( /$( $=/)1*( )( %')+$*)=7'( A+>=$8/1.>.B( $%(C='+/D( '+/1.)/$%5( 1*( /4'( +'*+'( /4)/( 1/( 1+( >*=1)+'&( )*&( 4)+( )( .1*1.>.( 6)%1)*,'5(>+>)77E( ,)77'&(FGH( '+/1.)/$%2( I$( &$( +$5( <'( 71.1/( /4'( '+/1.)/$%( /$( ='( )( -*,%"#'./,0&*+,($0(/4'(&)/)5()*&(/4>+(1/(=',$.'+(8$++1=7'(/$($=/)1*()*('J871,1/('J8%'++1$*(0$%(/4'(='+/(71*')%(>*=1)+'&('+/1.)/$%(AKLHMB2(

N'( 01%+/( 916'( /4'( $*'( 8)%).'/'%( 71*')%(.1*1.>.(.')*-+O>)%'( '+/1.)/1$*( /$(8%'+'*/( /4'( 0>*&).'*/)7( ,$*,'8/+5( )*&( /4'*( 9'*'%)71P'( /4'.( /$( .>7/187'(8)%).'/'%+2((!"#"$! %&'()*+*,'-'+(./&'*+(0'*&1234*+'(56-/,*-/7&((I4'(-*,%"#'$*,*$/$1)2/"#%'%)&*$"&%($0()(%)*&$.(8)%).'/'%( (1+(916'*(=E(

3"4-$) Q (( ( ( (AR2##B(

I4'(,$%%'+8$*&1*9(%1+@(0>*,/1$*(1+((

5656.7( 4-$) B5ABQABSQ5AT 5U (

((((((((

5656.3"6 4 B5ABA 5U ( ( ((((((((((((AR2VWWB(

X$77$<1*9( /4'( +).'( 8%$,'&>%'( )+( <'( &1&( 1*( Y',/1$*( R2Z2V5( <'( $=+'%6'( /4)/(.1*1.1P1*9( /4'( %1+@( 1*6$76'+( 01*&1*9( /4'( ,$*+/)*/+( "( )*&( 35( +$( /4)/( -$) ( 1+(

.1*1.>.2( ?'*,'5( /)@1*9( /4'( &'%16)/16'+( $0( -$) ( <1/4( %'+8',/( /$( "( )*&( 3' )*&(+'//1*9(/4'.('O>)7(/$(P'%$5(<'(4)6'(

((((((((( WB5ABA 5

56566.3"6 4 ( ((((((((((((AR2VWVB(

)*&(

(((((((((( WB5ABA 5

!!" 55.3"6 ( ((((((((((((AR2VWUB(

H+1*9(AV2[ZB()*&(AV2VW\B5(AR2VWVB()*&(AR2VWUB(,)*(='(%'<%1//'*()+(

STSTST U 4(43(4"( ( ( ((((((((((((AR2VW!B(

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

%$-'

'''''' 4545 !"#$! ' ' ' ''''''''''''67893:;'

<)'=%>)'*?,')@A%*",$/'"$'*?,'A$B$,?$/8''!,&>"$#'C,D'$'%$-'"E'?)',F*%"$'

'''4545

454545GG #!#!#!!#!$

' ' ''''''''''''67893H;'

%$-'

''''''''4545

4545454545

GG #!#!#!!#!#!!"

' ' ''''''''''''678937;'

I$,?"$#'*=%*'*=)'+,DD)&%*",$'+,)CC"+")$*' # "/'#">)$'FJ'

%

%%

&#&!

;4;6K56 K' ' ''''''''''''67893L;'

?"*=' 454E5 #!&!& % E' E;56 G &! ' %$-' 8;56 G

%% &#! '

M=)$E''

%%$

' ' ' ''''''''''''678932;'

%$-'

'''''''%

%%&&"

' ' ''''''''''''67893N;'

M=)',O*"0%&'+,/*'CA$+*",$'+%$'F)',F*%"$)-'*,'F)'

'''''' ;96 GG%'&( '' ' ''''''''''''678993;'

P*'+%$'F)'/=,?$' *=%*' "C' *=)' Q,"$*'-)$/"*J' CA$+*",$ ;E6E %)# "/'R%A//"%$E' *=)$'

*=)' +,$-"*",$%&' 0)%$ 4S5 %! "/' &"$)%D' "$' *=)' ,F/)D>%*",$' -%*%E' %$-' *=A/' *=)'

0"$"0A0' 0)%$T/@A%D)' )/*"0%*)' "/' &"$)%D8' P$' %--"*",$E' ?)' A/A%&&J' %//A0)' C,D'

!"#"$%&%#'()&*$"&*+,' !"#

$%&'(&)(&$(*+,-+*+,(*.-/-0(+(/**-&1*+,(*%23(/'-+)%&*-*,-'(*4(/%*0(-&35**6&*+,)3*$-3(7* .$)8 *)3*9&2)-3(17*-&1*)3*:)'(&*2;*

/00 //1.2%#

!! ! !!!!********<=5###>*

?,(/(* @AB#-&1@A C# -(0-(0 /// 5* D(* &%?* $-&* :(&(/-E)4(* +,(* /(39E+* %F*

<=5###>*F%/*09E+).E(*.-/-0(+(/*(3+)0-+)%&5**"#$#%! !&'()*+!,-./*0!!6F* &%?* * )3* -* /-&1%0* '($+%/* .-/-0(+(/* -&1* * -&1*!* -/(* -3390(1* +%* ,-'(* 4(/%*0(-&37*+,(&*)+*$-&*2(*3,%?&*+,-+*+,(*GHIJ*+,-+*0)&)0)4(3*+,(*0(-&K3L9-/(*(//%/*<'-/)-&$(*0)&)090>*)3*:)'(&*2;*

********* !"" !!!#8 1.2% * * ************<=5##C>*

-&1*+,(*0(-&K3L9-/(*(//%/*)3*

** !!!! """" #@>8<>8<A 31.2%1.2%( *************<=5##!>*

!!" *)3*+,(*$%'-/)-&$(*0-+/)M*%F*+,(*%23(/'-+)%&*'($+%/*!7* #!!" *)3*)+3*)&'(/3(7*-&1*

!" * )3* +,(* $/%33K$%'-/)-&$(* 0-+/)M* 2(+?((&*!* -&1* 5* N%+(* +,-+* +,(* 0(-&* -&1*$%'-/)-&$(*%F*+,(*1-+-*-/(*9&O&%?&7*-&1*+,(*0(-&3*%F*!*-&1**-/(*-3390(1*+%*2(*4(/%7*-&1*+,93*+,(*E)&(-/*0(-&K3L9-/(*(3+)0-+%/*)3*9&2)-3(15**!#++45' * * D(* &%?* :)'(* -* 1(/)'-+)%&* %F* +,(* /(39E+* :)'(&* )&* <=5##C>5* P)&$(* 8 * )3*/(3+/)$+(1*+%*2(*-*E)&(-/*(3+)0-+%/*F%/*!7*+,-+*)3*-*E)&(-/*F9&$+)%&*%F*+,(*1-+-7*+,(&* 8 *$-&*2(*?/)++(&*-3*

** #!8 * * * ************<=5##Q>*

R,(*./%2E(0*)3*+%*3(E($+*+,(*0-+/)M*#*3%*+,-+*+,(*0(-&K3L9-/(*:)'(&*2;*<=5##!>*)3*0)&)0)4(15* JL9-+)%&* <=5##!>* )3* $-EE(1* +,(* $"&#*678".2%9' ):2"#%9' %##+#' .+))'42,;&*+,5*P923+)+9+)&:*<=5##Q>*)&+%*<=5##!>7*?(*,-'(*

**** @><><A@>8<>8<A 33 (( #!#! * ************<=5##S>*

I3)&:*+,(*F-$+*+,-+*

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

''''' 45675678*945675678!! "" ' ''''''''''''7:;<<:5'

*=)$>'7:;<<?5'@)+,0)/'

457578*945675678!! "" !"!" '

! 4*98!! !!#!#!## """" !!!!!'''7:;<<A5'

B,*)'*=%*'

""""""""""""

""""""""

###!###!#!!#

##!###!<<

<<

57

5757

!!!

!

'

! """""""" ###!#!#!!# < !! ! !!!!!!!!!7:;<<25'

C/"$#'7:;<<25>'D)'+%$'D9"*)'

45757*9845675678<<<<

"""""""""""""" #####!###!# !"' ' ' ' ' ' ' ' ''''''''''''7:;<<E5'

F)',@/)9G)'*=%*' *=)'#%"$'0%*9"H'!'%II)%9/',$&J'"$'*=)'/)+,$-'*)90',$'*=)'9"#=*K=%$-' /"-)' ,L' 7:;<<E5;' M=N/>' )%+=' -"%#,$%&' )&)0)$*' "$' *=)' 0%*9"H'

45675678!" '"/'0"$"0"O)-'D=)$'!'"/'#"G)$'@J'

< """ ##! ' ' ' ''''''''''''7:;<3P5'

!N@/*"*N*"$#'7:;<3P5'"$'7:;<<Q5>'D)'=%G)'

'''''' "## """<66 #$%& ' ' ''''''''''''7:;<3<5'

%$-'*=)'I9,,L'"/'+,0I&)*);'

B,*)'*=%*'"L'"'%$-''%9)'$,*'O)9,'0)%$>'/N+='*=%*' "$" 48" '%$-' >48 $" !*=)$'

%&" $'(6 ' ' ''''''''''''7:;<335'

D=)9)'*=)'0%*9"H'&'%$-'*=)'G)+*,9'%'%9)'#"G)$'@J'

''''''''''' "'

"" ##""""""& 484848484848

< !!!! """""" ''''''7:;<315'

!"#"$%&%#'()&*$"&*+,' !"!

#$%&

'('( !"# (( & & & &&&&&&&&&&&&)*+,-./&

01&%23456&7897626862:$;&<4&:96#2$&

/)= ,!!!! $!%%$

-./% & & &&&&&&&&&&&&)*+,->/&

?@4&0ABC&D2E4$&2$&)*+,-,/&@#7&74E43#F&G3:G436247&:H&2$643476I&

!%! '=( 0-./%( & & &&&&&&&&&&&&)*+,-*/&

-./%-./%

0-./%-./%( ==

,'==( %%%% !!! & &&&&&&&&&&&&)*+,-J/&

'''''''''''-./%-./%

0-./%-./%( =='/=/)=() %% '''''''''''''')*+,-"/&

K'/=() 0-./%( ! & & &&&&&&&&&&&&)*+,-L/&

K'=/=() 0-./%-./%( ' ' &&&&&&&&&&&&)*+,!K/&

M4&:9743E4&6@#6&G3:G4361&)*+,-L/&N4#$7&6@#6&6@4&433:3&2$&6@4&4762N#64&27&:36@:D:$#F&6:& 6@4& %#6#& !;& <@2F4& G3:G4361& )*+,!K/& N4#$7& 6@#6& 6@4& 433:3& 2$& 6@4& 4762N#64& 27&:36@:D:$#F& 6:& 6@4& 4762N#6:3& -./%= +& ?@27& 5:$54G6& :H& :36@:D:$#F261& 27& #$& 2NG:36#$6&3478F6;& <@25@& <2FF& 94& %4E4F:G4%& #$%& 874%& 4O64$72E4F1& 2$& 6@4& $4O6& 5@#G643& :$&H2F6432$D+&&!"#"$! %&'()*+),-*./)01233*1+)45*3/))P:$72%43& 6@4& D4$43#F& G3:9F4N& :H& 4762N#62$D& #& 3#$%:N& E456:3&<26@&1& G#3#N46437&)%4$:64%& #7& 6@4&1Q%2N4$72:$#F& E456:37& /;& 6:& 94& 4762N#64%& H3:N&2& :9743E#62:$7&)%4$:64%&#7&6@4&2Q%2N4$72:$#F&E456:3&!/;&2$&<@264&R#8772#$&$:274+&&?@4&G#3#N46437&&#$%&N4#7834N4$67&!&#34&#778N4%&6:&94&34F#64%&91&6@4&7:Q5#FF4%&.*,%"#&$+3%.&

&'! & & & &&&&&&&&&&&&)*+,!,/&

'&27&#& 12 S$:<$&N#GG2$D&N#632O;&!&27&6@4& ,2 :9743E4%&3#$%:N&E456:3;&&27&#$ ,1 3#$%:N&E456:3&6:&94&4762N#64%;&#$%&&&27&#& ,2 E456:3&34G3474$62$D&433:37&2$&6@4&N4#7834N4$6&)$:274/+&T778N2$D&6@#6&&#$%&&(@#E4&U43:&N4#$7;&6@4$&!&@#7&U43:&N4#$+&&?@4&5:E#32#$54&N#632O&:H&!&27&

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

''' !!!!"" #$#$#$$#!$!$# !!! 455676 ''''689:1;5'

<="&)'*=)'+>,//?+,@%>"%$+)'0%*>"A',B'"'%$-''"/''

'''''' !" #$## ' ' ''''''''''''689:115'

!CD/*"*C*"$#'689:1;5'%$-'689:115'"$'689:;:5E'<)',D*%"$'*=)'FGH.")/*"0%*)',B'!*,'D)''

''''' "#$#$#$$##$# !!!!!:4477I !!!

#$%& '''''''689:135'

<"*=')>>,>'+,@%>"%$+)'0%*>"A'

56JJ !#$### ! '

5656 : !!!!! #$##$#$#$$# !! ''''''689:1K5'

L=)$'!%$-'!%%>)'C$+,>>)&%*)-E'<="+=' "/' *=)'C/C%&'%//C0)-'+%/)E' EM N " '%$-'*=)'FGH.',B''>)-C+)/'*,'

'''''''' "#$$#$# !!:56I !!

' ''''''''''''689:185'

<="&)'*=)')>>,>'0%*>"A'D)+,0)/'

$##$$#$### !!:JJ 56 !! ''''''''''''689:1O5'

H/"$#' *=)' '()*+," +-.&*/+0-" $&''(' #"@)$' "$' M=%P*)>' 3E' %$-' %B*)>' /,0)' 0%*>"A',P)>%*",$E'<)'=%@)'

'''''' "#$# !!:JJ

J !#$%& ' ' ''''''''''689:12%5'

<=)>)'

''''' :::JJ 56 $#$## !!!

'' ''''''''''689:12D5'

QB'$,'%'P>",>"'"$B,>0%*",$'%D,C*''"/'%@%"&%D&)E'%$-'*=C/'"B' :# '"/'%//C0)-'R)>,E'*=)'

FGH.',B'I '"/'#"@)$'DS'

!"#"$%&%#'()&*$"&*+,' !"#

!"##"# $$$$$$$ %&' -- ( ( ((((((((((((&)*$!+%(

,-./( .01.( 23( .0/4/( 5/467.48( 9/( -37:( 1446;/<( .01.( ( 24( 1( 513<-;( =151;/./5*((>-342</5( 3-9( .0/( =5-?7/;( -@( /4.2;1.23A( .0/( 63B3-93( C/D.-5( !( ?6.( 902D0( 24(D-34.5123/<(.-(?/(1(723/15(@63D.2-3(-@(.0/(<1.1(&;/1465/;/3.4%*((-.%'()&*$"&+#'")'"'/*,%"#'01,2&*+,'+3'4"&"'(E3(.024(D14/8(9/(5/F625/(

((((((

5

666*6 7*89"

$88G8$8' ( ( ((((((((((((&)*$HI%(

-58(23(;1.52J(@-5;(

%&! ' ( ( ( ((((((((((((&)*$H$%(

90/5/(&(24(13( 57 (;1.52J8(13<(!(13<(%(15/( $5 (C/D.-54*(E3(-5</5(@-5( ' (.-(?/(63?214/<8(9/(;64.(01C/(

KL'M( ( ( ( ((((((((((((&)*$HG%(

N/3D/8(

(((((( %&#%$#&%!&%&! KLMKLMKLM ((( ((((((&)*$H!%(

-37:(2@(

(( '&# ( ( ( ((((((((((&)*$HH1%(

13<(

((( "% ( ( ( ((((((((((&)*$HH?%(

O0/(PQRS(/4.2;1./(24(.0/3(A2C/3(?:(

(( !"##"# $$$$$$$ %&' -- (( ((((((((((((&)*$H#%(

O0/5/@-5/8( 92.0( .0/( 3-24/( T1644213( 23( .0/( 723/15( ;-</78( 9/( D13( 4.1./( .0/(@-77-923A(5/467.(A2C/3(?:(.0/(:"1));7"#6+<'&.%+#%$*((

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!"#$$%&"'()*+,-.)'./4''56'*7)'-%*%'"/',6'*7)'#)$)8%&'&"$)%8'0,-)&'6,80'

!"# ' ' ' ''''''''''''934:;3<'

=7)8)'"' "/' %' >$,=$' &0 '0%*8"?@' ' "/' %$' :& ' A)+*,8' ,6' B%8%0)*)8/' *,' C)'

)/*"0%*)-@' %$-'!$ ' "/' %' :0 $,"/)' A)+*,8'="*7'0)%$' D)8,' %$-' +,A%8"%$+)'0%*8"?'

!!% @'*7)$'*7)'EFG.',6' '*7%*'0"$"0"D)/'*7)'0)%$H/IJ%8)')88,8'"/'

#%""%" !!!!::: <9K ,, ' ' ''''''''''''934:;L<'

="*7')88,8'+,A%8"%$+)'0%*8"?'

''''''' ::KK <9MN<K<9KO9 "%"% !!

,,12#.12#.3 ' ''''''''''''934:;2<'

P7)'0"$"0J0'A%8"%$+)',6' (K "/'*7)$'

((,

( M<O9MKA%8O :: "%" !! ' ' ''''''''''''934:;Q<'

!"#$%&'()*+((R,$/"-)8'*7)'B8,C&)0',6'.?%0B&)'34S'=7)8)'

0(456 (( @@S@:@ '

=7)8)' (4 '"/'%'D)8,'0)%$'=7"*)'$,"/)4'T"$-'*7)'EFG.',6'&'"6U'

9%<' P7)'A%8"%$+)',6' 0(4( @@S@:@ '"/' 4 S '

9C<' P7)'$,"/)'+,0B,$)$*/'%8)'+,88)&%*)-'="*7'A%8"%$+)' 4@@S@:@ S 0(( '

'7)2#89):''9%<'P7)')/*"0%*,8'"/'+,$/*8%"$)-'*,'C)'%'&"$)%8'6J$+*",$',6'*7)'-%*%4''F)*''

0

(;(( &;655:

@@S@:@K

& '

=7)8)'*7)'5;(/'%8)'*7)'=)"#7*"$#'+,)66"+")$*/'*,'C)'-)*)80"$)-4'T8,0'934:;L<@'*7)'EFG.'"/'#"A)$'CV'

#%""%" !!!!:::

<9K ,,5 '

!"#"$%&%#'()&*$"&*+,' !"#

$%&'&(

)*)*)* ------ .(/0./(1( (

+,-.&( .-( /012( 3&( 0-3,41&56( 2%&-( -- ..( )* 6( 7-/ 6( 4-5( 2%01( 8!! (+0312,202,-96($&(%4:&(

2

--

2

--

33 42

42.77

;7;;

7

;7<=77> "#" !!! (

?&-.&6( $&( @31&':&( 2%42( 2%&( ABCD( ,1( 2%&( 14/EF&( /&4-( ,-5&E&-5&-2FG( @H( 2%&(E'@343,F,2G(5&-1,2G(H0-.2,@-(@H(2%&(54246($%,F&(2%&(/,-,/0/(:4',4-.&(,1(

2.

33

;

;

7 77

<=7)>:4'*

!! "!$! %%

(

=3<(I-(2%,1(.41&6(2%&(:4',4-.&(/42',J(,1(

;

;;

;7

KK

KKKK

2

%%$ (

LH2&'(10312,202,@-6(2%&(ABCD(,1(

2

- -

2

--

-

4.

K;

7;

7

7

> (

$%,F&(2%&(/,-,/0/(:4',4-.&(,1(

2

- -

.

K;77<>:4'= (

(

!"#$%&'()*)+*",$'%$-'./*"0%*",$'122

!"#! $%&'()'*+&,%-%'(./&(.01--3$'/*4-5"$#'6%7%0)*)7')/*"0%*",$'"$'*8)'67)9",4/'/)+*",$/:',47'+7"*)7"%';)7)'*,'<"$-'%' =#,,->' )/*"0%*,7' *8%*' ;%/' 4$?"%/)-' %$-' 8%-'0"$"040' 9%7"%$+)@' 3$' *8)' &)%/*A/B4%7)')/*"0%*",$:'*8)'+7"*)7",$'"/',$&5'*,'0"$"0"C)'*8)'/B4%7)-'-"<<)7)$+)'?)*;))$'*8)'#"9)$'-%*%'D/"#$%&'6&4/'$,"/)E'%$-'*8)'%//40)-'/"#$%&'-%*%@'

!466,/)' ;)' ;%$*' *,' )/*"0%*)' !' 6%7%0)*)7/:' -)$,*"$#' *8)' !A-"0)$/",$%&'9)+*,7' :' <7,0' *8)' "' 0)%/47)0)$*/:' -)$,*"$#' *8)' "A-"0)$/",$%&' 9)+*,7' !';"*8 !" @' F8)' 7)&%*",$' ?)*;))$' *8)' 6%7%0)*)7/'' %$-' *8)' ,?/)79)-' -%*%'!' "/'#"9)$'?5'*8)'&"$)%7'0,-)&'

'''' "#! '' ' ''''''''''''DG@HIJE'

;8)7)'#' "/'%'K$,;$ !" '0%*7"L:'%$-'"' "/'*8)'4$K$,;$' H" ')77,7'9)+*,7'*8%*',++47/'"$'*8)'0)%/47)0)$*',<'@'

F8)'&)%/*A/B4%7)')/*"0%*,7'DM!.E',<''+8,,/)/'*8)'9%&4)/'*8%*'0%K)' #$ '+&,/)/*'*,'*8)',?/)79)-'-%*%'!@''N)$+):';)'0"$"0"C)''

##!##!!!

#!#!

######

#"

$$$ %&' EDEDEDED

H

O

'

!!!!!!!! ###!!! #### O ! !!!!!!!!!DG@HIHE'

P,*)' *8%*' #! # ' "/'%'/+%&%7@'F%K"$#' *8)'<"7/*A,7-)7'6%7*"%&'-)7"9%*"9)',<' *8)'+,/*'<4$+*",$' ED' ';"*8'7)/6)+*'*,' 'D"@)@:'*8)'#7%-")$*E'%$-'/)**"$#'"*')B4%&'*,'C)7,:';)',?*%"$'*8)'/)*',<'&"$)%7')B4%*",$/'

2

##!# ##'OO

ED'' ''''''''''''DG@HIOE'

%$-'*8)(M!.'"/'<,4$-'*,'?)'

!### ##)*

HEDQ ' ' ''''''''''''DG@HI1E'

P,*)'*8%*'*8)'/)+,$-A,7-)7'6%7*"%&'-)7"9%*"9)'"/'

## #'

O

O ED

' ' ''''''''''''DG@HIRE'

!"#"$%&%#'()&*$"&*+,' !"#

$%&'( )*+,&-( &'( ./'&+&012314&5&+1( *'( 6/57( *'(!( &'( *''8)13( +/( 91( /4( 4866( ,*5:( +/(78*,*5+11( +%1( &501,'&/5( /4( !! - ;( $%8'<( +%1( '/68+&/5( =>;?@!A( &'( 85&B81( *53()&5&)&C1' A=. ;($%1(1B8*+&/5'(

"!!! -- ( ( ((((((((((((=>;?@@A(

+/(91('/6013(4/,( /) DD (*,1(,141,,13(+/(*'(+%1',+#$"/'%01"&*+,);(

E1( /9'1,01( +%*+( +%1( 1,,/,( &5( +%1( 1'+&)*+/,( /)D ! &'( *( 6&51*,( 485F+&/5( /4( +%1()1*'8,1)15+(1,,/,'(#!('&5F1(

/)G HID ??

#!!!!"!!!

----/) (

(((((((( #!!!!!!! ---- ?? (

!!!!!! #!!! -- ? ( ( ( ((((((((((((=>;?@>A(

$%1()&5&)8)(61*'+2'B8*,1 )&5. (F*5(91('%/J5<(*4+1,('/)1()*+,&-(/.1,*+&/5<(+/(91((

"!!!!"""!"!" -----/).. ?

)&5 A=AD=AD=AD= (

(((((( ( ( ( (((( AD= !"" - ! ((((((((((((=>;?@KA(

2%,%#"/*3"&*+,'+4'&5%'6%")&7801"#%'!#+9/%$(($%1(61*'+2'B8*,1(F/'+(485F+&/5(F*5(91(7151,*6&C13(9L(&5+,/38F&57(*( :: (./'&+&01(314&5&+1(;%*<5&*,<($"&#*=($(+/(L&163((

A=A=A= !"$!" -. ! ! !!!!!!!!!=>;?@"A(

$%1(161)15+'(/4(+%1(J1&7%+&57(F*5(91(F%/'15(+/(1).%*'&C1('.1F&4&F(0*681'(/4(+%1(3*+*(+%*+(*,1()/,1(,16&*961(4/,(+%1(1'+&)*+1( D ;(

$%1(7151,*6(4/,)(/4(+%1(61*'+2'B8*,1(1'+&)*+/,(F*5(91('%/J5(+/(91(

((((( $"!$!! -- ?A=D ( ( ((((((((((((=>;?@#A(

J%&61(&+'()&5&)8)(61*'+2'B8*,1(1,,/,(&'(

(((( "$!$!!$!$" HA=I ?)&5

---. ( ((((((((((((=>;?>MA(

$%1(1,,/,(F/0*,&*5F1()*+,&-(91F/)1'(

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

'''''''' 44 5656 !""!#!""!""$%%!!! ' ''''''''''''6784745'

9:);)'#%%!"/'%'<$,9$'=,/"*">)?-)@"$"*)'+,>%;"%$+)'0%*;"A'#">)$'BC'

DE !" %%#%% ' ' ''''''''''''67847F5'

/"$+)' "DE%" '6"8)8G' %%%% $# 58'

H@'*:)'0)%/I;)0)$*');;,;/'%'%;)'I$+,;;)&%*)-'%$-':%>)'"-)$*"+%&'>%;"%$+)' G F '*:)$' &# F !" %$-' "@" 'G' F &! ' *:)$' 6784J25' ;)-I+)/' *,' 6784J158' K:%*' "/G' %'+,$/*%$*'/+%&"$#':%/'$,')@@)+*',$'*:)')/*"0%*)8'

H*' +%$'%&/,'B)'/:,9$' *:%*' *:)' &)%/*?/LI%;)')/*"0%*,;'%$-' *:)' &"$)%;'0"$"0I0'0)%$?/LI%;)')/*"0%*,;'%;)'"-)$*"+%&'9:)$'*:)'9)"#:*"$#'0%*;"A'!'"/'+:,/)$'%/'

4 #! ' ' ' ''''''''''''6784715'

*:%*'"/G'*:)'"$>);/)',@'*:)'0)%/I;)0)$*'$,"/)'+,>%;"%$+)'0%*;"A8'!#$%&'()!*+,''M,$/"-);' %#%"$' *:)' =;,B&)0' ,@' .A%0=&)' 78J' 9"*:' #$%&' $$ GGFG4G 8'

N;,0'6784J15G' *:)' &)%/*?/LI%;)')/*"0%*)' "/' '""" !!& 456O 8'"' "/' *:)' 546 # '

+,&I0$'0%*;"A'-)$,*)-' 444 !- 8'P)$+)G'

#

$$

!! '#

&4

4 456O '--- '

9:"+:' "/' *:)' ()*+,-. *-)/8' QB/);>)' *:%*' @,;' *:"/' /"0=&)' ,=);%*",$G' "$/*)%-' ,@'%==&C"$#' %'-);">)-' ;)/I&*G'9)'+,I&-':%>)' /*%;*)-'BC'9;"*"$#' *:)' &)%/*?/LI%;)' +,/*'

@I$+*",$'

#

$$ &0&1

4

F5656 G'*:)$'-"@@);)$*"%*"$#' 56&1 '9"*:';)/=)+*'*,'&G'/)**"$#'

*:)';)/I&*')LI%&'*,'R);,G'%$-'/,&>"$#'@,;' ,(&& OO 8''#$%&'()!*+.!!!I==,/)' *:%*' *:;))' 0)%/I;)0)$*/' ,@' /"#$%&' 5FS)A=6 $($ G' 9:);)' ' "/' *:)'=%;%0)*);'*,'B)')/*"0%*)-G'%;)'#">)$'BC' GJ844 0 " G1F 0 "%$-" 8J1 0 'N"$-'*:)'&)%/*?/LI%;)')/*"0%*)',@'8'.

!"#"$%&%#'()&*$"&*+,' !"#

-+./&*+,$$%&'$()*)$+),$-'$./*$0,$*&'$12345$ !"# $607',$-8$9:;#<=>;$$?/-@*0*/*0,6$123$*&'$7)A/'@$21$05$B'$&)7'$

!

C

#

DEC;D<F#E;C!:DE;#<;#

111

$

B&'3'$ 2G<!<;#H$ $ 0@$)$3')A0I)*02,$21$#5$ 5GDEC;DF#E;C:DE;#H 2" $),($GH !C# 111! $)$3')A0I)*02,$21$!3$%&'$A')@*J@K/)3'$'@*04)*'$0@$607',$-8$

$""" 22.)

#>9L $

B&'3'$ #"C;!=!

#

C 0

02 4"" 5$),($

!

#=!:;!=

000

2 54$" ;$M',+'5$

""<;=>9L!

#

C

!

##

00

000

22.)

4

54$""" $

$$!"#$! %&'(%)*+&,-&.)/0)1(.%&,&)/*2./3%,,N,$ 3')A$ *04'$'@*04)*02,$.32-A'4@$ 910A*'30,6>5$ 0*$ 0@$,'+'@@)38$ *2$B30*'$ *&'$'@*04)*23$L 0,$)$ 3'+/3@07'$ 1234$123$'110+0',+8;$O23$'P)4.A'5$+2,@0('3$)$@0*/)*02,$B&'3'$),$

'@*04)*'$ L $ 0@$ ('*'340,'($ -)@'($ 2,$ @24'$ ()*)$ 6# ;$ N1$ ,'B$ ()*)$ #6# $ 0@$ *2$ -'$.32+'@@'($)1*'3$&)70,6$('*'340,'($),$'@*04)*'$-)@'($2,$*&'$()*)$ 6# 5$0*$0@$-'@*$*2$/@'$ *&'$ 2A($ @2A/*02,$ )A2,6$B0*&$ *&'$ ,'B$ ()*)$ *2$ ('*'340,'$ *&'$ ,'B$ A')@*J@K/)3'$'@*04)*23;$ N*$ 0@$ +A')3$ *&)*$ (0@+)3(0,6$ *&'$ '@*04)*'$ -)@'($ 2,$ *&'$ ()*)$ 6# $ ),($3'@*)3*0,6$ *&'$ +24./*)*02,$ 123$ )$ @2A/*02,$ 0@$ 0,'110+0',*;$ %&0@$ .32+'(/3'$ 21$('*'340,0,6$*&'$A')@*J@K/)3'$'@*04)*'$1324$),$'@*04)*'$-)@'($2,$ 6# $),($*&'$,'B$()*)$ #6# $0@$3'1'33'($*2$)@$)%7/%,&*".'.%")&8)7/"#%'%)&*$"&*+,5$23$423'$+2442,A8$#%9/#)*:%'.%")&8)7/"#%$9QR?>'%)&*$"&*+,;$

S2,@0('3$*&'$.32-A'4$21$'@*04)*0,6$$1324$*&'$()*)$7'+*23@$ ;% $607',$-8$*&'$A0,')3$42('A$

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!!! !"# ! ! !!!!!!!!!!456758%9'

:;)<)'

"!! $$$# 37 ' ''''''''''456758=9'

"/' %$' 974 !# ' +,&&)+*",$' ,>' ?)+*,</' !$$$ @@@ 37 @' /"$+)' )%+;' ?)+*,<'@@@3@7@ !$$ $ '"/'%' 974 # '?)+*,<@'

"!! %%%! 37 ' ''''''''''456758+9'

"/'%$' 974 !# ')<<,<'?)+*,<@'%$-'

"!! &&&" 37 ' ''''''''''456758-9'

"/'%$' 94 %!# '0%AA"$#'0%*<"B'<)&%*"$#' !# '*,'*;)' 974 % 'A%<%0)*)<'?)+*,<' '*,'=)')/*"0%*)-6'

C*'+%$'=)'/;,:$'*;%*'*;)'DE!')/*"0%*,<'"/'#"?)$'=F'

GHIHH77 !!!!!! "!' ' ''''''''''''45675J9'

:;)<)'

7 !!"!! (")*' !! ' ' ''''''''''''4567559'

* '"/'*;)')<<,<'+,?%<"%$+)'0%*<"B'#"?)$'=F'

!!"!

"!

!"

"!!&

(((

((((((

!!*!!

37

33373

777377

GI ' ''''''''''''45675K9'

%$-'

'('"('& GI (%% ' ' ''''''''''''45675L9'

!"#"$%&%#'()&*$"&*+,' !"!

#$%& '()*+,*-'%& .*/+,0& (1& /$%& ,-2,),23*4& -(,5%& )%'/(+& !" ,5& **# *# 6& 783*/,(-&

9:6;<=>& ,-2,'*/%5& /$*/& /$%& %5/,.*/(+& -? & @*5%2& (-& -$ & ,5& 1(+.%2& *5& *& 4,-%*+&

'(.@,-*/,(-&(1& ;?

- &*-2&*&'(++%'/,(-&/%+.! A?B ; ---- %&' "&C1& &D%+%&*& +*-2(.&)*+,*@4%E& ,/& '*-&@%& 5$(D-& /$*/& /$%&F%-%+*4,G*/,(-&(1& /$%&

+%'3+5,)%&4%*5/H583*+%&%5/,.*/,(-&4%*25&/(&/$%&I*4.*-&1,4/%+&B!A6&C-&/$%&-%0/&'$*J/%+&(-&1,4/%+,-FE&D%&J+%5%-/&*-&,-/+(23'/,(-&/(&I*4.*-&1,4/%+,-F6&&&&

!"##! $%&&'()**C-&/$,5&'$*J/%+E&D%&$*)%&2%)%4(J%2&/$%&'(-'%J/&(1&J*+*.%/%+&%5/,.*/,(-6&K%&35%2&/$%&.*0,.3.& 4,L%4,$((2& %5/,.*/,(-& /(& %5/,.*/%& -(-+*-2(.&J*+*.%/%+56&K%& 1,+5/&(@/*,-%2&/$%&4,L%4,$((2&13-'/,(-&,-&/%+.5&(1&/$%&J*+*.%/%+5&/(&@%&%5/,.*/%26&#$%-E&D%&.*0,.,G%2&/$%&4,L%4,$((2&13-'/,(-&/(&(@/*,-&/$%&%5/,.*/(+E&D$,'$&+%534/%2&1+(.&5(4),-F& /$%& 4,L%4,$((2& %83*/,(-6&K%& 4,-L%2& /$,5& '$*J/%+& /(& /$%& J+%),(35& (-%& @M&J+%5%-/,-F& /$%&F%-%+*4,G%2& 4,L%4,$((2& +*/,(& /%5/& ,-&N%'/,(-&:6!6& C-& /$%&F%-%+*4,G%2&4,L%4,$((2& +*/,(& /%5/E&D%& 35%2& /$%&.*0,.3.& 4,L%4,$((2& %5/,.*/%& (1& /$%& 3-L-(D-&J*+*.%/%+& ,-& /$%& '(.J(5,/%& $MJ(/$%5,5& *5& ,/5& /+3%& )*43%& *-2& /$%-& J%+1(+.%2& /$%&4,L%4,$((2&+*/,(&/%5/6&#$,5&D*5&*-&*4/%+-*/,)%&/(&/$%&'*5%&D$%+%&OPQ&/%5/5&2,2&-(/&%0,5/6& P%*53+,-F& '+,/%+,*& 1(+& /$%& %5/,.*/(+E& 53'$& *5& @,*5& *-2& '(-5,5/%-'ME& D%+%&J+%5%-/%2&/(&2%/%+.,-%&/$%&83*4,/M&(1&/$%&%5/,.*/(+6&

K$%-&/$%&J*+*.%/%+&/(&@%&%5/,.*/%2&D*5&*&+*-2(.&)*+,*@4%E&D%&35%2&R*M%5S&%5/,.*/,(-6& C-&R*M%5S& %5/,.*/,(-E&D%&.,-,.,G%2& /$%& +,5LE&D$,'$& ,5& *& 13-'/,(-& (1&%++(+& @%/D%%-& /$%& %5/,.*/%& *-2& /$%& /+3%& )*43%6&#$+%%& '*5%5&D%+%& '(-5,2%+%2T& /$%&583*+%2& %++(+E& /$%& *@5(43/%& )*43%& %++(+E& *-2& /$%& 3-,1(+.& '(5/& 13-'/,(-6& C/& D*5&5$(D-&/$*/&/$%&.,-,.3.&.%*-H583*+%&%++(+&+%J+%5%-/5&/$%&'(-2,/,(-*4&.%*-&(1&/$%&J*+*.%/%+&9*55(',*/%2&D,/$&/$%&(@5%+)*/,(-&+*-2(.&)*+,*@4%>&/(&@%&%5/,.*/%26&#$%&+%534/,-F&.,-,.3.&+,5L&D*5& /$%&'(-2,/,(-*4&)*+,*-'%6& C-& /$%&*@5(43/%&)*43%&%++(+&'*5%E&/$%&%5/,.*/%&/3+-%2&(3/&/(&@%&/$%&.%2,*-&(1&/$%&'(-2,/,(-*4&2%-5,/M&13-'/,(-&(1&/$%&J*+*.%/%+&/(&@%&%5/,.*/%2E&F,)%-&/$%&(@5%+)*/,(-&+*-2(.&)*+,*@4%6&

U(+& /$%& 3-,1(+.& R*M%5S& '(5/E& /$%& %5/,.*/(+& D*5& *'/3*44M& /$%& 5(43/,(-& (1& /$%&PVQ'%83*/,(-6&C-&'(.J*+,-F&/$%&PW&%5/,.*/%&*-2&PVQ&%5/,.*/%E&,/&D*5&(@5%+)%2&/$*/& /$%&PW&%5/,.*/%&D*5&*&5J%',*4&'*5%&(1&/$%&PVQ&%5/,.*/%&*-2&,5&(@/*,-%2&@M&5%//,-F& /(&G%+(& /$%&2%-5,/M& 13-'/,(-&(1& /$%&J*+*.%/%+& /(&@%&%5/,.*/%2& ,-& /$%&PVQ&%83*/,(-6& C-& (+2%+& /(&.%*53+%& /$%& XF((2-%55Y& (1& /$%& %5/,.*/(+E& /$%& Z+*.%+H[*(&@(3-2& D*5& F,)%-& *5& *-& *4/%+-*/%& D*M& /(& .%*53+%& /$%& %++(+& )*+,*-'%E& 5,-'%& *-&%0J+%55,(-& 1(+& /$%& %++(+&)*+,*-'%&D*5&2,11,'34/& /(&(@/*,-6&#$%& *@()%& +%534/5&D%+%&F%-%+*4,G%2&/(&.34/,J4%&J*+*.%/%+&%5/,.*/,(-&,-&N%'/,(-&:6<6&

#$%-E&D%&J+%5%-/%2&4,-%*+&.%*-H583*+%&%5/,.*/,(-&1(+&5,/3*/,(-5&D$%+%&,/&.*M&$*)%&@%%-&2,11,'34/& /(& 1,-2& /$%&PPN7E'%)%-& ,1&%0,5/%26&K%&2%1,-%2& /$%&RWO7&,-&/$%& 5%-5%& /$*/& /$%&.%*-H583*+%& )*43%& ,5&.,-,.,G%26&K%& )%+,1,%2& /$*/& 1(+& *& \(,-/&]*355,*-&2%-5,/M&13-'/,(-&(1&/$%&(@5%+)*/,(-&*-2&/$%&J*+*.%/%+&/(&@%&%5/,.*/%2E&/$%&4,-%*+& .%*-H583*+%& %5/,.*/(+& ,5& /$%& (J/,.3.&PPN76& V-& ,-/+(23'/,(-& /(& 4%*5/H583*+%& %5/,.*/,(-&D*5& J+%5%-/%26&K%& -(/%2& /$*/& 4%*5/H583*+%& %5/,.*/,(-&D*5& -(/&

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

4%/)-',$'*5)'+6"*)6"%',7' *5)'8$4"%/)-'%$-'0"$"080'9%6"%$+)')/*"0%*,6:'48*'6%*5)6',$' 0"$"0";"$#' *5)' /<8%6)-' -"77)6)$+)' 4)*=))$' *5)' #"9)$' -%*%' %$-' *5)' %//80)-'/"#$%&' -%*%>' ?)' +,$+&8-)-' *5)' +5%@*)6' ="*5' %' 46")7' /)+*",$' ,$' 6)+86/"9)' &)%/*A/<8%6)')/*"0%*",$>'''

!"#$%&'())*+,! B)*' !""" ::: CD '4)'*5)',4/)69)-'6%$-,0'9%6"%4&)/:'/8+5'*5%*''

!#$%&'" ### ::C:D: '

E5)'+,$/*%$*/' :::C:D: !#&# '%6)'F$,=$:'=5"&)'*5)'+,$/*%$*/'''%$-'%'%6)'$,*' F$,=$>' E5)' 6%$-,0' 9%6"%4&)/' :::C:D: !#$# ' %6)' /*%*"/*"+%&&G'

"$-)@)$-)$*:')%+5'="*5';)6,'0)%$'%$-'9%6"%$+)' C 'F$,=$>' 'H4*%"$' *5)'IB')/*"0%*)',7'J':'%K>'

'*+-! B)*'"'4)'%'L%8//"%$'6%$-,0'9%6"%4&)'="*5'0)%$';)6,'%$-'9%6"%$+)' > C '

J%K' H4*%"$'*5)'IB')/*"0%*)/',7' '%$-' > C 'J4K' M6)'*5)')/*"0%*)/')77"+")$*N(

'*+.! B)*' "D' %$-' "C' 4)' *=,' /*%*"/*"+%&&G' "$-)@)$-)$*' L%8//"%$' 6%$-,0' 9%6"%4&)/:'

/8+5'*5%*' )"*)"* 1OP:OP CD :'%$-' DO9%6PO9%6P CD "" Q')'"/'8$F$,=$>'J%K' H4*%"$'*5)'IB')/*"0%*)/',7')>'J4K' R7'*5)')/*"0%*,6',7')' "/',7'*5)'7,60' CDDD "%"' :'-)*)60"$)''D'%$-''C:'/,'

*5%*'*5)')/*"0%*,6'"/'8$4"%/)->'''*+/! E5)',4/)69%*",$'/%0@&)',7' *5)')$9)&,@)',7'%' 6)+)"9)-'/"#$%&' "/'#"9)$'4G' *5)'

7,&&,="$#')S@,$)$*"%&'-"/*6"48*",$'

!#+

+, ###" ::C:D:

)S@DKJ

'

'"/'%$'8$F$,=$'@%6%0)*)6'%$-'*5)',4/)69%*",$/'%6)'/*%*"/*"+%&&G'"$-)@)$-)$*>'J%K' H4*%"$'*5)'IB')/*"0%*)',7'>'J4K' R/'*5)')/*"0%*,6'8$4"%/)-N'J+K' ()*)60"$)'*5)'&,=)6'4,8$-',$'*5)')/*"0%*,6>'J-K' R/'*5)')/*"0%*,6'+,$/"/*)$*N''

'''

!"#"$%&%#'()&*$"&*+,' !"#

!"#! $%&'&(%')*+%,-.&/)0'-'+.&/+12'&(%'*/0)3/.4'4.56'+78('&(.&'&(%'9%0+/&2'1708&/)0')1'-'/+'

.,,- //

.,

01

:;<:< '

<.:' =/09'.0'70*/.+%9'%+&/3.&%'1),'/>'<*:' ?+'&(%'%+&/3.&%'8)0+/+&%0&@'

'!"!! A*&./0'&(%'B$'%+&/3.&%+')1'&(%'3%.0'$'.09'-.,/.08%' C '1),'&(%'/09%D%09%0&'

)*+%,-.&/)0+' 2--- 666 C; 6'+78('&(.&'

2.

$001 ..-. 66C6;6

C%ED

C;:<

C

C

'

!"$! $%&'3'*%'.0'70F0)50'9%&%,3/0/+&/8'D.,.3%&%,' &(.&'8.0'(.-%'.02'-.47%' /0' &(%'/0&%,-.4' G;6;H >' I7DD)+%' 5%' &.F%' &5)' )*+%,-.&/)0+' )1' 3' 5/&(' /09%D%09%0&'

+.3D4%+')1'J%,)K3%.0'L.7++/.0'0)/+%6'.09'5/&('-.,/.08%' C '+7D%,/3D)+%9')0'%.8(')1'&(%')*+%,-.&/)0+>'<.:' A*&./0'&(%'B$'%+&/3.&%')1'3>'<*:' ?+' $43M '70*/.+%9@'

'!"%! $%& 2--- 666 C; *%'2'/09%D%09%0&')*+%,-%9',.09)3'-.,/.*4%+6'%.8('(.-/0N'.'

O)/++)0'9/+&,/*7&/)0'N/-%0'*2'

>66C6;6P6Q

:R<R 2.00

%01 ..

0

.-

.

.

'

S(%'D.,.3%&%,''/+'70F0)50>'<.:' A*&./0'&(%'B$'%+&/3.&%')1'>'<*:' T%,/12'&(.&'&(%'%+&/3.&),'/+'70*/.+%9'.09'9%&%,3/0%'&(%'4)5%,'*)709>'

'!"&' $%&' 2--- 666 C; '*%'2' /09%D%09%0&'.09' /9%0&/8.442'9/+&,/*7&%9')*+%,-.&/)0+>''

S(%')*+%,-.&/)0+'.,%'70/1),342'9/+&,/*7&%9'*%&5%%0' .09 6'5(%,%'' /+'.0'70F0)50'D.,.3%&%,'&)'*%'%+&/3.&%9>'<.:'''A*&./0'&(%'B$U')1'>'<*:'''V)5'/+'&(%'%+&/3.&),'70*/.+%9@'

'

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!"#$! 4)*' !""" 555 67 ' 8)' !' "$-)9)$-)$*' :%;"%8&)/' <"*=' #"$ % >7? ' %$-'#"$ % 7>@? 5'<=);)' 7@5 ## '"/'A$B$,<$C'

?%>' D8*%"$'*=)'E4')/*"0%*)C'?8>' ()*);0"$)'*=)'&,<);'8,A$-',$'*=)':%;"%$+)',F'*=)')/*"0%*,;5'%//A0"$#'

*=%*'*=)')/*"0%*,;'"/'A$8"%/)-C''!"##! G"$-' &'(H 5' *=)' 0"$"0A0' 0)%$I/JA%;)' );;,;5' %$-' &)#(H 5' *=)' 0%K"0A0' %'

9,/*);",;"*)/*"0%*,;/5',F'+'F;,0'*=)',8/);:%*",$/'

,+" '

+'%$-','%;)';%$-,0':%;"%8&)/'<"*='-)$/"*L'FA$+*",$/''

>M7?>7?N67>? (((- + ''%$-''

6

6

6)K9

67>? (.- , '

!"#%! O=)'+,$-"*",$%&'-)$/"*L'FA$+*",$',F'*=)',8/);:)-';%$-,0':%;"%8&)'"'#":)$'%';%$-,0'9%;%0)*);'+'"/'#":)$'8L'

@5@@%$-@5>P?P /

(/(0(/-(/

+" '

O=)'%'9;",;"'9;,8%8"&"*L'-)$/"*L'FA$+*",$',F'+'"/'

@5@

@5>?>?

7

(

(0(1(-

(11

+ &

<=);)'' "/' %' 9%;%0)*);5' 1' "/' %' 9,/"*":)' "$*)#);5' %$-' >?1 ' "/' *=)' #%00%'FA$+*",$C'?%>' D8*%"$'*=)'%'9;",;"*0)%$'%$-':%;"%$+)',F'+C'?8>' G,;'"'#":)$5'

7C' D8*%"$'*=)'0"$"0A0'0)%$I/JA%;)');;,;')/*"0%*)',F'+C'6C' Q=%*'"/'*=)':%;"%$+)',F'*="/')/*"0%*)R'

?+>' !A99,/)'<)'*%B)'!'"$-)9)$-)$*',8/);:%*",$/',F' 5556575 !%"% /A+='*=%*'

@5@@%$-@5>P?P

%

%(/

%+" /(/(0(/-

%

%'

!"#"$%&%#'()&*$"&*+,' !"#

$%& '()(*+,-(&).(&+,-,+/+&+(0-123/0*(&(**4*&(2),+0)(&45&-%&6%& 7.0)&,2&).(&80*,0-9(&45&).,2&(2),+0)(:&

;<=& >(*,5?&,5&).(&@AB&(2),+0)(&(3/0C2&).(&@@DE&(2),+0)(%&&!"#$! F4-2,<(*& ).(& G*4HC(+& I.(*(& ).(& 4H2(*80),4-& ,2& J,8(-& H?& .-/ C- K&

I.(*(&-',2&).(&G0*0+()(*&)4&H(&(2),+0)(<&%&&-',2&/-,54*+C?&<,2)*,H/)(<&48(*&).(&,-)(*80C& LK$KMN &0-<&.&.02&0-&(OG4-(-),0C&<,2)*,H/),4-&J,8(-&H?&

4).(*I,2(KM

MK=;

,%,0,

. &

PH)0,-&;0=& Q.(&+(0-123/0*(&(2),+0)(K& $)1R %&

;H=& Q.(&@AB&(2),+0)(K& $"21R %&

;9=& Q.(&@A>E&(2),+0)(K& $"3%1R %&&!"#%! Q.(&4H2(*80),4-&/&,2&J,8(-&H?& .-/ K&I.(*(&-&0-<&.&0*(&)I4&*0-<4+&

80*,0HC(2%&&.&,2&-4*+0C&I,).&+(0-&4-(&0-<&80*,0-9(& 6 K&0-<&-&,2&/-,54*+C?&<,2)*,H/)(<& 48(*& ).(& ,-)(*80C& NMK& 6L%& '()(*+,-(& ).(& @AB& (2),+0)(& 45& ).(&G0*0+()(*'-%&

&

!"#&! D.4I& ).0)& ).(& +(0-123/0*(& (2),+0),4-& LSNR ! ($) & 94++/)(2& 48(*& 0&C,-(0*&)*0-254*+0),4-%&

&!"#!! D/GG42(& ).0)& ).(& T4,-)& <(-2,)?& 5/-9),4-& 45& ).(& 4H2(*80),4-& /& 0-<& ).(&

G0*0+()(*&&,2&U0/22,0-%&Q.(&+(0-2& 0-< $$4 &0*(&022/+(<&)4&H(&V(*4%&&

90-&).(-&H(&(OG*(22(<&02&0&C,-(0*&54*+&45&).(&<0)0%&'()(*+,-(&0-&(OG*(22,4-&54*&).(&94-<,),4-0C&<(-2,)?& =S;S 40 / %&

&!"#'! F4-2,<(*&).(&G*4HC(+&45&(2),+0),-J&0&G0*0+()(*&&5*4+&4-(&4H2(*80),4-&/%&&

Q.(-K& ./ K&I.(*(&&0-<&).(&-4,2(&.&0*(&2)0),2),90CC?&,-<(G(-<(-)&I,).&&

4).(*I,2(KM

$MK$0 &&0-<&&

4).(*I,2(KM

6MK6=;

,,,0 . &

'()(*+,-(& 567%R K&).(&H(2)&C,-(0*&/-H,02(<&(2),+0)(&45&%&

&(

!"#$%&'()*)+*",$'%$-'./*"0%*",$'123

!"#"$"%&"'((456' 7%$'89))/:';<'=<:'!"#"$#%&'()*+#%,-#%&'()-'.)/&.01-#%&')23"&45:'>%9*'?:'@)A'B,9CD'E,F$'G"&)H'

%$-'!,$/:'52I3:'J<'2K<'

4L6' 7%/)#F":'!<'7<:'6.7-'$".)!%8%#-1)9%8'-1):4&$"++%'8)-'.);&%+")<".0$#%&':'@)A'B,9CD'E,F$'G"&)H'%$-'!,$/:'LMMM<'

416' !,9)$/,$:';<'G<:':-4-,"#"4)*+#%,-#%&'=):4%'$%>1"+) -'.):4&?1",+:'@)A'B,9CD'N%9+)&'()CC)9:'523M<'

'

'

)"*"&+",(-./*.01$2345'

'(O-)A"+P:' .<' E<:' @'#4&.0$#%&') #&) 9#-#%+#%$+) -'.):4&?-?%1%#5:'@)A'B,9CD';,&*:'Q"$)F%9*' %$-'G"$/*,$:'52RI<'

S)T)9/:' N<:' %$-' =' 7%$-)$-,9J):' :4&$"++0+) 9#-#%+#%A0"+() *+#%,-#%&') "#) :4B.%$#%&':' U$"T)9/"*V'W%*F,&"XO)'-)'=,OT%"$:'522I<'

;%HC"$:'!<:'6.->#%7")C%1#"4)23"&45:'.$#&)A,,-'W&"YY/:'@ED'>9)$*"+)';%&&:'523I<'

;)&/*9,0:'W<'G<:'*1","'#+)&D)9%8'-1)!"#"$#%&')-'.)*+#%,-#%&':'.$#&)A,,-'W&"YY/:'@ED'>9)$*"+)';%&&:'522K<'

Z%H:'!<'N<:'C0'.-,"'#-1+)&D)9#-#%+#%$-1)9%8'-1):4&$"++%'8=)*+#%,-#%&')23"&45:'.$#&)A,,-'W&"YY/:'@ED'>9)$*"+)';%&&:'5221<'

=)A"/:'8<'[<:'%$-'><'=<'[-)&&:'*+#%,-#%&')%')E%'"-4)/&."1+:'.$#&)A,,-'W&"YY/:'@ED'>9)$*"+)';%&&:'52R5<'

N,F%$*H:'@<:'9%8'-1):4&$"++%'8=)9%8'-1+()C%1#"4%'8()-'.)!"#"$#%&':'@)A'B,9CD'7%$'@,/*9%$-'Q)"$F,&-:'523R<'

!%#):'\<' ><:' %$-' E<' =<'N)&/%:'*+#%,-#%&') 23"&45)F%#3)6>>1%$-#%&'+) #&)G&,,0'%$-#%&'+) -'.)G&'#4&1:'@)A'B,9CD'N+S9%A];"&&:'52R5<'

!F%$0O#%$:'Z<'!<:' %$-'\<'N<'^9)"J,F&:'<-'.&,)9%8'-1+=)!"#"$#%&'()*+#%,-#%&'() -'.)!-#-)6'-15+%+:'@)A'B,9CD'E,F$'G"&)H'%$-'!,$/:'5233<'

!9"$%*F:' N<' (<:' %$-' ><' Z<' Q%_%/)C%9%$:' 6'' @'#4&.0$#%&') #&) 9#-#%+#%$-1) 9%8'-1) :4&$"++%'8) F%#3)6>>1%$-#%&'+:'@)A'B,9CD'E,F$'G"&)H'%$-'!,$/:'52R2<'

!*%9C:';<:' %$-' E<'G<'G,,-/:':4&?-?%1%#5() <-'.&,):4&$"++"+() -'.) *+#%,-#%&') 23"&45) D&4) *'8%'""4+:'.$#&)A,,-'W&"YY/:'@ED'>9)$*"+)';%&&:'523I'

U9C,A"*P:';<:'9%8'-1)23"&45)-'.)<-'.&,):4&$"++)/:'()-F%0:'N\D'\9*)+F';,O/):'5231<'

GF%&)$:'\<'(<:'!"#"$#%&')&D)9%8'-1+)%');&%+":'@)A'B,9CD'\+%-)0"+'>9)//:'52R5<''

6Υποβέλτιστη ανίχνευση καιεκτίμηση

6.1 ΕισαγωγήΟι βέλτιστες τεχνικές εκτίμησης και ανίχνευσης των προηγουμένων κεφαλαίων, για τηνεφαρμογή τους, προϋποθέτουν την ακριβή γνώση της πυκνότητας πιθανότητας των δεδο-μένων. Η εν λόγω απαίτηση, ελάχιστες φορές ικανοποιείται στην πράξη, ως εκ τούτου,είναι απαραίτητο να αναπτυχθούν μεθοδολογίες οι οποίες είναι εφαρμόσιμες ακόμη καιόταν η πληροφορία αυτή δεν είναι εξ ολοκλήρου διαθέσιμη.

Οι μεθοδολογίες που θα αναπτυχθούν στο παρόν κεφάλαιο γενικεύουν ορισμένεςιδέες οι οποίες είχαν παρουσιαστεί σε προηγούμενα εδάφια. Οι μεν τεχνικές εκτίμησηςπου θα προταθούν βασίζονται στο όμο των εγάλων Αριθμών ( Α) ενώ οι τεχνι-κές ανίχνευσης στο εντρικό Οριακό Θεώρημα ( ΟΘ). Επειδή, όπως θα διαπιστώσου-με, ορισμένοι από τους εκτιμητές που θα προταθούν εμφανίζουν υψηλή υπολογιστικήπολυπλοκότητα λόγω επίλυσης μη γραμμικών εξισώσεων, στο τελευταίο μέρος του κε-φαλαίου θα ορίσουμε την κλάση των αναδρομικών τεχνικών εκτίμησης στις οποίες οιυπολογισμοί γίνονται αναδρομικά και είναι περιορισμένοι ανά βήμα αναδρομής.

Οι αναδρομικές τεχνικές είναι ιδιαίτερα κατάλληλες για επεξεργασία πραγματικούχρόνου, δηλαδή όταν τα δεδομένα μας διατίθενται ακολουθιακά. Αποτελούν δε ουσια-στικό στοιχείο της μοντέρνας έκδοσης επεξεργασίας σημάτων. Βασική προϋπόθεση στιςμεθόδους που θα παρουσιάσουμε αποτελεί η ακριβής γνώση κάποιου στοχαστικού μέσουόρου (πληροφορία η οποία τις περισσότερες φορές είναι διαθέσιμη). Οι εν λόγω τεχνικέςχρησιμοποιούν το Α σαν βασικό τους συστατικό για να προσεγγίσουν το στοχαστικόμέσον όρο, είναι δε εφαρμόσιμες σε πληθώρα διαφορετικών κατανομών. Το γεγονός αυ-τό τις καθιστά εξαιρετικά δημοφιλείς σε πρακτικές εφαρμογές, ορισμένες από τις οποίεςθα παρουσιάσουμε στο τελευταίο κεφάλαιο του βιβλίου.

117

118 Κεφάλαιο 6 :Υποβέλτιστη ανίχνευση και εκτίμηση

6.2 Το πρότυπο του εκτιμητή μέγιστης πιθανοφάνειαςΑς θεωρήσουμε ότι έχουμε διαθέσιμα δείγματαX = [χ1, . . . ,χN ]t τα οποία είναι α.ι.κ.με κοινή πυκνότητα πιθανότητας f(x|θ∗). Σε αρχική φάση θα υποθέσουμε ότι είναιγνωστή η μορφή της συνάρτησης f(x|θ), αλλά το διάνυσμα παραμέτρων θ∗ ότι είναιάγνωστο.

Ο Ε Π αποτελεί ένα πρακτικά ενδιαφέροντα εκτιμητή, αφού δεν απαιτεί την εκτων προτέρων γνώση της κατανομής των παραμέτρων και, επιπλέον, στην περίπτωσητων α.ι.κ. δεδομένων, όπως αναπτύξαμε στο προηγούμενο κεφάλαιο, είναι ασυμπτωτι-κά βέλτιστος επειδή πιάνει το Cramer-Rao κάτω φράγμα. Στη συνέχεια θα επιχειρήσου-με μια διαφορετική προσέγγιση του Ε Π προσπαθώντας να κατανοήσουμε γιατί η ενλόγω τεχνική έχει τη δυνατότητα να προσφέρει ενδιαφέρουσες εκτιμήσεις των παραμέ-τρων. Θα θεωρήσουμε επίσης ότι η συνάρτηση f(x|θ) είναι ομαλή ώστε να επιτρέπεταιη παραγώγισή της όποτε αυτό είναι αναγκαίο.

Στο προηγούμενο κεφάλαιο είδαμε ότι για την περίπτωση των α.ι.κ. τυχαίων δειγ-μάτων, ο Ε Π αποτελεί τη λύση του παρακάτω συστήματος (εν γένει μη γραμμικών)εξισώσεων

θN = arg

θ :

N∑

n=1

fθ(xn|θ)f(xn|θ)

= 0

.

Εάν ορίσουμε τις δύο διανυσματικές συναρτήσεις

ψ(x, θ) =fθ(x|θ)f(x|θ) , και ΦN (θ) =

1

N

N∑

n=1

ψ(xn, θ)

τότε ο εκτιμητής μας γράφεται θN = argθ : ΦN (θ) = 0.Ας εξετάσουμε τι θα συμβεί όταν N → ∞. Παρατηρούμε ότι επειδή τα δείγματα

xn είναι α.ι.κ. το ίδιο θα ισχύει και για τους μη γραμμικούς μετασχηματισμούς τουςψ(xn, θ). Αυτό σημαίνει ότι μπορούμε να εφαρμόσουμε το Α και να συμπερά-νουμε ότι

ΦN (θ)→ Φ∞(θ) = 1[ψ(xn, θ)] =∫ψ(x, θ)f(x|θ∗)dx =

∫fθ(x|θ)f(x|θ) f(x|θ∗)dx.

(6.1)Παρατηρούμε επίσης ότι

Φ∞(θ∗) = 1[ψ(χn, θ∗)] =

∫fθ(x|θ∗)dx =

∂

∂θ

∫f(x|θ)dx|θ=θ∗ =

∂

∂θ1 = 0, (6.2)

γεγονός που σημαίνει ότι η εξίσωση Φ∞(θ) = 0 έχει σαν λύση το ακριβές διάνυσμα θ∗των παραμέτρων.

6.3 Αναδρομικές τεχνικές εκτίμησης 119

Από τα παραπάνω μπορούμε να συμπεράνουμε ότι για μεγάλο αριθμό δειγμάτωνNκαι λόγω του Α ισχύει ότι ΦN (θ) ≈ Φ∞(θ). Εάν επιπλέον η συνάρτηση Φ∞(θ) εί-ναι ομαλή, τότε και οι λύσεις θN , θ∗ των δύο εξισώσεων ΦN (θ) = 0 και Φ∞(θ) = 0 θαπρέπει να είναι κοντά δηλαδή θN ≈ θ∗, με την προσέγγιση να βελτιώνεται με αυξανό-μενο αριθμό δειγμάτων. Συνεπώς, συνάγουμε ότι ο Ε Π είναι συνεπής. Τη σημαντικήιδιότητα της συνέπειας την εξασφαλίζουν βασικά η ισχύς του Α ο οποίος μας επιτρέ-πει να μεταφερθούμε στο όριο (6.1) καθώς και η συγκεκριμένη επιλογή της συνάρτησηςψ(x, θ) με την οποία επιτυγχάνεται η ισότητα (6.2), το ότι δηλαδή στο όριο η λύση τηςεξίσωσης είναι το επιθυμητό θ∗. Στη συνέχεια παρουσιάζουμε, αναλυτικά, ενδιαφέρου-σες γενικεύσεις του Ε Π.

6.2.1 Μ-εκτιμητέςΗπροσεκτική παρατήρηση των βημάτων που ακολουθήθηκαν στην περίπτωση του Ε Πμας προτρέπει στις ακόλουθες γενικεύσεις:

Ο Α ισχύει και σε περιπτώσεις δειγμάτων χ1, . . . ,χN τα οποία δεν είναι υπο-χρεωτικά ανεξάρτητα.

Η Σχέση (6.2), δηλαδή 1[ψ(χn, θ∗)] = 0, η οποία εξασφαλίζει τη συνέπεια τουΕ Π είναι δυνατό να ικανοποιείται και από άλλες συναρτήσεις ψ(x, θ). Ενδια-φέρον μάλιστα παρουσιάζουν οι περιπτώσεις οι οποίες δεν απαιτούν ακριβή γνώσητης συνάρτησης f(x|θ).

Για τις προηγούμενες δύο παρατηρήσεις δεν είναι απαραίτητο τα δεδομέναχ1, . . . ,χN να είναι τυχαίες μεταβλητές αλλά δύνανται να αποτελούν μια συλλογή από τυ-χαία διανύσματα Y1, . . . ,YN .

Πράγματι για την ισχύ του Α δεν απαιτείται ανεξαρτησία των δειγμάτων. Στο βιβλίο[HH1980] υπάρχει πληθώρα συνθηκών οι οποίες εξασφαλίζουν την ισχύ του εν λόγωθεωρήματος για ακολουθία εξαρτημένων τυχαίων μεταβλητών. Όσον αφορά τώρα στηνύπαρξη εναλλακτικών μορφών της διανυσματικής συνάρτησης ψ(x, θ) για τις οποίεςείναι δυνατό να πιστοποιήσουμε την ισχύ της σχέσης 1[ψ(xn, θ∗)] = 0 δίχως ακριβήγνώση της f(x|θ), θα δούμε με μερικά παραδείγματα ότι αυτό είναι πράγματι εφικτό.

6.3 Αναδρομικές τεχνικές εκτίμησης6.3.1 Αναδρομή με μειούμενο βήμα6.3.2 Αναδρομή με σταθερό βήμα6.4 Ρωμαλέες τεχνικές εκτίμησης και ανίχνευσης6.4.1 Ρωμαλέα εξέταση υποθέσεων6.4.2 Ρωμαλέα εκτίμηση παραμέτρων

120 Κεφάλαιο 6 :Υποβέλτιστη ανίχνευση και εκτίμηση

6.4.3 Ρωμαλέα τοπική ανίχνευση σταθερών σημάτων6.4.4 Ρωμαλέα μη τοπική ανίχνευση σταθερών σημάτων6.5 Τεχνικές εκτίμησης βασισμένες στο ΝΜΑ6.5.1 Εκτίμηση παραμέτρων6.5.2 Ασυμπτωτική Gaussian συμπεριφορά εκτιμήσεων6.6 Ανίχνευση βασισμένη σε τεχνικές εκτίμησης και στο ΚΟΘ

7Βέλτιστη γραμμική εκτίμησησημάτων

7.1 Εισαγωγικά

Πολύ συχνά στην πράξη επιθυμούμε να εκτιμήσουμε όχι απλώς ορισμένες παραμέτρους,αλλά ολόκληρα σήματα. Οι τεχνικές οι οποίες παρουσιάστηκαν στο προηγούμενο κεφά-λαιο μολονότι είναι δυνατόν, επί της αρχής, να εφαρμοστούν και στην περίπτωση αυτή,όπως θα διαπιστώσουμε, δεν ενδείκνυνται για καθαρά πρακτικούς λόγους.

Το πρόβλημα που σκοπεύουμε να επιλύσουμε είναι το ακόλουθο: ας διατίθεταιστοχαστικό σήμα χn με τη βοήθεια του οποίου καλούμαστε να εκτιμήσουμε ένα άλλοστοχαστικό σήμα ςn. Η διαδικασία εκτίμησης του σήματος ενδιαφέροντος ςn απότο σήμα χn, στην ορολογία της επεξεργασίας σημάτων, καλείται φιλτράρισμα ενώ τοσύστημα εκτίμησης (επεξεργασίας) φίλτρο.

Εάν ακολουθηθεί μεθοδολογία εκτίμησης κατά Bayes είναι απαραίτητη η εκ τωνπροτέρων γνώση της από κοινού πυκνότητας πιθανότητας των δύο τυχαίων σημάτωνfχ,ς(. . . , x0, x1, . . . , s0, s1, . . .). Το πρόβλημα εκτίμησης της ακολουθίας ςn δεν δια-φέρει τότε από το πρόβλημα εκτίμησης παραμέτρων αφού είναι δυνατό να θεωρήσουμεότι οι όροι της ακολουθίας ςn αποτελούν τυχαίες παραμέτρους για τα δείγματα τουσήματος χn.

Σύμφωνα με τη λογική που περιγράψαμε, η λύση του προβλήματος είναι άμεση μεχρήση μεθοδολογίας εκτίμησης παραμέτρων. Εάν εφαρμοστεί σαν κριτήριο το μέσοτετραγωνικό σφάλμα

1[∑

n

(ςn − ςn)2]

όπου οι όροι ςn αποτελούν συναρτήσεις του σήματος χn, τότε ως γνωστόν οι δεσμευ-μένοι μέσοι όροι

ςn = 1[ςn| . . . ,χ0,χ1, . . .]

121

122 Κεφάλαιο 7 :Βέλτιστη γραμμική εκτίμηση σημάτων

ορίζουν την ακολουθία ςn που αποτελεί τη βέλτιστη μη γραμμική εκτίμηση της ακο-λουθίας ςn κατά την έννοια του μέσου τετραγωνικού σφάλματος. Εναλλακτικές επι-λογές αποτελούν

ςn = argmaxsn

fς|χ(. . . , s0, s1, . . . | . . . , x0, x1, . . .),

ςn = argmaxsn

fχ|ς(. . . , x0, x1, . . . | . . . , s0, s1, . . .)

για εκτίμηση μέγιστης εκ των υστέρων πιθανότητας ( ΥΠ) και μέγιστης πιθανοφά-νειας ( Π) αντίστοιχα. Οι δύο πρώτες εκτιμήσεις απαιτούν τη γνώση της από κοινούπυκνότητας πιθανότητας fχ,ς(·, ·) ενώ η τελευταία την fχ|ς(·|·), δηλαδή την πυκνότη-τα πιθανότητας του σήματος χn με δεδομένο το σήμα ςn. ολονότι οι απαιτήσειςαυτές θεωρούνται λογικές στην περίπτωση της εκτίμησης πεπερασμένου αριθμού πα-ραμέτρων από πεπερασμένο πλήθος δειγμάτων, για την εκτίμηση σημάτων αποτελούνεντελώς μη ρεαλιστική προσέγγιση του προβλήματος, λόγω του άπειρου αριθμού τυ-χαίων μεταβλητών που υπεισέρχονται στο πρόβλημα σε συνδυασμό με τη δύσχρηστημορφή των εκτιμητών λόγω μη γραμμικότητας.

7.2 Γραμμική εκτίμησηΕξ’ αιτίας των δυσκολιών που προαναφέραμε, προτάθηκαν εναλλακτικές μεθοδολογίεςεκτίμησης σημάτων. Οι τεχνικές αυτές, γνωστές σαν γραμμικές, εκτιμούν κάθε όρο ςnτου σήματος ςn σαν γραμμικό συνδυασμό των δειγμάτων του σήματος χn, δηλαδή

ςn = dn +∑

k

hn,kχn−k, (7.1)

όπου dn, hn,k ντετερμινιστικές ακολουθίες οι οποίες πρέπει να προσδιοριστούν. εορολογία επεξεργασίας σημάτων, επιθυμούμε τον προσδιορισμό της κρουστικής απόκρι-σης hn,k, ενός γραμμικού, χρονικά μεταβλητού συστήματος η έξοδος του οποίου, σεσυνδυασμό με την ντετερμινιστική ακολουθία dn, παρέχει τις αναγκαίες εκτιμήσειςτων δειγμάτων του σήματος ςn.

7.2.1 Αρχή της ορθογωνιότηταςΠριν καθοριστούν επακριβώς τα μαθηματικά προβλήματα τα οποία οδηγούν στον προσ-διορισμό των βέλτιστων ακολουθιών dn, hn,k, θεωρείται σκόπιμο να εισάγουμε έναγενικό πρόβλημα βελτιστοποίησης/προσέγγισης σε διανυσματικούς χώρους που είναιεξοπλισμένοι με εσωτερικό γινόμενο (γνωστοί σαν χώροι Hilbert).

Έστω λοιπόν διανυσματικός χώρος Hilbert V , όπου με ≺ X,Y≻ συμβολίζουμε τοεσωτερικό γινόμενο μεταξύ δύο στοιχείων (διανυσμάτων) X,Y ∈ V . Ως γνωστόν, ηύπαρξη εσωτερικού γινομένου επιτρέπει τον ορισμό αντίστοιχου μέτρου ενός διανύσμα-τος ∥X∥ =

√≺X,X≻. Έστω τώρα Ω γραμμικός υποχώρος του V και ένα διάνυσμα

7.2 Γραμμική εκτίμηση 123

X ∈ V . Ενδιαφερόμαστε να προσδιορίσουμε το X ∈ Ω το οποίο να επιλύει το ακόλου-θο πρόβλημα βελτιστοποίησης (ή προσέγγισης)

X = arg minY∈Ω∥X− Y∥2. (7.2)

Δηλαδή επιθυμούμε να προσδιορίσουμε έναν αντιπρόσωπο του υποχώρου Ω ο οποίοςνα απέχει τη μικρότερη δυνατή απόσταση από το πρότυπο διάνυσμα X. Το πρόβλημααυτό φαίνεται παραστατικά στο Σχήμα 7.1. Η καλύτερη επιλογή είναι φυσικά η κάθετη

Σχήμα 7.1 : Γραφική αναπαράσταση της αρχής της ορθογωνιότητας.

προβολή X του διανύσματος X στον υποχώρο Ω. Επειδή η διακεκομμένη γραμμή τουσχήματος είναι κάθετη στον υποχώροΩ είναι φανερό ότι θα είναι επίσης κάθετη σε κάθεστοιχείο Z του υποχώρου, δηλαδή το X πρέπει να είναι τέτοιο, ώστε

≺X− X,Z≻= 0, ∀Z ∈ Ω. (7.3)

Η ιδιότητα αυτή είναι γνωστή σαν αρχή της ορθογωνιότητας και η Εξίσωση (7.3) πουπροκύπτει είναι δυνατό, όπως θα δούμε άμεσα, να οδηγήσει στον προσδιορισμό τουεπιθυμητού διανύσματος X.

Εάν ο γραμμικός υπόχωρος Ω αποτελεί τη γραμμική θήκη γνωστών διανυσμάτωνZ1, . . . ,ZK (δηλαδή ∀Z ∈ Ω μπορούμε να γράψουμε Z = a1Z1 + · · · + aKZK), τότεη (7.3) γίνεται ισοδύναμη με το σύστημα εξισώσεων

≺X− X,Zk≻= 0, k = 1, . . . ,K. (7.4)

Η σχέση αυτή είναι ικανή να προσδιορίσει το διάνυσμα X. Πράγματι παρατηρούμε ότιεφόσον το X ∈ Ω, μπορεί να γραφεί σαν ένας γραμμικός συνδυασμός X = α1Z1 +· · ·+αKZK . Εφαρμογή της σχέσης αυτής στην (7.4) καταλήγει στο ακόλουθο σύστημαγραμμικών εξισώσεων με αγνώστους τους συντελεστές α1, . . . ,αK

≺X,Zk≻=K∑

n=1

≺Zn,Zk≻ αn, k = 1, . . . ,K. (7.5)


Το σύστημα αυτό έχει μοναδική λύση εφόσον τα διανύσματα Z1, . . . ,ZK είναι γραμμι-κώς ανεξάρτητα (δηλαδή κανένα από τα διανύσματα Zn να μην είναι δυνατό να γραφείσαν γραμμικός συνδυασμός των υπολοίπων1).

Εάν το X ικανοποιεί την αρχή της ορθογωνιότητας τότε επιλύει και το πρόβλημαβελτιστοποίησης (7.2). Η απόδειξη της πρότασης αυτής είναι ιδιαίτερα απλή και γι’αυτό την παραθέτουμε στη συνέχεια. Αρκεί να δείξουμε ότι εάν το X ικανοποιεί την(7.3) τότε οποιοδήποτε άλλο διάνυσμα Y ∈ Ω θα έχει μεγαλύτερο σφάλμα, δηλαδή

∥X− Y∥2 ≥ ∥X− X∥2, ∀ Y ∈ Ω.

Παρατηρούμε ότι

∥X− Y∥2 = ∥(X− X)− (Y− X)∥2

= ∥X− X∥2 − 2 ≺(X− X), (Y− X)≻ +∥Y− X∥2

= ∥X− X∥2 + ∥Y− X∥2

≥ ∥X− X∥2,

όπου για την τελευταία εξίσωση έγινε χρήση της (7.3) και του γεγονότος ότιY− X ∈ Ω.Εάν υπολογίσουμε το βέλτιστο σφάλμα τότε

∥X− X∥2 = ≺(X− X), (X− X)≻=≺(X− X),X≻ − ≺(X− X), X≻= ≺(X− X),X≻= ∥X∥2− ≺ X,X≻, (7.6)

όπου ο τελευταίος όρος της δεύτερης εξίσωσης είναι μηδέν λόγω της αρχής της ορθο-γωνιότητας.

Η αρχή της ορθογωνιότητας θα χρησιμοποιηθεί επανειλημμένα στα επόμενα εδάφιακαι θα εφαρμοστεί σε διαφορετικούς διανυσματικούς χώρους.

7.3 Βέλτιστη γραμμική εκτίμηση με γνώση στατιστικών β’ τάξηςΠροκειμένου να υπολογιστεί η βέλτιστη κρουστική απόκριση hn,k του γραμμικού συ-στήματος (7.1) καθώς και η βέλτιστη ακολουθία dn, θα χρησιμοποιήσουμε σαν κρι-τήριο απόδοσης το μέσο τετραγωνικό σφάλμα. Θα θέσουμε όμως το πρόβλημα βελτι-στοποίησης με ένα γενικό τρόπο. Έστω ότι επιθυμούμε να εκτιμήσουμε το ςn από ταδείγματα χn−k1 ,χn−k2 , . . . που αποτελούν υπακολουθία της χn, τότε το μέσο τετρα-γωνικό σφάλμα γράφεται2

D(h, d) = 1[(ςn − ςn)2] = 1

⎡

⎣

⎛

⎝ςn − dn −∑

k=k1,k2,...

hn,kχn−k

⎞

⎠2⎤

⎦ .

1Σε αντίθετη περίπτωση η λύση για τα α1, . . . ,αK δεν είναι μοναδική, ωστόσο το τελικό X που προ-κύπτει είναι μοναδικό! (γιατί;)

2 ε το εν λόγω κριτήριο υπολογίζεται κάθε όρος της ακολουθίας χωριστά. Είναι επίσης δυνατό ναυπολογίσουμε όλους τους όρους συγχρόνως εάν χρησιμοποιούσαμε το κριτήριο 1[∑n(ςn− ςn)

2. πορείόμως να αποδειχθεί ότι οι δύο επιλογές καταλήγουν στην ίδια ακολουθία εκτιμήσεων (βλέπε Άσκηση 7.1).

7.3 Βέλτιστη γραμμική εκτίμηση με γνώση στατιστικών β’ τάξης 125

Η βέλτιστη επιλογή επομένως έγκειται στον καθορισμό των συντελεστών hn,k και τωνπαραμέτρων dn που ελαχιστοποιούν το ως άνω κριτήριο, δηλαδή επιλύουν το ακόλουθοπρόβλημα βελτιστοποίησης

minhn,k,dn

D(h, d) = minhn,k,dn

1

⎡

⎣

⎛

⎝ςn − dn −∑

k=k1,k2,...

hn,kχn−k

⎞

⎠2⎤

⎦ . (7.7)

ολονότι η χρήση γραμμικών εκτιμήσεων μοιάζει να είναι περιοριστική, όσον αφο-ρά στις Gaussian στοχαστικές διαδικασίες έχουμε την ακόλουθη πρόταση

Βέλτιστη εκτίμηση Gaussian σημάτων : Όταν τα σήματα ςn και χn είναι απόκοινού Gaussian τότε η βέλτιστη μη γραμμική εκτίμηση 1[ςn|χn−k1 , . . .]που ελαχιστοποιεί το μέσο τετραγωνικό σφάλμα είναι γραμμική3.

ε άλλα λόγια για από κοινού Gaussian σήματα ισχύει ότι

1[ςn|χn−k1 ,χn−k2 , . . .] = dn +∑

k=k1,k2,...

hn,kχn−k,

πράγμα που σημαίνει ότι για την πολύ σημαντική αυτή κατηγορία σημάτων, ο περιορι-σμός στους γραμμικούς εκτιμητές δεν αποτελεί μειονέκτημα αφού ο βέλτιστος μη γραμ-μικός εκτιμητής συμβαίνει να είναι γραμμικός.

Προκειμένου να εφαρμόσουμε την αρχή της ορθογωνιότητας έχουμε ανάγκη από έναδιανυσματικό χώρο V . Για το σκοπό αυτό επιλέγουμε τον διανυσματικό χώρο των τυχαί-ων μεταβλητών, στον οποίο φυσικά ανήκουν οι όροι των δύο ακολουθιών ςn, χn κα-θώς και όλες οι ντετερμινιστικές ποσότητες αφού μπορούν να ιδωθούν σαν τυχαίες μετα-βλητές ίσες προς μια σταθερά με πιθανότητα 1. Οι τυχαίες μεταβλητές 1,χn−k1 ,χn−k2 , . . . ,αφού αποτελούν στοιχεία (διανύσματα) του χώρου V , η γραμμική θήκη τους ορίζει έναγραμμικό υποχώρο στον οποίο ανήκει κάθε συνδυασμός της μορφής a0 + a1χn−k1 +a2χn−k2 + · · · , όπου τα ai ντετερμινιστικές ποσότητες. Ο γραμμικός αυτός υποχώροςπαίζει τον ρόλο του Ω. Επίσης, μπορεί κανείς εύκολα να δείξει ότι για δύο τυχαίες με-ταβλητές ς,χ η πράξη

≺ ς,χ≻= 1[ςχ]

αποτελεί εσωτερικό γινόμενο το οποίο συνεπάγεται ότι ∥ς − χ∥2 = 1[(ς − χ)2. Γιατο πρόβλημα βελτιστοποίησης (7.7) μπορούμε συνεπώς να εφαρμόσουμε τη θεωρία τουπροηγουμένου εδαφίου από όπου συμπεραίνουμε ότι το βέλτιστο ςn είναι η προβολή τουςn στον υποχώρο που ορίσαμε.

Για τον προσδιορισμό του ςn εάν εφαρμόσουμε την αρχή της ορθογωνιότητας και

3Βλέπε Παράδειγμα 2.1, ΠαράρτημαΑ.


συγκεκριμένα την Εξίσωση (7.5), προκύπτει ότι

1

⎡

⎣

⎛

⎝ςn − dn −∑

k=k1,k2,...

hn,kχn−k

⎞

⎠ z

⎤

⎦ = 0,

για κάθε z ∈ 1,χn−k1 ,χn−k2 , . . .. Δημιουργούνται επομένως οι ακόλουθες εξισώσεις

1

⎡

⎣

⎛

⎝ςn − dn −∑

k=k1,k2,...

hn,kχn−k

⎞

⎠ · 1

⎤

⎦ = 0 (7.8)

1

⎡

⎣

⎛

⎝ςn − dn −∑

k=k1,k2,...

hn,kχn−k

⎞

⎠χn−m

⎤

⎦ = 0, m = k1, k2, . . . (7.9)

Από την (7.8) άμεσα συμπεραίνουμε ότι η βέλτιστη ακολουθία dn πρέπει να ικανο-ποιεί τη σχέση

dn = 1[ςn]−∑

k=k1,k2,...

hn,k1[χn−k],

η οποία όταν αντικατασταθεί στην εκτίμηση (7.1) αποδίδει

ςn = 1[ςn] +∑

k=k1,k2,...

hn,k (χn−k − 1[χn−k]) . (7.10)

Παρατηρούμε ότι η πρώτη σχέση της αρχής ορθογωνιότητας που εφαρμόσαμε αποσκο-πεί στο να εξισώσει τον μέσο όρο της εκτίμησης με τον μέσο όρο του εκτιμώμενου σή-ματος. Στη συνέχεια, δίχως απώλεια της γενικότητας, θα θεωρήσουμε για τα δύο σήματαςn, χn ότι έχουν μέσον όρο μηδέν αφού, όπως διαπιστώνουμε από την (7.10), στηναντίθετη περίπτωση απλά αφαιρείται από το χn ο μέσος όρος του πριν υποβληθεί σεγραμμική επεξεργασία και προστίθεται ο μέσος όρος ςn στην έξοδο του γραμμικούφίλτρου.

άτω από την υπόθεση ότι και τα δύο σήματα έχουν μέσον όρο μηδέν, η Σχέση (7.8)καταλήγει σε dn = 0 ενώ η (7.9) γίνεται ισοδύναμη προς

Rχ,ς(n−m,n) =∑

k=k1,k2,...

hn,kRχ(n−m,n− k), m = k1, k2, . . . , (7.11)

που είναι γνωστή σαν εξίσωση Wiener-Hopf. Το γραμμικό σύστημα του οποίου η κρου-στική απόκριση hn,k ικανοποιεί την εξίσωση αυτή είναι γνωστό σαν φίλτρο Wiener.Θυμίζουμε ότι το Rχ,ς(n1, n2) αποτελεί τη συνάρτηση ετεροσυσχέτισης των σημάτωνςn, χn ενώ το Rχ(n1, n2) τη συνάρτηση αυτοσυσχέτισης του σήματος χn4.

4Για περισσότερες λεπτομέρειες σχετικά με τους ορισμούς αυτούς, βλέπε ΠαράρτημαΑ.


Η Wiener-Hopf εξίσωση είναι δύσκολο να επιλυθεί στη γενική μορφή που παρου-σιάζεται στην (7.11). Εάν εξετάσουμε την ειδική περίπτωση που τα δύο σήματα είναιαπό κοινού ασθενώς στάσιμα τότε η σχέση γράφεται

Rχ,ς(m) =∑

k=k1,k2,...

hn,kRχ(m− k), m = k1, k2, . . .

από την οποία μπορούμε να συμπεράνουμε ότι η βέλτιστη κρουστική απόκριση πρέπει ναείναι της μορφής hn,k = hk αφού η παράμετρος n δεν υπεισέρχεται σε κανέναν άλλο όροτης εξίσωσης. Προκύπτει δηλαδή μια σημαντική απλοποίηση στο πρόβλημα αφού πλέονη κρουστική απόκριση αντιστοιχεί σε ένα χρονικά σταθερό γραμμικό σύστημα. ε άλλαλόγια για ασθενώς στάσιμα σήματα οι εκτιμήσεις παίρνουν την ακόλουθη μορφή

ςn =∑

k=k1,k2,...

hkχn−k (7.12)

με τους συντελεστές hk να προσδιορίζονται μέσω της εξίσωσης

Rχ,ς(m) =∑

k=k1,k2,...

hkRχ(m− k), m = k1, k2, . . . . (7.13)

Στα επόμενα εδάφια θα εξετάσουμε ενδιαφέρουσες επιλογές για την υπακολουθία k1,k2, . . .

7.3.1 Γενίκευση σε διανυσματικά σήματα∗

Εάν το προς εκτίμηση σήμα είναι της μορφής Sn όπου το Sn διάνυσμα μήκους καιεπιθυμούμε να ορίσουμε εκτιμητή

Sn = Dn +∑

k=k1,k2,...

Hn,kXn−k

όπου Xn το σήμα μέτρησης με το Xn μήκους , τότε η κρουστική απόκριση Hn,kαποτελείται από μήτρες διάστασηςM ×K ενώ τα Dn είναι διανύσματα μήκουςM .

Εφαρμογή της Αρχής της Ορθογωνιότητας στο εν λόγω πρόβλημα γίνεται ως εξής:

1[(Sn − Sn)1] = 0, 1[(Sn − Sn)Xn−m,i] = 0, m = k1, k2, . . . και i = 1, . . . ,K,

όπου Xn,i συμβολίζει το i-οστό στοιχείο του διανύσματος Xn. Εάν εφαρμόσουμε τηνπροηγούμενη σχέση για i = 1, . . . ,K τότε οιK εξισώσεις που προκύπτουν μπορούν ναγραφτούν σαν

1[(Sn − Sn)Xtn−m] = 0, m = k1, k2, . . . .

Από την πρώτη σχέση προκύπτει

1[Sn] = Dn +∑

k=k1,k2,...

Hn,k1[Xn−k]


ενώ από τις υπόλοιπες προκύπτει η γενίκευση της Wiener-Hopf εξίσωσης που παίρνειτη μορφή

RS,X (n, n−m) =∑

k=k1,k2,...

Hn,kRX (n− k, n−m), m = k1, k2, . . .

όπου RS,X (n, k) = 1[SnX tk ] η μητρική συνάρτηση ετεροσυσχέτισης των δύο τυχαίων

διανυσματικών σημάτων Sn, Xn καιRX (n, k) = 1[XnX tk ] η μητρική συνάρτηση

αυτοσυσχέτισης του σήματος Xn. αι στις δύο περιπτώσεις έχουμε υποθέσει ότι ομέσος όρος των σημάτων είναι μηδενικός, διαφορετικά απαιτείται η αφαίρεση του μέσουόρου από τα σήματα.

7.3.2 Μη αιτιατόφίλτροWienerΩς πρώτη επιλογή θα θεωρήσουμε την περίπτωση χρήσης όλων των όρων της ακολου-θίας χn για την εκτίμηση του ςn. Η Εξίσωση (7.13) τότε γράφεται

Rχ,ς(m) =∞∑

k=−∞hkRχ(m− k), ∀m ∈ Z (7.14)

που αποτελεί συνέλιξη της κρουστικής απόκρισης του γραμμικού συστήματος και τηςακολουθίας αυτοσυσχέτισης του σήματος χn. Αφού για την εκτίμηση του ςn χρησι-μοποιούνται και μελλοντικά προς τη χρονική στιγμή n δείγματα, το αντίστοιχο φίλτροείναι μη αιτιατό.

Η (7.14) επιλύεται εύκολα με εφαρμογή του μετασχηματισμού Fourier και χρήσητης ιδιότητας της συνέλιξης, οπότε η (7.14) γίνεται ισοδύναμη προς

Φχ,ς(ejω) = H(ejω)Φχ(e

jω)

όπου Φχ,ς(ejω),Φχ(ejω) συμβολίζουν αντίστοιχα την πυκνότητα ετεροφάσματος τωνδύο σημάτων ςn, χn και την πυκνότητα φάσματος ισχύος του σήματος χn αντί-στοιχα και H(ejω) συμβολίζει την απόκριση συχνότητας του γραμμικού συστήματος(μετασχηματισμό Fourier της ακολουθίας hn). Από τη σχέση αυτή υπολογίζεται άμε-σα η απόκριση συχνότηταςH(ejω) του βέλτιστου συστήματος

H(ejω) =Φχ,ς(ejω)

Φχ(ejω),

ενώ οι όροι της βέλτιστης κρουστικής απόκρισης υπολογίζονται μέσω του αντίστροφουμετασχηματισμού Fourier

hn =1

2π

∫ π

−π

Φχ,ς(ejω)

Φχ(ejω)ejnω dω.


Έχει επίσης ενδιαφέρον ο υπολογισμός του ελάχιστου μέσου τετραγωνικού σφάλ-ματος (Ε ΤΣ). Από τη Σχέση (7.6) έχουμε ότι5

Ε ΤΣ = minhk

1[(ςn − ςn)2 = 1[ς2n− 1[ςn

∞∑

k=−∞hkχn−k

= Rς(0)−∞∑

k=−∞hkRχ,ς(k)

=1

2π

∫ π

−πΦς(e

jω) dω − 1

2π

∫ π

−πH(ejω)Φ∗

χ,ς(ejω) dω

=1

2π

∫ π

−π

(Φς(e

jω)− |Φχ,ς(ejω)|2

Φχ(ejω)

)dω. (7.15)

Ας εξετάσουμε τώρα τη συνηθισμένη περίπτωση που το σήμα χn αποτελεί άθροι-σμα του σήματος ενδιαφέροντος ςn και ενός θορύβου wn, δηλαδή

χn = ςn + wn,

όπου το σήμα ςn και ο θόρυβος wn είναι ασυσχέτιστα, τότε

Rχ,ς(n) = Rς(n) και Rχ(n) = Rς(n) +Rw(n).

Στην περίπτωση αυτή το βέλτιστο φίλτρο Wiener γράφεται

H(ejω) =Φς(ejω)

Φς(ejω) + Φw(ejω).

Εάν τέλος υπολογίσουμε, με τη βοήθεια σχετικής ιδιότητας (βλέπε Εξίσωση (2.12) τουΠαραρτήματοςΑ) την πυκνότητα φάσματος της εξόδου ςn του φίλτρου τότε

Φς(ejω) =

(Φς(ejω)

Φς(ejω) + Φw(ejω)

)2

Φχ(ejω) =

⎛

⎝Φς(ejω)Φw(ejω)

Φς(ejω)Φw(ejω) + 1

⎞

⎠2

Φχ(ejω).

Παρατηρούμε ότι ότανΦς(ejω)≫ Φw(ejω), τότεΦς(ejω) ≈ Φς(ejω), δηλαδή το φίλτροεπιτρέπει τη διέλευση συχνοτήτων στις οποίες το σήμα ενδιαφέροντος είναι πολύ ισχυ-ρότερο του θορύβου. Όταν Φς(ejω) ≪ Φw(ejω), τότε Φς(ejω) ≈ 0, δηλαδή το φίλτροαποκόπτει συχνότητες στις οποίες ο θόρυβος είναι πολύ ισχυρότερος του σήματος εν-διαφέροντος. Στις ενδιάμεσες περιπτώσεις πολλαπλασιάζεται η αντίστοιχη συχνότητα

5Στο σημείο αυτό χρησιμοποιούμε την ισότητα του Parseval μεταξύ δύο ακολουθιών an, bn καιτων μετασχηματισμών Fourier τους A(ejω), B(ejω):

∑∞n=−∞ anbn = 1

2π

∫ π

−πA(ejω)B∗(ejω) dω.


με βάρος μικρότερο της μονάδας ανάλογα με τη σχετική ισχύ σήματος/θορύβου. Απότη Σχέση (7.15) τέλος έχουμε ότι το βέλτιστο μέσο τετραγωνικό σφάλμα γράφεται

1[(ςn − ςn)2] =1

2π

∫ π

−π

Φς(ejω)Φw(ejω)

Φς(ejω) + Φw(ejω)dω. (7.16)

Παράδειγμα 7.1 : Δίνεται ότι το σήμα χn είναι άθροισμα του σήματος ενδιαφέροντος ςn καιθορύβου wn. αι τα δύο σήματα έχουν μηδενική μέση τιμή και είναι μεταξύ τους ασυσχέτιστα.Το σήμα ενδιαφέροντος έχει συνάρτηση αυτοσυσχέτισης Rς(n) = 0.9|n|, ενώ ο θόρυβος είναιλευκός με διασπορά σ2

w = 1. α βρεθεί η κρουστική απόκριση του βέλτιστου μη αιτιατούφίλτρου Wiener.

Αφού ο θόρυβος είναι λευκός η συνάρτηση αυτοσυσχέτισης του θορύβου είναι Rw(n) =σ2wδ(n). Για να υπολογίσουμε την πυκνότητα φάσματος του ς θα χρησιμοποιήσουμε την ισότητα

F (α|n|) =1−α2

1+α2

1− 2α1+α2 cos(ω)

, |α| < 1,

όπου F (·) συμβολίζει μετασχηματισμό Fourier. Επομένως ισχύει ότι

Φς(ejω) =

0.105

1− 0.9945 cos(ω)και Φw(e

jω) = 1,

από το οποίο προκύπτει ότι το βέλτιστο φίλτρο Wiener έχει απόκριση συχνότητας

H(ejω) =0.095

1− 0.9 cos(ω)= A

1−r2

1+r2

1− 2r1+r2 cos(ω)

.

Προκειμένου να βρεθούν οι παράμετροι r,A εξισώνουμε 2r1+r2 = 0.9 και A 1−r2

1+r2 = 0.095 καιυπολογίζουμε r = 0.6268 και A = 0.2179. Συμπεραίνουμε επίσης, με τη βοήθεια της πρώτηςεξίσωσης, ότι η βέλτιστη κρουστική απόκριση είναι η hn = 0.2179× (0.6268)|n|.

7.3.3 ΑιτιατόφίλτροWiener∗

Στο εδάφιο αυτό θα εξετάσουμε την περίπτωση του αιτιατού φίλτρου Wiener, δηλαδήτου φίλτρου που για την εκτίμηση ςn της χρονικής στιγμής n χρησιμοποιεί τα δείγματαχn,χn−1, . . . που είναι διαθέσιμα έως τη χρονική στιγμή n. Αυτό αντιστοιχεί στην επι-λογή k = 0, 1, 2, . . . στη γενική μορφή του εκτιμητή (7.12), ενώ ηWiener-Hopf εξίσωση(7.11) γράφεται

Rχ,s(m) =∞∑

k=0

hkRχ(m− k), m = 0, 1, 2, . . . (7.17)

Η επίλυση της εξίσωσης αυτής, δυστυχώς δεν είναι τόσο απλή όσο η αντίστοιχη της μηαιτιατής περίπτωσης και αυτό οφείλεται στο γεγονός ότι ισχύει μόνο για μη αρνητικούςακεραίους.


Υπάρχει μια ειδική κατηγορία σημάτων για την οποία η λύση είναι άμεση και μά-λιστα μας καθοδηγεί στο να εικάσουμε τη λύση στη γενική περίπτωση. Εάν το σήμαχn είναι λευκό (αλλά όχι ανεξάρτητο του ςn), δηλαδή Rχ(n) = σ2χδ(n), όπου σ2χη διασπορά των όρων του σήματος χn, τότε η (7.17) γίνεται

Rχ,s(m) = σ2χhm, m = 0, 1, 2, . . . , ή hm =Rχ,s(m)

σ2χum,

όπου um η μοναδιαία βηματική συνάρτηση. Προκειμένου να εκφράσουμε την εν λόγωσχέση στο πεδίο της συχνότητας είναι απαραίτητο να γίνουν δύο ορισμοί. Εάν αnακολουθία και A(ejω) ο μετασχηματισμός Fourier της, τότε ορίζουμε σαν

[A(ejω)

]+=

∞∑

n=0

αne−jnω = F (αnun)

[A(ejω)

]−=

−1∑

n=−∞αne

−jnω = F (αnu−1−n)

την αιτιατή και μη αιτιατή συνιστώσα του μετασχηματισμού αντίστοιχα. σχύει φυσικάότι

A(ejω) = [A(ejω)]+ + [A(ejω)]−.

Θα δούμε επίσης στη συνέχεια πως είναι δυνατό, για ενδιαφέρουσα ειδική περίπτωση, ναγίνει ο εν λόγω διαχωρισμός χρησιμοποιώντας απ’ ευθείας τον μετασχηματισμόA(ejω).Σύμφωνα με τους ορισμούς που δόθηκαν συμπεραίνουμε ότι το βέλτιστο φίλτρο, για τηνπερίπτωση του λευκού θορύβου, έχει απόκριση συχνότητας

H(ejω) =[Φχ,ς(ejω)]+

σ2χ.

Όταν το σήμα χn δεν είναι λευκό τότε είναι δυνατόν, κάτω από κατάλληλες συνθή-κες, να το προλευκάνουμε6 με τη χρήση ενός ευσταθούς, αιτιατούφίλτρου. Εάν hn, n =0, 1, . . . , η κρουστική απόκριση του αιτιατού φίλτρου προλεύκανσης και H(ejω) η αντί-στοιχη απόκριση συχνότητας τότε η έξοδος χn του φίλτρου με είσοδο την χn, δη-λαδή

χn =∞∑

k=0

hkχn−k =0∑

k=−∞h−kχn+k (7.18)

έχει πυκνότητα φάσματος ισχύος που ικανοποιεί (βλέπε Σχέση (2.12), ΠαράρτημαΑ)

Φχ(ejω) = |H(ejω)|2Φχ(ejω).

6Η διαδικασία της προλεύκανσης χρησιμοποιήθηκε για πρώτη φορά στο Εδάφιο 4.2.3.


Αρκεί επομένως να επιλέξουμε αιτιατό και ευσταθές φίλτρο τέτοιο, ώστε

H(ejω)H∗(ejω) = |H(ejω)|2 = 1

Φχ(ejω), (7.19)

πράγμα που θα αποδώσει Φχ(ejω) = 1 και θα καταστήσει το σήμα χn λευκό θόρυβο.Όσον αφορά στον προσδιορισμό του φίλτρου προλεύκανσης, ας υποθέσουμε προς

στιγμήν ότι είναι δυνατό να γράψουμε τη πυκνότητα φάσματος ισχύος σαν

Φχ(ejω) = [Φχ(e

jω)]+[Φχ(ejω)]−,

όπου [Φχ(ejω)]− = ([Φχ(ejω)]+)∗ και [Φχ(ejω)]+ καθώς και 1[Φχ(ejω)]+

αποτελούν απο-κρίσεις συχνότητας ευσταθών, αιτιατών φίλτρων. Θα καλούμε τις δύο συναρτήσεις[Φχ(ejω)]+, [Φχ(ejω)]− αιτιατό και αντιαιτιατό παράγοντα αντίστοιχα της συνάρτησηςΦχ(ejω)7. Ο εν λόγω διαχωρισμός είναι γνωστός σαν φασματική παραγοντοποίηση. Συ-μπεραίνουμε επομένως ότι επιλέγοντας

H(ejω) =1

[Φχ(ejω)]+(7.20)

ικανοποιείται η Εξίσωση (7.19), ως εκ τούτου η έξοδος χn του φίλτρου αυτού με εί-σοδο χn είναι λευκή.

Η δημιουργία του λευκού θορύβου προτρέπει στην επεξεργασία του σήματος χnαντί του αρχικού χn. Σύμφωνα με όσα ειπώθηκαν παραπάνω το βέλτιστο φίλτροεπεξεργασίας θα είναι επομένως το Rχ,ς(n)un. Η επιβολή του φίλτρου προλεύκανσηςσε σειρά με το βέλτιστο φίλτρο Rχ,ς(n)un ισοδυναμεί με συγκεκριμένη επεξεργασίατου αρχικού σήματος χn, παρατηρούμε ότι

ςn =∞∑

k=0

Rχ,ς(k)ukχn−k =∞∑

k=0

∞∑

j=0

Rχ,ς(k)ukhjχn−k−j

=∞∑

l=0

(l∑

k=0

Rχ,ς(k)ukhl−k

)χn−l,

όπου για την τελευταία εξίσωση εφαρμόστηκε η αλλαγή μεταβλητών l = k + j. Σανφίλτρο επεξεργασίας hn του αρχικού σήματος χn προτείνεται επομένως η συνέλιξητων δύο επιμέρους φίλτρων (αναμενόμενο αποτέλεσμα λόγω της εν σειρά επεξεργασίας),δηλαδή

hn = Rχ,ς(n)un ∗ hn ή H(ejω) = [Φχ,ς(ejω)]+H(ejω), (7.21)

7Σημειώνεται ότι η διαφορά μεταξύ μιας αντιαιτιατής και μιας μη αιτιατής ακολουθίας είναι ότι η μενπρώτη διαθέτει μη μηδενικό όρο τη χρονική στιγμή n = 0 ενώ στη δεύτερη ο όρος αυτός είναι οπωσδήποτεμηδενικός. Διακρίνουμε επίσης τον αιτιατό και αντιαιτιατό παράγοντα που διαθέτουν μόνον οι πραγματικές,άρτιες και μη αρνητικές συναρτήσεις, από την αιτιατή και μη αιτιατή συνιστώσα που διαθέτουν όλες οισυναρτήσεις στο πεδίο συχνότητας.


το οποίο είναι επίσης αιτιατό φίλτρο.Ας εκφράσουμε το φίλτρο της (7.21) συναρτήσει γνωστών ποσοτήτων. Πρέπει κατ’

αρχάς να υπολογιστεί η συνάρτηση ετεροσυσχέτισης Rχ,ς(n) συναρτήσει των Rχ,ς(n),Rχ(n). Από την (7.18), τη δεύτερη ισότητα, πολλαπλασιάζοντας με ςn+m και εφαρμό-ζοντας μέσον όρο, προκύπτει

Rχ,ς(m) = h−m ∗Rχ,ς(m) ή Φχ,ς(ejω) = H∗(ejω)Φχ,ς(e

jω),

η οποία όταν αντικατασταθεί στην (7.21), με χρήση της (7.20) αποδίδει την τελική μορφήτου προτεινόμενου φίλτρου

H(ejω) = [H∗(ejω)Φχ,ς(ejω)]+H(ejω) =

[Φχ,ς(ejω)

[Φχ(ejω)]−

]+1

[Φχ(ejω)]+

=

[[Φχ,ς(ejω)]+ + [Φχ,ς(ejω)]−

[Φχ(ejω)]−

]+1

[Φχ(ejω)]+

=

[[Φχ,ς(ejω)]+

[Φχ(ejω)]−

]+1

[Φχ(ejω)]+, (7.22)

όπου χρησιμοποιήθηκε το γεγονός ότι η συνέλιξη μιας αντιαιτιατής και μιας μη αιτια-τιατής ακολουθίας καταλήγει σε μη αιτιατή ακολουθία, η αιτιατή συνιστώσα της οποίαςείναι ίση προς μηδέν.

Το φίλτρο της (7.22) αποτελεί μια δυνατή επιλογή αιτιατής επεξεργασίας του σήμα-τος χn. Προκειμένου η επιλογή αυτή να είναι η βέλτιστη πρέπει φυσικά να αποδείξου-με ότι ικανοποιεί την Εξίσωση Wiener-Hopf (7.17), η οποία στο πεδίο της συχνότηταςγράφεται

[Φχ,ς(ejω)]+ = [H(ejω)Φχ(e

jω)]+.

Αφού Φχ(ejω) = [Φχ(ejω)]+[Φχ(ejω)]−, παρατηρούμε ότι

[H(ejω)Φχ(ejω)]+ =

[[Φχ,ς(ejω)

[Φχ(ejω)]−

]+[Φχ(e

jω)]−

]+

=

[[Φχ,ς(ejω)

[Φχ(ejω)]−

]+[Φχ(e

jω)]−

]++

[[Φχ,ς(ejω)

[Φχ(ejω)]−

]−[Φχ(e

jω)]−

]+

︸︷︷︸=0

=

[Φχ,ς(ejω)

[Φχ(ejω)]−[Φχ(e

jω)]−

]+= [Φχ,ς(e

jω)]+.

Όπου χρησιμοποιήθηκε το γεγονός ότι η συνέλιξη μιας αντιαιτιατής και μιας μη αιτια-τιατής ακολουθίας καταλήγει σε μη αιτιατή ακολουθία, το αιτιατό μέρος της οποίας είναιμηδέν.


Το μόνο κενό σημείο στην προηγούμενη ανάλυση αποτελεί φυσικά η απόδειξη ύπαρ-ξης της παραγοντοποίησης της πυκνότητας φάσματος ισχύοςΦχ(ejω) στους παράγοντες[Φχ(ejω)]+, [Φχ(ejω)]−, με τις ιδιότητες της αιτιατότητας και ευστάθειας των φίλτρων[Φχ(ejω)]+ και 1

[Φχ(ejω)]+. Το σημείο αυτό θα αποτελέσει το αντικείμενο των επόμενων

εδαφίων. Για την ανάλυση που θα ακολουθήσει θα απαιτηθεί μια σημαντική ιδιότητααπό τη θεωρία μιγαδικών συναρτήσεων:

Αιτιατότητα και αθροισιμότητα : Έστω ακολουθία . . . ,α−2,α−1,α0,α1,α2, . . .και A(z) =

∑∞n=−∞ αnz−n ο αντίστοιχος μετασχηματισμός Z . Η αn

είναι τότε αιτιατή και απόλυτα αθροίσιμη, εάν και μόνον εάν όλοι οι πόλοιτης A(z) βρίσκονται στο εσωτερικό του μοναδιαίου κύκλου8.

Σημειώνεται ότι όταν η ακολουθία αn αποτελεί κρουστική απόκριση ενός γραμμι-κού συστήματος τότε η απόλυτη αθροισιμότητά της είναι συνώνυμη της ευστάθειας τουσυστήματος (βλέπε βιβλίο [MO2004]).

Ρητές τριγωνομετρικέςφασματικές συναρτήσειςΘα εξετάσουμε αρχικά την πρακτικά χρήσιμη περίπτωση όπου οι συναρτήσεις Φχ(ejω),Φχ,ς(ejω) είναι λόγος τριγωνομετρικών πολυωνύμων. Το πρώτο πρόβλημα που θα μαςαπασχολήσει στη συνέχεια είναι η φασματική παραγοντοποίηση της συνάρτησηςΦχ(ejω).

Επειδή η πυκνότητα φάσματος ισχύοςΦχ(ejω) είναι πραγματική και άρτια συνάρτη-ση, για την περίπτωση που μπορεί να γραφεί σαν λόγος τριγωνομετρικών πολυωνύμων,θα πρέπει είναι της μορφής

Φχ(ejω) =

b0 + 2b1 cos(ω) + · · ·+ bK cos(Kω)a0 + 2a1 cos(ω) + · · ·+ aL cos(Lω)

,

όπου οι συντελεστές ai, bi είναι πραγματικοί. Γνωρίζουμε επίσης ότι η Φχ(ejω) είναι μηαρνητική συνάρτηση του ω. Για αυκολία θα κάνουμε επιπλέον την υπόθεση ότι είναιαυστηρά θετική και φραγμένη. Αυτό συνεπάγεται αυτόματα ότι τα δύο τριγωνομετρικάπολυώνυμα αριθμητή και παρονομαστή, μετά από απαλοιφή κοινών όρων, είναι επίσηςθετικά και δεν μηδενίζονται για καμία τιμή του ω (γιατί;).

Έστω πραγματικό, θετικό τριγωνομετρικό πολυώνυμο της μορφής

C(ejω) = c0 + 2c1 cos(ω) + · · ·+ 2cM cos(Mω) > 0, ∀ω ∈ [−π,π],

τότε μπορούμε να γράψουμε ότι

C(ejω) = c0 + c1(ejω + e−jω) + · · ·+ cM (ejMω + e−jMω)

από το οποίο, με αντικατάσταση z = ejω μπορούμε να ορίσουμε

C(z) = c0 + c1(z + z−1) + · · ·+ cM (zM + z−M )

= z−Mc0 + c1(zM+1 + zM−1) + · · ·+ cM (z2M + 1).

8Πόλοι της A(z) καλούνται τα σημεία του μιγαδικού επιπέδου στα οποία απειρίζεται η συνάρτηση.


Το πολυώνυμο zMC(z) έχει 2M ρίζες και είναι φανερό ότι λόγω συμμετρίας εάν zi είναιρίζα, τότε υποχρεωτικά και η z−1

i είναι επίσης ρίζα. Εάν μια ρίζα είναι μιγαδική τότευποχρεωτικά και η συζυγής της θα είναι ρίζα αφού το πολυώνυμο έχει πραγματικούςσυντελεστές. Επειδή εξ’ υποθέσεως έχουμε C(ejω) > 0 συνάγεται ότι καμία ρίζα δενμπορεί να είναι πάνω στον μοναδιαίο κύκλο. Εάν μια ρίζα είναι στο εσωτερικό τουμοναδιαίου κύκλου τότε η αντίστροφη ρίζα θα είναι εκτός και το αντίστροφο.

Δίχως απώλεια της γενικότητας θα θεωρήσουμε ότι οι ρίζες z1, . . . , zM είναι εντόςτου μοναδιαίου κύκλου πράγμα που συνεπάγεται ότι οι υπόλοιπες ρίζες z−1

1 , . . . , z−1M

θα είναι εκτός. Θα υποθέσουμε επίσης για ευκολία ότι όλες οι ρίζες είναι διαφορετικές.Από τα παραπάνω συνάγεται ότι μπορούμε να γράψουμε

zMC(z) = cM [(z − z1) · · · (z − zM )][(z − z−11 ) · · · (z − z−1

M )],

ή ισοδύναμα ότι

C(z) =(−1)McMz1 · · · zM

[(1− z−1z1) · · · (1− z−1zM )][(1− zz1) · · · (1− zzM )]

και επομένως

C(ejω) =(−1)McMz1 · · · zM

[(1− e−jωz1) · · · (1− e−jωzM )][(1− ejωz1) · · · (1− ejωzM )].

Αφού για κάθε μιγαδική ρίζα zi υπάρχει η συζυγής της z∗i , το σύνολο z1, . . . , zMαποτελεί ουσιαστικά αναδιάταξη του συνόλου z∗1 , . . . , z∗M, πράγμα που μας επιτρέπεινα γράψουμε

C(ejω) =(−1)McMz1 · · · zM

[(1− e−jωz1) · · · (1− e−jωzM )][(1− ejωz∗1) · · · (1− ejωz∗M )]

=(−1)McMz1 · · · zM

|(1− e−jωz1) · · · (1− e−jωzM )|2

από την οποία, λόγω θετικότητας της συνάρτησης C(ejω), καταλήγουμε (−1)M cMz1···zM > 0.

Συνεπώς για τον αιτιατό και αντιαιτιατό παράγοντα της C(ejω) έχουμε

[C(ejω)]+ =

√|cM |

|z1 · · · zM | [(1− e−jωz1) · · · (1− e−jωzM )],

[C(ejω)

]− =

√|cM |

|z1 · · · zM | [(1− ejωz1) · · · (1− ejωzM )].

ε βάση το παραπάνω αποτέλεσμα εάν καλέσουμε α1, · · · ,αL τις ρίζες του τρι-γωνομετρικού πολυωνύμου του παρονομαστή της συνάρτησης Φχ(ejω) που βρίσκονται


στο εσωτερικό του μοναδιαίου κύκλου και β1, . . . ,βK τις αντίστοιχες του πολυωνύμουτου αριθμητή και παραγοντοποιήσουμε τα δύο πολυώνυμα, τότε

[Φχ(ejω)]+ =

√|α1 · · ·αL||β1 · · ·βK |

|bK ||aL|

(1− e−jωβ1) · · · (1− e−jωβK)

(1− e−jωα1) · · · (1− e−jωαL), (7.23)

ενώ η συνάρτηση μεταφοράς του φίλτρου προλεύκανσης γίνεται

H(z) =1

[Φχ(z)]+=

√|β1 · · ·βK ||α1 · · ·αL|

|aL||bK |

(1− z−1α1) · · · (1− z−1αL)

(1− z−1β1) · · · (1− z−1βK).

Επειδή οι πόλοι και τα μηδενικά της H(z) βρίσκονται στο εσωτερικό του μοναδιαίουκύκλου οι συναρτήσεις H(z) = 1

[Φχ(z)]+, [Φχ(z)]+ αποτελούν μετασχηματισμό Z αι-

τιατών και απόλυτα αθροίσιμων ακολουθιών. Ειδικότερα συμπεραίνουμε ότι το φίλτροH(z) = 1

[Φχ(z)]+είναι αιτιατό και ευσταθές. Φίλτρα των οποίων οι πόλοι και τα μηδενι-

κά βρίσκονται στο εσωτερικό του μοναδιαίου κύκλου καλούνται φίλτρα μέγιστης φάσης.Το επόμενο βήμα στην εύρεση του βέλτιστου αιτιατού φίλτρου αποτελεί ο υπολογι-

σμός της αιτιατής συνιστώσας μιας ρητής τριγωνομετρικής συνάρτησης. Έστω επομέ-νως

D(ejω) =q0 + q1e−jω + · · ·+ qM−1e−j(M−1)ω

p0 + p1e−jω + · · ·+ pMe−jMω,

όπου M > 0 θετικός ακέραιος9. Προκειμένου η συνάρτηση D(ejω) να αποτελεί μετα-σχηματισμό Fourier πραγματικής ακολουθίας dn θα πρέπει οι συντελεστές qi, pi τωντριγωνομετρικών πολυωνύμων αριθμητή και παρονομαστή να είναι πραγματικοί. εαντικατάσταση z = ejω προκύπτει

D(z) =q0 + q1z−1 + · · ·+ qM−1z−(M−1)

p0 + p1z−1 + · · ·+ pMz−M

= zq0zM−1 + q1zM−2 + · · ·+ qM−1

p0zM + p1zM−1 + · · ·+ pM

=zA1

z − π1+

zA2

z − π2+ · · ·+ zAM

z − πM(7.24)

όπου π1, . . . ,πM είναι οι ρίζες του πολυωνύμου του παρονομαστή p0zM + · · · + pMκαι για την τελευταία εξίσωση έχουμε εφαρμόσει ανάλυση σε απλά κλάσματα, υποθέτο-ντας για ευκολία ότι οι ρίζες είναι διαφορετικές. Παρατηρούμε τότε ότι ο αντίστροφος

9Για ευκολία έχουμε υποθέσει ότι η τάξη του πολυωνύμου του αριθμητή είναι μικρότερη από την τάξητου παρονομαστή, σε διαφορετική περίπτωση εφαρμόζουμε διαίρεση πολυωνύμων και τότε εκτός του λόγουεμφανίζεται ένα επιπλέον τριγωνομετρικό πολυώνυμο.


μετασχηματισμός Z κάθε όρου είναι

Z−1

z

z − πi

= πni un, όταν |πi| < 1,

Z−1

z

z − πi

= −πni u−n−1, όταν |πi| > 1,

όπου un συμβολίζει τη μοναδιαία βηματική συνάρτηση. Εάν δίχως απώλεια της γενικό-τητας θεωρήσουμε ότι π1, . . . ,πN είναι οι ρίζες του παρονομαστή που βρίσκονται στοεσωτερικό του μοναδιαίου κύκλου καιπN+1, . . . ,πM οι υπόλοιπες που βρίσκονται εκτόςτότε γίνεται φανερό ότι το άθροισμα των N πρώτων όρων στην (7.24) δημιουργούν τοαιτιατό τμήμα της ακολουθίας ενώ οι υπόλοιποι το μη αιτιατό. Συνεπώς

[D(ejω)]+ =N∑

i=1

Ai

1− e−jωπi, |πi| < 1, (7.25)

[D(ejω)

]−=

M∑

i=N+1

Ai

1− e−jωπi, |πi| > 1, (7.26)

Ai = limz→πi

(1− z−1πi)D(z). (7.27)

Είναι επίσης δυνατό να δείξουμε ότι οι (7.25), (7.27) (αλλά όχι η (7.26)) συνεχίζουννα ισχύουν και για την περίπτωση που

D(ejω) = ejIωq0 + q1e−jω + · · ·+ qM−1e−j(M−1)ω

p0 + p1e−jω + · · ·+ pMe−jMω,

όπου I ≥ 0 μη αρνητικός ακέραιος και ως εκ τούτου ισχύουν και όταν

D(ejω) = F (ejω)q0 + q1e−jω + · · ·+ qM−1e−j(M−1)ω

p0 + p1e−jω + · · ·+ pMe−jMω,

όπου F (ejω) αντιαιτιατή ακολουθία.Βάσει των τελευταίων παρατηρήσεων, εάν

Φχ,ς(ejω) =

d0 + d1ejω + · · ·+ dN−1e(M−1)ω

g0 + g1ejω + · · ·+ gMeMω

και γ1, . . . , γN είναι οι πόλοι της συνάρτησης Φχ,ς(z) που βρίσκονται στο εσωτερικότου μοναδιαίου κύκλου τότε το βέλτιστο αιτιατό φίλτρο Wiener γράφεται

H(ejω) =

(N∑

i=1

Ai

1− e−jωγi

)1

[Φχ(ejω)]+(7.28)

Ai =1

[Φχ(γi)]−limz→γi

(1− z−1γi)Φχ,ς(z). (7.29)


Παράδειγμα 7.2 : Στο Παράδειγμα 7.1 βρείτε το αιτιατό φίλτρο Wiener.Έχουμε ότι

Φχ(ejω) = Φς(e

jω) + Φw(ejω) =

1.105− 0.9945 cos(ω)1− 0.9945 cos(ω)

Φχ,ς(ejω) = Φς(e

jω) =0.105

1− 0.9945 cos(ω).

Για τη φασματική παραγοντοποίηση της Φχ(ejω) έχουμε ότι

Φχ(z) = 1.4359× (1− 0.6268z−1)(1− 0.6268z)

(1− 0.9z−1)(1− 0.9z)

και εφαρμόζοντας την Εξίσωση (7.23) συμπεραίνουμε

[Φχ(z)]+ = 1.1983× 1− 0.6268z−1

1− 0.9z−1, [Φχ(z)]− = 1.1983× 1− 0.6268z

1− 0.9z.

Για την πυκνότητα ετεροφάσματος μπορούμε να γράψουμε

Φχ,ς(z) =0.105

1− 0.4973(z + z−1)=

−0.2112z−1

(1− z−10.9)(1− z−10.9−1).

Παρατηρούμε ότι η Φχ,ς(z) έχει ένα πόλο, τον γ1 = 0.9, στο εσωτερικό του μοναδιαίου κύκλου,συνεπώς το αιτιατό φίλτρο Wiener με τη βοήθεια των Εξισώσεων (7.28), (7.29) γράφεται

H(z) =0.3638

1− 0.9z−1

1− 0.9z−1

1.1983(1− 0.6268z−1)=

0.3036

1− 0.6268z−1,

το οποίο αντιστοιχεί στην αιτιατή κρουστική απόκριση hn = 0.3036 × (0.6268)nun η οποίαμπορεί να συγκριθεί με την βέλτιστη μη αιτιατή κρουστική απόκριση 0.2179× (0.6268)|n| τουΠαραδείγματος 7.1.

Φασματική παραγοντοποίηση γενικής συνάρτησηςΦχ(ejω)

Η αυστηρή ανάλυση της γενικής περίπτωσης ξεφεύγει από τα όρια του παρόντος συγ-γράμματος. Στη συνέχεια θα παρουσιάσουμε τα καθοριστικά σημεία της απόδειξης πα-ραλείποντας ωστόσο τις τεχνικές λεπτομέρειες.

Η συνάρτηση πυκνότητας φάσματος ισχύος Φχ(ejω) είναι πραγματική, άρτια και μηαρνητική. Προκειμένου να αντιμετωπιστεί η γενική περίπτωση θα κάνουμε την ακόλου-θη επιπλέον υπόθεση ∫ π

−πlogΦχ(ejω) dω > −∞ (7.30)

η οποία είναι γνωστή σαν συνθήκη Payley-Wiener. Αφού, όπως αναφέραμε, η συνάρ-τηση logΦχ(ejω) είναι πραγματική και άρτια, η συνθήκη (7.30) επιτρέπει την ανάλυσήτης σε σειρά Fourier logΦχ(ejω) =

∑∞n=−∞ cne−jnω. Τα cn είναι οι συντελεστές της

σειράς Fourier και ορίζονται από την εξίσωση

cn =1

2π

∫ π

−πlogΦχ(ejω)ejnω dω =

1

2π

∫ π

−πlogΦχ(ejω)e−jnω dω = c−n,


όπου για τη δεύτερη ισότητα χρησιμοποιήθηκε ότι η συνάρτηση logΦχ(ejω) έχει άρτιασυμμετρία. Συνεπώς

cn = c−n =cn + c−n

2=

1

2π

∫ π

−πlogΦχ(ejω) cos(nω) dω

από όπου συμπεραίνουμε επίσης ότι οι συντελεστές είναι πραγματικοί. Αυτές οι δύοπαρατηρήσεις μας επιτρέπουν να γράψουμε

logΦχ(ejω) =

(c02

+∞∑

n=1

cne−jnω

)+

(c02

+∞∑

n=1

cnejnω

)

=

(c02

+∞∑

n=1

cne−jnω

)+

(c02

+∞∑

n=1

cne−jnω

)∗

(7.31)

Τα cn είναι γνωστά σαν σεπστρικοί συντελεστές της πυκνότητας φάσματος ισχύος.

Από την (7.31) συνάγεται ότι είναι δυνατή η ακόλουθη ανάλυση logΦχ(ejω) =C(ejω) + C∗(ejω), όπου το C(ejω) = c0

2 +∑∞

n=1 cne−jnω αποτελεί μετασχηματισμό

Fourier μιας αιτιατής ακολουθίας. Εάν καλέσουμε

[Φχ(ejω)]+ = eC(e

jω) (7.32)[Φχ(e

jω)]− = eC

∗(ejω) =(eC(e

jω))∗

= ([Φχ(ejω)]+)

∗, (7.33)

τότε λόγω της (7.31) ισχύει ότι

Φχ(ejω) = [Φχ(e

jω)]+[Φχ(ejω)]−.

Αντικαθιστώντας z = ejω, συνεπάγεται ότι η C(z) είναι απόλυτα αθροίσιμη πάνω στομοναδιαίο κύκλο και επειδή είναι αιτιατή θα είναι απόλυτα αθροίσιμη και για κάθε ση-μείο εκτός του μοναδιαίου κύκλου (γιατί;) επομένως έχει όλους τους πόλους στο εσωτε-ρικό του μοναδιαίου κύκλου. Εάν τώρα θεωρήσουμε τις συναρτήσεις e±C(z) τότε οι συ-ναρτήσεις αυτές έχουν τους ίδιους πόλους με τη συνάρτηση C(z), συνεπώς όλοι οι πόλοιτους βρίσκονται στο εσωτερικό του μοναδιαίου κύκλου. Από το γεγονός αυτό συμπε-ραίνουμε ότι οι δύο συναρτήσεις αποτελούν μετασχηματισμό Z αιτιατών και απόλυτααθροίσιμων ακολουθιών. σοδύναμα, τα γραμμικά συστήματα με απόκριση συχνότητας[Φχ(ejω)]+ και 1

[Φχ(ejω)]+είναι αιτιατά και ευσταθή.

Όσον αφορά τώρα στο ελάχιστο μέσο τετραγωνικό σφάλμα, με χρήση της (7.6),


παρατηρούμε ότι γράφεται

Ε ΤΣ = 1[ς2n− 1[ςn

∞∑

k=0

hkχn−k

]

= Rς(0)−∞∑

k=0

hkRχ,ς(k)

=1

2π

∫ π

−πΦς(e

jω) dω − 1

2π

∫ π

−πH(ejω)Φ∗

χ,ς(ejω) dω

=1

2π

∫ π

−π

⎛

⎝Φς(ejω)−

∣∣∣∣∣

[Φχ,ς(ejω)

[Φχ(ejω)]−

]+∣∣∣∣∣

2⎞

⎠ dω.

Παράδειγμα 7.3 : Ένα ενδιαφέρον πρόβλημα αιτιατής εκτίμησης σήματος αποτελεί η περίπτωση τηςπρόβλεψης ενός βήματος σήματος χn όπου από τη διαθέσιμη πληροφορία . . . ,χn−1,χnεπιθυμούμε να εκτιμήσουμε (προβλέψουμε) το ςn = χn+1.

Εύκολα διαπιστώνεται ότι Rχ,ς(n) = Rχ(n + 1) ή ισοδύναμα Φχ,ς(ejω) = ejωΦχ(ejω),γεγονός που αποδίδει σαν βέλτιστο αιτιατό φίλτρο (προβλέπτη) το ακόλουθο

H(ejω) =[ejω[Φχ(e

jω)]+]+ 1

[Φχ(ejω)]+.

Εάν γράψουμε σαν σειρά Fourier [Φχ(ejω)]+ = φ0 + φ1e−jω + · · · τότε[ejω[Φχ(e

jω)]+]+

= φ1 + φ2e−jω + · · · = ejω

([Φχ(e

jω)]+ − φ0)

από το οποίο προκύπτει η ακόλουθη μορφή για τον βέλτιστο προβλέπτη

H(ejω) = ejω(1− φ0

[Φχ(ejω)]+

)= −φ0

[ejω

[Φχ(ejω)]+

]+.

Η τελευταία ισότητα ισχύει διότι εάν γράψουμε 1[Φχ(ejω)]+

= ζ0 + ζ1e−jω + · · · , τότε φ0ζ0 = 1

(γιατί;).Περισσότερο ενδιαφέρον στο πρόβλημα αυτό παρουσιάζει ο υπολογισμός του ελάχιστου

μέσου τετραγωνικού σφάλματος. Από το προηγούμενο εδάφιο έχουμε ότι

Ε ΤΣ =1

2π

∫ π

−π

(Φχ(e

jω)−∣∣ejω

([Φχ(e

jω)]+ − φ0)∣∣2)dω = φ20,

όπου χρησιμοποιήθηκε το γεγονός ότι φ0 = 12π

∫ π−π[Φχ(ejω)]+ dω, καθώς και Φχ(ejω) =

|[Φχ(ejω)]+|2. Ας επιχειρήσουμε να προσδιορίσουμε τον όρο φ0. Από την (7.32) προκύπτει

[Φχ(ejω)]+ = e

c02 +c1e

−jω+··· = ec02

∞∏

n=1

ecne−jnω

= ec02

∞∏

n=1

1 +

∞∑

k=1

ckne−jknω

k!

,


όπου χρησιμοποιήθηκε το ανάπτυγμα Tailor: ex = 1 +∑∞

k=1xk

k! . Από την τελευταία σχέσηδιαπιστώνεται ότι φ0 = e

c02 γεγονός που αποδίδει την ακόλουθη καταπληκτική ισότητα

Ε ΤΣ = φ20 = ec0 = exp

1

2π

∫ π

−πlog(Φχ(e

jω))dω

,

η οποία είναι γνωστή σαν σχέση Kolmogorov-Szegö-Krein. Για γενίκευση του αποτελέσματοςαυτού βλέπε Άσκηση 7.3.

7.3.4 ΦίλτροWiener πεπερασμένης κρουστικής απόκρισηςΠολύ μεγαλύτερη ευελιξία προσφέρεται όταν το φίλτρο που εξετάζουμε έχει πεπερα-σμένη κρουστική απόκριση. άλιστα στην περίπτωση αυτή είναι εύκολο να ληφθούνυπόψη περιορισμοί όπως αιτιατότητα ή συμμετρία στους συντελεστές (για φίλτρο γραμ-μικής φάσης) καθώς και κάθε μορφής γραμμικοί περιορισμοί. Ας θεωρήσουμε για πα-ράδειγμα τον περιορισμό της αιτιατότητας. Ενδιαφερόμαστε για εκτίμηση της μορφήςςn = h0χn + h1χn−1 + · · ·+ hL−1χn−L+1 και ελαχιστοποίηση του κριτηρίου

D(h) = 1[(ςn − h0χn − h1χn−1 − · · ·hL−1χn−L+1)2], (7.34)

το οποίο αντιστοιχεί στην επιλογή k = 0, 1, . . . , L−1, στο γενικό πρόβλημα εκτίμησης.Η Wiener-Hopf Εξίσωση (7.13) παίρνει την ειδική μορφή

Rχ,ς(m) =L−1∑

k=0

hkRχ(m− k), m = 0, 1, . . . , L− 1. (7.35)

Εάν καλέσουμε HL = [h0 · · · hL−1]t, Xn = [χn · · · χn−L+1]t, τότε μπορούμε ναδιαπιστώσουμε ότι οι προηγούμενες εξισώσεις τίθενται κάτω από την ακόλουθη μητρικήμορφή

1[Xnςn] = 1[XnX tn ]HL (7.36)

ή ισοδύναμαBL = RLHL, (7.37)

όπουBL = 1[Xnςn] = [Rχ,ς(0) Rχ,ς(1) · · · Rχ,ς(L− 1)]t

RL = 1[XnX tn ] =

⎡

⎢⎢⎢⎢⎣

Rχ(0) Rχ(1) · · · Rχ(L− 1)

Rχ(1) Rχ(0). . . ...

... . . . . . . Rχ(1)Rχ(L− 1) · · · Rχ(1) Rχ(0)

⎤

⎥⎥⎥⎥⎦. (7.38)

Η μήτραRL, όπως παρατηρούμε, είναι συμμετρική, Toeplitz και μη αρνητικά ορισμένη,αφού πρόκειται για μήτρα συνδιασποράς του τυχαίου διανύσματος Xn. Είναι γνωστόότι η επίλυση ενός γενικού συστήματος γραμμικών εξισώσεων μεγέθους L έχει υπο-λογιστική πολυπλοκότητα O(L3). Επειδή όμως η μήτρα των συντελεστών είναι δομήςToeplitz, θα παρουσιάσουμε στη συνέχεια αλγόριθμο επίλυσης πολυπλοκότηταςO(L2),δηλαδή κατά μια τάξη μεγέθους μικρότερη από ό,τι ο γενικός αλγόριθμος.


7.3.5 Αλγόριθμος του LevinsonΕνδιαφερόμαστε για τη λύση του γραμμικού συστήματος (7.37), όπου η μήτρα RL είναισυμμετρική, Toeplitz της μορφής (7.38). Ο αλγόριθμος που θα παρουσιάσουμε καλείταιαλγόριθμος του Levinson.

ια πολύ σημαντική ιδιότητα της μήτρας RL είναι η υπερσυμμετρία. Εάν Jk είναι ημήτρα εναλλαγής διαστάσεων k × k

Jk =

⎡

⎢⎣0 · · · 1... . .

. ...1 · · · 0

⎤

⎥⎦

με μονάδες στην αντιδιαγώνιο και μηδενικά σε όλους τους άλλους όρους, τότε η υπερ-συμμετρία εκφράζεται μέσω της παρακάτω σχέσης

JLRLJL = RL, ισοδύναμα JLRL = RLJL. (7.39)

Η υπερσυμμετρία υποδηλώνει ότι εάν αλλάξουμε τη σειρά των γραμμών και κατόπιν τωνστηλών της μήτρας, η μήτρα παραμένει η ίδια ή ότι εάν αλλάξουμε τη σειρά των γραμμώναυτό είναι το ίδιο με το να αλλάξουμε τη σειρά των στηλών. Για τη μήτρα εναλλαγήςέχουμε επίσης ότι όταν πολλαπλασιαστεί με ένα διάνυσμα τότε αλλάζει τη σειρά τωνστοιχείων του διανύσματος. Η ιδιότητα της υπερσυμμετρίας παίζει καθοριστικό ρόλοστη μείωση της πολυπλοκότητας.

Ο αλγόριθμος του Levinson δεν επιλύει μόνο το σύστημα (7.37) αλλά όλα τα υπο-συστήματα Bk = RkHk, k = 1, . . . , L. Επίσης εκτός των υποσυστημάτων αυτών,απαιτείται η παράλληλη επίλυση μιας σειράς βοηθητικών υποσυστημάτων εξισώσεωντης μορφής Ek = RkAk, k = 1, . . . , L, όπου τα διανύσματα Ak των αγνώστων και Ek

των σταθερών ορίζονται σαν

Ak =

⎡

⎢⎢⎢⎣

1−ak,1...

−ak,k−1

⎤

⎥⎥⎥⎦και Ek =

⎡

⎢⎢⎢⎣

αk

0...0

⎤

⎥⎥⎥⎦.

Στην ουσία πρόκειται για το πρόβλημα βέλτιστης πρόβλεψης προς τα εμπρός του χn απότα δείγματα χn−1, . . . ,χn−k+1 δηλαδή χn = ak,1χn−1 + · · · + ak,k−1χn−k+1, ενώ τοαk είναι το αντίστοιχο μέσο τετραγωνικό σφάλμα. Ενδιαφέρον γεγονός αποτελεί επίσηςκαι το ότι το διάνυσμα JkAk αντιστοιχεί στη βέλτιστη πρόβλεψη προς τα πίσω του χn−k

από τα δείγματα χn, . . . ,χn−k+1, δηλαδή χn−k+1 = ak,k−1χn + · · ·+ ak,1χn−k+2.Η επίλυση των συστημάτων εξισώσεων επιτυγχάνεται με αναδρομή στην τάξη, δη-

λαδή η λύση του συστήματος τάξης k+1 υπολογίζεται με τη βοήθεια της λύσης του συ-στήματος τάξης k. Εάν Ak είναι η λύση του συστήματος τάξης k, δηλαδή RkAk = Ek,


τότε

Rk+1

[Ak

0

]=

⎡

⎢⎢⎢⎣

αk

0...βk

⎤

⎥⎥⎥⎦

όπουβk = Rχ(k)− ak,1Rχ(k − 1)− · · ·− ak,k−1Rχ(1).

Χρησιμοποιώντας την ιδιότητα της υπερσυμμετρίας (7.39) και την προηγούμενη εξίσω-ση, συμπεραίνουμε επίσης ότι

Rk+1

[0

JkAk

]= Rk+1Jk+1

[Ak

0

]= Jk+1Rk+1

[Ak

0

]

= Jk+1

⎡

⎢⎢⎢⎣

αk

0...βk

⎤

⎥⎥⎥⎦=

⎡

⎢⎢⎢⎣

βk0...αk

⎤

⎥⎥⎥⎦.

Από τα παραπάνω γίνεται φανερό ότι εάν επιλέξουμε

Ak+1 =

[Ak

0

]− κk

[0

JkAk

](7.40)

όπουκk =

βkαk

τότε

Rk+1Ak+1 =

⎡

⎢⎣αk+1

0...

⎤

⎥⎦

μεαk+1 = αk − κkβk.

Συνεπώς μέσω της απλής αναδρομής (7.40) υπολογίζεται το Ak+1 από το Ak. Οι ποσό-τητες κk είναι γνωστές σαν συντελεστές ανάκλασης.

ε τη βοήθεια των διανυσμάτων Ak, είναι δυνατό να υπολογιστούν αναδρομικά οιλύσεις των συστημάτων Bk = RkHk. Υποθέτοντας ότι το Hk είναι γνωστό από τοπροηγούμενο βήμα και ότι υπολογίσαμε τα Ak+1, αk+1 από τις παραπάνω εξισώσεις,το Hk+1 υπολογίζεται

Hk+1 =

[Hk

0

]+ νkJk+1Ak+1 (7.41)


με την παράμετρο νk να ορίζεται μέσω της εξίσωσης

νk = α−1k+1[Rχ,ς(k)−Rχ(k)hk,0 −Rχ(k − 1)hk,1 − · · ·−Rχ(1)hk,k−1],

όπου hk,0, hk,1, . . . , hk,k−1 αποτελούν τα στοιχεία του διανύσματοςHk. ε δεδομένεςεπομένως τις λύσεις Hk, Ak των συστημάτων διάστασης k, η επίλυση των αντίστοιχωνσυστημάτων διάστασης k+1 απαιτεί 4k πολλαπλασιασμούς, 4k προσθέσεις και 2 διαιρέ-σεις. Συνεπώς η επίλυση του συστήματος τάξηςL απαιτεί 2L(L+1) πολλαπλασιασμούςκαι ισάριθμες προσθέσεις και 2L διαιρέσεις, δηλαδή O(L2) πράξεις.

Έχει πολύ ενδιαφέρον να εξετάσουμε επίσης τον τρόπο σχηματισμού της εκτίμη-σης ςn. Εάν καλέσουμε ςn(k) την βέλτιστη εκτίμηση της χρονικής στιγμής n με έναφίλτρο μήκους k, δηλαδή ςn(k) = hk,0χn + · · · + hk,k−1χn−k+1, τότε από την (7.41)πολλαπλασιάζοντας με το διάνυσμα [χn · · ·χn−k] έχουμε ότι

ςn(k + 1) = ςn(k) + νkrn(k)

όπου rn(k) είναι το σφάλμα της βέλτιστης προς τα πίσω πρόβλεψης τάξης k, δηλαδήrn(k) = χn−k−ak+1,1χn−k+1− · · ·−ak+1,kχn. Για τα σφάλματα πρόβλεψης, έχουμετώρα την εξής αναδρομή από την (7.40)

εn(k) = εn(k − 1)− κkrn−1(k − 1)

rn(k) = rn−1(k − 1)− κkεn(k − 1)

όπου εn(k) είναι το σφάλμα της βέλτιστης προς τα εμπρός πρόβλεψης τάξης k, δηλαδήεn(k) = χn − ak+1,1χn−1 − · · ·− ak+1,1χn−k.

-κ1

-κ1

-κL−1

-κL−1

Σχήμα 7.2 : Υπολογισμός της εκτίμησης ςn με σχήμα πλέγματος-κλίμακος.

Οι αναδρομές του αλγορίθμου Levinson υλοποιούνται χρησιμοποιώντας τους συ-ντελεστές κk, νk όπως φαίνεται στο Σχήμα 7.2. Σημειώνεται ότι με z−1 συμβολίζεταιμια μονάδα καθυστέρησης. Το τμήμα που υπολογίζει τα σφάλματα πρόβλεψης καλείταιτμήμα πλέγματος ενώ το αντίστοιχο για τον υπολογισμό της εκτίμησης ςn(L) τμήμα κλί-μακος. Πολύ ενδιαφέρον στοιχείο στην εν λόγω υλοποίηση αποτελεί το γεγονός ότι εάν

7.4 Φίλτρο Kalman 145

επιθυμούσαμε τον υπολογισμό της βέλτιστης εκτίμησης μήκουςL+1 τότε θα διατηρού-σαμε ως έχει το υπάρχον σύστημα και απλώς θα προσθέταμε μια επιπλέον μονάδα (σαναυτή που περιέχεται στο εσωτερικό του κυανού ορθογωνίου). σοδύναμα, η έξοδος τουk-οστού αθροιστή στο τμήμα κλίμακος υπολογίζει τη βέλτιστη εκτίμηση ςn(k) του ςnαπό φίλτρο μήκους k.

Πρέπει να αναφερθεί ότι υπάρχει εναλλακτικός αλγόριθμος υπολογισμού της βέλτι-στης εκτίμησης, που καλείται Split Levinson (βλέπε άρθρο [DG1986]), με πολυπλοκό-τητα της ίδιας τάξης με τον Levinson αλλά με λιγότερες συνολικά πράξεις (οι αριθμη-τικές τους πολυπλοκότητες διαφέρουν κατά μια πολλαπλασιαστική σταθερά). Υπάρχειεπίσης τρόπος επίλυσης που βασίζεται στον FFT (βλέπε άρθρο [GY1979]) με συνολικήπολυπλοκότηταO(L logL). Ωστόσο έχει παρατηρηθεί ότι όσο χαμηλότερη πολυπλοκό-τητα διαθέτει η μέθοδος επίλυσης τόσο περισσότερο ευάλωτη καθίσταται σε σφάλματαπεπερασμένης ακρίβειας. Το γεγονός αυτό, στις περιπτώσεις που η μήτρα των συντε-λεστών έχει κακή κατάσταση, καθιστά τις λύσεις των χαμηλότερης πολυπλοκότητας με-θόδων αναξιόπιστες. Αντίθετα οι γενικές μέθοδοι πολυπλοκότηταςO(L3), προκειμένουνα αποφύγουν προβλήματα του είδους αυτού, εφαρμόζουν ειδικούς μετασχηματισμούς,όπως π.χ. οδήγηση ή παραγοντοποίηση-LU.

7.4 Φίλτρο KalmanΣε περιπτώσεις που τα δείγματα του σήματος χn διατίθενται ακολουθιακά (σε κάθεχρονική στιγμή ένα νέο δείγμα) καλούμαστε να εκτιμήσουμε τα δείγματα της στοχαστι-κής διαδικασίας ςn με συνεχώς αυξανόμενη πληροφορία. Συγκεκριμένα τη χρονικήστιγμή n η εκτίμηση του ςn μπορεί να γίνει με χρήση όλης της διαθέσιμης πληροφορίαςμέχρι τη χρονική στιγμή n, δηλαδή των δειγμάτων χ1, . . . ,χn. Το πρόβλημα αυτόαντιστοιχεί σε αιτιατή φυσικά εκτίμηση αλλά λαμβάνει επίσης υπόψη το γεγονός ότιστην πράξη η συλλογή δειγμάτων αρχίζει από κάποιο χρονική στιγμή και μετά (που απόσύμβαση θεωρούμε ότι είναι η στιγμή 0).

Το πρόβλημα που μόλις περιγράψαμε είναι δυνατό να αντιμετωπιστεί με το φίλτροWiener πεπερασμένου μήκους του Εδαφίου 7.3.4 επιλέγοντας L = n. Δυστυχώς όμωςο συγκεκριμένος τρόπος επίλυσης παρουσιάζει σημαντικό μειονέκτημα επειδή με κάθενέο δείγμα χn που διατίθεται πρέπει οι υπολογισμοί να επαναλαμβάνονται εξ αρχής καιμάλιστα με υπολογιστική πολυπλοκότητα η οποία αυξάνει δίχως όριο. Όντως, σε κάθεχρονική στιγμή n πρέπει να επιλύεται ένα γραμμικό σύστημα μεγέθους n, η λύση τουοποίου, στην καλύτερη περίπτωση (όταν είναι εφαρμόσιμος ο αλγόριθμος Levinson),απαιτεί O(n2) πράξεις. Επομένως η υπολογιστική πολυπλοκότητα ενός σχήματος εκτί-μησης τύπου Wiener είναι ιδιαίτερα ασύμφορη αφού οι αριθμητικές πράξεις αυξάνουναπεριόριστα με την πάροδο του χρόνο.

Σε ένα πρόβλημα εκτίμησης σήματος, κύριο μέλημα αποτελεί ο υπολογισμός τηςεκτίμησης ςn και όχι των συντελεστών hn,k. Ο Kalman, με θαυμαστή ευρηματικότητα(βλέπε άρθρο [KA1960]), παρατήρησε ότι η βέλτιστη εκτίμηση ςn σχετίζεται στενά με τη


βέλτιστη εκτίμηση ςn−1 της προηγούμενης χρονικής στιγμής. Ως εκ τούτου επικέντρωσετην προσπάθειά του στο να εκφράσει την εν λόγω εξάρτηση ευελπιστώντας ότι αυτό θααπέφερε μείωση του αντίστοιχου υπολογιστικού κόστους. Η λαμπρή αυτή ιδέα όχι μό-νο είχε άμεσο αποτέλεσμα αλλά συνέβαλε στη δημιουργία μιας ολόκληρης κατηγορίαςνέων τεχνικών εκτίμησης (που ξεπερνούν κατά πολύ το φίλτρο που θα παρουσιάσουμεστη συνέχεια) και οι οποίες είναι γνωστές σαν αναδρομικές τεχνικές, φέρνοντας συγχρό-νως επανάσταση στην περιοχή της Επεξεργασίας Σημάτων για προβλήματα πραγματικούχρόνου.

Σε αντίθεση με το φίλτρο Wiener όπου τα σήματα εκφράζονται με τη βοήθεια τωνστατιστικών β’ τάξης (αυτοσυσχέτιση και ετεροσυσχέτιση), στο φίλτρο Kalman ο μη-χανισμός δημιουργίας δεδομένων εκφράζεται μέσω γραμμικών δυναμικών συστημάτωνστο χώρο κατάστασης. Για n ≥ 1 θεωρούμε ότι

Sn = CnSn−1 +Wn

Xn = BnSn + Vn,

όπου με Sn συμβολίζεται η κατάσταση του συστήματος τη χρονική στιγμή n, Wn τοδιανυσματικό σήμα εισόδου το οποίο θεωρούμε ότι είναι λευκός (διανυσματικός) θόρυ-βος μηδενικής μέσης τιμής και μήτρας συνδιασποράςQn = 1[WnWt

n, το Cn αποτελείτη μήτρα του συστήματος η οποία είναι χρονικά μεταβαλλόμενη, το Xn είναι το σήμαεξόδου με τη μήτρα Bn να εξαρτάται επίσης από το χρόνο και τέλος Vn είναι λευκόςθόρυβος (μέτρησης), ασυσχέτιστος με το σήμα εισόδου Wn, με μέση τιμή μηδέν καιμήτρα συνδυασποράς 1[VnVt = qn. Για την αρχική κατάσταση S0 θεωρούμε ότι πρό-κειται για τυχαίο διάνυσμα ασυσχέτιστο με τις στοχαστικές διαδικασίες Wn, Vn καιμε γνωστή μέση τιμή S0 και μήτρα συνδιασποράς Σ0. Επειδή το σήμα Vn είναι ασυ-σχέτιστο με το σήμα Wn και την αρχική κατάσταση S0 και επειδή η κατάσταση Sn

αποτελεί γραμμικό συνδυασμό των εισόδων W1, . . . ,Wn και του S0, συμπεραίνουμεότι ο θόρυβος μέτρησης Vn είναι επίσης ασυσχέτιστος με την ακολουθία κατάστασηςSn.

Θεωρώντας ότι οι ακολουθίες Cn, Bn, Qn, qn είναι γνωστές και το σήμαXn ότι είναι διαθέσιμο ακολουθιακά, επιθυμούμε να εκτιμήσουμε την κατάσταση Sn

του συστήματος σαν γραμμικό συνδυασμό των διαθέσιμων μετρήσεων X1, . . . ,Xn.Φυσικά ενδιαφερόμαστε για τη βέλτιστη επιλογή ντετερμινιστικών “συντελεστών” πουστην περίπτωση αυτή, αφού τα Xn και τα Sn είναι διανύσματα, θα είναι μήτρες. Υπάρ-χουν δύο διαφορετικές εκτιμήσεις της κατάστασης που υπεισέρχονται στο πρόβλημα

Sn|n−1 = Dn +n−1∑

k=1

Fn,kXk, Sn|n = Gn +n∑

k=1

Hn,kXk,

όπου όπως αναφέρθηκε τα Fn,k,Hn,k είναι μήτρες και ταDn, Gn διανύσματα. Παρατη-ρούμε ότι η (εκ των προτέρων) εκτίμηση Sn|n−1 εκτιμά την κατάστασηSn χρησιμοποιώ-ντας τα δεδομένα X1, . . . ,Xn−1, προβλέπει δηλαδή το Sn πριν να διατεθεί η μέτρηση


Xn. Από την άλλη πλευρά η (εκ των υστέρων) εκτίμηση Sn|n εκτιμά την κατάσταση Sn

μετά τη λήψη της μέτρησης Xn χρησιμοποιώντας όλα τα διαθέσιμα δεδομένα έως και τηχρονική στιγμή n, δηλαδή X1, . . . ,Xn.

αι στις δύο περιπτώσεις η επιλογή των συντελεστώνDn, Gn,Fn,k,Hn,k πρέπει ναείναι τέτοια, ώστε να ικανοποιείται η αρχή της ορθογωνιότητας η οποία αποδίδει τονβέλτιστο γραμμικό εκτιμητή. Στο σημείο αυτό γίνεται άμεσα αντιληπτή η υπολογιστικήδυσκολία που περιλαμβάνει ο κλασικός τρόπος έκφρασης της βέλτιστης εκτίμησης μέσωτης θεωρίας Wiener, αφού ο αριθμός των διανυσμάτων Fn,k,Hn,k αυξάνει με το χρόνομε αποτέλεσμα να αυξάνει (απεριόριστα) και το μέγεθος του αντίστοιχου γραμμικού συ-στήματος εξισώσεων που προσδιορίζει τις εν λόγω ποσότητες.

Στόχος στη συνέχεια είναι να γράψουμε τη βέλτιστη εκτίμηση αναδρομικά. Για τοσκοπό αυτό είναι απαραίτητο να ορίσουμε τις δύο μήτρες συνδιασποράς

Σn|n−1 = 1[(Sn − Sn|n−1)(Sn − Sn|n−1)t]

Σn|n = 1[(Sn − Sn|n)(Sn − Sn|n)t]

του εκ των προτέρων και εκ των υστέρων σφάλματος εκτίμησης. Προκειμένου να πα-ρουσιάσουμε την αναδρομή, θα θεωρήσουμε ότι από τη χρονική στιγμή n − 1 έχουμεδιαθέσιμη τη βέλτιστη εκτίμηση Sn−1|n−1 καθώς και τη μήτρα Σn−1|n−1 και επιθυ-μούμε να υπολογίσουμε την Sn|n σαν γραμμική συνάρτηση της Sn−1|n−1 και της νέαςπληροφορίας Xn που μας διατίθεται τη χρονική στιγμή n. Η αναδρομή για να είναι πλή-ρης, θα πρέπει επίσης να προτείνει και τρόπο υπολογισμού τηςΣn|n από τηνΣn−1|n−1.Οι σχέσεις οι οποίες ορίζουν το φίλτρο Kalman, για n ≥ 1, είναι οι ακόλουθες

Σn|n−1 = CnΣn−1|n−1Ctn +Qn (7.42)

Kn = Σn|n−1Btn(qn + BnΣn|n−1Bt

n)−1 (7.43)

Σn|n = (I−KnBn)Σn|n−1 (7.44)

Sn|n−1 = CnSn−1|n−1 (7.45)

Sn|n = Sn|n−1 +Kn(Xn − BnSn|n−1). (7.46)

Η αρχικοποίηση της αναδρομής γίνεται με S0|0 = S0, Σ0|0 = Σ0, αφού όταν δεν έχου-με κανένα δεδομένο, η επιλογή που ελαχιστοποιεί το μέσο τετραγωνικό σφάλμα είναιο μέσος όρος S0 ο οποίος αποδίδει μήτρα συνδιασποράς σφάλματος εκτίμησης Σ0.

Η μήτρα Kn που υπεισέρχεται στην αναδρομή της εκτίμησης, καλείται κέρδος Kal-man. Το ενδιαφέρον είναι ότι τα εν λόγω διανύσματα δεν εξαρτώνται από τις μετρήσειςXn αλλά μόνο από τις στατιστικές και τις γνωστές παραμέτρους του συστήματος στοχώρο κατάστασης, μπορούν επομένως να προϋπολογιστούν και να αποθηκευτούν. Πα-ρατηρούμε επίσης ότι για κάθε χρονική στιγμή ο αριθμός των πράξεων, αντίθετα απότην περίπτωση Wiener, είναι σταθερός και ανεξάρτητος του χρόνου n. Στο Σχήμα 7.3


παρουσιάζεται το σύστημα παραγωγής των δείγματα Xn σε συνδυασμό με τον τρόποεπεξεργασίας των δεδομένων από το φίλτρο Kalman προκειμένου να παραχθεί η βέλ-τιστη εκτίμηση της κατάστασης Sn. Σημειώνεται ότι με z−1 συμβολίζεται μια μονάδα

Σχήμα 7.3 : Σχηματική αναπαράσταση του φίλτρου Kalman και του συστήματος παραγωγής τουσήματος Xn στο χώρο κατάστασης.

καθυστέρησης.Η απόδειξη ότι η παραπάνω αναδρομή όντως επιλύει το πρόβλημα ελαχίστων τε-

τραγώνων είναι αρκετά απλή και βασίζεται στην εκτενή χρήση της αρχής της ορθογω-νιότητας. Για ευκολία θα συμβολίζουμε την ορθογωνιότητα με “⊥”. Εξ υποθέσεωςέχουμε ότι (Sn−1− Sn−1|n−1)⊥1,X1, . . . ,Xn−1, θα πρέπει επομένως να δείξουμε ότι(Sn − Sn|n)⊥1,X1, . . . ,Xn. Θα αποδείξουμε κατ’ αρχάς την ισχύ της (7.45). Παρα-τηρούμε ότι

1[(Sn − Sn|n−1)1] = Cn1[(Sn−1 − Sn−1|n−1)1] + 1[Wn1] = 0,

με τον πρώτον όρο να είναι 0, λόγω της αρχής της ορθογωνιότητας της χρονικής στιγμήςn − 1 και το δεύτερον όρο επειδή τοWn έχει, εξ υποθέσεως, μέσον όρο ίσο προς το 0.Επομένως στην προτεινόμενη εκτίμηση εξισώνεται ο μέσος όρος με τον μέσον όρος τηςυπό εκτίμηση ποσότητας. Για 1 ≤ k ≤ n− 1 μπορούμε τώρα να γράψουμε

1[(Sn − Sn|n−1)X tk] = Cn1[(Sn−1 − Sn−1|n−1)X t

k] + 1[WnX tk] = 0,

επειδή ο πρώτος όρος είναι μηδέν λόγω της αρχής της ορθογωνιότητας από τη χρονικήστιγμή n−1 και ο δεύτερος επειδή η Wn είναι λευκή και τοWn είναι στο μέλλον τηςXk όταν k ≤ n− 1. ε όμοιο τρόπο μπορούμε να δείξουμε την (7.46).

Παρατηρούμε ότι

Sn − Sn|n = (I−KnBn)(Sn − Sn|n−1)−KnVn. (7.47)


επομένως

1[(Sn − Sn|n)1] = (I−KnBn)1[(Sn − Sn|n−1)1]−Kn1[Vn1] = 0

επειδή, όπως δείξαμε παραπάνω, ο πρώτος όρος είναι ίσος με το 0, και το ίδιο ισχύει καιγια το δεύτερο αφού, λόγω υποθέσεως, ο θόρυβος μέτρησης Vn έχει μέσον όρο 0. Για1 ≤ k ≤ n− 1 μπορούμε επίσης να γράψουμε

1[(Sn − Sn|n)X tk] = (I−KnBn)1[(Sn − Sn|n−1)X t

k]−Kn1[VnX tk] = 0,

επειδή ο πρώτος όρος είναι 0 από την αρχή της ορθογωνιότητας ενώ ο δεύτερος επειδή τοVn είναι ασυσχέτιστο με τοXk αφού πρόκειται για μελλοντικό, προς τη χρονική στιγμή k,θόρυβο μέτρησης. Απομένει να δείξουμε ότι (Sn− Sn|n)⊥Xn. ΕπειδήXn = BnSn+Vn

έχουμε από την (7.47) και το γεγονός ότι το Vn είναι ασυσχέτιστο με το Sn, ότι

1[(Sn − Sn|n)X tn] = (I−KnBn)1[(Sn − Sn|n−1)St

n]Btn −Kn1[VnVt

n]

= (I−KnBn)1[(Sn − Sn|n−1)(Sn − Sn|n−1)t]Bt

n −Knqn= (I−KnBn)Σn|n−1Bt

n −Knqn = 0,

όπου από την πρώτη στη δεύτερη εξίσωση έγινε χρήση της (Sn − Sn|n−1)⊥Sn|n−1 εξ’αιτίας της αρχής της ορθογωνιότητας (σημειώνουμε ότι το Sn|n−1 είναι γραμμικός συν-δυασμός των X1, . . . ,Xn−1), ενώ για την τελευταία εξίσωση έγινε αντικατάσταση τουKn από την (7.43). Παρατηρούμε επομένως ότι με τις (7.43),(7.45),(7.46) αποδεικνύε-ται ότι η αναδρομή του φίλτρου Kalman προσφέρει όντως τη βέλτιστη αιτιατή γραμμικήεκτίμηση. Απομένει βεβαίως να αποδείξουμε την ορθότητα των αναδρομών στις μήτρεςσυνδιασποράς των σφαλμάτων εκτίμησης.

Χρησιμοποιώντας την (7.45) και την εξίσωση κατάστασης έχουμε ότι

Sn − Sn|n−1 = Cn(Sn−1 − Sn−1|n−1) +Wn

από την οποία, λαμβάνοντας υπόψη ότι τοWn είναι ασυσχέτιστο με τα Sn−1, Sn−1|n−1,προκύπτει εύκολα η (7.42). Τέλος για την απόδειξη της (7.44) παρατηρούμε ότι λόγωτης αρχής της ορθογωνιότητας έχουμε (Sn − Sn|n)⊥Sn|n αφού το σφάλμα εκτίμησηςείναι κάθετο σε όλα τα X1, . . . ,Xn και το Sn|n αποτελεί γραμμικό συνδυασμό των ενλόγω μετρήσεων, συνεπώς

Σn|n = 1[(Sn − Sn|n)(Sn − Sn|n)t] = 1[(Sn − Sn|n)St

n].

Αντικαθιστώντας την (7.47) για το σφάλμα εκτίμησης συμπεραίνουμε

Σn|n = (I−KnBn)1[(Sn − Sn|n−1)Stn]−Kn1[VnSt

n]

= (I−KnBn)1[(Sn − Sn|n−1)Stn]

= (I−KnBn)1[(Sn − Sn|n−1)(Sn − Sn|n−1)t],


που είναι η (7.44). Από τη δεύτερη στην τρίτη σχέση έγινε πάλι χρήση της αρχής της ορ-θογωνιότητας, ενώ από την πρώτη στη δεύτερη χρησιμοποιήθηκε το γεγονός ότι η Vnείναι ασυσχέτιστη με την ακολουθία κατάστασης Sn.Παράδειγμα 7.4 : Το πρόβλημα εκτίμησης που αναφέρθηκε στην περίπτωση του φίλτρου Kalmanδιαφέρει από την κλασική περίπτωση εκτίμησης Wiener, όπου έχουμε δύο σήματα ςn, χn.Το αντίστοιχο πρόβλημα στην μοντελοποίηση του χώρου κατάστασης είναι ως ακολούθως

Sn = CnSn−1 +Wn

ςn = DnSn

χn = BnSn + Vn.

Παρατηρούμε δηλαδή ότι τα δύο σήματα ςn, χn σχετίζονται μέσω της ίδιας ακολουθίαςκατάστασης Sn. Στο σήμα χn θεωρούμε ότι υπάρχει επιπλέον και θόρυβος μέτρησης, ενώστο ςn, επειδή θεωρείται ιδανικό σήμα, ο όρος αυτός έχει παραληφθεί. Επιθυμούμε, όπως στηWiener περίπτωση να εκτιμήσουμε το ςn από το χn χρησιμοποιώντας αιτιατές εκτιμήσεις.Εάν επιλέξουμε ςn = DnSn|n τότε αυτό αποτελεί τη βέλτιστη γραμμική αιτιατή εκτίμηση του ςnαπό τη διαθέσιμη πληροφορία χ1, . . . ,χn επειδή ισχύει η αρχή της ορθογωνιότητας, δηλαδήςn − ςn = Dn(Sn − Sn|n)⊥χ1, . . . ,χn.

Η υπόθεση ότι τα σήματα Vn, Wn είναι ασυσχέτιστα μπορεί εύκολα να ξεπεραστεί. Εάνυποθέσουμε ότι το Vn σχετίζεται μόνο με το Wn και όχι με οποιαδήποτε άλλη χρονική στιγμή,τότε είναι εύκολο να γίνει αναγωγή της περίπτωσης αυτής στην κλασική μορφή, ορίζοντας τηναυξημένη κατάσταση με τις αντίστοιχες εξισώσεις

Sn =

[Sn

Vn

]

Sn =

[Cn 00 0

]Sn−1 +

[Wn

Vn

]

χn = [Bn I]Sn.

Παρατηρούμε ότι η μορφή αυτή αντιστοιχεί στην κλασική περίπτωση με μηδενικό θόρυβο μέ-τρησης και επομένως είναι δυνατό να εφαρμοστεί το φίλτρο Kalman δίχως πρόβλημα. Η νέα(επαυξημένη) είσοδος [Wt

n Vtn] περιέχει όλες τις απαραίτητες συσχετίσεις στην αντίστοιχη μή-

τρα συνδιασποράς, ενώ δεν υπάρχει πλέον θόρυβος μέτρησης.

Παράδειγμα 7.5 : Έστω το κλασικό γραμμικό σύστημα

Sn = CnSn−1 +Wn

Xn = BnSn + Vn,

με τις γνωστές παραμέτρους. Αντί όμως για την εκτίμηση της κατάστασης της χρονικής στιγμήςn επιθυμούμε να προβλέψουμε την κατάσταση της χρονικής στιγμής n+L, όπουL > 0. ε άλλαλόγια ενδιαφερόμαστε να προβλέψουμε L βήματα προς τα εμπρός, χρησιμοποιώντας φυσικά ταδεδομένα X1, . . . ,Xn.

Είναι δυνατό να χρησιμοποιήσουμε την ακολουθία πρόβλεψης ενός βήματος Sn|n−1για να προβλέψουμε την επόμενη μέτρηση. Συγκεκριμένα η ποσότητα BnSn|n−1 μπο-ρεί να χρησιμοποιηθεί για την πρόβλεψη του χn. Εάν καλέσουμε ϵn = χn − BnSn|n−1

7.5 Εναλλακτική σημασία των αποτελεσμάτων 151

το αντίστοιχο σφάλμα πρόβλεψης τότε έχουμε ορισμένες πολύ σημαντικές ιδιότητες γιατην ακολουθία ϵn:

Για κάθε χρονική στιγμήn η πληροφορία των δύο συνόλωνχ1, . . . ,χn and ϵ1, . . . , ϵnείναι ταυτόσημη. Δηλαδή υπάρχει ντετερμινιστικός γραμμικός συνδυασμός ο οποί-ος δημιουργεί το ένα σύνολο δεδομένων από το άλλο. Αυτό σημαίνει ότι οποιασ-δήποτε γραμμικός συνδυασμός των χ1, . . . ,χn μπορεί να αντικατασταθεί με ισο-δύναμο γραμμικό συνδυασμό των ϵ1, . . . , ϵn. Φυσικά η ιδιότητα αυτή ισχύει καιγια τους βέλτιστους εκτιμητές και προβλέπτες του Φίλτρου Kalman.

Η ακολουθία ϵn είναι λευκή. Αυτό σημαίνει ότι το ϵn, λόγω της προηγούμενηςιδιότητας, εμπεριέχει όλη τη νέα πληροφορία από το χn η οποία είναι ασυσχέτιστημε τα παρελθόντα δείγματα δείγματα χ1, . . . ,χn−1. ε άλλα λόγια η ϵn είναιτο αποτέλεσμα μιας διαδικασίας λεύκανσης της ακολουθίας μετρήσεων χn.

7.4.1 Γενικεύσεις της αρχής της ορθογωνιότητας7.4.2 Εφαρμογές τουφίλτρου Kalman7.5 Εναλλακτική σημασία των αποτελεσμάτωνΣτο σημείο αυτό κρίνεται σκόπιμο να επιστρέψουμε στο πρόβλημα της εκτίμησης τουσήματος ςn από το σήμα χn, προκειμένου να δοθεί μια διαφορετική ερμηνεία τωνυπαρχόντων αποτελεσμάτων.

Έως τώρα υποθέταμε ότι διατίθεται σήμα χn το οποίο επιθυμούμε να επεξεργα-στούμε (φιλτράρουμε), προκειμένου η έξοδος ςn του φίλτρου να προσεγγίζει, υπό τηνέννοια του μέσου τετραγωνικού σφάλματος, το επιθυμητό σήμα ςn. Όσον αφορά στοεπιθυμητό σήμα, υποθέταμε ότι δεν διατίθεται αλλά απλώς είναι γνωστές οι από κοινούστατιστικές δεύτερης τάξης των ςn, χn. Είναι φανερό ότι, εάν διατίθετο το σήμαςn, δεν θα υπήρχε λόγος επεξεργασίας του σήματος χn, αφού θα ήμασταν σε θέσηνα χρησιμοποιήσουμε απευθείας το ςn.

Ας ορίσουμε τώρα μια διαφορετική προσέγγιση του προβλήματος, η οποία θα μαςεπιτρέψει την επεξεργασία του σήματος χn, ακόμη και εάν διατίθεται το ςn. Αςυποθέσουμε ότι τα δύο σήματα ςn, χn είναι συσχετισμένα και επιθυμούμε να ανα-λύσουμε το ςn σε δύο συνιστώσες

ςn = ςn + wn,

όπου η ςn συνιστώσα εξαρτάται από την ακολουθία χn, ενώ η wn = ςn − ςn είναιασυσχέτιστη προς την ακολουθία αυτή. ε τον εν λόγω διαχωρισμό, ό,τι πληροφορίαδιαθέτει η ςn για την χn εμπεριέχεται στην ςn, ενώ το υπόλοιπο τμήμα, δηλαδή η wn,δεν διαθέτει καμία ανακτίσημη πληροφορία για την χn. Βεβαίως εξυπακούεται ότιη οποιαδήποτε δυνατότητα ανάκτησης πληροφορίας εξαρτάται άμεσα από το προτεινό-μενο είδος επεξεργασίας.


Εύκολα αποδεικνύεται ότι όλες οι γνωστές λύσεις που ελαχιστοποιούν το μέσο τε-τραγωνικό σφάλμα οδηγούν στην ανάλυση του ςn που περιγράψαμε. Εάν για παράδειγμαθεωρήσουμε την περίπτωση του μη γραμμικού φίλτρου ςn = 1[ςn|χn−k1 ,χn−k2 , . . .] τό-τε η διαφορά ςn− ςn είναι ασυσχέτιστη προς κάθε μορφή μη γραμμικής επεξεργασίας τηςυπακολουθίας χn−k1 ,χn−k2 , . . . Όντως εάν το g(·) αποτελεί οιονδήποτε μη γραμμικόμετασχηματισμό, τότε μπορούμε να γράψουμε

1 [(ςn − 1[ςn|χn−k1 , . . .])g(χn−k1 , . . .)]

= 1 [1 [(ςn − 1[ςn|χn−k1 , . . .])g(χn−k1 , . . .) |χn−k1 , . . .]]

= 1 [1 [(ςn − 1[ςn|χn−k1 , . . .]) |χn−k1 , . . .] g(χn−k1 , . . .)]

= 1 [(1[ςn|χn−k1 , . . .]− 1[ςn|χn−k1 , . . .])g(χn−k1 , . . .)] = 0,

όπου έγινε χρήση της της Σχέσης (2.4) του ΠαραρτήματοςΑ που εκφράζει την ιδιότητατης κλιμάκωσης του μέσου όρου10.

Αντίστοιχα πράγματα μπορούν να ειπωθούν και για τη γραμμική εκτίμηση των δια-φόρων μορφών του φίλτρου Wiener. Εάν η εκτίμηση είναι ςn =

∑k=k1,k2,...

hkχn−k

τότε η διαφορά wn = ςn− ςn επιθυμούμε να είναι ασυσχέτιστη με οιονδήποτε γραμμικόσυνδυασμό της υπακολουθίας χn−k1 ,χn−k2 , . . . Για το σκοπό αυτό αρκεί το wn να είναιασυσχέτιστο προς κάθε όρο χn−m, m = k1, k2, . . . , της υπακολουθίας, δηλαδή

1

⎡

⎣

⎛

⎝ςn −∑

k=k1,k2,...

hkχn−k

⎞

⎠χn−m

⎤

⎦ = 0, m = k1, k2, . . .

που εκφράζει φυσικά την αρχή της ορθογωνιότητας και οδηγεί στην εξίσωση Wiener-Hopf.

To σημαντικό στοιχείο που προστέθηκε με το νέο τρόπο κατανόησης των αποτελε-σμάτων είναι ότι, ακόμη και εάν διατίθεται υλοποίηση του σήματος ςn, η επεξεργασίατης αντίστοιχης υλοποίησης του χn συνεχίζει να έχει πρακτικό νόημα, διότι το αποτέ-λεσμα προσδιορίζει τη συνιστώσα ςn του ςn που έχει τη μεγαλύτερη δυνατή συσχέτισημε τα δείγματα του σήματος χn. Παρατηρούμε βέβαια ότι ακόμη και αν διατίθεταιυλοποίηση του ςn, για την ώρα, δεν υπεισέρχεται στον υπολογισμό του ςn (αλλά μόνοστον υπολογισμό του wn) αφού το φίλτρο επεξεργάζεται αποκλειστικά το σήμα χn,γεγονός που θα αλλάξει άμεσα στο επόμενο εδάφιο.Παράδειγμα 7.6 : Η συνηθέστερη ίσως περίπτωση προβλήματος εκτίμησης με το συγκεκριμένο μο-ντέλο που προτάθηκε, παρουσιάζεται στο Σχήμα 7.4. Ένα σήμα χn αποτελεί είσοδο σε έναγραμμικό χρονικά σταθερό (ΓΧΣ) σύστημα με αντίστοιχη έξοδο ζn. Στην έξοδο προστίθε-ται θόρυβος (μέτρησης) wn με αποτέλεσμα να δημιουργείται το σήμα ςn. Ο θόρυβος είναιανεξάρτητος του σήματος εισόδου χn και ως εκ τούτου και του σήματος εξόδου ζn.

10Πρέπει να σημειωθεί ότι η σχέση αυτή δεν εξασφαλίζει την ανεξαρτησία τηςwn = ςn−ςn από την υπα-κολουθία χn−k1 , . . .. Για ανεξαρτησία είναι επιπλέον απαραίτητο κάθε μη γραμμικός μετασχηματισμόςh(wn) να είναι ασυσχέτιστος προς οιονδήποτε μη γραμμικό μετασχηματισμό g(χn−k1 , . . .).

7.6 Ελαχιστοποίηση αθροιστικού τετραγωνικού σφάλματος δειγμάτων 153

Σχήμα7.4 : Σχηματική αναπαράσταση συστήματος εισόδου-εξόδου παρουσία θορύβου μέτρησης.

Στόχος είναι η εκτίμηση του σήματος εξόδου ζn (ενίοτε, σε ορισμένες εφαρμογές, είναιεπιθυμητή η εκτίμηση του αθροιστικού θορύβου wn), όταν είναι διαθέσιμα τα σήματα χnκαι ςn. Το ΓΧΣ σύστημα προσεγγίζεται με ένα σύστημα πεπερασμένης κρουστικής απόκρισηςμε αποτέλεσμα η σχέση μεταξύ των σημάτων να είναι

ςn = h0χn + · · ·+ hL−1χn−L+1 + wn.

Γίνεται επομένως φανερό ότι εάν επιθυμία μας είναι η εκτίμηση της εξόδου, τότε

ςn = ζn = h0χn + · · ·+ hL−1χn−L+1.

Γεγονός που συνεπάγεται την επιλογή των συντελεστών h0, . . . , hL−1 έτσι, ώστε η διαφοράςn − ςn να γίνει ασυσχέτιστη προς τα δείγματα χn, . . . ,χn−L+1.

7.6 Ελαχιστοποίηση αθροιστικού τετραγωνικού σφάλματος δειγμάτωνΑς επικεντρωθούμε στο καινούργιο πρόβλημα που περιγράψαμε. Ας υποθέσουμε δηλα-δή ότι για τα δύο σήματα ςn και χn, επιθυμούμε να εκτιμήσουμε τη συνιστώσα ςnτου ςn που σχετίζεται με τα δείγματα χn, . . . , χn−L+1, με τον ακόλουθο τρόπο

ςn = h0χn + · · ·+ hL−1χn−L+1.

Εάν με HL συμβολίσουμε το διάνυσμα των άγνωστων συντελεστών τότε, όπως είδαμεστο Εδάφιο 7.3.4, οι συντελεστές ικανοποιούν την Εξίσωση (7.36), την οποία για ευκο-λία επαναλαμβάνουμε

1[Xnςn] = 1[XnX tn ]HL,

όπου θυμίζουμε ότι Xn = [χn χn−1 · · ·χn−L+1]t. Ο προσδιορισμός των βέλτιστωνσυντελεστών από την προηγούμενη εξίσωση προϋποθέτει φυσικά γνώση των από κοινούστατιστικών δεύτερης τάξης των δύο σημάτων.

Εάν διατίθεται υλοποίηση sn, xn των δύο σημάτων και υποθέσουμε ότι τα σή-ματα είναι στάσιμα και εργοδικά δεύτερης τάξης, τότε μπορούμε να χρησιμοποιήσουμετον νόμο των μεγάλων αριθμών (βλέπε ΠαράρτημαΑ) για να προσεγγίσουμε τους στο-χαστικούς μέσους όρους ως εξής

1[Xnςn] ≈1

N

N∑

k=1

Xksk

1[XnX tn ] ≈

1

N

N∑

k=1

XkXtk,


όπου Xk = [xk · · ·xk−L+1]t και N ο συνολικός αριθμός των διαθέσιμων δειγμάτων.Αντικαθιστώντας στην (7.36) καταλήγουμε στην ακόλουθη εξίσωση

N∑

k=1

Xksk =

(N∑

k=1

XkXtk

)HL(N). (7.48)

Είμαστε δηλαδή σε θέση, από τα διαθέσιμα δείγματα μιας και μόνον υλοποίησης των σημά-των να υπολογίσουμε την μήτρα των συντελεστών καθώς και το διάνυσμα των σταθερώνδίχως να απαιτείται καμία γνώση των στατιστικών των εμπλεκομένων σημάτων!

εταξύ του φίλτρου Wiener HL και του φίλτρου HL(N) υπάρχει μια σημαντικήδιαφορά όσον αφορά στη φύση τους. Το μεν πρώτο αποτελεί τη λύση ενός ντετερμι-νιστικού συστήματος εξισώσεων, επομένως είναι και το ίδιο ντετερμινιστική ποσότητακαι άρα ανεξάρτητο των δειγμάτων. Το δεύτερο από τη άλλη πλευρά εξαρτάται από τοναριθμό N των δειγμάτων καθώς και από τη συγκεκριμένη υλοποίηση των σημάτων, ωςεκ τούτου είναι ένα τυχαίο διάνυσμα. Το ερώτημα που τίθεται είναι κατά πόσο και υπόποιαν έννοια συμβαίνει

limN→∞

HL(N) = HL.

Εάν, δηλαδή, η λύση της (7.48) συγκλίνει στη λύση Wiener, όταν ο αριθμός των δειγ-μάτων τείνει στο άπειρο. Η απάντηση στο ερώτημα είναι καταφατική κάτω από αρκετάγενικές συνθήκες και η απόδειξη βασίζεται στο όμο των εγάλων Αριθμών (βλέπεΆσκηση 7.17).

Υπάρχει ένα ακόμη στοιχείο, το οποίο καθιστά την Εξίσωση (7.48) εξαιρετικά εν-διαφέρουσα. Η εν λόγω σχέση μπορεί να ανακτηθεί απ’ ευθείας, δίχως προσεγγίσειςστατιστικών της (7.36), ελαχιστοποιώντας ένα εναλλακτικό κριτήριο το οποίο δεν έχειανάγκη εκ των προτέρων γνώσης καμίας μορφής στατιστικών των εμπλεκομένων σημά-των. Αντί του μέσου τετραγωνικού σφάλματος (7.34), μπορούμε να ορίσουμε το αθροι-στικό τετραγωνικό σφάλμα δειγμάτων

D(h) =N∑

k=1

(sk − h0xk − · · ·− hL−1xk−L+1)2,

και να προσδιορίσουμε τους βέλτιστους συντελεστές ελαχιστοποιώντας την D(h).Είναι πολύ ενδιαφέρον να θέσουμε το παραπάνω πρόβλημα βελτιστοποίησης σαν

βέλτιστη προσέγγιση μέσα σε κατάλληλο διανυσματικό χώρο εσωτερικού γινομένου.Για το σκοπό αυτό θεωρούμε το Ευκλείδιο χώρο RN με το αντίστοιχο εσωτερικό τουγινόμενο. Χρειαζόμαστε επίσης και ένα γραμμικό υποχώρο ο οποίος ορίζεται από ταL ακόλουθα διανύσματα11 Xk = [xN−k xN−k−1 · · ·x−k+1]t, k = 0, . . . , L − 1, μή-κους φυσικά N . Το πρόβλημα που επιθυμούμε να επιλύσουμε συνίσταται στη βέλτιστη

11Όροι με μηδενικό ή αρνητικό δείκτη θεωρούνται ότι είναι μηδενικοί.


προσέγγιση του διανύσματος S = [sN sN−1 · · · s1]t από γραμμικό συνδυασμό των δια-νυσμάτων Xk. Οι βέλτιστοι συντελεστές θα προκύψουν με εφαρμογή της αρχής τηςορθογωνιότητας

≺S− h0X0 − · · ·− hL−1XL−1,Xm≻= 0, m = 0, . . . , L− 1,

ή ισοδύναμα

≺S,Xm≻= h0 ≺X0,Xm≻ + · · ·+ hL−1 ≺XL−1,Xm≻, m = 0, . . . , L− 1,

το οποίο με αντικατάσταση του εσωτερικού γινομένου γράφεται

N∑

k=1

skxk−m = h0

N∑

k=1

xkxk−m + · · ·+ hL−1

N∑

k=1

xk−L+1xn−m

=N∑

k=1

xk−m(h0xk + · · ·+ hL−1xk−L+1)

=N∑

k=1

xk−mXtkHL(N), m = 0, . . . , L− 1.

Οι προηγούμενες εξισώσεις εάν γραφτούν σε μητρική μορφή αποδίδουν ακριβώς τη Σχέ-ση (7.48). Παρατηρούμε επομένως ότι η εξίσωση αυτή δεν αποτελεί απλώς μια προσέγ-γιση της (7.36) που ορίζει το βέλτιστο φίλτρο Wiener, αλλά έχει μεγάλη σημασία και ηίδια, αφού προκύπτει από ελαχιστοποίηση εναλλακτικού κριτηρίου που εξαρτάται απο-κλειστικά από τα διαθέσιμα δείγματα.

7.6.1 Αναδρομή ελαχίστων τετραγώνωνΤο φίλτρο το οποίο προκύπτει από την επίλυση της Εξίσωσης (7.48) έχει μεγάλο πρακτι-κό ενδιαφέρον στη μοντέρνα θεωρία επεξεργασίας σημάτων επειδή, όπως εξηγήσαμε,δεν απαιτεί καμία εκ των προτέρων γνώση για την εκτίμηση των συντελεστών hi καιτον υπολογισμό του sn.

Ας εξετάσουμε τώρα ένα πρόβλημα εκτίμησης που είναι ανάλογο της περίπτωσηςτου φίλτρου Kalman. Θα υποθέσουμε ότι οι υλοποιήσεις sn, xn των δύο σημά-των ςn, χn διατίθεται ακολουθιακά, δηλαδή σε κάθε χρονική στιγμή n διατίθεταιένα νέο ζευγάρι (sn, xn) και κάθε φορά καλούμαστε να υπολογίσουμε το sn βασισμέ-νοι στην υπάρχουσα πληροφορία (s1, x1), . . . , (sn, xn). Είναι προφανές ότι αυτό θααπαιτούσε, σε κάθε βήμα n, τη λύση της Εξίσωσης (7.48) για N = n. Αφού πρόκειταιγια επίλυση γραμμικού συστήματος εξισώσεων, η αναγκαία υπολογιστική πολυπλοκό-τητα είναι της τάξεως O(L3) η οποία πρέπει να διατίθεται σε κάθε βήμα n. Η απαίτησηαυτή σε υπολογισμούς κρίνεται πολύ υψηλή, ειδικά όταν πρόκειται για εφαρμογές πραγ-ματικού χρόνου στις οποίες υπάρχει συνεχής ροή δεδομένων. Η μείωση επομένως τουυπολογιστικού όγκου είναι επιτακτική σε εφαρμογές αυτού του τύπου.


Χρησιμοποιώντας την ιδέα που παρουσιάστηκε για πρώτη φορά στο φίλτρο Kalman,ότι δηλαδή η λύση του προβλήματος τη χρονική στιγμή n θα πρέπει να εξαρτάται στενάαπό τη λύση της χρονικής στιγμής n− 1, είναι δυνατό να μειώσουμε την υπολογιστικήπολυπλοκότητα κατά μια τάξη μεγέθους. Εάν καλέσουμε

Rn =n∑

k=1

XkXtk, Sn =

n∑

k=1

Xksk

τότε η Εξίσωση (7.48), για τη χρονική στιγμή n, γράφεται

Sn = RnHL(n) ή HL(n) = R−1n Sn.

Η ίδια εξίσωση για τη χρονική στιγμή n− 1 γράφεται

Rn−1HL(n− 1) = Sn−1

από την οποία, χρησιμοποιώντας το γεγονός ότι Rn = Rn−1+XnXtn και Sn = Sn−1+

snXn, προκύπτει

Sn − snXn = (Rn −XnXtn)HL(n− 1)⇒ Sn = (Rn −XnX

tn)HL(n− 1) + snXn.

Πολλαπλασιάζοντας από αριστερά με R−1n συμπεραίνουμε ότι

HL(n) = HL(n− 1) +(sn −Xt

nHL(n− 1))R−1n Xn,

που αποτελεί αναδρομή για το φίλτρο HL(n). Φυσικά με την εν λόγω σχέση δεν επι-τυγχάνεται μείωση της πολυπλοκότητας αφού ο υπολογισμός του διανύσματος R−1

n Xn

απαιτεί επίσης O(L3) αριθμητικές πράξεις λόγω της αντιστρoφής R−1n . Το ενδιαφέρον

σημείο είναι ότι είναι δυνατό να εφαρμόσουμε αναδρομή και στον αντίστροφο και ναμειώσουμε το κόστος υπολογισμού του σε O(L2). Επειδή12

R−1n = (Rn−1 +XnX

tn)

−1

= R−1n−1 −

R−1n−1XnXt

nR−1n−1

1 +XtnR

−1n−1Xn

,

εάν πολλαπλασιάσουμε την προηγούμενη σχέση από δεξιά με Xn τότε συμπεραίνουμε

R−1n Xn =

1

1 +XtnR

−1n−1Xn

R−1n−1Xn.

αμβάνοντας υπόψη τις προηγούμενες παρατηρήσεις είμαστε πλέον σε θέση να προ-τείνουμε την επιθυμητή αναδρομή. Για ευκολία θα καλέσουμε Pn = R−1

n και θα υπο-θέσουμε ότι από τη χρονική στιγμή n − 1 έχουμε διαθέσιμα τα Pn−1, Xn−1 καθώς και

12Στο σημείο αυτό κάνουμε χρήση του λήμματος αντιστροφής για μήτρεςA,B,C,D με συμβατές διαστά-σεις: (A+ BDCt)−1 = A−1 − A−1B(D−1 + CtA−1B)−1CtA−1.


τη λύση HL(n − 1). Οι ποσότητες αυτές καθορίζουν και τις απαιτήσεις σε μνήμη που,λόγω της μήτρας Pn, είναι τάξης O(L2) (για την ακρίβεια L(L + 2) εάν δεν λάβουμευπόψη τη συμμετρία της Pn). ε τα νέα δείγματα (xn, sn) που διατίθενται τη χρονικήστιγμή n, σχηματίζεται το διάνυσμα Xn και εφαρμόζονται οι ακόλουθοι υπολογισμοί13

Kn = Pn−1Xn, L2⊗, L2 − L⊕

γn =1

1 +XtnKn

, L⊗, L⊕, 1÷

Pn = Pn−1 − γn(KnKtn), 2L2⊗, L2⊕

ϵn = sn −XtnHL(n− 1), L⊗, L⊕

HL(n) = HL(n− 1) + (γnϵn)Kn, (L+ 1)⊗, L ⊕ .

Αρχικοποίηση γίνεται με HL(0) = 0 και P0 = 1ρI, όπου I η μοναδιαία μήτρα και ρ

μικρή, θετική ποσότητα. Το διάνυσμαKn είναι γνωστό σαν κέρδος Kalman. Για τις δύοσυνιστώσες sn = sn + wn έχουμε

sn = XtnHL(n) = sn − γnϵn, wn = γnϵn, 1⊗, 1 ⊕ .

Όσον αφορά στην υπολογιστική πολυπλοκότητα, σε κάθε εξίσωση σημειώνεται ο αριθ-μός των απαιτούμενων πολλαπλασιασμών “⊗”, προσθέσεων “⊕” και διαιρέσεων “÷”.Διαπιστώνουμε ότι η αναδρομή απαιτεί 3L2 + 3L πολλαπλασιασμούς και 2L2 + 2Lπροσθέσεις (εάν δεν λάβουμε υπόψη της συμμετρία της Pn) που αντιστοιχεί σε συνο-λική πολυπλοκότητα O(L2), κατά μια τάξη δηλαδή μεγέθους μικρότερη απ’ ό,τι η απ’ευθείας επίλυση του γραμμικού συστήματος.

Η τεχνική του να εκφραστεί η εκτίμηση της χρονικής στιγμής n σαν αναδρομή καινα σχετιστεί με την εκτίμηση της προηγούμενης χρονικής στιγμής n− 1 καλείται ανα-δρομικός αλγόριθμος14. Η συγκεκριμένη αναδρομή που εκφράζει τη λύση της Εξίσω-σης (7.48) είναι γνωστή σαν αναδρομή ελαχίστων τετραγώνων (ΑΕΤ) και αποτελεί έναναπό τους δημοφιλέστερους αναδρομικούς αλγορίθμους της επεξεργασίας σημάτων. ΣτοΣχήμα 7.5 παρουσιάζεται ο κλασικός τρόπος με τον οποίο παριστάνεται γραφικά στη βι-βλιογραφία η διαδικασία ανανέωσης των συντελεστώνHL με αναδρομικό αλγόριθμο.

Έχουν προταθεί εναλλακτικές μορφές της ΑΕΤ οι οποίες επιτρέπουν στον αλγόριθ-μο να “ξεχνά” το παρελθόν έτσι, ώστε να έχει τη δυνατότητα να παρακολουθεί αλλαγέςστις στατιστικές των σημάτων. Αυτό επιτυγχάνεται μέσω της λεγόμενης παραθύρωσηςη οποία συνίσταται στη επιβολή βάρους σε κάθε όρο του αθροιστικού τετραγωνικού

13Ο προσεκτικός αναγνώστης μπορεί να παρατηρήσει ότι η μήτρα Pn είναι επίσης δυνατό να υπολογιστείκαι ως εξής: Pn = Pn−1 − (γnKn)K

tn διαδικασία που απαιτεί L2 + L πολλαπλασιασμούς αντί για 2L2.

Ωστόσο ο τρόπος αυτός εμφανίζει αριθμητική αστάθεια επειδή έχει την τάση να συσσωρεύει σφάλματαστρογγυλοποίησης.

14Υπάρχει πληθώρα συγγραμμάτων σχετικά με το αναδρομικό φιλτράρισμα. Ενδιαφέρον εισαγωγικόβιβλίο στα θέματα αυτά αποτελεί το [HA2001].


Σχήμα 7.5 : Γραφική αναπαράσταση της ΑΕΤ.

σφάλματος δειγμάτων ως εξής

D(h) =n∑

k=1

ϖn−k(sk − h0xk − · · ·− hL−1xk−L+1)2.

Τα ϖk ≥ 0 αποτελούν την (παραθυρική) ακολουθία βαρών και οι τιμές τους πρέπει ναφθίνουν με αυξανόμενο n ώστε στο τετραγωνικό σφάλμα να συνεισφέρουν με μεγαλύ-τερο βάρος τα πρόσφατα δείγματα.

Η ελαχιστοποίηση του D(h) είναι δυνατή με εφαρμογή και πάλι της αρχής της ορ-θογωνιότητος. Απαιτείται βέβαια η εξής τροποποίηση του εσωτερικού γινομένου τουδιανυσματικού χώρου Rn

≺X,Y≻=n∑

k=1

ϖn−kxkyk,

όπου X = [xn · · ·x1]t,Y = [yn · · · y1]t διανύσματα μήκους n. Οι βέλτιστοι συντελε-στές, με εφαρμογή της αρχής της ορθογωνιότητας, προκύπτουν από τη λύση της εξίσω-σης

n∑

k=1

ϖn−kXksk =

(n∑

k=1

ϖn−kXkXtk

)HL(n). (7.49)

Η δημοφιλέστερη και πλέον ωφέλιμη έκδοση της ΑΕΤ είναι αυτή που εφαρμόζειεκθετικό παράθυρο της μορφήςϖn = λn όπου 0 < λ ≤ 1 και η οποία “ξεχνά” εκθετικάγρήγορα παρελθόντα δείγματα. Η σταθερά λ καλείται συντελεστής λήθης. Φυσικά ότανλ = 1 το κριτήριο συμπίπτει με την κλασική περίπτωση όπου όλα τα δείγματα συμ-μετέχουν εξίσου στο τετραγωνικό σφάλμα. Στην περίπτωση του εκθετικού παραθύρουέχουμε

D(h) =n∑

k=1

λn−k(sk − h0xk − · · ·− hL−1xk−L+1)2,

ενώ οι συντελεστές υπολογίζονται, με αντικατάσταση του παραθύρου στην (7.49), από


την εξίσωσηn∑

k=1

λn−kXksk =

(n∑

k=1

λn−kXkXtk

)HL(n). (7.50)

Το ενδιαφέρον με το εκθετικό παράθυρο είναι ότι υπάρχει ΑΕΤ που έχει παρόμοια μορφήμε της κλασικής περίπτωσης, απαιτώντας μόλις L2 επιπλέον πολλαπλασιασμούς και μιαεπιπλέον διαίρεση στην αναδρομή του Pn. Ο αλγόριθμος είναι ο εξής

Kn = Pn−1Xn

γn =1

λ+XtnKn

Pn =

(1

λ

)(Pn−1 − γn(KnK

tn))

ϵn = sn −XtnHL(n− 1)

HL(n) = HL(n− 1) + (γnϵn)Kn.

Ενδιαφέρουσα εναλλακτική παραθυρική ακολουθία αποτελεί επίσης η περίπτωση

ϖn =

1 0 ≤ n ≤M − 10 αλλοιώς,

η οποία αντιστοιχεί σε (ορθογώνιο) παράθυρο ολίσθησης μήκουςM , όπου λαμβάνονταιυπόψη μόνο ταM πιο πρόσφατα δείγματα, δηλαδή

D(h) =n∑

k=n−M+1

(sk − h0xk − · · ·− hL−1xk−L+1)2,

με αντίστοιχη εξίσωση προσδιορισμού των συντελεστών

n∑

k=n−M+1

Xksk =

(n∑

k=n−M+1

XkXtk

)HL(n). (7.51)

Εξυπακούεται ότι για να είναι η μήτρα των συντελεστών αντιστρέψιμη (ώστε να είναι δυ-νατός ο προσδιορισμός των συντελεστών κατά μοναδικό τρόπο) θα πρέπειM ≥ L. Στηνπερίπτωση του παραθύρου ολίσθησης η “λήθη” παρωχημένων δειγμάτων είναι άμεση.Ο λόγος που ο τρόπος αυτός παραθύρωσης δεν προτιμάται έναντι του εκθετικού είναιεπειδή η αναδρομική υλοποίησή του απαιτεί περίπου διπλάσιες πράξεις από ό,τι η ΑΕΤμε εκθετικό παράθυρο δίχως να προσφέρει καλύτερα αποτελέσματα.

Υπάρχουν τέλος γρήγορες υλοποιήσεις της ΑΕΤ που επιτρέπουν τον (ακόμη) πιοαποδοτικό υπολογισμό των συντελεστών με πολυπλοκότητα μόλιςO(L) (δύο τάξεις με-


γέθους λιγότερο απ’ ό,τι η απ’ ευθείας επίλυση του γραμμικού συστήματος) ή τον απο-δοτικό υπολογισμό του φίλτρου για πολλά διαφορετικά μήκη L15.

Η βιβλιογραφία γύρω από την AET είναι εξαιρετικά πλούσια όπως και η εφαρμογήτης σε πληθώρα πρακτικών προβλημάτων. Η μεγάλη ταχύτητα με την οποία οι εκτιμή-σεις του αλγορίθμου συγκλίνουν στο ιδανικό φίλτρο Wiener είναι το βασικό χαρακτηρι-στικό που κατέστησε την ΑΕΤ δημοφιλή στη βιβλιογραφία και πρότυπο προς σύγκρισηγια κάθε άλλο αναδρομικό αλγόριθμο16. Η υπολογιστική πολυπλοκότηταO(L2) θεωρεί-ται δυστυχώς ακόμη εξαιρετικά υψηλή για εφαρμογές πραγματικού χρόνου στις οποίεςοι ρυθμοί δεδομένων είναι έντονοι (όπως π.χ. τηλεπικοινωνιακές εφαρμογές).Παράδειγμα 7.7 : Έστω τα σήματα ςn, χn τα οποία ικανοποιούν τη σχέση ςn = −0.5χn +χn−1 + wn, όπου wn λευκός θόρυβος ανεξάρτητος του σήματος χn. Ας εξετάσουμε κατ’αρχάς κατά πόσο το φίλτρο Wiener συμπίπτει με τους συντελεστές h0 = −0.5, h1 = 1.

Το φίλτρο Wiener επιλύει το σύστημα των εξισώσεων

1[(ςn − h0χn − h1χn−1)χn−l] = 0, l = 0, 1.

Αντικαθιστώντας το ςn με το ίσο του, έχουμε ότι

1[−(0.5 + h0)χn + (1− h1)χn−1χn−l + wnχn−l]

= 1[−(0.5 + h0)χn + (1− h1)χn−1χn−l] = 0, l = 0, 1.

όπου στην τελευταία ισότητα έγινε χρήση του γεγονότος ότι ο θόρυβος wn είναι λευκός καιανεξάρτητος του σήματος χn. Υποθέτοντας ότι η μήτρα συνδιασποράς του διανύσματοςXn = [χn χn−1]t είναι μη ιδιάζουσα, η μοναδική λύση στην τελευταία εξίσωση είναι η h0 +0.5 = 1− h1 = 0, δηλαδή το φίλτρο Wiener συμπίπτει με τους συντελεστές.

Ας υποθέσουμε τώρα ότι ο θόρυβος wn είναι λευκός Gaussian με διασπορά σ2 = 0.1 καιη ακολουθία χn αποτελείται από τυχαίες ανεξάρτητες Gaussian μεταβλητές N (0, 1). Έστωεπίσης ότι μας διατίθεται ακολουθιακά υλοποίηση sn, xn των ςn, χn. Προκειμένουνα διαπιστώσουμε τη δυνατότητα της ΑΕΤ να παρακολουθεί αλλαγές στις στατιστικές θα θε-ωρήσουμε ότι από τη χρονική στιγμή n = 101 και μετά, το μοντέλο δεδομένων αλλάζει σεςn = −xn+0.5xn−1+wn που αντιστοιχεί σε−h0 = 1, h1 = 0.5. Εάν εφαρμόσουμε την ΑΕΤτότε στο Σχήμα 7.6 παρουσιάζεται η εκτίμηση κάθε συντελεστή για συντελεστή λήθης λ = 0.9

(γραμμοσκιασμένες καμπύλες) και λ = 1 (μαύρες καμπύλες) σαν συνάρτηση του αριθμού n

των δειγμάτων. Παρατηρούμε ότι η κλασική περίπτωση για λ = 1 δεν είναι σε θέση να ακο-λουθήσει τις αλλαγές στις στατιστικές, ενώ όταν λ = 0.9 ο αλγόριθμος ανταποκρίνεται άμεσα

15Η πρώτη γρήγορη υλοποίηση με τη χαμηλότερη πολυπλοκότητα (μόλις 7L) έχει το ακρώνυμο FAESTκαι προτάθηκε στο άρθρο [CM1983]. Οι γρήγορες μορφές της ΑΕΤ χαρακτηρίζονται δυστυχώς από υπολο-γιστική αστάθεια επειδή συσσωρεύουν σφάλματα λόγω πεπερασμένης ακρίβειας στις πράξεις. Για το λόγοαυτό αναπτύχθηκαν εκδόσεις οι οποίες επιχειρούν να διορθώσουν το εν λόγω πρόβλημα. Η πρώτη προσπά-θεια έγινε στο άρθρο [BM1989] ενώ η πιο ευσταθής έκδοση της γρήγορης μορφής της ΑΕΤ βρίσκεται στο[SK1988]. Για γρήγορες μορφές με αναδρομή σε χρόνο και τάξη, βλέπε άρθρο [LM1981].

16Ανάλυση της αρχικοποίησης της ΑΕΤ και ο τρόπος με τον οποίο αυτή επηρεάζει την ταχύτητα σύγκλι-σης, παρουσιάζεται στο άρθρο [MO1997].

7.7 οντέλο αυτοπαλινδρόμησης 161

Σχήμα 7.6 : Εκτίμηση συντελεστών h0, h1, με την ΑΕΤ και συντελεστή λήθης λ = 0.9, 1.

στις αλλαγές αφού είναι σε θέση να λησμονεί το παρελθόν εκθετικά γρήγορα. Σημειώνεται επί-σης η εξαιρετικά γρήγορη σύγκλιση της ΑΕΤ στο αρχικό διάστημα επιβολής του αλγορίθμου,ιδιότητα μοναδική μεταξύ όλων των γνωστών αναδρομικών αλγορίθμων. διότητα ωστόσο πουδεν διατηρείται στη συνέχεια όταν οι στατιστικές του σήματος αλλάζουν απότομα (βλέπε άρθρο[MO1997] για πλήρη ανάλυση της εν λόγω συμπεριφοράς).

7.7 Μοντέλο αυτοπαλινδρόμησηςΤο μοντέλο αυτοπαλινδρόμησης (ΑΠ) αποτελεί ένα από τα σημαντικότερα μοντέλα πε-ριγραφής στοχαστικών διαδικασιών. ια στοχαστική διαδικασία χn καλείται διαδι-κασία αυτοπαλινδρόμησης τάξης L, όταν οι όροι της ακολουθίας ικανοποιούν την ακό-λουθη αναδρομή

χn = c1χn−1 + · · ·+ cLχn−L + wn, (7.52)

όπου wn λευκός θόρυβος. Ένας διαφορετικός τρόπος να περιγράψουμε τη διαδικασίαΑΠ είναι να θεωρήσουμε ότι το σήμα χn αποτελεί έξοδο ενός γραμμικού συστήματοςμε συνάρτηση μεταφοράς

H(z) =1

1− c1z−1 − c2z−2 − · · ·− cLz−L(7.53)

και είσοδο το λευκό θόρυβο wn. Προκειμένου η έξοδος χn να συμπεριφέρεταισωστά, να μην τείνει δηλαδή στο άπειρο, το πολυώνυμο του παρονομαστή zL−c1zL−1−· · ·−cL−1z−cL πρέπει να έχει όλες τις ρίζες του στο εσωτερικό του μοναδιαίου κύκλου(το γραμμικό σύστημαH(z) να είναι ευσταθές).

Βασικό πρόβλημα στα μοντέλα ΑΠ αποτελεί η εκτίμηση των συντελεστών ci, i =1, . . . , L. Εάν επιχειρήσουμε να εφαρμόσουμε τη θεωρία που αναπτύχθηκε στο Εδά-φιο 7.3.4 και αντικαταστήσουμε ςn ← χn, χn ← χn−1 και HL ← CL = [c1 · · · cL]t,τότε ενδιαφερόμαστε να αναλύσουμε το χn σε δύο συνιστώσες χn, wn, εκ των οποίων


η χn σχετίζεται με τα δείγματα χn−1, . . . ,χn−L, με γραμμικό τρόπο, ενώ η wn είναιασυσχέτιστη με τα δείγματα αυτά. Συμπεραίνουμε, επομένως, ότι οι συντελεστές ci ικα-νοποιούν την Εξίσωση (7.36), η οποία για την περίπτωση αυτή έχει την ειδική μορφή

1[χnXn−1] = 1[Xn−1Xtn−1]CL. (7.54)

Παρατηρούμε ότι το διάνυσμα 1[χnXn−1] και η μήτρα 1[Xn−1X tn−1] αποτελούνται

από όρους της συνάρτησης αυτοσυσχέτισης Rχ(n) με αποτέλεσμα η προηγούμενη εξί-σωση να γράφεται

⎡

⎢⎢⎢⎣

Rχ(1)Rχ(2)

...Rχ(L)

⎤

⎥⎥⎥⎦=

⎡

⎢⎢⎢⎢⎣

Rχ(0) Rχ(1) · · · Rχ(L− 1)

Rχ(1) Rχ(0). . . ...

... . . . . . . Rχ(1)Rχ(L− 1) · · · Rχ(1) Rχ(0)

⎤

⎥⎥⎥⎥⎦CL.

Το σύστημα αυτό είναι γνωστό σαν εξίσωση Yule-Walker. Εάν δε επιλυθεί με τον αλγό-ριθμο Levinson, τότε απαιτείται ο υπολογισμός μόνο των διανυσμάτων Ak των βοηθη-τικών συστημάτων

⎡

⎢⎢⎢⎢⎣

Rχ(0) Rχ(1) · · · Rχ(k − 1)

Rχ(1) Rχ(0). . . ...

... . . . . . . Rχ(1)Rχ(k − 1) · · · Rχ(1) Rχ(0)

⎤

⎥⎥⎥⎥⎦Ak =

⎡

⎢⎢⎢⎣

αk

0...0

⎤

⎥⎥⎥⎦,

αφού είναι εύκολο να διαπιστωθεί ότι AtL+1 = [1 − Ct

L].Όταν φυσικά δεν είναι διαθέσιμες οι στατιστικές β’ τάξης του σήματος χn αλλά

υπάρχει υλοποίηση xn, τότε μπορούμε να εφαρμόσουμε το κριτήριο των ελαχίστωντετραγώνων

minc1,...,cL

N∑

k=1

(xk − c1xk−1 − · · ·− cLxk−L)2

και να καταλήξουμε στο ανάλογο της Εξίσωσης (7.48), δηλαδή

N∑

k=1

xkXk−1 =

(N∑

k=1

Xk−1Xtk−1

)CL. (7.55)

Τα μοντέλα ΑΠ είναι εξαιρετικά δημοφιλή στη μοντελοποίηση συστημάτων και στο-χαστικών διαδικασιών. Στο γεγονός αυτό αναμφίβολα συμβάλλει η σημαντική ευκολίαμε την οποία μπορούν να εκτιμηθούν οι παράμετροί τους (όταν υπάρχει διαθέσιμη υλο-ποίηση της διαδικασίας) σε συνδυασμό με την ακόλουθη σημαντική πρόταση.


Μοντέλα αυτοπαλινδρόμησης και στατιστικές ασθενώς στάσιμων διαδικασιών : Οι στα-τιστικές δεύτερης τάξης μιας ασθενώς στάσιμης διαδικασίας μπορούν ναπροσεγγιστούν, με όση ακρίβεια επιθυμούμε, από μια διαδικασία ΑΠ αρ-κούντως υψηλής τάξης.

ε άλλα λόγια, οποιαδήποτε στοχαστική διαδικασία, όσον αφορά στη συνάρτηση αυτο-συσχέτισης (και επομένως και στη συνάρτηση πυκνότητας φάσματος ισχύος), μπορούμενα την προσεγγίσουμε ικανοποιητικά χρησιμοποιώντας ένα μοντέλο ΑΠ αρκετά υψηλήςτάξης.

7.7.1 Πρόβλεψη σήματος αυτοπαλινδρόμησης

Για σήματα ΑΠ είναι δυνατό να αναπτύξουμε ορισμένα πολύ ενδιαφέροντα θεωρητικάαποτελέσματα. ατ’ αρχάς κρίνεται σκόπιμο να γραφεί η αναδρομική σχέση των σημά-των ΑΠ στο χώρο κατάστασης. Εάν ορίσουμε σαν κατάσταση Xn = [χn · · ·χn−L+1]t

τότε

Xn = CXn−1 +Bwn, χn = BtXn

όπου η μήτρα C και το διάνυσμα B ορίζονται ως εξής

C =

⎡

⎢⎢⎣

c1 c2 · · · cL−1 cL1 0 · · · 0 00 1 · · · 0 00 0 · · · 1 0

⎤

⎥⎥⎦ , B =

⎡

⎢⎢⎢⎣

10...0

⎤

⎥⎥⎥⎦.

Θα υποθέσουμε στο σημείο αυτό ότι τα δείγματα του wn δεν είναι απλώς ασυσχέ-τιστα αλλά και ανεξάρτητα (πολύ συχνή υπόθεση στην πράξη). Εάν τώρα ενδιαφερθού-με για τον βέλτιστο μη γραμμικό αιτιατό προβλέπτη ενός βήματος, δηλαδή την εκτίμηση(πρόβλεψη) του χn+1 από τα χn, . . . ,χ0 τότε μπορούμε να γράψουμε ότι

χn+1 = 1[χn+1|χ0, . . . ,χn] = 1[χn+1|X0, . . . ,Xn] = 1[BtXn+1|X0, . . . ,Xn]

= BtC1[Xn|X0, . . . ,Xn] +BtCB1[wn+1|X0, . . . ,Xn]

= BtCXn +BtCB1[wn+1] = BtCXn = c1χn + · · ·+ cLχn−L+1,

όπου χρησιμοποιήθηκε το γεγονός ότι το wn+1 είναι ανεξάρτητο από τα X0, . . . ,Xnεπειδή τα τελευταία αποτελούν γραμμικούς συνδυασμούς των w0, . . . , wn. Το αποτέ-λεσμα που βρέθηκε ήταν εν μέρει αναμενόμενο από τον ορισμό της ΑΠ. ιγότερο προ-φανής ωστόσο είναι η γενίκευση του αποτελέσματος αυτού για προβλέπτηm βημάτων.Ενδιαφερόμαστε για την εκτίμηση του χn+m από τα δείγματα χ0, . . . ,χn. Ακολουθώ-


ντας αντίστοιχη πορεία όπως και γιαm = 1 μπορούμε να γράψουμε ότι

1[χn+m|χ0, . . . ,χn] = 1[χn+m|X0, . . . ,Xn] = 1[BtXn+m|X0, . . . ,Xn]

= 1[Bt

CmXn +

m∑

l=1

ClBwn+l

∣∣∣X0, . . . ,Xn

]

= BtCmXn = c1,mχn + · · ·+ cL,mχn−L+1

όπου [c1,m · · · cL,m] = [1 0 · · · 0]Cm. ε άλλα λόγια, σε ένα σήμα ΑΠ ο βέλτιστοςμη γραμμικός αιτιατός προβλέπτηςm-βημάτων που ελαχιστοποιεί το μέσο τετραγωνικόσφάλμα είναι ένα γραμμικό σύστημα πεπερασμένης κρουστικής απόκρισης. Παρατηρούμεότι και στην περίπτωση αυτή, όπως και στα Gaussian σήματα, το βέλτιστο σύστημα εκτί-μησης είναι γραμμικό. Εάν τέλος διατίθεται υλοποίηση xn του τυχαίου σήματος τότεοι συντελεστές του προβλέπτηm-βημάτων μπορούν να εκτιμηθούν από την εξίσωση

N∑

k=1

xkXk−m+1 =

(N∑

k=1

Xk−m+1Xtk−m+1

)Cm,

όπου N συμβολίζει το πλήθος των διαθέσιμων δειγμάτων. H εκτίμηση αυτή μπορείφυσικά να γίνει και με αναδρομικό τρόπο χρησιμοποιώντας την ΑΕΤ.

7.7.2 Εκτίμησηφάσματος με χρήση μοντέλων αυτοπαλινδρόμησηςΗ πυκνότητα φάσματος ισχύος ενός στοχαστικού σήματος περιγράφει την κατανομήισχύος του σήματος ανά συχνότητα, αποτελεί επομένως συνάρτηση μεγάλης πρακτικήςσημασίας και η γνώση της προσφέρει σημαντικές πληροφορίες για τη συμπεριφορά τουστοχαστικού σήματος. Ως εκ τούτου η ανάπτυξη τεχνικών εκτίμησης της πυκνότηταςφάσματος θεωρείται επιτακτική.

ε βάση την τελική πρόταση του Εδαφίου 7.7.1, είναι δυνατόν, όσον αφορά στηνπυκνότητα φάσματος, να θεωρήσουμε ότι ένα σήμα χn είναι ΑΠ αρκούντως μεγάληςτάξης. ε άλλα λόγια θεωρούμε ότι το σήμα χn αποτελεί την έξοδο ενός γραμμι-κού συστήματος με συνάρτηση μεταφοράς όπως στην (7.53) και είσοδο λευκό θόρυβο.Εφαρμόζοντας τη Σχέση (2.12) του ΠαραρτήματοςΑ, συμπεραίνουμε ότι μπορούμε ναγράψουμε

Φχ(ejω) = |H(ejω)|2σ2w =

σ2w|1− c1e−jω − · · ·− cLe−jLω|2

όπου σ2w η διασπορά του λευκού θορύβου. Γίνεται επομένως φανερό ότι πρέπει να εκτι-μηθούν οι συντελεστές ci καθώς και η ισχύς του θορύβου σ2w.

Εάν είναι διαθέσιμη υλοποίηση xn του σήματος, τότε στο προηγούμενο εδάφιοείδαμε πως είναι δυνατό να εκτιμηθούν οι συντελεστές ci μέσω της Εξίσωσης (7.55).Για την ισχύ σ2w του θορύβου, επειδή

wn = xn − C tLXn−1,


μπορούμε να προτείνουμε την ακόλουθη εκτίμηση

σ2w =1

N

N∑

k=1

(xk − C tLXk−1)

2 =1

N

N∑

k=1

(xk − C tLXk−1)xk

=1

N

N∑

k=1

x2k − C tL

N∑

k=1

xkXk−1

=1

N

N∑

k=1

x2k −1

N

(N∑

k=1

xkXk−1

)t( N∑

k=1

Xk−1Xtk−1

)−1( N∑

k=1

xkXk−1

),

όπου η δεύτερη εξίσωση είναι αποτέλεσμα της αρχής της ορθογωνιότητας ή, ισοδύναμα,της Εξίσωσης (7.55).

Παράδειγμα 7.8 : Η μεθοδολογία εκτίμησης φάσματος ισχύος που προαναφέρθηκε βρίσκει εφαρ-μογή στο σημαντικό πρόβλημα της εκτίμησης συχνοτήτων (ημιτονικών σημάτων) σε θόρυβο.Ο λόγος που, όπως θα διαπιστώσουμε άμεσα, η παραπάνω μέθοδος έχει ικανοποιητικά αποτε-λέσματα οφείλεται στο γεγονός ότι άθροισμα ημιτονικών σημάτων ακολουθεί το μοντέλο ΑΠ(βλέπε Άσκηση 7.12).

Έστω ότι χn = cos(0.2πn) + sin(0.24πn) + wn, όπου wn λευκός Gaussian θόρυβος μεισχύ σ2

w = 0.1. ας διατίθενται 64 δείγματα του σήματος χn με αποκλειστική χρήση τωνοποίων επιθυμούμε να εκτιμήσουμε τις δύο (κοντινές) συχνότητες λ1 = 0.2π/2π = 0.1, λ2 =0.24π/2π = 0.12. Στο Σχήμα 7.7 παρουσιάζεται με κυανή γραμμοσκιασμένη καμπύλη το άθροι-

Σχήμα 7.7 : Άθροισμα δύο ημιτονικών σημάτων (κυανή καμπύλη) παρουσία Gaussian θορύβου(γκρίζα γραμμοσκιασμένη καμπύλη).

σμα των ημιτόνων δίχως θόρυβο (ιδανικό σήμα), ενώ με γκρίζα γραμμοσκιασμένη καμπύλη μιαυλοποίηση του σήματος χn. Παρατηρούμε ότι ο θόρυβος αλλοιώνει σημαντικά το ιδανικόσήμα.

Η εκτίμηση των συχνοτήτων θα γίνει με τη βοήθεια της πυκνότητας φάσματος ισχύος η οποίααναμένεται να εμφανίζει έντονες κορυφές στις δύο συχνότητες (θεωρητικά στα δύο αυτά σημείαεμφανίζει δέλτα συναρτήσεις). Τη συνάρτηση Φχ(ejω) θα την εκτιμήσουμε με τη βοήθεια ενόςμοντέλου ΑΠ μήκουςL = 19 με τον τρόπο που περιγράψαμε στο προηγούμενο εδάφιο. Η γραφι-κή παράσταση της Φχ(ej2ω) για ω = 2πλ παρουσιάζεται στο Σχήμα 7.8 με κυανή γραμμοσκια-σμένη καμπύλη ενώ με γκρίζα γραμμοσκιασμένη καμπύλη παρουσιάζεται η αντίστοιχη εκτίμηση


Σχήμα 7.8 : Εκτίμηση Φχ(ej2πλ) της πυκνότητας φάσματος δύο ημιτόνων σε Gaussian λευκό

θόρυβο από 64 δείγματα με χρήση μοντέλου ΑΠ μήκους L = 19 (κυανή γραμμοσκιασμέ-νη καμπύλη) καθώς και με εφαρμογή Διακριτού μετασχηματισμού Fourier στα ίδια δείγματα(γκρίζα γραμμοσκιασμένη καμπύλη).

με την κλασική τεχνική του Διακριτού ετασχηματισμού Fourier. Η μέθοδος που βασίζεται στομοντέλο ΑΠ έχει δύο πολύ ενδιαφέροντα χαρακτηριστικά, πρώτον οι λοβοί που αντιστοιχούνστις συχνότητες είναι σημαντικά στενότεροι της κλασικής μεθόδου, γεγονός που υποδηλώνειότι η εν λόγω τεχνική έχει καλύτερη διακριτική ικανότητα (είναι δηλαδή σε θέση να ξεχωρί-σει ευκολότερα κοντινές συχνότητες) και δεύτερον δεν εμφανίζει έντονους παρασιτικούς λοβούςσε άλλες συχνότητες όπως η μέθοδος που βασίζεται στον διακριτό μετασχηματισμό Fourier (οιοποίοι οδηγούν σε λανθασμένο συμπέρασμα περί ύπαρξης επιπλέον συχνοτήτων).

Υπάρχει μεγάλος αριθμός παραλλαγών της παραπάνω ιδέας για εκτίμηση συχνοτήτων σεθόρυβο. Οι πλέον ενδιαφέρουσες μεθοδολογίες εφαρμόζουν διαγωνοποίηση της εκτίμησης τηςμήτρας συνδιασποράς του σήματος χn. Τεχνικές της μορφής αυτής ξεφεύγουν από τα πλαίσιατου παρόντος συγγράμματος και, επομένως, δεν θα παρουσιαστούν17, αναφέρουμε απλώς ότιοι δημοφιλέστερες των μεθόδων καλούνται MUSIC και ESPRIT και προτάθηκαν στα άρθρα[SM1979] και [RP1986] αντίστοιχα. Σημειώνεται επίσης ότι για την περίπτωση συχνοτήτων σεθόρυβο οι τεχνικές αυτές διαθέτουν σαφώς καλύτερη διακριτική ικανότητα απ’ ό,τι οι μέθοδοιπου βασίζονται στον διακριτό μετασχηματισμό Fourier.

Τέλος, ένας άλλος τρόπος εκτίμησης συχνοτήτων είναι να θεωρήσουμε ότι κάθε μια εμ-φανίζεται σε ζεύγη ημιτονικών σημάτων της μορφής Ai cos(2πλin) + Bi sin(2πλin) και ναθεωρήσουμε τις συχνότητες λi και τα πλάτη Ai, Bi, ότι είναι παράμετροι. Αυτό φυσικά επιτρέ-πει την εφαρμογή τεχνικών του κεφαλαίου εκτίμησης παραμέτρων (π.χ. εκτίμηση Π) για τονπροσδιορισμό τους. Δυστυχώς μεθοδολογίες της μορφής αυτής, μολονότι αποδίδουν εξαιρετικάαποτελέσματα, δεν ενδείκνυνται στην πράξη γιατί απαιτούν πολύ υψηλό υπολογιστικό κόστοςλόγω μη γραμμικών μετασχηματισμών.

7.8 Ασκήσεις7.1 : H εκτίμηση ενός σήματος ςn από ένα σήμα χn μέσω της ελαχιστοποίησης του μέσουτετραγωνικού σφάλματος μπορεί να γίνει με δύο τρόπους είτε ελαχιστοποιώντας το μέσο τετρα-

17 επτομερής παρουσίαση των τεχνικών αυτών γίνεται στο βιβλίο [KA1999].


γωνικό σφάλμα 1[∑n(ςn− ςn)2 μεταξύ ολόκληρης της ακολουθίας και της εκτίμησής της, είτεελαχιστοποιώντας το 1[(ςn − ςn)2 μεταξύ κάθε όρου της ακολουθίας και της αντίστοιχης εκτί-μησής του χωριστά. Είναι οι δύο αυτές εκτιμήσεις ίδιες; Τι μπορείτε να πείτε για την αντίστοιχηπερίπτωση που χρησιμοποιείτε εκτίμηση ΥΠ ή Π;

7.2 : Το σήμα χn είναι το άθροισμα του επιθυμητού σήματος ςn και του θορύβου wn.Δίνεται ότι ςn, wn έχουν μέση τιμή μηδέν και είναι ασυσχέτιστα. Δίνεται επίσης ότι οιαυτοσυσχετίσεις τους ικανοποιούν

Rς(n) = 0.5|n| + 0.8|n|, Rw(n) = δ(n).

α) Προσδιορίστε το μη αιτιατό καθώς και το αιτιατό φίλτρο Wiener για την εκτίμηση του ςn απότο σήμα χn. β) Εάν σας ζητούσαν να εκτιμήσετε το ςn από το wn ή το ςn από το ςn, ποιαπιστεύετε ότι θα ήταν τα βέλτιστα φίλτρα και γιατί; Δώστε την απάντηση δίχως να υπολογίσετετο αντίστοιχο βέλτιστο φίλτρο.

7.3 : Συνεχίζοντας το Παράδειγμα 7.3, υπολογίστε τη μορφή του βέλτιστου αιτιατού προβλέπτηδύο βημάτων και αποδείξτε ότι το ελάχιστο μέσο τετραγωνικό σφάλμα ικανοποιεί τη σχέση

Ε ΤΣ = φ20 + φ21 = ec0(1 + c21)

= exp

1

2π

∫ π

−πlog(Φχ(e

jω))dω

1 +

(1

2π

∫ π

−πlog(Φχ(e

jω))cos(ω) dω

)2,

που αποτελεί τη γενίκευση της Σχέσης Kolmogorov-Szego-Krein για τον εν λόγω προβλέπτη.

7.4 : Προσδιορίστε τις εξισώσεις που ορίζουν το βέλτιστο συμμετρικό φίλτρο Wiener πεπερασμέ-νου μήκους L = 2N + 1 και μηδενικής φάσης που εκτιμά το ςn από τα χn−N , . . . ,χn+L.Υπολογίστε το φίλτρο για την περίπτωση N →∞.

7.5 : Δίνεται ότι στοχαστικό σήμα χn είναι της μορφής χn = ςn+wn, όπου ςn το επιθυμητόσήμα και wn λευκός θόρυβος. Υποθέτουμε ότι ςn, wn έχουν μηδενικό μέσον όρο καιείναι ασυσχέτιστα με αυτοσυσχετίσεις

Rς(n) = 0.5|n|, Rw(n) = δ(n).

α) α προσδιοριστεί το βέλτιστο αιτιατό φίλτροWiener μήκους 3 καθώς και το αντίστοιχο ελάχι-στο τετραγωνικό σφάλμα. β) α βρεθεί το βέλτιστο συμμετρικό αιτιατό φίλτρο μήκους 3 καθώςκαι το αντίστοιχο ελάχιστο τετραγωνικό σφάλμα. γ) Ποιο από τα δύο φίλτρα έχει μεγαλύτεροσφάλμα; Πιστεύετε ότι η διάταξη αυτή των σφαλμάτων είναι τυχαία ή ισχύει πάντοτε και γιατί;

7.6 : Το σήμα χn είναι όπως στην Άσκηση 7.2. Προτείνετε μέθοδο υπολογισμού του αιτιατούφίλτρου Wiener μήκους L, το οποίο να εξαλείφει εντελώς την κυκλική συχνότητα ω0.

7.7 : Αποδείξτε ότι στην περίπτωση που το σήμα πληροφορίας και ο θόρυβος είναι ασυσχέτιστακαι δεν έχουν επικαλυπτόμενες συχνοτικές ζώνες (στην πυκνότητα φάσματος), το μη αιτιατόφίλτρο Wiener έχει απόκριση συχνότητας που είναι ή 0 ή 1.


7.8 : Έστω τυχαία και από κοινού στάσιμα σήματα ςn, χn με στατιστικές δεύτερης τάξηςRχ(n), Rχς(n). Ενδιαφερόμαστε για φίλτρο της γενικής μορφής

ςn = h1χn−n1 + h2χn−n2 + · · ·+ hLχn−nL ,

όπουn1, n2, . . . , nL γνωστοί ακέραιοι. Ειδικεύστε την εξίσωσηWiener-Hopf για την περίπτωσηαυτή. Είναι δυνατό να εφαρμοστεί ο αλγόριθμος Levinson για το σύστημα που προέκυψε;

7.9 : Βρείτε την αναδρομή του φίλτρου Kalman για τη περίπτωση που το σήμα εξόδου χn δενείναι βαθμωτό αλλά ακολουθία τυχαίων διανυσμάτων. Υπόδειξη: η πορεία είναι παρόμοια μετης βαθμωτής περίπτωσης, αφού εφαρμοστούν οι απαραίτητες τροποποιήσεις στις διαστάσεις τωνBn, qn και Kn.

7.10 : Έστω σύστημα στο χώρο κατάστασης το οποίο είναι χρονικά σταθερό Cn = C, Bn = B

και η είσοδος και ο θόρυβος μέτρησης είναι στάσιμα. Εάν δεν είναι γνωστός ο μέσος όρος S0

και η μήτρα συνδιασποράς Σ0 της αρχικής κατάστασης S0 και δοθούν αυθαίρετες τιμές στηναναδρομή του φίλτρου Kalman, τότε οι εκτιμήσεις Sn της κατάστασης που προκύπτουν δεν είναιφυσικά βέλτιστες. Αποδείξτε ότι, εάν το σύστημα είναι ευσταθές (οι ιδιοτιμές της C ανήκουνστο εσωτερικό του μοναδιαίου κύκλου), τότε 1[∥Sn − Sn∥2] → 0 εκθετικά γρήγορα με το n,όπου Sn συμβολίζει τις βέλτιστες εκτιμήσεις της κατάστασης υποθέτοντας γνωστά τα S0,Σ0. Τισυμπέρασμα βγάζετε από το αποτέλεσμα αυτό;

7.11 : Στην περίπτωση που το γραμμικό σύστημα δημιουργίας δεδομένων είναι στάσιμο, δηλαδήCn = C, Bn = B,Qn = Q, qn = q, εάν ορίσουμε ςn = DtSn, τότε αποδείξτε ότι, ότανn→∞, το φίλτρο Kalman το οποίο εκτιμά το σήμα ςn από το χn συγκλίνει στο αντίστοιχοβέλτιστο αιτιατό φίλτρο Wiener.

7.12 : Έστω χn =∑K

i=1 Ai cos(nωi+φi), όπου ωi ∈ [0 π], i = 1, . . . ,K, διαφορετικές συχνότη-τες. Αποδείξτε ότι το σήμα χn ικανοποιεί ένα μοντέλο ΑΠ τάξης 2K. Διαπιστώστε ότι το ενλόγω μοντέλο δεν εξαρτάται από τις παραμέτρους Ai,φi, i = 1, . . . ,K. Υπόδειξη: υπολογίστετο μοντέλο για μια συχνότητα και κατόπιν αποδείξτε ότι γινόμενα τέτοιων μοντέλων ικανοποιούντη γενική περίπτωση.

7.13 : Έστω σήμα χn με συνάρτηση αυτοσυσχέτισης Rχ(n) = .5|n| + 2(.2|n|). α) Υπολογίστετους συντελεστές ενός μοντέλου ΑΠ δεύτερης τάξης. β) Εξετάστε κατά πόσο το φίλτρο πουπροκύπτει είναι ευσταθές.

7.14 : Έστω σήμα χn το οποίο είναι ΑΠ τάξης L με συντελεστές ai, i = 1, . . . , L. Αποδείξτεότι, εάν μοντελοποιήσετε το σήμα αυτό με ένα μοντέλο ΑΠ τάξηςM > L και εκτιμήσετε τουςσυντελεστές του μοντέλου ελαχιστοποιώντας το μέσο τετραγωνικό σφάλμα, οι επιπλέον συντε-λεστές είναι ίσοι προς μηδέν. Ποιο είναι το πρακτικό συμπέρασμα του αποτελέσματος αυτούόσον αφορά στην ακριβή γνώση της τάξης του μοντέλου ΑΠ; σχύουν τα ίδια συμπεράσματα,όταν το κριτήριο είναι το τετραγωνικό σφάλμα όπου χρησιμοποιείτε τα δείγματα xn;

7.15 : Αποδείξτε ότι για τη συνάρτηση αυτοσυσχέτισης Rχ(n) ενός τυχαίου σήματος χn ισχύειRχ(0) ≥ |Rχ(k)|. α) Χρησιμοποιείστε την ιδιότητα αυτή για να δείξετε ότι, εάν εκτιμήσουμε


ένα μοντέλο ΑΠ πρώτης τάξης μέσω της Σχέσης (7.54), το φίλτρο που προκύπτει είναι ευσταθές.β) Δείξτε ότι η ιδιότητα της ευστάθειας δεν ισχύει υποχρεωτικά, εάν ο συντελεστής εκτιμηθεί μέ-σω της (7.55). γ) Τροποιείστε την εκτίμηση της (7.55) έτσι, ώστε ο συντελεστής που θα προκύψεινα καταλήγει σε ευσταθές φίλτρο. Υπόδειξη: για το αρχικό ερώτημα θεωρείστε την μήτρα συν-διασποράς των τυχαίων μεταβλητών [χn χn−k], η οποία είναι θετικά ορισμένη. Χρησιμοποιείστεγνωστή ιδιότητα της ορίζουσας θετικά ορισμένων μητρών.

7.16 : Έστω το σήμα χn ότι είναι ΑΠ τάξης L. Δείξτε ότι η συνάρτηση συνδιασποράς Rχ(n)

είναι άθροισμα εκθετικών συναρτήσεων.

7.17 : Έστω στοχαστικά σήματα ςn, χn τα οποία συνδέονται μέσω της σχέσης ςn = h0χn +

· · · + hL−1χn−L+1 + wn, όπου wn λευκός θόρυβος ασυσχέτιστος του σήματος χn καιhi ντετερμινιστικοί συντελεστές. Εάν η μήτρα συνδιασποράς του τυχαίου διανύσματος Xn =

[χn · · ·χn−L+1]t είναι μη ιδιάζουσα τότε: α) δείξτε ότι η εκτίμηση ελαχίστων τετραγώνων τηςΕξίσωσης (7.50) είναι αμερόληπτη για κάθε τιμή του συντελεστή λήθης 0 < λ ≤ 1. β) Γιασυντελεστή λήθης αρκούντως κοντά στη μονάδα δείξτε ότι η διασπορά του σφάλματος εκτίμησηςείναι ανάλογη του (1 − λ). γ) Δείξτε ότι για λ = 1 η εκτίμηση είναι συνεπής και με χρήσητου Α και του ΟΘ δείξτε ότι το σφάλμα εκτίμησης, μετά από κατάλληλη κανονικοποίησησυγκλίνει σε ένα Gaussian διάνυσμα.

7.18 : Αναπτύξτε αναδρομικό αλγόριθμο πολυπλοκότηταςO(L2) για την αναδρομική επίλυση τηςΕξίσωσης (7.51). Συγκρίνατε την πολυπλοκότητα του αλγορίθμου με την ΑΕΤ εκθετικού παρα-θύρου. Εάν τα δύο σήματα ςn, χn είναι όπως και στην προηγούμενη άσκηση, αποδείξτε ότιη εκτίμηση είναι αμερόληπτη.

7.19 : Στο κριτήριο ελαχίστων τετραγώνων δειγμάτων, θεωρείστε ότι τα σήματα ςn, χn δενέχουν μηδενική μέση τιμή, οπότε απαιτείται και μια επιπλέον παράμετρος d για τους μέσουςόρους. α) Βρείτε το σύστημα γραμμικών εξισώσεων που υπολογίζει το διάνυσμα HL και τησταθερά d. β) Πως σχετίζεται η εν λόγω σταθερά με τους μέσους όρους των δύο σημάτων καιτους συντελεστέςHL; γ) Προσδιορίστε την αντίστοιχη ΑΕΤ για την περίπτωση αυτή.

8Ανίχνευση και εκτίμηση σεσήματα συνεχούς χρόνου

8.1 Εισαγωγικά

170

9Ακολουθιακές τεχνικές εκτίμησηςκαι ανίχνευσης

9.1 Εισαγωγικά9.2 Βέλτιστη ακολουθιακή εξέταση δυαδικών υποθέσεων9.3 Βέλτιστη ακολουθιακή ανίχνευση αλλαγών9.4 Ακολουθιακή εκτίμηση παραμέτρων

171

ΑΣυμπλήρωμα θεωρίαςπιθανοτήτων

Α.1 Εισαγωγικά

Πολύ συχνά στην πράξη, είναι απαραίτητο για την αξιολόγηση ενός συστήματος ή μιαςτεχνικής επεξεργασίας να απαιτείται εξομοίωση. Οι εξομοιώσεις έχουν σαν βασικό τουςσυστατικό τη δημιουργία υλοποιήσεων τυχαίων μεταβλητών με συγκεκριμένη κατανο-μή. Το πρόβλημα αυτό θα μας απασχολήσει στη συνέχεια και θα προταθούν συγκεκρι-μένες και απλές μεθοδολογίες δημιουργίας δεδομένων.

Ένα δεύτερο πολύ συχνό πρόβλημα που εμφανίζεται στις εξομοιώσεις (ειδικά Ψη-φιακών Τηλεπικοινωνιακών συστημάτων) είναι η ανάγκη υπολογισμού της πιθανότηταςενός σπάνιου (με μικρή πιθανότητα εμφάνισης) γεγονότος. Υπολογισμοί του τύπου αυ-τού απαιτούν συνήθως εξαιρετικά μεγάλο αριθμό επαναλήψεων των πειραμάτων, προ-κειμένου να επιτευχθεί ικανοποιητικός αριθμός εμφανίσεων του σπάνιου γεγονότος πουνα επιτρέπει την αξιόπιστη εκτίμηση της αντίστοιχης πιθανότητας. Θα παρουσιαστεί στησυνέχεια μια ενδιαφέρουσα τεχνική επιτάχυνσης των εκτιμήσεων μικρών πιθανοτήτων,η οποία βασίζεται στη δυνατότητα αλλαγής μέτρου του Εδαφίου 2.5.

Α.2 Όρια στοχαστικών ακολουθιών

ε δεδομένο ότι μια τυχαία μεταβλητή είναι μια συνάρτηση της επιλογής θ της Φύ-σης, γίνεται κατανοητό ότι σύγκλιση σε στοχαστικές ακολουθίες ισοδυναμεί με σύγκλι-ση ακολουθίας συναρτήσεων. Δυστυχώς, όπως είναι γνωστό από την Ανάλυση, οι έν-νοια αυτή δεν είναι μονοσήμαντα ορισμένη. Θα αναφερθούμε στα σπουδαιότερα είδησύγκλισης, ορισμένα από τα οποία χρησιμοποιούνται στην κυρίως ύλη του βιβλίου.

Έστω ακολουθία τυχαίων μεταβλητών χn και τυχαία μεταβλητή χ. Παρουσιά-ζουμε στη συνέχεια διαφορετικές μορφές σύγκλισης της ακολουθίας χn προς τη χ.

172

Α.3 Αθροίσματα τυχαίων μεταβλητών 173

Σύγκλιση υπό την έννοια της κατανομής: όταν ∀ x ∈ R, ισχύει

limn→∞

S(χn ≤ x) = S(χ ≤ x).

Σύγκλιση υπό την έννοια της πιθανότητας: όταν ∀ ϵ > 0, ισχύει ότι

limn→∞

S(|χn − χ| > ϵ) = 0.

Μέση τετραγωνική σύγκλιση: όταν

limn→∞

1[(χn − χ)2] = 0.

Γενίκευση της έννοιας αυτής αποτελεί η σύγκλιση κατά την p-οστή ροπή

limn→∞

1[|χn − χ|p] = 0,

όπου p ≥ 1.

Σχεδόν βέβαιη, ή με πιθανότητα 1, σύγκλιση: όταν ∀ ϵ > 0, ισχύει ότι

limn→∞

S (∪m≥n|χm − χ| > ϵ) = 0.

Η σύγκλιση υπό την έννοια της κατανομής είναι η πλέον αδύναμη αφού όλες οι υπό-λοιπες μορφές τη συνεπάγονται. Η δεύτερη πιο αδύναμη σύγκλιση είναι υπό την έννοιατης πιθανότητας την οποία συνεπάγονται οι επόμενες δύο δηλαδή η μέση τετραγωνικήκαι η σχεδόν βέβαιη. Τέλος για τις άλλες δύο δεν υπάρχει προκαθορισμένη διάταξη. Εί-ναι δυνατό μια στοχαστική ακολουθία να παρουσιάζει μέση τετραγωνική σύγκλιση καιόχι σχεδόν βέβαιη και το αντίστροφο. Ωστόσο η σχεδόν βέβαιη σύγκλιση, όπως δηλώνεικαι το όνομά της, θεωρείται το αντίστοιχο της ντετερμινιστικής σύγκλισης.

Α.3 Αθροίσματα τυχαίων μεταβλητών

Στη συνέχεια θα εξεταστεί η στατιστική συμπεριφορά αθροίσματος τυχαίων μεταβλη-τών. Συγκεκριμένα θα παρουσιαστούν τρεις τρόποι ανάλυσης αθροισμάτων οι οποίοιδιαφέρουν στο είδος της κανονικοποίησης που εφαρμόζεται στα αθροίσματα. Τα αποτε-λέσματα που απορρέουν από τις αντίστοιχες αναλύσεις διαφέρουν σημαντικά με συνέ-πεια να απαιτείται ιδιαίτερη προσοχή κατά την εφαρμογή τους ώστε να μην οδηγηθούμεσε λάθος συμπεράσματα.

174 Παράρτημα Α :Συμπλήρωμα θεωρίας πιθανοτήτων

Α.3.1 Νόμος των μεγάλων αριθμώνΈστω ακολουθία τυχαίων μεταβλητών1 χn της οποίας διαμορφώνουμε τον αριθμητικόμέσον όρο των n πρώτων όρων της

χn =χ1 + χ2 + · · ·+ χn

n.

Είναι φανερό ότι η ακολουθία χn είναι επίσης στοχαστική διαδικασία. Εκ των όσωνέχουν αναφερθεί στα προηγούμενα εδάφια, καθώς το n αυξάνει, αναμένεται το χn νασυγκλίνει σε μια ντετερμινιστική σταθερά. Όπως διαπιστώσαμε στο προηγούμενο εδά-φιο η έννοια της σύγκλισης δεν είναι μονοσήμαντη. Εδώ θα αναφερθούμε μόνο στηνμέση τετραγωνική που είναι η απλούστερη από άποψη κατανόησης, ωστόσο ο νόμοςτων μεγάλων αριθμών ισχύει και για την περίπτωση της σχεδόν βέβαιης σύγκλισης.

Νόμοςτωνμεγάλωναριθμών(ΝΜΑ) :Έστωακολουθία τυχαίων μεταβλητών χnμε όρους που είναι ανεξάρτητες και της ίδιας κατανομής τυχαίες μεταβλη-τές με κοινό στοχαστικό μέσον όρο µ και πεπερασμένη διασπορά σ2, τότε

limn→∞

χn = limn→∞

χ1 + · · ·+ χn

n= µ,

υπό την έννοια της μέσης τετραγωνικής σύγκλισης, δηλαδή

limn→∞

1[(χn − µ)2] = limn→∞

1[(

(χ1 − µ) + · · ·+ (χn − µ)

n

)2]= 0.

Η απόδειξη της πρότασης είναι εξαιρετικά απλή, αφού, λόγω ανεξαρτησίας των τυ-χαίων μεταβλητών συμπεραίνουμε ότι

1[χn] = µ και 1[(χn − µ)2] =σ2

n.

Η συγκεκριμένη μορφή του Α μας δηλώνει ότι στο όριο ο αριθμητικός μέσος όροςχn έχει μέση τιμή µ και μηδενική διασπορά, πράγμα που σημαίνει ότι δεν διαφέρει απόμια σταθερά. όγω της σύγκλισης αυτής ο αριθμητικός μέσος όρος χn είναι δυνατόνα χρησιμοποιηθεί σαν εκτιμητής του (κοινού) στοχαστικού μέσου όρου µ των τυχαίωνμεταβλητών χn. Η υπόθεση ότι οι τυχαίες μεταβλητές είναι ανεξάρτητες και της ίδιαςκατανομής παρατηρούμε ότι εξασφαλίζει εργοδικότητα πρώτης τάξης στο σήμα χn.Θα πρέπει ωστόσο να σημειωθεί ότι η υπόθεση αυτή δεν είναι αναγκαία, αφού στηνπραγματικότητα ο Α ισχύει κάτω από πολύ γενικότερες συνθήκες2.

1Η ακολουθία μπορεί να αναφέρεται σε διαφορετικές χρονικές στιγμές μιας υλοποίησης ενός τυχαίουσήματος ή σε ακολουθία διαφορετικών υλοποιήσεων της ίδιας τυχαίας μεταβλητής.

2Ενδιαφέρουσες γενικεύσεις του Α καθώς και του ΟΘ που βασίζονται στις έννοιες τωνmartingalesπεριέχονται στο βιβλίο [HH1980].


ΠαράδειγμαΑ.1 : Άμεση γενίκευση του Α αποτελεί η περίπτωση της ακολουθίας χn με όρουςανεξάρτητους αλλά όχι της ίδιας κατανομής. Εάν µn είναι η ακολουθία των μέσων όρων καισ2

n των διασπορών και ισχύει limn→∞σ21+···+σ2

nn2 = 0, τότε

χ1 + · · ·+ χn

n− µ1 + · · ·+ µn

n→ 0,

όπου η σύγκλιση είναι μέση τετραγωνική. Σημειώνεται ότι η γενίκευση αναφέρεται στη διαφοράτων δύο ποσοτήτων ότι συγκλίνει στο μηδέν ακόμη και εάν ο λόγος µn = µ1+···+µn

n δεν συγκλί-νει. Όταν µn → µ τότε μπορούμε επίσης να γράψουμε την κλασική μορφή του Α, δηλαδήχn → µ. Η απόδειξη είναι απλή και επαφίεται σαν άσκηση στον αναγνώστη.

Α.3.2 Κεντρικό οριακό θεώρημαΥπό κάποια έννοια, το δεύτερο θεώρημα που θα παρουσιάσουμε εκτιμά τη μορφή τουσφάλματος του προηγούμενου θεωρήματος. Όπως είδαμε από τον Α, η διαφορά με-ταξύ χn και µ τείνει στο μηδέν. Εάν το χn θεωρηθεί σαν εκτιμητής του μέσου όρου µ,η τυχαία μεταβλητή χn − µ τότε εκφράζει το σφάλμα εκτίμησης του µ. Το εντρι-κό Οριακό Θεώρημα ( ΟΘ) προσδιορίζει τη μορφή της συνάρτησης κατανομής του ενλόγω σφάλματος.

Κεντρικό οριακό θεώρημα (ΚΟΘ) : Έστω ακολουθία ανεξάρτητων και της ίδιαςκατανομής τυχαίων μεταβλητών χn με κοινό στοχαστικό μέσον όρο µκαι πεπερασμένη διασπορά σ2 > 0 τότε, υπό κατάλληλες συνθήκες3, γιακάθε πεπερασμένο πραγματικό αριθμό x ισχύει ότι

limn→∞

S(√

n

σ(χn − µ) ≤ x

)=

limn→∞

S((χ1 − µ) + · · ·+ (χn − µ)

σ√n

≤ x

)= Φ(x),

όπου Φ(x) η συνάρτηση κατανομής μιας κανονικοποιημένης Gaussian τυ-χαίας μεταβλητής N (0, 1) με μέση τιμή μηδέν και διασπορά μονάδα.

ε άλλα λόγια η ακολουθία των τυχαίων μεταβλητών √nσ (χn−µ) συγκλίνει, υπό την

έννοια της κατανομής, σε μια κανονικοποιημένη Gaussian.ολονότι η λεπτομερής απόδειξη του ΟΘ ξεφεύγει από τα πλαίσια του βιβλίου,

θεωρείται σκόπιμο να παρουσιαστεί η κεντρική ιδέα επειδή παρουσιάζει ιδιαίτερο εν-διαφέρον λόγω της απλότητάς της. Εάν καλέσουμε F (jΩ) = 1[ejΩ(χk−µ)] τη χαρα-κτηριστική συνάρτηση της τυχαίας μεταβλητής χk − µ, τότε με ανάπτυγμα Tailor της

3Για να ισχύει το ΟΘ απαιτείται μια επιπλέον συνθήκη που αφορά τη συμπεριφορά της κοινής πυκνό-τητας πιθανότητας για μεγάλες τιμές του ορίσματός της. Βασικά η πυκνότητα πιθανότητας δεν πρέπει ναέχει υπερβολικά παχιές “ουρές” και αυτό εξασφαλίζεται με τη βοήθεια της συνθήκης του Lindeberg (βλέπε[HH1980] και παρακάτω στη γενίκευση του ΟΘ).


εκθετικής συνάρτησης έχουμε ότι

F (jΩ)= 1 +jΩ

1!1[χk − µ] +

(jΩ)2

2!1[(χk − µ)2] +

(jΩ)3

3!1[(χk − µ)3] + · · ·

= 1− Ω2

2σ2 − j

Ω3

61[(χk − µ)3] + · · ·

Από τη σχέση αυτή συμπεραίνουμε ότι

1[ejΩχk−µ√

nσ ] = F

(jΩ√nσ

)= 1− Ω2

2n+ o

(1

n

)

πράγμα που αποδίδει

1[ej Ω√

nσ

∑nk=1(χk−µ)

]= 1

[n∏

k=1

ej Ω√

nσ(χk−µ)

]

=n∏

k=1

1[ej Ω√

nσ(χk−µ)

]=

[1− Ω2

2n+ o

(1

n

)]n

→ e−12Ω

2.

Το τελευταίο όριο αποτελεί τη χαρακτηριστική συνάρτηση μιας κανονικοποιημένης τυ-χαίας Gaussian μεταβλητής. Η δυσκολία της απόδειξης έγκειται στον κατάλληλο έλεγχοτου όρου που συμβολίσαμε σαν o( 1n) ώστε να εξασφαλιστεί η ορθότητα του ορίου. Οέλεγχος αυτός επιτυγχάνεται με τη συνθήκη του Lindeberg.

Εάν η ακολουθία χn έχει όρους που είναι ανεξάρτητοι αλλά όχι της ίδιας κατα-νομής και µn είναι η ακολουθία των μέσων όρων, σ2n η ακολουθία των διασπορώντότε η αντίστοιχη μορφή του ΟΘ γίνεται

limn→∞

S((χ1 − µ1) + · · ·+ (χn − µn)√

σ21 + · · ·+ σ2n≤ x

)= Φ(x).

κανή συνθήκη για την ισχύ της γενικευμένης μορφής του ΟΘ αποτελεί η συνθήκηLindeberg ∑n

k=1 1[(χk − µk)2 |χk−µk|≥ϵ

√∑ni=1 σ

2i ]

∑nk=1 σ

2k

→ 0,

η οποία πρέπει να ισχύει για κάθε ϵ > 0. κανή συνθήκη η οποία εξασφαλίζει τηνισχύ της προηγούμενης σχέσης είναι να υπάρχουν θετικές σταθερές c, δ τέτοιες, ώστε1[|χn|2+δ] ≤ c για κάθε n και

∑nk=1 σ

2k

1+δ√n→∞.

Υπάρχουν φυσικά γενικεύσεις για περιπτώσεις τυχαίων μεταβλητών που δεν είναικατ’ ανάγκην ανεξάρτητες. Η πλέον ενδιαφέρουσα γενίκευση αναφέρεται στις martinga-les. Πρέπει ωστόσο να σημειώσουμε ότι η ισχύς του ΟΘ είναι σαφώς πιο περιορισμένηαπό ό,τι του Α.


Πρέπει τέλος να επισημάνουμε ότι η ιδιότητα αυτή του να αθροίζουμε τυχαίες μετα-βλητές με πρακτικά αυθαίρετη κατανομή και να καταλήγουμε σε Gaussian είναι πραγμα-τικά θαυμαστή. Η προσέγγιση μάλιστα είναι πολύ ικανοποιητική ακόμη και για μικρά n.Επειδή δε σε πολλές εφαρμογές τα περισσότερα σήματα ενδιαφέροντος προέρχονται απόάθροιση άλλων τυχαίων σημάτων, αυτό έχει σαν αποτέλεσμα η Gaussian να αποτελεί τοπλέον διαδεδομένο και δημοφιλές μοντέλο περιγραφής σημάτων στην πράξη.

Α.3.3 Φράγμα ChernoffΟ υπολογισμός της συνάρτησης κατανομής αθροίσματος τυχαίων μεταβλητών υπεισέρ-χεται συχνά στον υπολογισμό της απόδοσης συστημάτων ανίχνευσης όπως στον υπο-λογισμό της πιθανότητας ανίχνευσης και λανθασμένου συναγερμού. Είναι επομένωςαπαραίτητο να αναπτυχθούν εύκολοι τρόποι προσέγγισης των εν λόγω πιθανοτήτων. ΤοΟΘ αποτελεί δίχως άλλο μια δυνατή μεθοδολογία προς την κατεύθυνση αυτή. Στη

συνέχεια θα παρουσιάσουμε ένα δεύτερο τρόπο υπολογισμού πιθανοτήτων της μορφήςαυτής.

ΦράγμαChernoff :Έστω ακολουθία ανεξάρτητων και της ίδιας κατανομής τυ-χαίων μεταβλητών χn με κοινό στοχαστικό μέσον όρο µ, καθώς και στα-θερά δ > 0 τότε

limn→∞

1

nlogS

((χ1 − µ) + · · ·+ (χn − µ)

n≥ δ)

=

mins≥0

−s(µ+ δ) + log (1[esχ1 ]) .

Αποδεικνύεται εύκολα, με τη βοήθεια της ανισότητας Chebyshev (βλέπε επόμενοεδάφιο), ότι η δεύτερη ποσότητα αποτελεί άνω φράγμα της πρώτης για κάθε n. Το γε-γονός ότι αποτελεί επίσης και το όριό της είναι γνωστό σαν Θεώρημα Crammer. Δυ-στυχώς η απόδειξη του εν λόγω θεωρήματος ξεφεύγει από τα στενά όρια του παρόντοςπαραρτήματος. Αξίζει να σημειωθεί ότι αποτελέσματα της μορφής αυτής κατατάσσο-νται στην περιοχή των Μεγάλων Αποκλίσεων (Large Deviations) και ο ενδιαφερόμενοςαναγνώστης μπορεί να ανακαλύψει τις απαραίτητες λεπτομέρειες της απόδειξης καθώςκαι ικανό αριθμό άλλων σημαντικών αποτελεσμάτων στο βιβλίο [ST1984].

Όπως αναφέρθηκε στην αρχή του εδαφίου, το Φράγμα Chernoff επιχειρεί, όπως καιτο ΟΘ να προσεγγίσει την κατανομή αθροίσματος α.ι.κ. τυχαίων μεταβλητών. Συγκρί-νοντας όμως τις δύο περιπτώσεις διαπιστώνουμε ουσιαστική διαφορά στον τρόπο κανο-νικοποίησης του αθροίσματος. Στη μεν περίπτωση του ΟΘ η κανονικοποίηση γίνεταιμε√n ενώ στο Φράγμα Chernoff με n. Το Φράγμα Chernoff είναι ίσος περισσότερο

γνωστό με την ακόλουθη μορφή

limn→∞

1

nlogS (χ1 + · · ·+ χn ≥ n r) = min

s≥0−s r + log (1[esχ1 ]) = c < 0,


όπου r > µ, και βασικά ισχυρίζεται4 ότι S(χ1 + · · · + χn ≥ n r) ∼ enc. Αφού c < 0(γιατί;), συμπεραίνουμε ότι η πιθανότητα την οποία επιχειρούμε να εκτιμήσουμε συ-γκλίνει εκθετικά γρήγορα στο μηδέν και το Φράγμα Chernoff προσδιορίζει τον εκθετικόρυθμό σύγκλισης c.

ε βάση το προηγούμενο αποτέλεσμα είναι επίσης εύκολο να αποδειχθεί ότι

limn→∞

1

nlog (1− S (χ1 + · · ·+ χn ≥ n r)) =

mins≥0

s r + log

(1[e−sχ1 ]

)< 0, για r < µ.

Δηλαδή όταν r < µ τότε έχουμε εκθετικά γρήγορη σύγκλιση της πιθανότητας ενδιαφέ-ροντος στη μονάδα.

Α.4 Σημαντικές ανισότητεςΣτο παρόν εδάφιο θα παρουσιάσουμε έναν αριθμό από ενδιαφέρουσες και χρήσιμες ανι-σότητες που συναντώνται στη θεωρία πιθανοτήτων.

Α.4.1 Ανισότητα ChebyshevΈστω θετική τυχαία μεταβλητή ψ τότε ισχύει ότι

S(ψ ≥ y) ≤ 1[ψ]y

, ψ, y ≥ 0.

Η απόδειξη είναι εξαιρετικά απλή

S(ψ ≥ y) =

∫ ∞

yfψ(z) dz ≤

∫ ∞

y

z

yfψ(z) dz ≤

∫ ∞

0

z

yfψ(z) dz =

1[ψ]y

.

Υπάρχουν πολλές γνωστές ανισότητες που αποτελούν άμεση απόρροια της ανισότηταςChebyshev. Αναφέρουμε ενδεικτικά, δίχως απόδειξη, μερικές, όπου χ όχι απαραίτηταθετική τυχαία μεταβλητή

S(|χ| ≥ x) ≤ 1[|χ|p]xp

S(|χ− µ| ≥ νσχ) ≤1

ν2

S(χ ≥ x) ≤ mins≥0

1[es(χ−x)].

Η τελευταία ανισότητα χρησιμοποιείται για την απόδειξη του Φράγματος Chernoff.4Θα πρέπει να τονιστεί ότι από το Φράγμα Chernoff δεν απορρέει ότι η πιθανότητα ενδιαφέροντος είναι

της τάξης O(ecn). Είναι δυνατόν οι δύο ποσότητες να διαφέρουν σε τάξη και παρ’ όλα αυτά το ΦράγμαChernoff να ισχύει! Π.χ. διαπιστώστε ότι εάν η πιθανότητα ενδιαφέροντος είναι ίση προς ndecn, όπου dσταθερά, το Φράγμα Chernoff ισχύει αλλά οι δύο ποσότητες δεν είναι της ίδιας τάξης αφού ο λόγος τουςτείνει στο 0 όταν d < 0 και στο ∞ όταν d > 0. Συνεπώς προσεγγίζοντας την πιθανότητα ενδιαφέροντοςμε ecn είναι δυνατό να οδηγήσει σε σημαντική υπερεκτίμηση ή υποεκτίμησή της!

Α.5 ατάλογος κατανομών 179

Α.4.2 Ανισότητα Cauchy-Schwarz

Έστω δύο τυχαίες μεταβλητές χ,ψ τότε

(1[χψ])2 ≤ 1[χ2]1[ψ2].

σότητα έχουμε εάν και μόνον εάν χ = αψ, όπου α βαθμωτή σταθερά.

Παρατηρούμε ότι μπορούμε να ορίσουμε το εσωτερικό γινόμενο ≺χ,ψ≻= 1[χψ]και κατόπιν να εφαρμόσουμε τη γενική ανισότητα των Cauchy-Schwarz για χώρο εσω-τερικού γινομένου (≺χ,ψ≻)2 ≤≺χ,χ≻≺ψ,ψ≻.

Α.4.3 Ανισότητα Jensen

Έστω συνάρτηση g(x) η οποία είναι κυρτή (κοίλη) και τυχαία μεταβλητή χ, τότε

1[g(χ)] ≥ (≤)g(1[χ]).

σότητα έχουμε όταν και μόνον όταν g(χ) = αχ+ β με πιθανότητα ένα. Εάν η συνάρ-τηση είναι αυστηρώς κυρτή (κοίλη) τότε ισότητα έχουμε όταν και μόνον όταν η τυχαίαμεταβλητή χ είναι ίση προς μια σταθερά με πιθανότητα ένα.

Η απόδειξη της ανισότητας του Jensen είναι ενδιαφέρουσα και όχι ιδιαίτερα δύσκο-λη. Θα την παρουσιάσουμε για την περίπτωση της κυρτής συνάρτησης. όγω κυρτότη-τας η συνάρτηση g(x) βρίσκεται πάντοτε στο πάνω μέρος οποιασδήποτε εφαπτομένηςστην καμπύλη y = g(x). Έστω a = 1[χ] τότε η εφαπτομένη στην καμπύλη στο σημείοx = a έχει εξίσωση g(a) + g′(a)[x− a] και λόγω κυρτότητας

g(x) ≥ g(a) + g′(a)[x− a]. (Α.1)

Η ανισότητα προκύπτει άμεσα με αντικατάσταση του x με χ και εφαρμογή του μέσουόρου. Παρατηρούμε ότι εάν μετά την αντικατάσταση έχουμε ισότητα στην (Α.1) μεπιθανότητα ένα (περίπτωση της γραμμικότητας) τότε ισχύει η ισότητα στην ανισότηταJensen. Εάν ωστόσο στην (Α.1) η ισότητα ισχύει μόνο για το σημείο x = a και για όλατα άλλα σημεία έχουμε αυστηρή ανισότητα (περίπτωση αυστηρώς κυρτής συνάρτησης)τότε έχουμε ισότητα στην ανισότητα Jensen μόνον όταν η τυχαία μεταβλητή χ είναι ίσηπρος τη μέση της τιμή a με πιθανότητα ένα.

Α.5 Κατάλογος κατανομών

Στο παρόν εδάφιο θα αναφερθεί ένας αριθμός από ενδιαφέρουσες κατανομές τυχαίωνμεταβλητών οι οποίες εμφανίζονται συχνά σε προβλήματα εφαρμογών.


Gaussian ή ΚανονικήΗ τυχαία μεταβλητή χ θα καλείται Gaussian ή κανονική με μέση τιμή µ και διασποράσ2 και θα συμβολίζουμε N (µ,σ2) όταν η πυκνότητα πιθανότητας είναι της μορφής

fχ(x) =1√2πσ2

e−1

2σ2 (x−µ)2 .

Γενικότερα ένα διάνυσμαX μήκουςN θα καλείται Gaussian με μέση τιμή X και μήτρασυνδυασποράς ΣX και θα συμβολίζουμε N (X ,ΣX ) όταν η από κοινού πυκνότηταπιθανότητας είναι της μορφής

fX (X) =1√

(2π)N |Σχ|e−

12 (X−X )tΣ−1

X (X−X ),

όπου |Σχ| συμβολίζει την ορίζουσα της μήτρας.

ΟμοιόμορφηΗ τυχαία μεταβλητή χ καλείται ομοιόμορφη στο διάστημα [α,β] όταν η πυκνότητα πι-θανότητας είναι της μορφής

fχ(x) =

1β−α για α ≤ x ≤ β0 αλλού.

σχύει ότι 1[χ] = α+β2 , Διασπχ = (β−α)2

12 .

ΕκθετικήΗ πυκνότητα πιθανότητας ορίζεται για µ > 0

fχ(x) = µe−µxu(x),

όπου u(x) η μοναδιαία βηματική συνάρτηση5. σχύει ότι 1[χ] = 1µ , Διασπχ = 1

µ2 .

LaplaceΗ πυκνότητα πιθανότητας ορίζεται για µ > 0

fχ(x) =µ

2e−µ|x|.

σχύει ότι 1[χ] = 0, Διασπχ = 2µ2 .

ReyleighΗ πυκνότητα πιθανότητας ορίζεται

fχ(x) =x

λe−

x2

2λu(x), λ > 0.

σχύει ότι 1[χ] =√

πλ2 , Διασπχ = 2λ.

5Η μοναδιαία βηματική συνάρτηση u(x) ορίζεται να είναι ίση προς τη μονάδα για x ≥ 0 και μηδέναλλού.

Α.5 ατάλογος κατανομών 181

CauchyΗ πυκνότητα πιθανότητας ορίζεται

fχ(x) =σ

π

1

σ2 + x2.

σχύει ότι 1[χ] = 0, Διασπχ =∞.

Student’s-tΗ πυκνότητα πιθανότητας ορίζεται

fχ(x) =Γ(ν+1

2 )σν√νπΓ(ν2 )(σ

2 + x2

ν )ν+12

.

σχύει ότι 1[χ] = 0, Διασπχ = σ2 νν−2 όταν ν > 2 και Διασπχ = ∞ για ν ≤ 2.

Είναι φανερό ότι η Cauchy αποτελεί ειδική περίπτωση της student’s-t με επιλογή ν = 1.

Κεντρική χ-τετράγωνοΗ τυχαία μεταβλητή χ2 θα καλείται κεντρική χ-τετράγωνο με N βαθμούς ελευθερίαςεάν

χ2 = χ21 + χ2

2 + · · ·+ χ2N

όπου χn είναι ανεξάρτητες Gaussian με χn ∼ N (0, 1). Έχουμε επίσης ότι 1[χ2] = N ,Διασπχ2 = 2N .

Μη κεντρική χ-τετράγωνοΗ τυχαία μεταβλητή χ2 θα καλείται μη κεντρική χ-τετράγωνο μεN βαθμούς ελευθερίαςκαι συντελεστή μη κεντρικότητας c2, όταν

χ2 = χ21 + χ2

2 + · · ·+ χ2N

όπου χn είναι ανεξάρτητες Gaussian μεταβλητές με χn ∼ N (µn, 1) και ο συντελεστήςμη κεντρικότητας ορίζεται σαν

c2 = µ21 + µ2

2 + · · ·+ µ2N .

Έχουμε επίσης ότι 1[χ2] = c2 +N , Διασπχ2 = 2N + 4c2.

Γενικευμένη GaussianΗ τυχαία μεταβλητή χ θα καλείται γενικευμένη Gaussian με μέση τιμή µ και διασποράσ2, εάν η πυκνότητα πιθανότητας είναι της μορφής

fχ(x) =ω(β)

σexp

(−c(β)

∣∣∣∣x− µ

σ

∣∣∣∣β)


όπου

c(β) =

(Γ( 3β )

Γ( 1β )

)β/2, ω(β) =

β√Γ( 3β )

2 1.5

√Γ( 1β )

,

και β,σ > 0. Σημειώνεται ότι, όταν ο εκθέτης β είναι μικρότερος του 2 η κατανομήκαλείται super-Gaussian ενώ όταν είναι μεγαλύτερος sub-Gaussian (όταν φυσικά είναιίσος με 2 καλείται. . .Gaussian).

Κατανομή PoissonΗ εν λόγω κατανομή αναφέρεται σε τυχαία μεταβλητή χ η οποία παίρνει ακέραιες, μηαρνητικές τιμές. Επομένως στην περίπτωση αυτή δεν έχουμε πυκνότητα πιθανότηταςαλλά ορίζουμε την πιθανότητα

S(χ = n) =λn

n!e−λ, n = 0, 1, 2, . . .

όπου λ > 0. σχύει ότι 1[χ] = Διασπχ = λ. Η κατανομή Poisson χρησιμοποιείταικυρίως στη μοντελοποίηση ουρών αναμονής. Στην περίπτωση αυτή λέμε ότι έχουμεπ.χ. αφίξεις Poisson με ρυθμό ρ, γεγονός που υποδηλώνει ότι σε οποιοδήποτε χρονικόδιάστημα T ο αριθμός χ των αφίξεων έχει κατανομή Poisson με παράμετρο λ = ρT .Πολύ σημαντικό επίσης χαρακτηριστικό για την περίπτωση αυτή αποτελεί η ιδιότητα ότιοι χρόνοι μεταξύ διαδοχικών αφίξεων είναι ανεξάρτητοι και της ίδιας κατανομής η οποίαείναι εκθετική με παράμετρο µ = ρ.

Α.6 Μέθοδοι υλοποίησης τυχαίων μεταβλητώνΘα παρουσιαστούν τρεις διαφορετικοί τρόποι παραγωγής υλοποιήσεων τυχαίων μετα-βλητών δύο από τους οποίους είναι γενικές μεθοδολογίες ενώ η τρίτη αναφέρεται στηδημιουργία Gaussian μεταβλητών. Σε όλες τις περιπτώσεις ενδιαφερόμαστε για τη δη-μιουργία υλοποιήσεων μιας τυχαίας μεταβλητής χ με γνωστή πυκνότητα πιθανότηταςfχ(x).

Α.6.1 Μέθοδος της αντίστροφης συνάρτησης κατανομήςΥπάρχει ένα ενδιαφέρον αποτέλεσμα της Θεωρίας Πιθανοτήτων στο οποίο βασίζεται ηπρώτη μέθοδος που θα παρουσιασθεί. Έστω 6χ(x) =

∫ x−∞ fχ(τ) dτ η συνάρτηση κατα-

νομής της τυχαίας μεταβλητής χ. Εάν ζ τυχαία μεταβλητή, ομοιόμορφα κατανεμημένηστο διάστημα [0, 1] και εφαρμόσουμε το μετασχηματισμό

χ = 6−1χ (ζ)

όπου 6−1χ (·) η αντίστροφη συνάρτηση της 6χ(·), τότε η τυχαία μεταβλητή χ έχει συ-

νάρτηση κατανομής Fχ(x) και ως εκ τούτου πυκνότητα πιθανότητας fχ(x). Η απόδειξηείναι εξαιρετικά απλή, παρατηρούμε ότι

S(χ ≤ x) = S(6−1χ (ζ) ≤ x) = S(ζ ≤ 6χ(x)) = 6χ(x),

Α.6 έθοδοι υλοποίησης τυχαίων μεταβλητών 183

όπου η τελευταία ισότητα ισχύει επειδή η τυχαία μεταβλητή ζ είναι ομοιόμορφη με συ-νάρτηση κατανομής S(ζ ≤ z) = z για z ∈ [0, 1].

Η απλή αυτή διαπίστωση προσφέρεται για άμεση δημιουργία υλοποιήσεων της χ.Εάν με τη βοήθεια γεννήτριας τυχαίων αριθμών (π.χ. στη Matlab με την εντολή `M/)δημιουργήσουμε υλοποιήσεις z1, . . . , zn της ομοιόμορφης τυχαίας μεταβλητής ζ καικατόπιν εφαρμόσουμε το μετασχηματισμό xn = 6−1

χ (zn) τότε, σύμφωνα με τα όσαειπώθηκαν, τα x1, . . . , xn αποτελούν υλοποιήσεις της τυχαίας μεταβλητής χ.

Η μέθοδος που μόλις περιγράψαμε δημιουργεί, με κάθε υλοποίηση zn της ομοιό-μορφης τυχαίας μεταβλητής, μια υλοποίηση xn της τυχαίας μεταβλητής χ. Για να είναιωστόσο αυτό δυνατό απαιτείται ο υπολογισμός του 6−1

χ (zn), κάτι που δεν είναι πάντοτεεύκολο, ακόμη και όταν είναι γνωστή η συνάρτηση κατανομής Fχ(·).

Υλοποίηση Gaussian τυχαίων μεταβλητώνΗ προηγούμενη μέθοδος προσφέρεται για ένα πολύ ενδιαφέροντα τρόπο υλοποίησηςGaussian τυχαίων μεταβλητών από ομοιόμορφες (εκτός φυσικά από τον κλασικό τρόποχρήσης του Α).

Εάν χ1,χ2 ανεξάρτητες Gaussian τυχαίες μεταβλητές N (0, 1) και γράψουμε χ1 =ρ cos(ζ), χ2 = ρ sin(ζ) τότε οι ρ, ζ είναι επίσης ανεξάρτητες και η μεν ρ έχει πυκνό-τητα πιθανότητας fρ(r) = re−

r2

2 u(r) (Reyleigh) ενώ η ζ είναι ομοιόμορφη στο [0, 2π]

(γιατί;). Η συνάρτηση κατανομής της ρ γράφεται 6ρ(r) = 1 − e−r2

2 από όπου συμπε-ραίνουμε ότι για z ∈ [0, 1] η αντίστροφη συνάρτηση ικανοποιεί την εξίσωση 6−1

ρ (z) =√−2 log(1− z). Εάν επομένως z1, z2 δύο ανεξάρτητες υλοποιήσεις μιας ομοιόμορφης

στο [0, 1] τότε δημιουργούνται δύο ανεξάρτητες υλοποιήσεις μιας Gaussian ως εξής

x1 =√−2 log(z1) cos(2πz2), x2 =

√−2 log(z1) sin(2πz2).

Ο λόγος για τον οποίο χρησιμοποιείται το 2 log(z1) στις προηγούμενες εξισώσεις αντίτου 2 log(1− z1) που αρχικά είχε προταθεί, οφείλεται στο γεγονός ότι, όταν μια τυχαίαμεταβλητή ζ είναι ομοιόμορφη στο [0, 1] το ίδιο ισχύει και για την 1− ζ.

Α.6.2 Μέθοδος της απόρριψης/αποδοχήςΈνας εναλλακτικός τρόπος δημιουργίας υλοποιήσεων ο οποίος χρησιμοποιεί μόνον τιςπυκνότητες πιθανότητες είναι η μέθοδος απόρριψης/αποδοχής.

Έστω ότι είμαστε σε θέση να δημιουργήσουμε υλοποιήσεις zn μιας τυχαίας μετα-βλητής ζ με πυκνότητα πιθανότητας fζ(z) καθώς και ανεξάρτητες υλοποιήσεις tn μιαςομοιόμορφης τυχαίας μεταβλητής τ στο διάστημα [0, 1]. Έστω επίσης ότι υπάρχει στα-θερά L που ικανοποιεί fχ(x)

fζ(x)≤ L < ∞, ∀x ∈ R, δηλαδή αποτελεί (πεπερασμένο)

άνω φράγμα στο λόγο πιθανοφάνειας. Η μέθοδος δημιουργίας δεδομένων είναι τότε ηακόλουθη: δημιουργούμε ζεύγος (zn, tn) και

επιλέγουμε xn = zn, εφόσονfχ(zn)

fζ(zn)≥ tnL,


σε διαφορετική περίπτωση το ζευγάρι (zn, tn) απορρίπτεται και επαναλαμβάνεται η δια-δικασία. Τα xn που επιλέγονται με τον τρόπο αυτό αποτελούν υλοποιήσεις της τυχαίαςμεταβλητής χ με πυκνότητα πιθανότητας fχ(x).

Είναι ενδιαφέρουσα (και απλή) η απόδειξη της πρότασης. όγω ανεξαρτησίας τωνζ, τ, έχουμε ότι

S(χ ≤ x) = S(ζ ≤ x

∣∣∣fχ(ζ)

fζ(ζ)≥ τL

)=

S(ζ ≤ x και fχ(ζ)

Lfζ(ζ)≥ τ

)

S(

fχ(ζ)Lfζ(ζ)

≥ τ)

=

∫ x−∞

∫ fχ(z)Lfζ(z)

0 fζ(z) dt dz

∫∞−∞

∫ fχ(z)Lfζ(z)

0 fζ(z) dt dz

=

∫ x−∞

1Lfχ(z) dz∫∞

−∞1Lfχ(z) dz

=

∫ x

−∞fχ(z) dz,

που σημαίνει ότι η συνάρτηση κατανομής των δειγμάτων xn που δημιουργούνται είναιη επιθυμητή.

Σημειώνεται ότι η διαδικασία δημιουργίας δεδομένων απορρίπτει ζευγάρια (zn, tn),αφού η υλοποίηση zn γίνεται αποδεκτή μόνον εφόσον ικανοποιείται η ανισότητα

fχ(zn)fζ(zn)

≥ tnL. Όπως είδαμε στην απόδειξη το γεγονός αυτό συμβαίνει σε ποσοστό S( fχ(ζ)Lfζ(ζ)

≥τ) = 1

L . Συνεπώς, τα zn χρησιμοποιούνται μόνον ένα κάθε L δείγματα, σε αντίθεσημε την προηγούμενη μέθοδο στην οποία χρησιμοποιούνται όλα6. Από την άλλη πλευ-ρά βέβαια, ο παρών τρόπος βασίζεται αποκλειστικά στις πυκνότητες πιθανότητας καιόχι στις (αντίστροφες) συναρτήσεις κατανομών, για το λόγο αυτό είναι εφαρμόσιμος σεμεγαλύτερο αριθμό περιπτώσεων.

Θα πρέπει τέλος να τονιστεί ότι η μέθοδος της απόρριψης/αποδοχής ισχύει δίχωςκαμία αλλαγή ακόμη και όταν οι συναρτήσεις fχ(x), fζ(z) δεν είναι κανονικοποιημένεςώστε το ολοκλήρωμά τους να αποδίδει μονάδα (γιατί;). Αυτό είναι ιδιαίτερα χρήσιμο σεπεριπτώσεις κατά τις οποίες η ολοκλήρωση των εν λόγω συναρτήσεων είναι αδύνατο ναγίνει αναλυτικά.

Α.7 Εκτίμηση πιθανότητας εμφάνισης σπάνιων γεγονότωνΈστω τυχαίο διάνυσμα X με πυκνότητα πιθανότητας fX (X) και γεγονός A. Ας υπο-θέσουμε για την πιθανότητα εμφάνισης του γεγονότος αυτού ότι είναι μικρή δηλαδή

p = S(X ∈ A) = 1[ A(X )]≪ 1, (Α.2)6Το άνω φράγμα L του λόγου πιθανοφάνειας δεν μπορεί να είναι μικρότερο της μονάδος (γιατί;), ως εκ

τούτου το 1L μπορεί να αποτελέσει πιθανότητα.


όπου θυμίζουμε ότι το A(X) συμβολίζει τη συνάρτηση δείκτη του συνόλου A. Ο κλα-σικός τρόπος εκτίμησης της πιθανότητας p, συνίσταται στη δημιουργίαN ανεξάρτητωνυλοποιήσεωνX1, X2, . . . , XN του τυχαίου διανύσματοςX που να έχουν πυκνότητα πι-θανότητας fX (X) και υπολογισμού του ποσοστού των υλοποιήσεων που ανήκουν στοσύνολο A, δηλαδή

p =1

N

N∑

n=1

A(Xn).

Παρατηρούμε ότι αφού τα Xn είναι ανεξάρτητα, έχουμε

1[p] = p

Διασπp =1

N1[( A(Xn)− p)2] =

1

N(p− p2) ≈ p

N,

όπου στην τελευταία προσέγγιση χρησιμοποιήθηκε το γεγονός ότι p≪ 1.Εάν επιθυμούμε στην εκτίμησή μας να έχουμε ακρίβεια ενός δεκαδικού ψηφίου θα

πρέπει η τυπική απόκλιση να είναι τουλάχιστον 10 φορές μικρότερη από τον μέσον όρο,δηλαδή

√pN ∼

p10 από το οποίο συμπεραίνουμε ότι ο αριθμός των ανεξάρτητων υλοποι-

ήσεωνN πρέπει να είναι της τάξεωςN ∼ 100p . Εάν για παράδειγμα η πιθανότητα p που

επιθυμούμε να εκτιμήσουμε είναι της τάξεως του 10−5, συμπεραίνουμε ότι απαιτούνταιπερί τις 107 υλοποιήσεις για ακρίβεια μόλις ενός δεκαδικού ψηφίου! Φυσικά ο αριθμόςαυτός αυξάνει εάν το p είναι πολύ μικρότερο.

Ας υποθέσουμε τώρα ότι είναι δυνατή η επιλογής μιας εναλλακτικής πυκνότηταςπιθανότητας fX (X) για την οποία ισχύει ότι fX (X) ≫ fX (X) όταν X ∈ A. εάλλα λόγια το τυχαίο διάνυσμα X με πυκνότητα πιθανότητας την εναλλακτική συνάρ-τηση fX (X) εμφανίζει πολύ πιο συχνά το γεγονός A από ό,τι με την αρχική πυκνότητα.Σύμφωνα με το Εδάφιο 2.5 ισχύει ότι

p = 1[ A(X )] = 1[G(X ) A(X )]

όπου G(X) = fX (X)

fX (X)είναι ο λόγος πιθανοφάνειας των δύο πυκνοτήτων. Η σχέση αυτή

προτρέπει στον ακόλουθο εναλλακτικό τρόπο7 εκτίμησης της p

p =1

N

N∑

n=1

G(Xn) A(Xn).

Υπάρχει βεβαίως μια σημαντική διαφορά στην προηγούμενη εκτίμηση σε σχέση με τηνκλασική (Α.2). Τα Xn αποτελούν υλοποιήσεις του X με την εναλλακτική πυκνότηταπιθανότητας fX (X) και όχι με την αρχική fX (X) που χρησιμοποιεί η κλασική τεχνι-κή. Αυτό φυσικά συνεπάγεται πολύ συχνότερες εμφανίσεις του γεγονότος A. Εξ αιτίας

7Η εναλλακτική αυτή μέθοδος καλείται Importance Sampling.


της απλής αυτής ιδιότητας δημιουργείται ένα σημαντικό κέρδος στο αριθμό των απαι-τούμενων υλοποιήσεων. Προκειμένου να σχηματίσουμε μια εικόνα για το μέγεθος τουκέρδους, ας υπολογίσουμε και πάλι τον μέσον όρο και τη διασπορά της νέας εκτίμησης.ε χρήση της ιδιότητας της αλλαγής μέτρου μπορούμε να γράψουμε

1[p] = 1

N

N∑

n=1

1[G(Xn) A(Xn)] =1

N

N∑

n=1

1[ A(Xn)] = p

Διασπp =1

N1[G(Xn) A(Xn)− p2] = 1

N

(1[G2(Xn) A(Xn)]− p2

).

Επειδή υποθέσαμε ότι η επιλογή της εναλλακτικής πυκνότητας έγινε έτσι, ώστε fX (X)≫ fX (X) για X ∈ A, θα θεωρήσουμε για ευκολία ότι G(X) ≤ t ≪ 1 για X ∈ A. Ηδιασπορά τότε γράφεται

Διασπp =1

N

(1[G2(Xn) A(Xn)]− p2

)

≤ 1

N1[tG(Xn) A(Xn)] =

t

N1[ A(Xn)] = t

p

N.

Παρατηρούμε ότι η διασπορά της εναλλακτικής εκτίμησης είναι μικρότερη κατά ένασυντελεστή ο οποίος είναι τουλάχιστον ίσος προς t. Αυτό έχει σαν αποτέλεσμα ο αριθ-μός των απαιτούμενων υλοποιήσεων να γίνει της τάξης N ∼ t100p δηλαδή τουλάχιστονt φορές μικρότερος από ό,τι ο κλασικός τρόπος. Ας σημειωθεί ότι στις περισσότερεςπεριπτώσεις το κέρδος αυτό μπορεί να είναι τεράστιο!

Παράδειγμα Α.2 : Προκειμένου να διαπιστωθεί η δυνατότητα της μεθόδου στο να επιταχύνει τιςεκτιμήσεις πιθανοτήτων σπάνιων γεγονότων ας εξετάσουμε τον κανόνα απόφασης του Παρα-δείγματος 3.4 για την περίπτωσηK = 4 και ΣΘ = A2

σ2 = 100.Η πιθανότητα σφάλματος, χρησιμοποιώντας το άνω και κάτω φράγμα από τη Σχέση (3.31),

είναι ίση προς 1.5375×10−12 (η διαφορά των δύο φραγμάτων είναι εξαιρετικά μικρή και γίνεταιεμφανής σε δεκαδικά ψηφία πολύ πέραν των τεσσάρων που παρουσιάζονται!), αντιστοιχεί επομέ-νως σε ένα (εξαιρετικά) σπάνιο γεγονός. Ας αναφερθούμε αρχικά στην εκτίμηση της πιθανότηταςμε τον κλασικό τρόπο. Έστω οι ονομαστικές κατανομές χ1 ∼ N (10, 1) και χ2 ∼ N (0, 1) πουαντιστοιχούν σε επιλογή σ2 = 1 και A = 10, δηλαδή ΣΘ = 100. Η ονομαστική πυκνότη-τα πιθανότητας γίνεται fX (x1, x2) = 1

2π e− 1

2(x1−A)2+x22 και η πιθανότητα σφάλματος (ΠΣ)

εκτιμάται με τη βοήθεια της σχέσης

ΠΣ ≈ 1

N

N∑

n=1

x1(n)<|x2(n)|, (γιατί;)

όπου (x1(n), x2(n)), n = 1, . . . , N, τα ζευγάρια υλοποιήσεων που πρέπει να είναι κατανεμημέ-να σύμφωνα με την ονομαστική πυκνότητα πιθανότητας. Για ακρίβεια ενός δεκαδικού ψηφίου,με τον παραπάνω τρόπο απαιτούνται περί τις 1014 υλοποιήσεις ζευγαριών (x1, x2).


Εάν αντί της ονομαστικής κατανομής επιλέξουμε χ1 ∼ N (10,σ2) και χ2 ∼ N (0,σ2),όπου σ2 > 1 (γεγονός που αντιστοιχεί σε ΣΘ < 100), τότε η εναλλακτική πυκνότητα πιθανό-τητας γίνεται fX (x1, x2) =

12πσ2 e

− 12σ2 (x1−A)2+x2

2, με αποτέλεσμα

G(x1, x2) =fX (x1, x2)

fX (x1, x2)= σ2e−

12 (1−

1σ2 )(x1−A)2+x2

2

και η πιθανότητα σφάλματος να εκτιμάται σύμφωνα με τον τύπο

ΠΣ ≈ 1

N

N∑

n=1

σ2e−12 (1−

1σ2 )(x1(n)−A)2+x2(n)

2x1(n)<|x2(n)|.

Ας υπολογίσουμε κατ’ αρχάς τη μέγιστη τιμή του λόγου πιθανοφάνειας G(x1, x2) όταν τα x1, x2

ικανοποιούν τη σχέση x1 ≤ |x2|. Διακρίνοντας τις δύο περιπτώσεις x1 ≥ 0 και x1 ≤ 0 κα-ταλήγουμε για μεν την πρώτη ότι ο λόγος φράσσεται από πάνω από σ2e−

14 (1−

1σ2 )A2

ενώ γιατη δεύτερη από σ2e−

12 (1−

1σ2 )A2

. Συμπεραίνουμε επομένως ότι t = σ2e−14 (1−

1σ2 )A2

. Στη συ-νέχεια θα επιλέξουμε το σ2 έτσι, ώστε να ελαχιστοποιήσουμε την τιμή του t που υπολογίσαμε.Είναι εύκολο να διαπιστώσουμε ότι το ελάχιστο εμφανίζεται για σ2 = A2

4 = 25 (που αντιστοι-χεί σε ΣΘ=4) και για την τιμή αυτή προκύπτει t ≈ 10−9. Χρησιμοποιώντας επομένως μόλιςN = 100 000 ζευγάρια υλοποιήσεων (x1, x2) κατανεμημένα σύμφωνα με την εναλλακτική πυ-κνότητα πιθανότητας (με άλλα λόγια 109 φορές λιγότερες υλοποιήσεις από ό,τι με τον κλασικότρόπο!), καταλήγουμε στην εξαιρετικά καλή εκτίμηση ΠΣ = (1.53± 0.07)× 10−12.

Από το προηγούμενο παράδειγμα συμπεραίνουμε ότι η πρακτική σημασία της με-θόδου που προτάθηκε είναι αδιαμφισβήτητη. Δυστυχώς όμως, η επιλογή εναλλακτι-κής πυκνότητας πιθανότητας ικανής να αποφέρει σημαντική επιτάχυνση στις εξομοιώ-σεις πολύπλοκων συστημάτων, δεν είναι πάντοτε προφανής και προϋποθέτει προσεκτικήανάλυση του εκάστοτε προβλήματος. Η δυνατότητα, βεβαίως, εφαρμογής της ιδέας τηςαλλαγής μέτρου προσθέτει, το δίχως άλλο, ένα δυναμικό και ελπιδοφόρο εργαλείο στηφαρέτρα των τεχνικών του Ερευνητή για αποδοτική αντιμετώπιση προβλημάτων πουαπαιτούν χρονοβόρες και υπολογιστικά εντατικές εξομοιώσεις.

Θεωρία Εκτίμησης&Ανίχνευσης

Documents

Transcript of Θεωρία Εκτίμησης&Ανίχνευσης