Θεωρία Εκτίμησης&Ανίχνευσης

of 250 /250
Θεωρία Εκτίμησης & Ανίχνευσης Γεώργιος Β. Μουστακίδης, Καθηγητής Πανεπιστήμιο Πατρών

Embed Size (px)

Transcript of Θεωρία Εκτίμησης&Ανίχνευσης

detestΠεριεχμενα
Πρλογος v Ευχαριστες vi 1 Εισαγωγ 1 1.1 Τρεις ενδιαφρουσες εφαρμογς 1
1.1.1 Ανχνευση αεροσκφους απ ραντρ 1 1.1.2 Εκτμηση καναλιο σε ασρματες τηλεπικοινωνες 3 1.1.3 Φιλτρρισμα θορβου σε ηχητικ σμα 4
2 Στοιχεα πιθανοττων και στοχαστικν διαδικασιν 6 2.1 Εισαγωγικ 6 2.2 Χρος πιθαντητας 6 2.3 Δεσμευμνη υπ συνθκη πιθαντητα 7 2.4 Τυχαες μεταβλητς 7
2.4.1 Περαμα 8 2.4.2 σος ρος και διασπορ 9 2.4.3 Δεσμευμνη πυκντητα πιθαντητας 12 2.4.4 Βασικς ιστητες για γεγοντα 12 2.4.5 Βασικς ιστητες για πυκντητες πιθαντητας 13 2.4.6 διτητα της κλιμκωσης του μσου ρου 15
2.5 διτητα της αλλαγς μτρου 16 2.6 Στοχαστικ τυχαα σματα 17
2.6.1 Στατιστικς πρτης και δετερης τξης 17 2.6.2 Στασιμτητα και εργοδικτητα 18 2.6.3 Πυκντητα φσματος ισχος στοχαστικο σματος 20
2.7 Επδραση γραμμικο συστματος σε στατιστικς σματος 22
3 Βλτιστη εξταση υποθσεων 24 3.1 Εισαγωγικ 24 3.2 τετερμινιστικο καννες λψης αποφσεων 24 3.3 Τυχαιοποιημνοι καννες λψης αποφσεων 26 3.4 Εξταση δυαδικν υποθσεων 28
3.4.1 Εξταση δυαδικν υποθσεων κατ Bayes 28 3.4.2 Ελαχιστοποηση πιθαντητας σφλματος 32 3.4.3 Min-Max καννες απφασης 33
i
3.4.4 Εξταση δυαδικν υποθσεων κατ Neyman-Pearson 37 3.4.5 Χαρακτηριστικ λειτουργας δκτη 43 3.4.6 Υπολογισμς κατωφλου min-max καννα απφασης 47 3.4.7 Εξισορροπημνη πιθαντητα σφλματος 47
3.5 Εξταση πολλαπλν υποθσεων κατ Bayes 52 3.6 Εξταση υποθσεων με πολλαπλς διακριτς υποπεριπτσεις 57 3.7 Γενικευμνο τεστ λγου πιθανοφνειας 60 3.8 Εξταση υποθσεων με τυχαες παραμτρους 64 3.9 Σνθετες υποθσεις 65
3.9.1 Χρση ομοιμορφης πυκντητας πιθαντητας 65 3.9.2 Ομοιμορφα πιο ισχυρς καννας απφασης 65 3.9.3 Τοπικ πιο ισχυρς καννας απφασης 68 3.9.4 Συνδυασμς αγνστων και τυχαων παραμτρων 71 3.9.5 Γενικεσεις του Neyman-Pearson τεστ∗ 75 3.9.6 Γενικευμνο τεστ λγου πιθανοφνειας παρουσα τυχαων παραμτρων 79
3.10 Ενδιμεσες αποφσεις 83 3.10.1 εθοδολογα κατ Bayes 83 3.10.2 εθοδολογα τπου Neyman-Pearson 85
3.11 Υπολογισμς απδοσης καννων εξτασης υποθσεων 88 3.11.1 Υπολογισμς κατωφλου με τη βοθεια του ΟΘ 88 3.11.2 Υπολογισμς απδοσης με συνδυασμ Θεωρματος Crammer και ΟΘ 88
3.12 Ασκσεις 88
4 Βλτιστη ανχνευση σημτων 92 4.1 Εισαγωγικ 92 4.2 Σμφωνη ανχνευση σημτων 94
4.2.1 Σμφωνη ανχνευση σταθερο σματος σε α.ι.κ. θρυβο 94 4.2.2 Σμφωνη ανχνευση σημτων σε ανεξρτητο θρυβο 100 4.2.3 Σμφωνη ανχνευση σημτων σε εξαρτημνο Gaussian θρυβο 101
4.3 Ανχνευση ντετερμινιστικν σημτων με τυχαες παραμτρους 107 4.3.1 Ανχνευση σε Gaussian θρυβο 107 4.3.2 Ανχνευση σε ανεξρτητο μη Gaussian θρυβο 113
4.4 Ανχνευση ντετερμινιστικν σημτων με γνωστες παραμτρους 113 4.5 Ανχνευση τυχαων σημτων 113 4.6 Ασκσεις 113
5 Βλτιστη εκτμηση παραμτρων 115 5.1 Εισαγωγ 115 5.2 Εκτμηση τυχαων παραμτρων με τη μθοδο Bayes 115
5.2.1 Εκτιμητς ελαχιστοποησης μσου τετραγωνικο σφλματος 115 5.2.2 Εκτιμητς ελαχιστοποησης μσου απλυτου σφλματος 115 5.2.3 Εκτιμητς μγιστης εκ των υστρων πιθαντητας 115
5.3 Εκτμηση αγνστων παραμτρων 115 5.3.1 Εκτιμητς μγιστης πιθανοφνειας 115 5.3.2 Αλγριθμος Προσδοκας/ εγιστοποησης 115
Περιεχμενα iii
5.3.3 Συνπεια, αμεροληψα και ασυμπτωτικ Gaussian συμπεριφορ 115 5.3.4 τω φργμα Cramer-Rao 115
5.4 Exercises 116 6 Υποβλτιστη ανχνευση και εκτμηση 117 6.1 Εισαγωγ 117 6.2 Το πρτυπο του εκτιμητ μγιστης πιθανοφνειας 118
6.2.1 -εκτιμητς 119 6.3 Αναδρομικς τεχνικς εκτμησης 119
6.3.1 Αναδρομ με μειομενο βμα 119 6.3.2 Αναδρομ με σταθερ βμα 119
6.4 Ρωμαλες τεχνικς εκτμησης και ανχνευσης 119 6.4.1 Ρωμαλα εξταση υποθσεων 119 6.4.2 Ρωμαλα εκτμηση παραμτρων 119 6.4.3 Ρωμαλα τοπικ ανχνευση σταθερν σημτων 120 6.4.4 Ρωμαλα μη τοπικ ανχνευση σταθερν σημτων 120
6.5 Τεχνικς εκτμησης βασισμνες στο Α 120 6.5.1 Εκτμηση παραμτρων 120 6.5.2 Ασυμπτωτικ Gaussian συμπεριφορ εκτιμσεων 120
6.6 Ανχνευση βασισμνη σε τεχνικς εκτμησης και στο ΟΘ 120
7 Βλτιστη γραμμικ εκτμηση σημτων 121 7.1 Εισαγωγικ 121 7.2 Γραμμικ εκτμηση 122
7.2.1 Αρχ της ορθογωνιτητας 122 7.3 Βλτιστη γραμμικ εκτμηση με γνση στατιστικν β’ τξης 124
7.3.1 Γενκευση σε διανυσματικ σματα∗ 127 7.3.2 η αιτιατ φλτρο Wiener 128 7.3.3 Αιτιατ φλτρο Wiener∗ 130 7.3.4 Φλτρο Wiener πεπερασμνης κρουστικς απκρισης 141 7.3.5 Αλγριθμος του Levinson 142
7.4 Φλτρο Kalman 145 7.4.1 Γενικεσεις της αρχς της ορθογωνιτητας 151 7.4.2 Εφαρμογς του φλτρου Kalman 151
7.5 Εναλλακτικ σημασα των αποτελεσμτων 151 7.6 Ελαχιστοποηση αθροιστικο τετραγωνικο σφλματος δειγμτων 153
7.6.1 Αναδρομ ελαχστων τετραγνων 155 7.7 οντλο αυτοπαλινδρμησης 161
7.7.1 Πρβλεψη σματος αυτοπαλινδρμησης 163 7.7.2 Εκτμηση φσματος με χρση μοντλων αυτοπαλινδρμησης 164
7.8 Ασκσεις 166
8 Ανχνευση και εκτμηση σε σματα συνεχος χρνου 170 8.1 Εισαγωγικ 170
9 Ακολουθιακς τεχνικς εκτμησης και ανχνευσης 171
iv Περιεχμενα
9.1 Εισαγωγικ 171 9.2 Βλτιστη ακολουθιακ εξταση δυαδικν υποθσεων 171 9.3 Βλτιστη ακολουθιακ ανχνευση αλλαγν 171 9.4 Ακολουθιακ εκτμηση παραμτρων 171
Α Συμπλρωμα θεωρας πιθανοττων 172 Α.1 Εισαγωγικ 172 Α.2 ρια στοχαστικν ακολουθιν 172 Α.3 Αθροσματα τυχαων μεταβλητν 173
Α.3.1 μος των μεγλων αριθμν 174 Α.3.2 εντρικ οριακ θερημα 175 Α.3.3 Φργμα Chernoff 177
Α.4 Σημαντικς ανιστητες 178 Α.4.1 Ανιστητα Chebyshev 178 Α.4.2 Ανιστητα Cauchy-Schwarz 179 Α.4.3 Ανιστητα Jensen 179
Α.5 ατλογος κατανομν 179 Α.6 θοδοι υλοποησης τυχαων μεταβλητν 182
Α.6.1 θοδος της αντστροφης συνρτησης κατανομς 182 Α.6.2 θοδος της απρριψης/αποδοχς 183
Α.7 Εκτμηση πιθαντητας εμφνισης σπνιων γεγοντων 184
Βιβλιογραφα 188 Ορολογα 190 Εδφια στα οποα εμφανζεται το σμβολο “ ∗ ” μπορον να παραληφθον κατ την πρτη ανγνωση.
Το βιβλο περιχει ?? Σχματα και ?? Πνακες
Πρλογος
Η λη του παρντος βιβλου βασζεται στην πολχρονη ερευνητικ εμπειρα του συγ- γραφα σε θματα σχετικ με το αντικεμενο του βιβλου καθς και στις παραδσεις του μαθματος “Θεωρα Εκτμησης και Ανχνευσης” που γιναν στο Διατμηματικ ετα- πτυχιακ Πργραμμα Συστματα Επεξεργασας Σημτων και Εικνων και στο ετα- πτυχιακ Πργραμμα του Τμματος Ηλεκτρολγων ηχανικν και Τεχνολογας Υπο- λογιστν του του Πανεπιστημου Πατρν.
Σε σχση με την υπρχουσα (ξνη) βιβλιογραφα, γινε σημαντικ προσπθεια στε να παρουσιαστε η λη κτω απ διαφορετικ πρσμα και να δοθε μια, σο το δυνατν, πιο πρακτικ δισταση των απαρατητων εννοιν. Πιστεουμε επσης τι η θεωρητικ πλευρ (που καλπτει το μεγαλτερο μρος του βιβλου) εναι γραμμνη με τρπο που να γνεται εκολα κατανοητ απ αναγνστες με βασικ εππεδο γνσης Θε- ωρας Πιθανοττων. σον αφορ στο σημεο αυτ, στο παρρτημα, στο τλος του συγ- γρμματος, παρατθενται με αρκετ λεπτομρεια πολλς απ τις απαρατητες ννοιες.
Γεργιος ουστακδης ονιος 2006
v
Ευχαριστες
Θα θελα να ευχαριστσω του φοιτητς μου που συμμετεχαν ενεργ στις παραδσεις του μαθματος “Θεωρα Εκτμησης και Ανχνευσης”. ε την αδιλειπτη παρουσα τους και τις ενδιαφρουσες ερωτσεις τους συνβαλαν καθοριστικ στην επιλογ της λης και στον συγκεκριμνο τρπο παρουσασς της. Η ντονη επιθυμα τους για μθηση απoτλεσε τον κριο μοχλ συγγραφς του βιβλου αυτο.
Αμριστες ευχαριστες πηγανουν στη σζυγ μου Αδαμαντα Βασιλογμβρου για την κοπιαστικ συντακτικ και γραμματικ διρθωση ενς τσο δσκολου προς αυτν κειμνου.
Το παρν βιβλο συντχθηκε με τη βοθεια της Ελληνικς κδοσης του XLATEX.
vi
1 Εισαγωγ
Στο παρν σγγραμμα θα επικεντρωθομε στην ανπτυξη μεθοδολογιν για: α) λψη αποφσεων, β) εκτμηση παραμτρων και γ) εκτμηση σημτων. αι στις τρεις περιπτ- σεις η κρια μφαση θα δοθε στην παρουσαση βλτιστων τεχνικν. Επειδ ωστσο οι βλτιστες τεχνικς απαιτον υψηλ εππεδο γνσης του προβλματος, απατηση η οποα δυστυχς για τις περισστερες εφαρμογς εναι μη ρεαλιστικ, καθσταται αναγκαα η αναζτηση εναλλακτικν μεθοδολογιν με χαμηλτερες ανγκες σε εκ των προτρων πληροφορα. γω φυσικ της λλειψης λεπτομερος πληροφορας, οι εν λγω τεχνικς υστερον σε απδοση σε σγκριση με τις βλτιστες αλλ, απ την λλη πλευρ, εναι πρακτικ εφαρμσιμες.
Τλος, ας σημειωθε τι η ανπτυξη των βλτιστων τεχνικν, πρα φυσικ απ θε- ωρητικ, παρουσιζει επσης και πρακτικ ενδιαφρον, αφο η απδοσ τους αποτελε σημεο αναφορς για οποιαδποτε εναλλακτικ τεχνικ.
1.1 Τρεις ενδιαφρουσες εφαρμογς Προκειμνου να γνει κατανοητ η χρησιμτητα των μαθηματικν αποτελεσμτων που θα περιγρψουμε στα επμενα κεφλαια του βιβλου, στη συνχεια παρουσιζονται τρα πρακτικ προβλματα που αποτελον χαρακτηριστικ παραδεγματα εφαρμογς των εν λγω θεωριν.
1.1.1 Ανχνευση αεροσκφους απ ραντρ Η ανχνευση αεροσκφους με ραντρ αποτελε σως το κλασικτερο παρδειγμα εφαρ- μογς της Θεωρας Ανχνευσης και μια απ τις πρτες εφαρμογς που εξετστηκαν στη πρξη. Εναι μλιστα αξιοσημεωτο το γεγονς τι το πρβλημα αυτ εναι τσο παλι στε η γενικ Θεωρα Ανχνευσης χει δανειστε ρους απ την ορολογα που αναπτ- χθηκε για τη συγκεκριμνη αυτ εφαρμογ.
Το πρβλημα που επιθυμομε να αναλσουμε εμφανζεται παραστατικ στο Σχ- μα 1.1. Παρατηρομε τι το ραντρ εκπμπει ηλεκτρομαγνητικ κμα προς μια κα- τεθυνση και συλλγει το σμα που επιστρφει. Η επιστροφ του σματος οφελεται
1
2 Κεφλαιο 1 :Εισαγωγ
ετε στην παρξη φυσικν εμποδων (πως βουν, λφοι, σννεφα, βροχ) και στην παρξη αεροσκφους στην κατεθυνση εκπομπς. να αυτματο σστημα ανχνευσης
Σχμα 1.1 : Τα δο πιθαν σενρια (υποθσεις) κατ τη διαδικασα ανχνευσης αεροσκφους απ ραντρ.
δειγματοληπτε το σμα επιστροφς δημιουργντας μια πεπερασμνη ακολουθα δειγ- μτων x1, . . . , xN , και επιχειρε να διακρνει εν τα εν λγω δεγματα προρχονται απ σμα που εμπεριχει α) μνον ανακλσεις απ φυσικ εμπδια β) ανακλσεις απ φυσικ εμπδια και ανκλαση απ αεροσκφος. Η φση του σματος επιστροφς εναι τελεως διαφορετικ στα δο πιθαν σενρια (υποθσεις). Στην μεν πρτη περπτωση το ραντρ δχεται πληθρα απ αδναμες επιστροφς με τυχαα πλτη και διαφορε- τικς καθυστερσεις, εν στη δετερη το επιστρφον σμα διαθτει επιπλον και μια κυραρχη συνιστσα λγω της ανκλασης του ηλεκτρομαγνητικο κματος απ το αε- ροσκφος. ε περισστερο τεχνικ ορολογα, τα δεγματα σμφωνα με το Σενριο α) εμφανζουν συμπεριφορ λευκο θορβου, εν με το Σενριο β) διακρνονται απ μια σταθερ συνιστσα με υπρθεση λευκο θορβου.
Επιχειρντας να εκφρσουμε σα προαναφρθηκαν με μαθηματικ τρπο, μπορο- με να γρψουμε
Σενριο α): xn = wn, n = 1, . . . , N
Σενριο β): xn = s+ wn, n = 1, . . . , N ,
που wn λευκς θρυβος και s σταθερ. Το μαθηματικ πρβλημα που καλομαστε επομνως να επιλσουμε εναι το ακλουθο: ε δεδομνη μια συλλογ N δειγμτων, επιθυμομε να αποφασσουμε εν τα εν λγω δεγματα εμπεριχουν α) καθαρ θρυβο β) σταθερ σμα s συν θρυβο. Αποφασζοντας υπρ το α) συνεπγεται ουσιαστι- κ απφαση υπρ της μη παρξης αεροσκφους, εν υπρ του β) απφαση υπρ της παρξης αεροσκφους.
Το πρβλημα που μλις περιγρψαμε επιδχεται ενδιαφρουσες γενικεσεις που πε- ριλαμβνουν μεγαλτερο πλθος δυνατν σεναρων. Π.χ. εναι δυνατ, πρα απ απλ
1.1 Τρεις ενδιαφρουσες εφαρμογς 3
ανχνευση, να επιθυμομε την ανακλυψη και του τπου του αεροσκφους. Για την περπτωση αυτ θα πρπει να δημιουργηθε να σενριο για κθε διαφορετικ τπο. Δηλαδ να περιγρψουμε με να διαφορετικ στατιστικ τρπο τα δεδομνα xn για κθε τπο αεροσκφους. αθοριστικ στοιχεο στις εν λγω γενικεσεις αποτελε το γεγονς τι τα πιθαν σενρια πρπει να εναι πεπερασμνου πλθους.
πως εναι φυσικ, κθε διαδικασα απφασης ενχει τον κνδυνο σφλματος. Στ- χος της θεωρας η οποα αναπτσσεται στο εφλαιο 2 εναι ο καθορισμς βλτιστων καννων απφασης σμφωνα με ελογα κριτρια (π.χ. ελαχιστοποηση της πιθαντητας εσφαλμνης απφασης). Στο εφλαιο 3 θα επικεντρωθομε σε μια ειδικ κατηγορα προβλημτων λψης αποφσεων στην οποα ανκει και το πρβλημα της ανχνευσης αεροσκφους, η οποα καλεται Ανχνευση Σματος. Οι καννες απφασης θα μας απα- σχολσουν επσης και στο εφλαιο 5 που θα αναπτυχθον μη βλτιστες αλλ πρακτι- κ χρσιμες τεχνικς.
1.1.2 Εκτμηση καναλιο σε ασρματες τηλεπικοινωνες Οι ψηφιακς τηλεπικοινωνες καθστανται, λο και περισστερο, αναπσπαστο τμμα της καθημερινς μας ζως προσφροντας συνεχς νες και ενδιαφρουσες υπηρεσες. Ο ρλος των ασρματων τηλεπικοινωνιακν συστημτων στις μοντρνες υπηρεσες ε- ναι καθοριστικς, κυρως λγω της κινητικτητας που αυτ συνεπγονται. Δυστυχς μως η δυναττητα αυτ συνοδεεται απ σημαντικ προβλματα που δημιουργονται εξ αιτας του γνωστου και χρονικ μεταβαλλμενου καναλιο μσα στο οποο γνεται η μετδοση της πληροφορας. Η επδραση του καναλιο στην ποιτητα του λαμβανμε- νου σματος εναι κρσιμη και, τις περισστερες φορς, ντονα αρνητικ προκαλντας αξιοσημεωτη μεωση στην απδοση του τηλεπικοινωνιακο συστματος.
Το φαινμενο της μετδοσης μσω πολλαπλν διαδρομν, η δυναττητα δηλαδ που χει το μεταδιδμενο σμα να καταλγει στον δκτη μσα απ διαφορετικς δια- δρομς, συγκαταλγεται μεταξ των βασικτερων προβλημτων που χρζουν ιδιατε- ρης προσοχς και αντιμετπισης. Η εμφνιση του φαινομνου της πολυδιαδρομικς μετδοσης οφελεται στην εκπομπ του πομπο προς κθε κατεθυνση με αποτλεσμα, πως φανεται και στο Σχμα 1.2, να υπρχει η απ’ ευθεας διαδρομ του σματος απ τον πομπ προς τον δκτη, αλλ επσης και εναλλακτικς δοδοι μσω ανακλσεων σε φυσικ εμπδια. Εν συμβολσουμε με z(t) το σμα που εκπμπει ο πομπς, ττε ο δκτης συλλγει το x(t), που
x(t) = c0z(t) + c1z(t− τ1) + · · ·+ cKz(t− τk) + w(t).
Ο πρτος ρος του αθροσματος αναφρεται στην απ’ ευθεας διαδρομ εν οι επ- μενοι K στις εναλλακτικς. Επειδ οι τελευταες εναι συνθως μεγαλτερου μκους, το ηλεκτρομαγνητικ κμα απαιτε περισστερο χρνο να τις διανσει, με αποτλεσμα το σμα να φτνει καθυστερημνο στο δκτη. θε διαδρομ χει φυσικ διαφορετι- κ καθυστρηση τi και υπκειται σε διαφορετικ ποσοστ απλειας ενργειας ci. Ο
4 Κεφλαιο 1 :Εισαγωγ
,
Σχμα 1.2 : Ασρματη επικοινωνα μσω καναλιο πολλαπλν διαδρομν.
τελευταος ρος w(t) στο λαμβανμενο σμα x(t) συμβολζει το απανταχο παρντα θρυβο.
Το σμα x(t), πως αναφρθηκε προηγουμνως, μπορε να εναι τελεως διαφορε- τικ απ το ιδανικ σμα εκπομπς z(t), γεγονς που συντελε στη σημαντικ μεωση της αποτελεσματικτητας του τηλεπικοινωνιακο συστματος. Η εν λγω μεωση εναι δυνατ να περιοριστε σε μεγλο βαθμ εν εναι γνωστς οι παρμετροι τi, ci του πο- λυδιαδρομικο καναλιο. Δυστυχς γνση της μορφς αυτς εναι πρακτικ αδνατη λγω ακριβς της κινητικτητας /και της χρονικς μεταβληττητας που διακρνει τις ασρματες συνδσεις. Η μη διαθεσιμτητα των εν λγω παραμτρων προτρπει επομ- νως στην ανπτυξη μεθδων εκτμησης. Θα πρπει δηλαδ ο δκτης, σε τακτ χρονικ διαστματα ( και συνεχς), να δειγματοληπτε το λαμβανμενο σμα x(t) και με τα δεγματα x1, . . . , xN να επιχειρε εκτμηση των παραμτρων του καναλιο. Εν η εκτ- μηση εναι αξιπιστη ττε εναι αναμενμενο τι η διρθωση της βλβης που προκαλε- ται απ την πολυδιαδρομικ μετδοση θα εναι αντιστρψιμη. Στην περπτωση φυσικ μιας κακς εκτμησης το πρβλημα πως εναι λογικ θα διατηρηθε μπορε να γνει και εντοντερο.
Στο εφλαιο 4 θα επικεντρωθομε στις βλτιστες τεχνικς εκτμησης παραμτρων και θα προτενουμε εναλλακτικς μεθοδολογες σμφωνα με διαφορετικ κριτρια αξιο- λγησης της ποιτητας μιας εκτμησης. Τεχνικς εκτμησης, αλλ μη βλτιστες αυτ τη φορ, θα παρουσιαστον στο εφλαιο 5.
1.1.3 Φιλτρρισμα θορβου σε ηχητικ σμα Το τελευταο παρδειγμα που θα παρουσισουμε εμφανζεται παραστατικ στο Σχ- μα 1.3. Συγκεκριμνα, μας διατθεται να ψηφιακ σμα x1, x2, . . ., το οποο προκ- πτει απ θροιση ενς επιθυμητο σματος πληροφορας (στην προκειμνη περπτωση μουσικς) και θορβου. Στχος μας στην εφαρμογ αυτ αποτελε η επεξεργασα του σματος {xn} στε να προκψει (να εκτιμηθε) το σμα πληροφορας. Η διαδικασα απομκρυνσης του θορβου εναι γνωστ και σαν φιλτρρισμα. Η διαφορ της παρο- σας διαδικασας εκτμησης απ την αντστοιχη του προηγομενου εδαφου γκειται βα-
1.1 Τρεις ενδιαφρουσες εφαρμογς 5
Σχμα 1.3 : Σμα που προκπτει απ θροιση μουσικς και θορβου.
σικ στο πλθος των στοιχεων που πρπει να εκτιμηθον (πειρα ναντι πεπερασμνου πλθους) καθς επσης και στη χρονικ αλληλουχα δημιουργας των εκτιμσεων σε συνδυασμ με την διαθεσιμτητα των προς επεξεργασα δειγμτων xn (συνθκες πραγ- ματικο χρνου). Οι εν λγω διαφορς επιβλλουν τη δημιουργα εντελς διαφορετικν τεχνικν επεξεργασας απ αυτς που διατθενται για την επλυση των προβλημτων εκτμησης του προηγομενου εδαφου και η αντστοιχη μεθοδολογα θα παρουσιαστε στο εφλαιο 6.
Σημεινεται τι τα συστματα επεξεργασας για την εκτμηση σημτων εναι γνω- στ και σαν φλτρα. Στο εφλαιο 6 θα γνει η παρουσαση των δο πλον δημοφιλν φλτρων: του Φλτρου Wiener και του Φλτρου Kalman, πως επσης και της γενικς θεωρας της Βλτιστης Γραμμικς Επεξεργασας σημτων. Τλος, στο διο κεφλαιο θα παρουσιαστον εισαγωγικ στοιχεα της Θεωρας του Αναδρομικο Φιλτραρσματος και της Αναδρομικς Εκτμησης σημτων, περιοχς οι οποες αποτελον τη μοντρνα κδοση της Θεωρας Επεξεργασας Σματος. Οι τεχνικς αυτς εναι εξαιρετικ ενδιαφρουσες επειδ απαιτον ελχιστη εκ των προτρων γνση (των στατιστικν) του σματος (σε αντθεση με τα βλτιστα φλτρα που βασζονται σε σημαντικ εκ των προτρων πληρο- φορα) και εναι σε θση μσα απ τα διαθσιμα δεγματα να μαθανουν τις στατιστικς και συγχρνως να επεξεργζονται το σμα. πως εναι φυσικ, η επεξεργασα στα αρ- χικ στδια εναι περιορισμνης ποιτητας, αλλ με την προδο του χρνου, καθς γνεται συσσρευση πληροφορας, η ποιτητα βελτινεται συγκλνοντας σε αυτ των βλτιστων φλτρων.
2 Στοιχεα πιθανοττων και στοχαστικν διαδικασιν
2.1 Εισαγωγικ Το παρν παρρτημα δεν χει σαν στχο να καλψει αναλυτικ την λη της Θεωρας Πιθανοττων και Στοχαστικν Διαδικασιν. Υπρχει στη βιβλιογραφα πληθρα σχε- τικν συγγραμμτων που οι δο περιοχς αναπτσσονται εκτεταμνα και με διαφορε- τικ βαθμ δυσκολας και μφασης1. τσι, περιοριζμαστε σε συνοπτικ παρουσαση των βασικν εννοιν και αποτελεσμτων που εναι απαρατητα για την κατανηση του αντικειμνου του παρντος βιβλου.
2.2 Χρος πιθαντητας αλομε χρο πιθαντητας μια τριδα οντοττων, που θα συμβολσουμε με (Θ, G , S),
με τις παρακτω ιδιτητες
Το Θ εναι να οποιοδποτε σνολο στοιχεων, το οποο καλεται δειγματοχρος.
Το G εναι να σνολο απ υποσνολα τουΘ, τα οποα συνιστον μια σ-λγεβρα. Συγκεκριμνα, τα στοιχεα του G πρπει να ικανοποιον τις ακλουθες ιδιτητες:
Τα δο σνολα Θ και ∅ εναι στοιχεα του G . Εν A ∈ G , ττε και Ac ∈ G , που Ac το συμπληρωματικ του A. Εν A1, A2 ∈ G , ττε και A1 ∪A2 ∈ G . Εν μια ακολουθα απ σνολα A1, A2, . . . ∈ G , ττε και ∪∞
i=1Ai ∈ G .
Τα στοιχεα του G καλονται γεγοντα. 1Σαν καταλληλτερο σγγραμμα για ηχανικος προτενεται το βιβλο [PA1999] το οποο διακρνεται
για τη μαθηματικ του αυστηρτητα παρλληλα με την απλτητα παρου&s