Στατιστικη Μαθησης και Statistics of Learning and...

Στατιστικη Μαθησης και Επεξεργασία Γνώσης

ΧΕΙΜΕΡΙΝΟ ΕΞΑΜΗΝΟ

Statistics of Learning and Knowledge Processing

WINTER SEMESTER

Τμημα Μαθηματικων Αριστοτελειο Πανεπιστημιο Θεσσαλονικης

School of Mathematics Aristotle University

of Thessaloniki

6. Παρατηρηση και Πραγματικοτητα

Iωαννης Αντωνιου Χαραλαμπος Μπρατσας [email protected] [email protected]

Το παρόν εκπαιδευτικό υλικό υπόκειται σε Αδεια Χρήσης Creative Commons

Σκοπος ‐ Περιεχομενο

Πως Ελεγχονται οι Υποθεσεις από τις Παρατηρησεις

μεσω της Αναλυσης Bayes

Πιθανοτητα

Δεσμευμένη Πιθανότητα

Αναλυση Bayes

Πιναξ Συγχυσης Διαγνωσης‐Πραγματικοτητας

Πιθανοτητα Ορισμος Πιθανοτητα Κolmogorov 1933Κάθε συνολοσυναρτηση set function : 𝑃: ℬ → 0,1 : Ξ ⟼ 𝑃 Ξℬ η Αλγεβρα των Γεγονοτων Μετρησιμων Υποσυνολων Ξ του Δειγματοχωρου 𝛺 K1 P Ω 1 K2 P ∅ 0

∅ το αδυνατο γεγονος, το γεγονος που δεν είναι πραγματοποιησιμο K3 𝑃 Ξ ∪ Ξ ∪ … 𝑃 Ξ 𝑃 Ξ ⋯, αν Ξ , Ξ ,… Ασυμβατα Γεγονοτα

Ξ , Ξ ,… Ασυμβατα Γεγονοτα Ξ, Η Ασυμβατα ή ξενα μεταξυ τους ⟺ Ξ ∩ Η ∅ Αν πραγματοποιηθει το ένα, Τοτε δεν μπορει να πραγματοποιηθει το αλλο Disjoint Εvents Mutually Exclusive Events

Ορισμοι

Ξ ∪ Η Ξ⋁Η Ξ Η Ξ 𝝄𝒓 ΗΤο γεγονος ότι συμβαινει τουλαχιστον ενα εκ των γεγονοτων Ξ, Η

𝑃 Ξ ∪ Η 𝑃 Ξ⋁Η 𝑃 Ξ Η 𝑃 Ξ 𝜊𝑟 Η η πιθανοτητα να συμβει τουλαχιστον ενα εκ των γεγονοτων Ξ, Η

Ξ, Η Ξ ∩ Η Ξ ∧ Η ΞΗ Ξ 𝑎𝑛𝑑 ΗΤο γεγονος ότι συμβαινουν από Κοινου ταυτοχρονα τα Γεγονοτα Ξ, Η

𝑃 Ξ, Η 𝑃 Ξ ∩ Η 𝑃 Ξ ∧ Η 𝑃 ΞΗ Ρ Ξ 𝒂𝒏𝒅 Η η Κοινη Πιθανοτητα των Ξ και Η

Θεωρημα

Ιδιοτητες της Αλγεβρας ℬ των Υποσυνολων Γεγονοτων του Συνολου Δειγματοχωρου 𝛺

1 Οι Πραξεις ⋃, ⋂ : 𝓑 𝓑 → 𝓑, για κάθε A,B,C εν ℬ:

L1. Ταυτοδυναμια Idempotency : A⋃A A A⋂A A

L2. Μεταθετικοτης Commutativity : A⋃B B⋃A A⋂B B ⋂A

L3. Προσεταιριστικοτης Associativity : A⋃ B⋃C A⋃B ⋃C A⋂ B⋂C A⋂B ⋂C

L4. Απορροφητικοτης Absorptivity : A⋂ A ⋃B A A⋃ A⋂B A

2 Η Σχεση Διαταξης , για κάθε A,B,C εν ℬ:

L5. A B ⟺ A A ⋂ B ⟺ B A ⋃ B

3 Το Συνολο ℬ είναι Κατω και Ανω Φραγμενο Bounded από τα συνολα O ∅ , I Ω :

L6. O⋃A A O⋂A O

I ⋃ A I I ⋂ A A

4 Η Πραξη Συμπληρωμα Complement για κάθε A,B,C εν ℬ: c : 𝓑 → 𝓑 : 𝑨 ⟼ 𝑨𝒄

L7. A ⋃ 𝑨𝒄 I A ⋂𝑨𝒄 O

L8. 𝑨𝒄 A

5 Επιμεριστικοτης Distributivity των Πραξεων ⋃, ⋂ :

L9. A⋃ B ⋂ C A ⋃ B ⋂ A ⋃ C A ⋂ B ⋃C A ⋂ B ⋃ A ⋂ C

ΣΧΟΛΙΟ

H Aλγεβρα Boole ειναι η Αλγεβρα της Λογικης του Αριστοτελη διατυπωμενη στη γλωσσα της θεωριας Συνολων

Boole G. 1854, An Investigation of the Laws of Thought, MacMillan; Dover reprint, New York 1958

Α,Β,C,… οι προτασεις

∧ AND KAI

∨ OR EITE c NOT OXI

O ANTIΦΑΣΗ

Ι ΤΑΥΤΟΛΟΓΙΑ

2 Ο Boole εθεσε τις βασεις

της Λογικης,

της Αλγοριθμικης ψηφιακης επεξεργασιας,

των Συλλογισμων,

επεσημανε τη σχεση με την Στατιστικη

την θεωρια Πιθανοτητων και

την Αιτιοτητα

Θεωρημα Ιδιοτητες Πιθανοτητας Κolmogorov ∀ υποσυνολα 𝐴, 𝐵 του Ω1 𝛲 𝛢 1 𝛲 𝛢 2 𝑃 𝐴 𝑃 𝐵 , 𝛼𝜈 𝐴 ⊆ 𝐵

3 𝑃 𝐵 𝐴 𝑃 𝐵 – 𝑃 𝐴 , 𝛼𝜈 𝐴 ⊆ 𝐵4 𝑃 𝛢 ∪ 𝛣 𝑃 𝐴 𝑃 𝐵 𝑃 𝛢 ∩ 𝐵

5 𝑃 𝛢 𝑃 𝛢 ∩ 𝐵 𝑃 𝐴 ∩ 𝐵 , ∀ υποσυνολο 𝐵 του Ω 6) 𝑃 𝐴 ∩ 𝐵 ≦ 𝑃 𝐴 ∩ 𝑍 𝑃 𝐵∩𝑍 , Ανισοτητα Wigner- d’Espagnat - Bell

Αποδειξη

1 ,2 ,3 ,4 Απλη Αλγεβρα, Βιβλιο Γ Λυκειου

5 𝑃 𝛢 𝑃 𝛢 ∩ 𝛺 𝑃 𝐴 ∩ 𝛣 ∪ 𝐵 𝑃 𝐴 ∩ 𝛣 ∪ 𝛢 ∩ 𝐵 𝑃 𝛢 ∩ 𝐵 𝑃 𝐴 ∩ 𝐵

Διοτι 𝐴 ∩ 𝛣 ∩ 𝛢 ∩ 𝐵 ∅

6 P A∩Z P B∩𝑍

𝑃 𝐴 ∩ 𝑍 ∩ 𝐵 𝑃 𝛢 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢

𝑃 𝐴 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢 𝑃 𝛢 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢

𝑃 𝐴 ∩ 𝐵 ∩ 𝑍 𝑃 𝛢 ∩ 𝐵 ∩ 𝑍 𝑃 𝛢 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢

𝑃 𝐴 ∩ 𝐵 𝑃 𝛢 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢 𝑃 𝐴 ∩ 𝐵

ΣΧΟΛΙΟ Aν δεν γνωριζουμε κατι για τα Δυνατα Γεγονοτα, Εκχωρουμε Υποθετουμε Ισες Πιθανοτητες Αρχη Αποχρωντος Λογου .

Αν γνωριζουμε Παρατηρηση, Θεωρια, Υποθεση Τις Πιθανοτητες, τοτε αυτές συνοψιζουν την Γνωση μας, αρα και την εκτιμηση μας για τα παρατηρουμενα Αν γνωριζουμε ότι η Ζαρια ειναι Περιττος αριθμος Γεγονος 𝛱 Πως αλλαζουν οι Πιθανοτητες? Αν γνωριζουμε ως Γεγονος ότι η Ζαρια ειναι Αρτιος αριθμος 𝛢 Πως αλλαζουν οι Πιθανοτητες?

ΠΑΡΑΤΗΡΗΣΗ: Ριψη ΖαριουΓΝΩΣΗ ΥΠΟΘΕΣΗ ΠΙΘΑΝΟΤΗΤΕΣ𝛨 : Καμια Πληροφορια 𝑃 𝟏 𝑃 𝟐 𝑃 𝟑 𝑃 𝟒 𝑃 𝟓 𝑃 𝟔

𝛨 : Ζαρι "Πειραγμενο": Η εδρα 6 εμφανιζεται στις μισες ριψεις

𝑃 𝟏 𝑃 𝟐 𝑃 𝟑 𝑃 𝟒 𝑃 𝟓 ,

𝑃 𝟔

𝛨 : η Ζαρια ειναι Αρτιος αριθμος 𝛢

𝑃 𝟏 0, 𝑃 𝟐 , 𝑃 𝟑 0, 𝑃 𝟒 , 𝑃 𝟓 0 𝑃 𝟔

𝛨 : η Ζαρια ειναι Περιττος αριθμος 𝛱

𝑃 𝟏 0, 𝑃 𝟐 , 𝑃 𝟑 0, 𝑃 𝟒 , 𝑃 𝟓 0 𝑃 𝟔

𝛨 𝜅𝛼𝜄 𝛨 𝑃 , 𝟏 0, 𝑃 , 𝟐 , 𝑃 , 𝟑 0, 𝑃 , 𝟒 , 𝑃 , 𝟓 0, 𝑃 , 𝟔

𝛨 𝜅𝛼𝜄 𝛨 𝑃 , 𝟏 , 𝑃 , 𝟐 0, 𝑃 , 𝟑 , 𝑃 , 𝟒 0, 𝑃 , 𝟓 𝑃 , 𝟔 0

𝜊𝜒𝜄 𝛨𝛢 𝜅𝛼𝜄 𝜊𝜒𝜄 𝛨𝛱: η Ζαρια δεν ειναι Αρτιος ουτε Περιττος αριθμος

Το γεγονος 𝜊𝜒𝜄 𝛨 𝜅𝛼𝜄 𝜊𝜒𝜄 𝛨 Αδυνατο

Παραδοξο Kolmogorov-Borel⟶

Δεσμευμένη Πιθανότητα ΣΧΟΛΙΟ Είναι Αναγκαιο να ορισουμε μια Νεα Πιθανοτητα 𝑝 η οποια να προσφερει εκτιμηση της πραγματικοτητας υπο την δεσμευση ότι το Γεγονος Η (με 𝑝 Η >0) είναι πλεον Βεβαιο.

Αν γνωριζουμε ότι το Γεγονος Η, με 𝑷 𝜢 𝟎 , εχει συμβει είναι βεβαιο , Οι Πιθανοτητες των Γεγονοτων στο συμπληρωμα 𝜢𝒄μηδενιζονται Τα δυνατα Γεγονοτα «περιοριζεται» στο βεβαιο πλεον Γεγονος Η. Τα Γεγονοτα Ξ περιοριζονται στα Ξ∩Η που συγκροτουν την Δεσμευμενη Αλγεβρα Boole από το Γεγονος Η: 𝓑𝜢 𝜩𝜢 𝜩 ∩ 𝜢|𝜩 ∈ 𝓑 Χρειαζομαστε μια νεα Πιθανοτητα 𝒑𝜢 η οποια ενσωματωνει την δεσμευση-γνωση ότι: Το γεγονος 𝜢 είναι Βεβαιο: 𝒑𝜢 𝜢 𝟏 Αρα: To Συμπληρωματικο Γεγονος 𝜢𝒄 είναι Αδυνατο: 𝒑𝜢 𝜢𝒄 𝟎 Δεσμευμενη Πιθανοτητα 𝒑𝜢 των Γεγονοτων

Ορισμος (Κοlmogorov)Δεσμευμενη Πιθανοτητα του Γεγονοτος Ξ εκ του Γεγονοτος Η

P Ξ 𝑃 Ξ | Η , ∩

προυποθεση: Ρ Η 0

ΣΧΟΛΙΟ

Το Γεγονος Ξ ως Αποτελεσμα της (πιθανης) Αιτιας H

Ποσο συμβαλλει το Γεγονος H

στην πραγματοποιηση του Γεγονοτος Ξ

Η Δεσμευμενη Πιθανοτητα 𝑃 Ξ | Η

είναι Πιθανοτητα στην Αλγεβρα Boole των Υποσυνολων του Η, δηλαδη Πιθανοτητα στον περιορισμενο Δειγματικο Χωρο Η

Πορισμα 1

Η Δεσμευμενη Πιθανοτητα 𝑃 . | Η

ικανοποιει ολες τις Ιδιοτητες της Πιθανοτητας,

Αλλα η συνολοσυναρτηση 𝑃 Ξ|. δεν είναι Πιθανοτητα:

𝑃 Ξ|Η 1 𝑃 Ξ| Η

Δεσμευμενη Πιθανοτητα. Παραδειγμα Διαυλος Επικοινωνιας Πομπος στελνει σηματα που αποτελουνται από 3 συμβολα α,β,γ Η συνοτητα εμφανισης των συμβολων ειναι 30%, 20%, 50% αντιστοιχα. Ο Δεκτης λαμβανει τα γραμματα διαδοχικα Κάθε ληψη εξαρταται μονο από την αντιστοιχη εκπομπη και οι ληψεις είναι ανεξαρτητες μεταξυ τους. Τα σηματα λαμβανονται με σφαλματα που εκτιμηθηκαν ως εξης: Όταν ο Πομπος στελνει το γραμμα α, ο Δεκτης λαμβανει το α με πιθανοτητα 70%, το β με πιθανοτητα 20%, το γ με πιθανοτητα 10%, Όταν ο Πομπος στελνει το γραμμα β, ο Δεκτης λαμβανει το α με πιθανοτητα 30%, το β με πιθανοτητα 60%, το γ με πιθανοτητα 10%, Όταν ο Πομπος στελνει το γραμμα γ, ο Δεκτης λαμβανει το α με πιθανοτητα 10%, το β με πιθανοτητα 50%, το γ με πιθανοτητα 40%. 1) Ποια η Πιθανοτητα ο Δεκτης να λαβει το σημα (ββα), αν ο Πομπος εστειλε το σημα (ββα) 2) Ποια η Πιθανοτητα ο Δεκτης να λαβει το σημα (ββα)? 3) Ποια η Πιθανοτητα ο Πομπος να εστειλε το σημα (αβγ), αν ο Δεκτης ελαβε το σημα (ββα)?

Δεδομενα

Εστω Α το Γεγονος ότι ο Πομπος στελνει το γραμμα α

Β το Γεγονος ότι ο Πομπος στελνει το γραμμα β

Γ το Γεγονος ότι ο Πομπος στελνει το γραμμα γ

𝛢 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα α

𝛣 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα β

𝛤 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα γ

Ρ[Α]=0.3 , Ρ[Β]=0.2 , Ρ[Γ]=0.5

𝛲 𝛢 𝛢 0.7 𝛲 𝛣 𝛢 0.2 𝛲 𝛤 𝛢 0.1

𝛲 𝛢 𝛣 0.3 𝛲 𝛣 𝛣 0.6 𝛲 𝛤 𝛣 0.1

𝛲 𝛢 𝛤 0.1 𝛲 𝛣 𝛤 0.5 𝛲 𝛤 𝛤 0.4

Απαντηση

Ερωτημα 1

𝛲 𝛣𝛣𝐴 𝛣𝐵𝐴 𝛲 𝛣 𝛣 𝛲 𝛣 𝛣 𝛲 𝛢 𝛢 0.6 ∙ 0.6 ∙ 0.7 0.252

Αφου οι ληψεις είναι ανεξαρτητες μεταξυ τους και κάθε ληψη εξαρταται μονο από την αντιστοιχη εκπομπη.

Υπομνηση Συμβολισμου: 𝜬 𝜢𝜩 𝜬 𝜢 ∙ 𝜩 𝜬 𝜢 ∩ 𝜩

Ερωτημα 2

Ρ[𝛣𝛣𝛢] =𝛲 𝛣 𝛲 𝛣 𝛲 𝛢

Υπολογιζουμε τις Πιθανοτητες 𝛲 𝛣 , 𝛲 𝛢 από το Θεωρημα Ολικης Πιθανοτητας:

𝛲 𝛣 𝛲 𝛣 𝛢 ∪ 𝛣 ∪ 𝛤 𝛲 𝛣𝛢 ∪ 𝛣𝛣 ∪ 𝛣𝛤 𝛲 𝛣𝛢 𝛲 𝛣𝛣 𝛲 𝛣𝛤 =

𝛲 𝛣|𝛢 𝛲 𝛢 𝛲 𝛣|𝛣 𝛲 𝛣 𝛲 𝛣|𝛤 𝛲 𝛤

0.2 ∙ 0.3 0.6 ∙ 0.2 0.5 ∙ 0.5 0.43

𝛲 𝛢 𝛲 𝛢 𝛢 ∪ 𝛣 ∪ 𝛤 𝛲 𝛢𝛢 ∪ 𝛢𝛣 ∪ 𝛢𝛤 𝛲 𝛢𝛢 𝛲 𝛢𝛣 𝛲 𝛢𝛤 =

𝛲 𝛢|𝛢 𝛲 𝛢 𝛲 𝛢|𝛣 𝛲 𝛣 𝛲 𝛢|𝛤 𝛲 𝛤

0.7 ∙ 0.3 0.3 ∙ 0.2 0.1 ∙ 0.5 0.32

Ρ[𝛣𝛣𝛢] =𝛲 𝛣 𝛲 𝛣 𝛲 𝛢 0.43 ∙ 0.43 ∙ 0.32 0.06

Ερωτημα 3

𝛲 𝐴𝐵𝛤 𝛣𝛣𝐴 𝛲 𝛢 𝛣 𝛲 𝛣 𝛣 𝛲 𝛤 𝛢 0.1395 ∙ 0.279 ∙ 0.156 0.006

𝛲 𝛢 𝛣 𝛲 𝛣 𝛢𝛲 𝛢𝛲 𝛣

0.20.3

0.43 0.1395

𝛲 𝛣 𝛣 𝛲 𝛣 𝛣𝛲 𝛣𝛲 𝛣

0.60.2

0.43 0.279

𝛲 𝛤 𝛢 𝛲 𝛢 𝛤𝛲 𝛤𝛲 𝛢

0.10.5

0.32 0.156

Δεσμευμενη Πιθανοτητα. Παραδειγμα Αποκωδικοποιηση Πομπος στελνει σηματα που αποτελουνται από 3 συμβολα α,β,γ Η συνοτητα εμφανισης των συμβολων ειναι 30%, 20%, 50% αντιστοιχα. Ο Δεκτης λαμβανει τα γραμματα διαδοχικα Κάθε ληψη εξαρταται μονο από την αντιστοιχη εκπομπη και οι ληψεις είναι ανεξαρτητες μεταξυ τους. Τα σηματα λαμβανονται με σφαλματα που εκτιμηθηκαν ως εξης: Όταν ο Πομπος στελνει το γραμμα α, ο Δεκτης λαμβανει το α με πιθανοτητα 70%, το β με πιθανοτητα 20%, το γ με πιθανοτητα 10%, Όταν ο Πομπος στελνει το γραμμα β, ο Δεκτης λαμβανει το α με πιθανοτητα 30%, το β με πιθανοτητα 60%, το γ με πιθανοτητα 10%, Όταν ο Πομπος στελνει το γραμμα γ, ο Δεκτης λαμβανει το α με πιθανοτητα 10%, το β με πιθανοτητα 50%, το γ με πιθανοτητα 40%. Ο Δεκτης αποκωδικοποιει το σημα που ελαβε με τον εξης κανονα: ως σημα που εσταλη επιλεγεται το σημα με μεγιστη πιθανοτητα να ειχε σταλει. Αν υπαρχουν περισσοτερα από ένα σηματα που εσταλησαν με μεγιστη πιθανοτητα, παρατιθετει ολες τις εκδοχες.

Να Αποκωδικοποιηθει το μηνυμα (αβ) που ελαβε ο Δεκτης

Δεδομενα

Εστω Α το Γεγονος ότι ο Πομπος στελνει το γραμμα α

Β το Γεγονος ότι ο Πομπος στελνει το γραμμα β

Γ το Γεγονος ότι ο Πομπος στελνει το γραμμα γ

𝛢 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα α

𝛣 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα β

𝛤 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα γ

Ρ[Α]=0.3 , Ρ[Β]=0.2 , Ρ[Γ]=0.5

𝛲 𝛢 𝛢 0.7 𝛲 𝛣 𝛢 0.2 𝛲 𝛤 𝛢 0.1

𝛲 𝛢 𝛣 0.3 𝛲 𝛣 𝛣 0.6 𝛲 𝛤 𝛣 0.1

𝛲 𝛢 𝛤 0.1 𝛲 𝛣 𝛤 0.5 𝛲 𝛤 𝛤 0.4

Απαντηση

Ο Πομπος δυναται να στειλει τα εξης 9 μηνυματα:

(αα), (αβ), (αγ), (βα), (ββ), (βγ), (γα), (γβ), (γγ)

Υπολογιζονται οι αντιστοιχες πιθανοτητες

𝛲 𝛢𝛢 𝛢𝛣 𝛲 𝛢 𝛢 𝛲 𝛢 𝛣 ≃ 0,656 ∙ 0,140 ≃ 0,092

𝛲 𝛢𝛣 𝛢𝛣 𝛲 𝛢 𝛢 𝛲 𝛣 𝛣 ≃ 0,656 ∙ 0,279 ≃ 0,183

𝛲 𝛢𝛤 𝛢𝛣 𝛲 𝛢 𝛢 𝛲 𝛤 𝛣 ≃ 0,656 ∙ 0,581 ≃ 0,381

𝛲 𝛣𝛢 𝛢𝛣 𝛲 𝛣 𝛢 𝛲 𝛢 𝛣 ≃ 0,187 ∙ 0,140 ≃ 0,026

𝛲 𝛣𝛣 𝛢𝛣 𝛲 𝛣 𝛢 𝛲 𝛣 𝛣 ≃ 0,187 ∙ 0,279 ≃ 0,052

𝛲 𝛣𝛤 𝛢𝛣 𝛲 𝛣 𝛢 𝛲 𝛤 𝛣 ≃ 0,187 ∙ 0,581 ≃ 0,109

𝛲 𝛤𝛢 𝛢𝛣 𝛲 𝛤 𝛢 𝛲 𝛢 𝛣 ≃ 0,156 ∙ 0,134 ≃ 0,021

𝛲 𝛤𝛣 𝛢𝛣 𝛲 𝛤 𝛢 𝛲 𝛣 𝛣 ≃ 0,156 ∙ 0,279 ≃ 0,044

𝛲 𝛤𝛤 𝛢𝛣 𝛲 𝛤 𝛢 𝛲 𝛤 𝛣 ≃ 0,156 ∙ 0,581 ≃ 0,091

Η μεγαλυτερη Πιθανοτητα είναι η 0,381.

Βασει του κανονα αποκωδικοποιησης τυπωνουμε (αγ), αν λαμβανουμε (αβ)

Υπολογισμοι Δεσμευμενων Πιθανοτητων που ειπεισερχονται

𝛲 𝛢 𝛢 𝛲 𝛢 𝛢𝛲 𝛢𝛲 𝛢

0,70,3

0,32 0,656

𝛲 𝛢 𝛲 𝛢 𝛢 ∪ 𝛣 ∪ 𝛤 𝛲 𝛢𝛢 ∪ 𝛢𝛣 ∪ 𝛢𝛤 𝛲 𝛢𝛢 𝛲 𝛢𝛣 𝛲 𝛢𝛤 =

𝛲 𝛢|𝛢 𝛲 𝛢 𝛲 𝛢|𝛣 𝛲 𝛣 𝛲 𝛢|𝛤 𝛲 𝛤

0.7 ∙ 0.3 0.3 ∙ 0.2 0.1 ∙ 0.5 0.32

𝛲 𝛢 𝛣 𝛲 𝛣 𝛢𝛲 𝛢𝛲 𝛣

0,20,3

0,43 0,134

𝛲 𝛣 𝛲 𝛣 𝛢 ∪ 𝛣 ∪ 𝛤 𝛲 𝛣𝛢 ∪ 𝛣𝛣 ∪ 𝛣𝛤 𝛲 𝛣𝛢 𝛲 𝛣𝛣 𝛲 𝛣𝛤 =

𝛲 𝛣|𝛢 𝛲 𝛢 𝛲 𝛣|𝛣 𝛲 𝛣 𝛲 𝛣|𝛤 𝛲 𝛤

0.2 ∙ 0.3 0.6 ∙ 0.2 0.5 ∙ 0.5 0.43

𝛲 𝛣 𝛣 𝛲 𝛣 𝛣𝛲 𝛣𝛲 𝛣

0,60,2

0,43 0.279

𝛲 𝛣 𝛢 𝛲 𝛢 𝛣𝛲 𝛣𝛲 𝛢

0,30,2

0,32 0.187

𝛲 𝛤 𝛣 𝛲 𝛣 𝛤𝛲 𝛤𝛲 𝛣

0,50,5

0,43 0.581

𝛲 𝛤 𝛢 𝛲 Α 𝛤𝛲 𝛤𝛲 𝛢

0,10,5

0,32 0.156

Αποδειξη

1) 𝑝 Α|𝐻 ∩ ∩ 𝑝 H|Α

Και απο το Πολλαπλασιαστικο Θεωρημα

2) P[A] 𝑃 𝐴 ∩ 𝛺 𝑃 𝐴 ∩ 𝐻 ∪ 𝐻

𝑃 𝐴 ∩ 𝐻 ∪ 𝐴 ∩ 𝐻

𝑃 𝐴 ∩ 𝐻 𝑃 𝐴 ∩ 𝐻

𝑃 𝐴|𝐻 𝑃 𝐻 𝑃 𝐴|𝐻 𝑃 𝐻

Εφαρμογη της Ιδιοτητας 5) Πιθανοτητας Kolmogorov

3) 𝑃 A 𝑃 A ∩ 𝛺 𝑃 A ∩ 𝐻 ∪ 𝐻 ∪ … ∪ 𝐻

𝑃 𝐴 ∩ 𝐻 ∪ A ∩ 𝐻 ∪ … ∪ A ∩ 𝐻

P 𝐴 ∩ 𝐻 P A ∩ 𝐻 ⋯ P A ∩ 𝐻

∑ 𝑃 𝐴|𝐻 P 𝐻 ]

Εφαρμογη της Ιδιοτητας 5) Πιθανοτητας Kolmogorov

ΣΧΟΛΙΟ Θεωρημα Bayes. Ερμηνεια

𝑃 𝐻 , 𝑃 𝐻 , … , 𝑃 H οι Πιθανοτητες των Γεγονοτων H , H ,…, H Προ της Παρατηρησης Προτερες Πιθανοτητες (apriori probabilities) 𝑃 𝐻 |𝐴 , 𝑃 𝐻 |𝐴 , … , 𝑃 H |𝐴 οι πιθανοτητες των Γεγονοτων H , H ,…, H μετα την Διαπιστωση ότι συνεβη το γεγονος B Υστερες Πιθανοτητες (aposteriori probabilities) 𝑃 𝐴|𝐻 , 𝑃 𝐴|𝐻 , … , 𝑃 𝐴|H οι Πιθανοτητες τα Γεγονοτα H , H ,…, H να επηρεαζουν (ως Αιτιες) τo γεγονος Β Οι Πιθανοτητες Εξαρτησης του A από τα Γεγονοτα H , H ,…, H Ο Τυπος Bayes συνδεει Τις Υστερες Πιθανοτητες 𝑃 𝐻 |𝐴 , 𝑃 𝐻 |𝐴 , … , 𝑃 H |𝐴 με τις Προτερες Πιθανοτητες (apriori probabilities) 𝑃 𝐻 , 𝑃 𝐻 , … , 𝑃 H Μεσω των Πιθανοτητων Εξαρτησης 𝑃 A|𝐻 , 𝑃 A|𝐻 , … , 𝑃 𝐴|H

Bayesian Statistics

ΣΧΟΛΙΟ Θεωρημα Bayes. Εφαρμογη στον Ελεγχο Υποθεσεων Σχεση Διαγνωσης‐Παρατηρησης με την Πραγματικοτητα

Η συμβολιζει την Υποθεση που διατυπωνουμε για ένα Φαινομενο ως Μεταβλητη

𝛨 1 𝑻𝑅𝑈𝐸 σημαινει ότι η Υποθεση είναι Αληθης

Η Υποθεση περιγραφει Αληθως την Πραγματικοτητα

𝛨 0 𝑭𝐴𝐿𝑆𝐸 σημαινει ότι η Υποθεση είναι Ψευδης

Η Υποθεση περιγραφει Ψευδως την Πραγματικοτητα

𝚮 συμβολιζει το αποτελεσμα της Δοκιμης‐Ελεγχου της Υποθεσης Η μεσω Παρατηρησης (Δεδομενα, Οργανο) Η 𝑷𝑂𝑆𝐼𝑇𝐼𝑉𝐸 σημαινει ότι η Παρατηρηση είναι Θετικη για την Υποθεση Η

Η Υποθεση Επιβεβαιωνεται από την Παρατηρηση

Η 𝑁𝐸𝐺𝐴𝑇𝐼𝑉𝐸 σημαινει ότι η Παρατηρηση είναι Αρνητικη για την Υποθεση Η

Η Υποθεση Δεν Επιβεβαιωνεται από την Παρατηρηση

Oι 4 δυνατες περιπτωσεις απεικονιζονται στο Πινακα Συγχυσης (Σφαλματων)

της Παρατηρησης με την Πραγματικοτητα.

O Πινακας Συγχυσης (Confusion Matrix) είναι

ο 2 2 Πινακας Συναφειας (Contingency Matrix)

της Διαγνωσης 𝐻 με την Πραγματικοτητα 𝛨

Συναφεια της Παρατηρησης 𝐻 με την Υποθεση HTRUE POSITIVE OUTCOME

𝐻 και 𝛨 1 Η Παρατηρηση Επιβεβαιωνει 𝑯 την Αληθη Υποθεση 𝜢 𝟏 ΑΛΗΘΕΣ ΘΕΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ Διαγνωση Θετικη και το Ατομο ΠΑΣΧΕΙ Ο Ενοχος Καταδικαζεται

FN FALSE NEGATIVE OUTCOME𝐻 και 𝛨 1

Η Παρατηρηση Απορριπτει 𝑯 την Αληθη Υποθεση 𝜢 𝟏 ΨΕΥΔΕΣ ΑΡΝΗΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ Διαγνωση Αρνητικη

αλλα το Ατομο ΠΑΣΧΕΙ Ο Ενοχος Απαλασσεται

Σφαλμα 2ου Ειδους Τυπου IΙ

FP FALSE POSITIVE OUTCOME𝐻 και 𝛨 0

Η Παρατηρηση Επιβεβαιωνει 𝑯 την Ψευδη Υποθεση 𝜢 𝟎 ΨΕΥΔΕΣ ΘΕΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ Διαγνωση Θετικη αλλα το Ατομο ΔΕΝ ΠΑΣΧΕΙ Ο Αθωος Καταδικαζεται

Σφαλμα 1ου Ειδους Τυπου I

TN TRUE NEGATIVE OUTCOME𝐻 και 𝛨 0

Η Παρατηρηση Απορριπτει 𝑯 την Ψευδη Υποθεση 𝜢 𝟎 ΑΛΗΘΕΣ ΑΡΝΗΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ Διαγνωση Αρνητικη και το Ατομο ΔΕΝ ΠΑΣΧΕΙ Ο Αθωος Απαλλασσεται

Συναφεια Παρατηρησης με την ΠραγματικοτηταΑΛΗΘΕΣ ΘΕΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ ΤPΑΛΗΘΕΣ ΑΡΝΗΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ ΤNΗ Παρατηρηση Αναπαριστα (Φανερωνει) την Πραγματικοτητα Παιρνεις oτι Βλεπεις What you see is What you get

ΨΕΥΔΕΣ ΘΕΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ FPΨΕΥΔΕΣ ΑΡΝHΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ FNΗ Παρατηρηση δεν Αναπαριστα (Συγκαλυπτει) την Πραγματικοτητα Αλλα Βλεπεις, αλλα Παιρνεις What you see is Νot What you get Το Δικαστηριο είναι ο Φοβος του Αθωου και η Ελπιδα του Ενοχου ΨΕΥΔΑΙΣΘΗΣΗ HALLUCINATION ΠΑΡΑΠΛΑΝΗΣΗ ΠΛΑΝΗ ILLUSION ΑΥΤΑΠΑΤΗ GLAMOUR

Πληθος Γεγονοτων Συμβολο Πληθος Αληθως Θετικων Γεγονοτων 𝛨 και 𝛨 1

𝑇𝑃

Πληθος Αληθως Αρνητικων Γεγονοτων 𝛨 και 𝛨 0

𝑇𝛮

Πληθος Ψευδως Θετικων Γεγονοτων 𝛨 και 𝛨 0

𝐹𝑃

Πληθος Ψευδως Αρνητικων Γεγονοτων 𝛨 και 𝛨 1

𝐹𝛮

Πληθος Θετικων Γεγονοτων/Παρατηρησεων 𝛨

𝑃 𝑇𝑃 𝐹𝑃

Πληθος Αρνητικων Γεγονοτων/Παρατηρησεων 𝛨

𝑁 𝑇𝑁 𝐹𝑁

Πληθος Αληθων Γεγονοτων/Παρατηρησεων 𝛨 1

𝛵 𝑇𝑃 𝑇𝑁

Πληθος Ψευδων Γεγονοτων/Παρατηρησεων 𝛨 1

𝐹 𝐹𝑃 𝐹𝑁

Πληθος Γεγονοτων που Παρατηρηθηκαν 𝛭 𝑃 𝑁 𝑇 𝐹

Υπολογισμος του Πινακα Συγχυσης από τις Μετρησεις

Πιναξ M Μετρησεων των 2 Μεταβλητων

Μεταβλητες 𝑯 𝚮

Καταχωρηση 1 𝜒 𝓎 Καταχωρηση 2 𝜒 𝓎

⋮ ⋮ ⋮ Καταχωρηση μ 𝜒 𝓎

⋮ ⋮ ⋮ Καταχωρηση M 𝜒 𝓎 Spectrum of 𝑯: 𝜑𝑯 { , Spectrum of Η: 𝜑 {1, 0 Marginal Totals of 𝑯: M ∑ 𝜒

M ∑ 𝜒

Marginal Totals of 𝜢: M 1 ∑ 𝓎 1

M 0 ∑ 𝓎 0

Κοινα Ζευγη Τιμων

M 1, 𝜒 𝓎 1 𝜯𝑷Πληθος Αληθως Θετικων Γεγονοτων Γεγονοτα με Διαγνωση Θετικη 𝛨 που είναι και Πραγματικα 𝛨 1

M 1, 𝜒 𝓎 1 𝑭𝑵Πληθος Ψευδως Αρνητικων Γεγονοτων Γεγονοτα με Διαγνωση Αρνητικη 𝛨 που όμως δεν είναι Πραγματικα 𝛨 1

M 0, 𝜒 𝓎 0 𝑭𝑷Πληθος Ψευδως Θετικων Γεγονοτων Γεγονοτων με Διαγνωση Θετικη 𝛨 που όμως δεν είναι Πραγματικα 𝛨 0

M 0, 𝜒 𝓎 0 𝑻𝑵Πληθος Αληθως Αρνητικων Γεγονοτων Γεγονοτα με Διαγνωση Αρνητικη 𝛨 που είναι και Πραγματικα 𝛨 0

⟦S𝑡𝑎𝑡𝑒𝑚𝑒𝑛𝑡⟧ 1, if 𝑆𝑡𝑎𝑡𝑒𝑚𝑒𝑛𝑡 is Τrue 0, if 𝑆𝑡𝑎𝑡𝑒𝑚𝑒𝑛𝑡 is ΝΟΤ Τrue

The Iverson Βracket of the Statement Knuth D.1992, Two Notes on Notation, American Mathematical Monthly 99, 403–422

Συναφεια της Διαγνωσης 𝐻 με την Πραγματικοτητα 𝛨

Πιναξ Συγχυσης

Τιμες της 𝑯 Περιθωριες Τιμες της HΤιμες

της H

1 M 1, 𝜯𝑷

M 1, 𝑭𝑵

M 1

0 M 0, 𝑭𝑷

M 0, 𝑭𝑵 M 0

Περιθωριες Τιμες της 𝑯

M 𝑃 𝑇𝑃 𝐹𝑃

M 𝑁 𝑇𝑁 𝐹𝑁

𝑴 𝑻𝑷 𝑭𝑷 𝑻𝑵 𝑭𝑵

Δεικτες Συγχυσης (Συναφειας της Διαγνωσης 𝐻 με την Πραγματικοτητα 𝛨)

𝑃 𝐻 𝐻 𝑃 𝐻 𝓛 𝜢 Οι Δεσμευμενες Πιθανοτητες της Παρατηρησης 𝐻 απο την Υποθεση 𝛨 = Οι Πιθανοτητες της Παρατηρησης 𝐻 δεδομενης της Υποθεσης 𝛨 𝑃 𝐻 = Η Πιθανοφανεια της Υποθεσης 𝛨 εκ της Παρατηρησης 𝐻 ℒ 𝛨

Σχεση Διαγνωσης‐Παρατηρησης με την Πραγματικοτητα

Πιθανοτητα Αληθους Ελεγχου True Positive Probability = Sensitivity Ευαισθησια = Power of the Test = Recall Ανακληση

True Negative Probability = Specificity Ειδικοτητα = Confidence Εμπιστοσυνη

𝑃 𝛨 𝛨 1𝑃 𝐻 , 𝐻 1

𝑃 𝐻 1

𝛵𝑃𝑀

𝛵𝑃 𝐹𝑁𝑀

𝛵𝑃

𝛵𝑃 𝐹𝑁

𝟏 𝜷

𝑃 𝛨 𝛨 0𝑃 𝐻 , 𝐻 0

𝑃 𝐻 0

𝑇𝑁𝑀

𝑇𝑁 𝐹𝑃𝑀

𝑇𝑁

𝑇𝑁 𝐹𝑃

𝟏 𝒂

Σχεση Διαγνωσης‐Παρατηρησης με την Πραγματικοτητα

Πιθανοτητα Σφαλματων False Positive Probability = False Alarm Probability = Type I Error Probability = Significance Σημαντικοτητα

False Negative Probability =False Confidence Probability =Type II Error Probability

𝑃 𝛨 𝛨 0𝑃 𝐻 , 𝐻 0

𝑃 𝐻 0𝐹𝑃𝑀

𝐹𝑃 𝑇𝑁𝑀

𝐹𝑃

𝐹𝑃 𝑇𝑁

𝒂

𝑃 𝛨 𝛨 1𝑃 𝐻 , 𝐻 1

𝑃 𝐻 1 𝐹𝑁𝑀

𝑇𝑃 𝐹𝑁𝑀

𝐹𝑁

𝐹𝑁 𝑇𝑃 𝜷

Πιθανοτητα Αληθως Θετικου Ελεγχου

Πιθανοτητα Ψευδως Θετικου Ελεγχου Πιθανοτητα Σφαλματος Τυπου ΙΙ

Πιθανοτητα Ψευδως Αρνητικου Ελεγχου

Πιθανοτητα Σφαλματος Τυπου Ι

Πιθανοτητα Αληθως Αρνητικου Ελεγχου

Πιθανοτητα Ορθης Διαγνωσης

𝑃 𝛨 , Η 1 𝑜𝑟 𝛨 , Η 0 𝑃 𝛨 , Η 1 𝛨 , Η 0𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

1 𝛽 𝑃 Η 1 1 𝛽 𝑃 Η 0

1 𝛽 𝛱 1 𝛽 1 𝛱

𝛱 𝑃 Η 1 Η Επικρατηση (Prevalence)

Πιθανοτητα Εσφαλμενης Διαγνωσης


𝛽 ∙ 𝑃 Η 1 𝛼 ∙ 𝑃 Η 0

𝛽 ∙ 𝛱 𝛼 ∙ 1 𝛱

𝛱 𝑃 Η 1 Η Επικρατηση (Prevalence)

Θεωρημα Bayes. Διαγνωση Νοσου Εστω Μεθοδος Διαγνωσης Νοσου Η Νοσος εμφανιζεται σε ποσοστο 0.5% στον Πληθυσμο Η Μεθοδος Διαγνωσης εχει Πιθανοτητα 95% Αληθους Θετικης Διαγνωσης και Πιθανοτητα 10% Ψευδους Θετικης Διαγνωσης 1 Ποια η Πιθανοτητα να υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη? 2 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη? 3 Ποια η Πιθανοτητα Θετικης Διαγνωσης? 4 Ποια η Πιθανοτητα Αρνητικης Διαγνωσης? 5 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Αρνητικη? 6 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη? 7 Ποια η Πιθανοτητα Ορθης Διαγνωσης? 8 Ποια η Πιθανοτητα Εσφαλμενης Διαγνωσης?

Υπαρχουν 4 Ενδεχομενα: Η 1 : Υπαρχει Νοσος Η 0 : Δεν Υπαρχει Νοσος Η : η Δοκιμη είναι Θετικη Η : η Δοκιμη είναι Αρνητικη ΔΙΔΟΝΤΑΙ: Επικρατηση Prevalence Νοσου: 0.5% P Η 1 0.005 Επιδημιολογια Ευαισθησια Sensitivity : 80% P 𝛨 |Η 1 0.95 Προδιαγραφες

Μεθοδου ΔιαγνωσηςΣφαλμα False Positive: 10% P 𝛨 |Η 0 0.1

1 Ποια η Πιθανοτητα να υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη? Δηλαδη Ζητειται η Δεσμευμενη Πιθανοτητα 𝑃 Η 1|𝛨 Ευστοχια (Precision) της Διαγνωσης Εφαρμοζω το Θεωρημα Bayes:

𝑃 𝐴|𝐵𝑃 𝐵|𝐴 𝑃 𝐴

𝑃 𝐵𝑃 𝐵|𝐴 𝑃 𝐴

𝑃 𝐵|𝐴 𝑃 𝐴 𝑃 𝐵|𝛢𝑐 𝑃 𝛢𝑐

𝑃 Η 1|𝛨𝑃 𝛨 Η 1 𝑃 Η 1

𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.95 0.0050.95 0.005 0.1 0.995 0.0455

Η Πιθανοτητα να υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη, είναι 4.55% 2 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη?

𝑃 Η 0|𝛨 1 𝑃 Η 1|𝛨 1 0.0455 0.9545

3 Ποια η Πιθανοτητα Θετικης Διαγνωσης? Από το Θεωρημα Ολικης Πιθανοτητος:

𝑃 𝛨 𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0 0.10425 4 Ποια η Πιθανοτητα Αρνητικης Διαγνωσης?

𝑃 Η 1 𝑃 𝛨 1 0.10425 0.89575

5 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Αρνητικη?

𝑃 𝐴|𝐵𝑃 𝐵|𝐴 𝑃 𝐴

𝑃 𝐵


𝑃 𝛨

1 𝑃 𝛨 Η 0 1 𝑃 𝛨 1𝑃 𝛨

. ..

0,999916! 6 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη?

𝑃 Η 0|𝛨 1 𝑃 Η 1|𝛨 1 0.0455 0.9545

7 Ποια η Πιθανοτητα Ορθης Διαγνωσης?

𝑃 𝛨 , Η 1 𝑜𝑟 𝛨 , Η 0 𝑃 𝛨 , Η 1 𝛨 , Η 0

𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.95 ∙ 0.005 0.9 ∙ 0.995 0.90025

𝑃 𝛨 Η 1 0.95, δεδομενο

𝑃 Η 1 0.005, δεδομενο

𝑃 𝛨 Η 0 1 P 𝛨 |Η 0 1 0.1 0.9

𝑃 Η 0 1 𝑃 Η 1 0.995

8 Ποια η Πιθανοτητα Εσφαλμενης Διαγνωσης?


0.05 ∙ 0.005 0.1 ∙ 0.995 0.0995

𝑃 𝛨 Η 1 1 P 𝛨 |Η 1 1 0.95 0.05

𝑃 Η 1 0.005, δεδομενο 𝑃 𝛨 Η 0 0.1, δεδομενο

𝑃 Η 0 1 𝑃 Η 1 0.995

Θεωρημα Bayes. Ταξινομηση Εστω Μεθοδος Ταξινομισης Ερπετων. Παρατηρησαμε μια περιεργη Σαυρα. 4 Ενδεχομενα: Η 1 : Η Σαυρα είναι Σπανιου Ειδους Η 0 : Η Σαυρα δεν είναι Σπανιου Ειδους Η : H Μεθοδος δειχνει ότι Η Σαυρα είναι Σπανιου Ειδους Η : H Μεθοδος δεν δειχνει ότι Η Σαυρα είναι Σπανιου Ειδους ΔΙΔΟΝΤΑΙ: Επικρατηση (Prevalence) Σπανιου Ειδους Σαυρων: 0.4% P[Η=1] 0.004 Επιδημιολογια Ευαισθησια (Sensitivity): 80% P[𝛨 |Η 1 0.8 Προδιαγραφες

Μεθοδου Διαγνωσης Σφαλμα Τυπου Ι: 10% P[𝛨 |Η 0]=0.1 ΖΗΤΕΙΤΑΙ: η Ευστοχια (Precision) της Μεθοδου Ταξινομισης Είναι η Σαυρα Σπανιου Ειδους [H=1], αν η Μεθοδος είναι Θετικη [𝜢 ] ?


𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.8 0.0040.8 0.004 0.1 0.996 0.031

Η Πιθανοτητα η Σαυρα που Παρατηρησαμε να είναι Σπανιου Ειδους, αν η Μεθοδος Ταξινομισης είναι Θετικη, είναι 3.1%

Θεωρημα Bayes. Αξιολογηση Μαρτυρα

Ταξί κάνει τροχαίο ατύχημα και αφήνει το θύμα αβοήθητο. Υπαρχουν δύο εταιρείες ταξί τα πράσινα και τα μπλε. Αυτόπτης μάρτυρας κατέθεσε ότι το ταξί ήταν μπλε. Είναι γνωστό ότι τα μπλε ταξί αποτελούν μόνο το 15% των ταξί της πόλης, ενώ τα υπόλοιπα 85% είναι πράσινα. Ο μάρτυς εξετάστηκε ως προς την ικανότητά του να διακρινει τα χρώματα. Διαπιστωθηκε ότι σε συνθήκες φωτισμού ανάλογες του ατυχήματος, ο μάρτυς αναγνωρίζει σωστά το χρώμα στις 80% των περιπτώσεων. Ποια η πιθανότητα στο ατύχημα να εμπλέκονταν μπλε ταξί? Υπαρχουν 4 Ενδεχομενα: Μ = Το ταξι είναι μπλε Π = Το ταξι είναι πρασινο Μ = ο μάρτυρας καταθέτει ότι το ταξί ήταν μπλε

𝑷 𝑴|𝑴𝑃 𝑀 𝑀 𝑃 𝑀

𝑃 𝑀 𝑀 𝑃 𝑀 𝑃 𝑀 Π 𝑃 Π

0.8 0.150.8 0.15 0.2 0.85 0.413

η πιθανότητα να είναι ορθη η καταθεση του μάρτυρα είναι πολύ μικρή. Ομως συχνά αποδεχομαστε ως βέβαιη τη μαρτυρία του.

Θεωρημα Bayes. Ταξινομηση Εστω Μεθοδος Ταξινομισης Ερπετων. Παρατηρησαμε μια περιεργη Σαυρα. 4 Ενδεχομενα: Η 1 : Η Σαυρα είναι Σπανιου Ειδους Η 0 : Η Σαυρα δεν είναι Σπανιου Ειδους Η : H Μεθοδος δειχνει ότι Η Σαυρα είναι Σπανιου Ειδους Η : H Μεθοδος δεν δειχνει ότι Η Σαυρα είναι Σπανιου Ειδους ΔΙΔΟΝΤΑΙ: Επικρατηση (Prevalence) Σπανιου Ειδους Σαυρων: 0.4% P[Η=1] 0.004 Επιδημιολογια Ευαισθησια (Sensitivity): 80% P[𝛨 |Η 1 0.8 Προδιαγραφες

Μεθοδου Διαγνωσης Σφαλμα Τυπου Ι: 10% P[𝛨 |Η 0]=0.1 ΖΗΤΕΙΤΑΙ: η Ευστοχια (Precision) της Μεθοδου Ταξινομισης Είναι η Σαυρα Σπανιου Ειδους [H=1], αν η Μεθοδος είναι Θετικη [𝜢 ] ?


𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.8 0.0040.8 0.004 0.1 0.996 0.031

Η Πιθανοτητα η Σαυρα που Παρατηρησαμε να είναι Σπανιου Ειδους, αν η Μεθοδος Ταξινομισης είναι Θετικη, είναι 3.1%

Θεωρημα Bayes. Πιθανοτητα θετικης Διαγνωσης Σε μια πολη νοσουν 40 στα 100 ατομα. Το Διαγνωστικο Οργανο δειχνει Διαγνωση θετικη (ανιχνευεται νοσος) στα 92 από τα 100 ατομα που νοσουν πραγματικα, ενω στα ατομα που δεν νοσουν πραγματικα η διαγνωση είναι θετικη στα 2 από τα 100 ατομα. Αν εξεταστει ένα τυχαιο ατομο, ποια η πιθανοτητα η Διαγνωση να είναι θετικη Δεδομενα Η = το γεγονος ότι ενα τυχαιο ατομο νοσει πραγματικα 𝛨 = το γεγονος ότι ενα τυχαιο ατομο φαινεται από την διαγνωση να νοσει πραγματικα 𝑃 𝛨 0,4

𝑃 𝛨|𝐻 0,92 𝑃 𝛨|𝛨 0,02

Απαντηση Από το Θεωρημα Ολικης Πιθανοτητας:

𝑃 𝛨 𝑃 𝛨 𝑃 𝛨 𝐻 𝑃 𝛨 𝑃 𝛨 𝛨 𝑃 𝛨 𝑃 𝛨 ∩ 𝛨 ∪ 𝛨

𝑃 𝛨 ∩ 𝛨 ∪ 𝛨 ∩ 𝛨 𝑃 𝛨 ∩ 𝛨 𝑃 𝛨 ∩ 𝛨

𝑃 𝛨 𝑃 𝛨 𝐻 𝑃 𝛨 𝑃 𝛨 𝛨 𝑃 𝛨 0,4 ∙ 0,92 0,6 ∙ 0,02 0.38

Παραδειγμα: Ανιχνευση ανεπιθυμητων μηνυματων (spam) Εστω Φιλτρο ανεπιθυμητων (spam) μηνυματων. To Φιλτρο προγραμματιζεται να αναγνωριζει επιλεγμενες συγκεκριμενες λεξεις στα μηνυματα. Εχει διαπιστωθει από μετρησεις ότι 40% των μηνυματων ειναι ανεπιθυμητα και οτι 1% των ανεπιθυμητων μηνυματων περιεχουν τις συγκεκριμενες λεξεις που αναγνωριζει το Φιλτρο. Αυτές οι συγκεκριμενες λεξεις όμως, περιεχονται επισης και σε μηνυματα που δεν ειναι ανεπιθυμητα σε ποσοστο 0,4% Ποια η Πιθανοτητα να ληφθει μηνυμα ανεπιθυμητο, αν το Φιλτρο δειχνει ότι το μηνυμα είναι ανεπιθυμητο? Είναι ικανοποιητικο το Φιλτρο? Δεδομενα Η 1 : Το Μηνυμα είναι ανεπιθυμητο Η 0 : Το Μηνυμα δεν είναι ανεπιθυμητο Η : Το Φιλτρο δειχνει ότι το μηνυμα είναι ανεπιθυμητο Η : Το Φιλτρο δειχνει ότι το μηνυμα δεν είναι ανεπιθυμητο P[Η=1]=0.4 P[𝛨 |Η 1]=0.01 P[𝛨 |Η 0]=0.004

Απαντηση Η ζητουμενη Πιθανοτητα να ληφθει μηνυμα ανεπιθυμητο, αν το Φιλτρο δειχνει ότι το μηνυμα είναι ανεπιθυμητο είναι η Δεσμευμενη Πιθανοτητα: 𝑃 Η 1|𝛨 Από τον Τυπο του Bayes:


𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.01 0.4

0.01 0.4 0.004 0.60.004

0.0064 0.625

Το Φιλτρο εχει ευστοχια 62.5%. Δεν κρινεται ικανοποιητικη. Απαιτουνται προσθετα κριτηρια (αλλες λεξεις, ονομα αποστολεα, αξιολογηση αποστολεα)

Θεωρημα Bayes. Διερευνηση

Διερευνηση Τυπου Bayes: 𝑌

1) Για ποιες τιμες των Παραμετρων Σφαλματων α, β

η Ευστοχια Υ (0≤Υ≤1) λαμβανει αποδεκτες τιμες, πχ. Υ≥0.7=ξ, ήτοι:

Επιλυστε την Ανισωση: 𝜉 , ξ ∈ (0,1)

Η τιμη της Επικρατησης Π είναι (0≤Π≤1) είναι δεδομενη‐σταθερη, πχ. Π=0.1 ⟺ Ποια η Περιοχη Δ=Δ(ξ) του μοναδιαιου τετραγωνου, ωστε τα (α,β) ∈ Δ να ικανοποιουν την Ανισωση? Input: οι τιμες των Παραμετρων (Π, ξ) Οutput: η Περιοχη Δ Επιλυση Αναλυτικη ή Αριθμητικη {βαθμος 0.3} Επιλυση με Προγραμμα και Γραφικη Διερευνηση {βαθμος 0.3}

2) Αν α≥Α, τι τιμες δυναται να λαβει το β ώστε 𝜉 {βαθμος 0.1}

3) Αν β≥Β, τι τιμες δυναται να λαβει το α ώστε 𝜉 {βαθμος 0.1}

4) Πως μεταβαλλεται το ξ καθως αυξανει η Επικρατηση Π,

ώστε 𝜉 , με α,β δεδομενα‐σταθερα ? {βαθμος 0.1}

5) Αν 𝛢 𝛼 𝛢 και 𝛣 𝛽 𝛣 και η Επικρατηση Π δεδομενη‐σταθερη, Τι τιμες δυναται να λαβει η Ευστοχια Υ? {βαθμος 0.1} 6) Αν 𝛢 𝛼 𝛢 και 𝛣 𝛽 𝛣 τι τιμες δυναται να λαβει η Επικρατηση Π

ωστε 𝜉 , ξ ∈ (0,1)?

Εφαρμογες Θ. Bayes: Αναλυση Δεδομενων Αξιολογηση Δοκιμαστηριων Ελεγχος Υποθεσεων Ταξινομιση Μαθηση Νοημοσυνη

• Gelman A., Carlin J., Stern H., Dunson D., Vehtari A., Rubin D. 2011, Bayesian Data Analysis Third Edition, CRC Press, Boca Raton, London, New York

• Murphy K. 2012, Machine Learning. A Probabilistic Perspective MIT Press, Cambridge, Massachusetts

• Pouget A., Beck J., Ma W., Latham P. 2013, Probabilistic brains: knowns and unknowns, Nature Neuroscience 16, No 9, 1170‐1178

• Lee M., Wagenmakers E.‐J. 2014, Bayesian Cognitive Modeling. A Practical Course Cambridge University Press, UK

• ERIC‐JAN Russell S. and Norvig P. 2016, Artificial Intelligence. A Modern Approach Third Edition, Pearson, Essex, UK

Ορισμος Εξαρτηση Γεγονοτων 𝑃 Α|Ξ 𝑃 𝐴 ⟺ Το Γεγονος Α Εξαρταται απο το Γεγονος Ξ Το Γεγονος Ξ Επηρεαζει το Γεγονος Α Η Εκτιμηση για το Γεγονος Α αλλαζει, αν συμβει το Γεγονος Ξ 𝑃 Α|Ξ 𝑃 𝐴 ⟺Το Γεγονος Α Εξαρταται Θετικα απο το Γεγονος Ξ Το Γεγονος Ξ Επηρεαζει Θετικα το Γεγονος Α Το Γεγονος Α καθισταται πιο Βεβαιο, αν συμβει το Γεγονος Ξ 𝑃 Α|Ξ 𝑃 𝐴 ⟺ Το Γεγονος Α Εξαρταται Αρνητικα απο το Γεγονος Ξ Το Γεγονος Ξ Επηρεαζει Αρνητικα το Γεγονος Α Το Γεγονος Α καθισταται πιο Αβεβαιο, αν συμβει το Γεγονος Ξ

𝔇 𝑦 |𝑥 P 𝑦 |𝑥 P 𝑦 P 𝑥ο βαθμος Εξαρτησης του Γεγονοτος Υ 𝑦 από το Γεγονος 𝛸 𝑥

Πως διαπιστωνεται η Εξαρτηση 2 Μεταβλητων?

H Εξαρτηση διαπιστωνεται από τις Παρατηρησεις

Πιναξ M Μετρησεων των 2 Μεταβλητων

Μεταβλητες 𝜲 𝚼

Καταχωρηση 1 𝜒 𝓎 Καταχωρηση 2 𝜒 𝓎

⋮ ⋮ ⋮ Καταχωρηση μ 𝜒 𝓎

⋮ ⋮ ⋮ Καταχωρηση M 𝜒 𝓎 Φασμα Τιμων της Χ: 𝜑𝜲 {𝑥 , 𝑥 , …, 𝑥 Φασμα Τιμων της Υ: 𝜑𝜰 { 𝑦 , 𝑦 , …, 𝑦

Παραδειγμα: Εξαρταται το Χρωμα των Οφθαλμων (Υ) από το Χρωμα Μαλλιων (Χ)? Δειγμα των Πρωτοετων Φοιτητων‐Φοιτητριων του 2012‐3 Υπολογισμοι: Ε. Καραπουλια, Ρ.‐Ν. Τασακης Πρωτοετεις Βιολογιας ΑΠΘ (2012‐3) Φασμα Τιμων της Χ: 𝜑𝜲 {𝒙𝟏, 𝒙𝟐, 𝒙𝟑, 𝒙𝟒, 𝒙𝟓

Χ Χρωμα Οφθαλμων 𝒙𝟏 Καφε 𝒙𝟐 Γαλαζια 𝒙𝟑 Καστανοπρασινα 𝒙𝟒 Πρασινα 𝒙𝟓 Γαλαζοπρασινα

Φασμα Τιμων της Υ: 𝜑𝜰 { 𝒚𝟏, 𝒚𝟐, 𝒚𝟑, 𝒚𝟒

Υ Χρωμα Μαλλιων𝒚𝟏 Μαυρα 𝒚𝟐 Ξανθα 𝒚𝟑 Καστανα 𝒚𝟒 Καστανοξανθα

Πιναξ Συναφειας της Y με την X

Τιμες της YΠεριθωριες Τιμες της X 𝑦 𝑦 … 𝑦

Τιμες της X

𝑥 M 𝑥 , 𝑦 M 𝑥 , 𝑦 … M 𝑥 , 𝑦 M 𝑥

𝑥 M 𝑥 , 𝑦 M 𝑥 , 𝑦 … M 𝑥 , 𝑦 M 𝑥⋮ ⋮ ⋮ ⋮ ⋮ ⋮

𝑥 M 𝑥 , 𝑦 M 𝑥 , 𝑦 … M 𝑥 , 𝑦 M 𝑥

Περιθωριες Τιμες της Y

M 𝑦

M 𝑦 … M 𝑦 M

Παραδειγμα: Εξαρταται το Χρωμα των Οφθαλμων (Υ) από το Χρωμα Μαλλιων (Χ)?

Πιναξ Συναφειας της Y με την X

Τιμες της Y Περιθωριες Τιμες της X 𝑦 𝑦 𝑦 𝑦 𝑦

Values of the Variable X

𝑥 4 0 3 1 0 8

𝑥 0 0 1 0 0 1

𝑥 26 1 2 2 0 31

𝑥 4 2 2 3 1 12

Περιθωριες Τιμες της Y 34

3

8 6

1

52

Πιναξ Κοινων Σχετικων Συχνοτητων της Υ με την Χ

Τιμες της Y Περιθωριες Πιθανοτητες της X𝑦 𝑦 … 𝑦

Τιμες της X

𝑥 P 𝑥 , 𝑦 P 𝑥 , 𝑦 … P 𝑥 , 𝑦 P 𝑥𝑥 P 𝑥 , 𝑦 P 𝑥 , 𝑦 … P 𝑥 , 𝑦 P 𝑥⋮ ⋮ ⋮ ⋮ ⋮ ⋮

𝑥 P 𝑥 , 𝑦 P 𝑥 , 𝑦 … P 𝑥 , 𝑦 P 𝑥Περιθωριες Πιθανοτητες της Y

P 𝑦 P 𝑦 … P 𝑦 1

P 𝑥 , 𝑦𝛭 𝑥 , 𝑦

𝛭


Πιναξ Κοινων Σχετικων Συχνοτητων της Υ με την Χ

Τιμες της Y Περιθωριες Πιθανοτητες της X 𝑦 𝑦 𝑦 𝑦 𝑦

Τιμες τηςX

𝑥 𝛲

𝛲0

52𝛲 𝛲 𝛲 P 𝑥

852

𝑥 𝛲

𝛲0


152

𝑥 𝛲

𝛲1

52𝛲 𝛲

252

𝛲 P 𝑥3152

𝑥 𝛲

𝛲2


1252

Περιθωριες Πιθανοτητες της Y

P 𝑦

P 𝑦

P 𝑦 P 𝑦

P 𝑦

1


Πιναξ Δεσμευμενων Πιθανοτητων της Υ εκ της Χ

Τιμες της Y Αθροισμα Γραμμων𝑦 𝑦 𝑦 𝑦 𝑦

Τιμες της X

𝑥 𝛲 | 𝛲 | 0 𝛲 | 𝛲 | 𝛲 | 0 1

𝑥 𝛲 | 0 𝛲 | 0 𝛲 | 1 𝛲 | 0 𝛲 | 0 1

𝑥 𝛲 | 𝛲 | 𝛲 | 𝛲 | 𝛲 | 0 1

𝑥 𝛲 | 𝛲 | 𝛲 | 𝛲 | 𝛲 | 1

Πιναξ Εξαρτησης της Υ εκ της Χ

Τιμες της Y𝑦 𝑦 … 𝑦Τιμες

της X

𝑥 𝔇 𝑦 |𝑥 𝔇 𝑦 |𝑥 … 𝔇 𝑦 𝑥 𝑥 𝔇 𝑦 |𝑥 𝔇 𝑦 |𝑥 … 𝔇 𝑦 𝑥 ⋮ ⋮ ⋮ ⋮ ⋮

𝑥 𝔇 𝑦 𝑥 𝔇 𝑦 𝑥 … 𝔇 𝑦 𝑥 𝔇 𝑦 |𝑥 P 𝑦 |𝑥 P 𝑦 P 𝑥 ο βαθμος Εξαρτησης του Γεγονοτος Υ=𝑦 από το Γεγονος Χ=𝑥 Παραδειγμα: Εξαρταται το Χρωμα των Οφθαλμων (Υ) από το Χρωμα Μαλλιων (Χ)?

Πιναξ Εξαρτησης της Υ εκ της Χ

Τιμες της Y𝑦 𝑦 𝑦 𝑦 𝑦

Τιμες της X

𝑥 𝔇 | 0.400 𝔇 | 0.009 𝔇 | 0.351 𝔇 | 0.047 𝔇 | 0.009

𝑥 𝔇 | 0.090 𝔇 | 0.007 𝔇 | 0.997 𝔇 | 0.002 𝔇 | 0.000

𝑥 𝔇 | 0,830 𝔇 | 0.002 𝔇 | 0.028 𝔇 | 0.009 𝔇 | 0.011

𝑥 𝔇 | 0,182 𝔇 | 0.154 𝔇 | 0.132 𝔇 | 0.223 𝔇 | 0.079

Ζητουμε: Απλουστερα Κριτηρια Δεικτες Εξαρτησης, που να απαντουν στα Ερωτηματα:

• Είναι οι Μεταβλητες Ανεξαρτητες? Αν οι Μεταβλητες είναι Εξαρτημενες:

• Ποσο Εξαρτημενες είναι ? (Pearson, Αμοιβαια Πληροφορια) • Ποιος είναι ο τυπος της Εξαρτησης? (Αναλυση Παλινδρομησης)

Στατιστικη Μαθησης και Statistics of Learning and...

Documents

Transcript of Στατιστικη Μαθησης και Statistics of Learning and...