3. Δεσμευμενη Πιθανοτητα Iωαννης...

Θεωρια Πιθανοτητων Ι ΧΕΙΜΕΡΙΝΟ ΕΞΑΜΗΝΟ (3ο)

Probability Theory Ι

WINTER SEMESTER (3st)

Τμημα Μαθηματικων

Αριστοτελειο Πανεπιστημιο Θεσσαλονικης

School of Mathematics

Aristotle University of Thessaloniki

3. Δεσμευμενη Πιθανοτητα Iωαννης Αντωνιου

[email protected]

Το παρόν εκπαιδευτικό υλικό υπόκειται σε Αδεια Χρήσης Creative Commons

Σκοπος ‐ Περιεχομενο

Πως Οριζεται και Ελεγχεται η Εξαρτηση Γεγονοτων Πιθανοτητα

Ασυμπτωτικη Συμπεριφορα Ακολουθιων Γεγονοτων

Δεσμευμένη Πιθανότητα

Αναλυση Bayes

Ανεξαρτησια και Εξαρτηση

Ανεξαρτησια και Εξαρτηση με Προυποθεσεις

Πιθανοτητα Ορισμος Πιθανοτητα Κolmogorov 1933Κάθε συνολοσυναρτηση set function : 𝑃: ℬ → 0,1 : Ξ ⟼ 𝑃 Ξℬ η Αλγεβρα των Γεγονοτων Μετρησιμων Υποσυνολων Ξ του Δειγματοχωρου 𝛺 K1 P Ω 1 K2 P ∅ 0

∅ το αδυνατο γεγονος, το γεγονος που δεν είναι πραγματοποιησιμο K3 𝑃 Ξ ∪ Ξ ∪ … 𝑃 Ξ 𝑃 Ξ ⋯, αν Ξ , Ξ ,… Ασυμβατα Γεγονοτα

Ξ , Ξ ,… Ασυμβατα Γεγονοτα Ξ, Η Ασυμβατα ή ξενα μεταξυ τους ⟺ Ξ ∩ Η ∅ Αν πραγματοποιηθει το ένα, Τοτε δεν μπορει να πραγματοποιηθει το αλλο Disjoint Εvents Mutually Exclusive Events

Παραδειγματα Δειγματοχωροι και Πιθανοτης Ριψη Νομισματος

Ω Η,Τ . 𝑝

Ριψη 2 Νομισματων

Ω ΗΗ,ΗΤ,ΤΗ,ΤΤ . 𝑝

Ριψη Ζαριου

Ω 1,2,3,4,5,6 𝑝

Ριψη 2 Ζαριων

𝛺

⎩⎪⎨

⎪⎧

1,1 , 1,2 , 1,3 , 1,4 , 1,5 , 1,62,1 , 2,2 , 2,3 , 2,4 , 2,5 , 2,63,1 , 3,2 , 3,3 , 3,4 , 3,5 , 3,64,1 , 4,2 , 4,3 , 4,4 , 4,5 , 4,65,1 , 5,2 , 5,3 , 5,4 , 5,5 , 5,66,1 , 6,2 , 6,3 , 6,4 , 6,5 , 6,6 ⎭

⎪⎬

⎪⎫

𝜅, 𝜆 | 𝜅, 𝜆 1,2,3,4,5,6 𝑝

Ξ Χ 7 , Χ 3 2,5 , 5,2

Ορισμοι

Ξ ∪ Η Ξ⋁Η Ξ Η Ξ 𝝄𝒓 ΗΤο γεγονος ότι συμβαινει τουλαχιστον ενα εκ των γεγονοτων Ξ, Η

𝑃 Ξ ∪ Η 𝑃 Ξ⋁Η 𝑃 Ξ Η 𝑃 Ξ 𝜊𝑟 Η η πιθανοτητα να συμβει τουλαχιστον ενα εκ των γεγονοτων Ξ, Η

Ξ, Η Ξ ∩ Η Ξ ∧ Η ΞΗ Ξ 𝑎𝑛𝑑 ΗΤο γεγονος ότι συμβαινουν από Κοινου ταυτοχρονα τα Γεγονοτα Ξ, Η

𝑃 Ξ, Η 𝑃 Ξ ∩ Η 𝑃 Ξ ∧ Η 𝑃 ΞΗ Ρ Ξ 𝒂𝒏𝒅 Η η Κοινη Πιθανοτητα των Ξ και Η

Θεωρημα

Ιδιοτητες της Αλγεβρας ℬ των Υποσυνολων Γεγονοτων του Συνολου Δειγματοχωρου 𝛺

1 Οι Πραξεις ⋃, ⋂ : 𝓑 𝓑 → 𝓑, για κάθε A,B,C εν ℬ:

L1. Ταυτοδυναμια Idempotency : A⋃A A A⋂A A

L2. Μεταθετικοτης Commutativity : A⋃B B⋃A A⋂B B ⋂A

L3. Προσεταιριστικοτης Associativity : A⋃ B⋃C A⋃B ⋃C A⋂ B⋂C A⋂B ⋂C

L4. Απορροφητικοτης Absorptivity : A⋂ A ⋃B A A⋃ A⋂B A

2 Η Σχεση Διαταξης , για κάθε A,B,C εν ℬ:

L5. A B ⟺ A A ⋂ B ⟺ B A ⋃ B

3 Το Συνολο ℬ είναι Κατω και Ανω Φραγμενο Bounded από τα συνολα O ∅ , I Ω :

L6. O⋃A A O⋂A O

I ⋃ A I I ⋂ A A

4 Η Πραξη Συμπληρωμα Complement για κάθε A,B,C εν ℬ: c : 𝓑 → 𝓑 : 𝑨 ⟼ 𝑨𝒄

L7. A ⋃ 𝑨𝒄 I A ⋂𝑨𝒄 O

L8. 𝑨𝒄 A

5 Επιμεριστικοτης Distributivity των Πραξεων ⋃, ⋂ :

L9. A⋃ B ⋂ C A ⋃ B ⋂ A ⋃ C A ⋂ B ⋃C A ⋂ B ⋃ A ⋂ C

ΣΧΟΛΙΟ

H Aλγεβρα Boole ειναι η Αλγεβρα της Λογικης του Αριστοτελη διατυπωμενη στη γλωσσα της θεωριας Συνολων

Boole G. 1854, An Investigation of the Laws of Thought, MacMillan; Dover reprint, New York 1958

Α,Β,C,… οι προτασεις

∧ AND KAI

∨ OR EITE c NOT OXI

O ANTIΦΑΣΗ

Ι ΤΑΥΤΟΛΟΓΙΑ

2 Ο Boole εθεσε τις βασεις

της Λογικης,

της Αλγοριθμικης ψηφιακης επεξεργασιας,

των Συλλογισμων,

επεσημανε τη σχεση με την Στατιστικη

την θεωρια Πιθανοτητων και

την Αιτιοτητα

Θεωρημα Ιδιοτητες Πιθανοτητας Κolmogorov ∀ υποσυνολα 𝐴, 𝐵 του Ω1 𝛲 𝛢 1 𝛲 𝛢 2 𝑃 𝐴 𝑃 𝐵 , 𝛼𝜈 𝐴 ⊆ 𝐵

3 𝑃 𝐵 𝐴 𝑃 𝐵 – 𝑃 𝐴 , 𝛼𝜈 𝐴 ⊆ 𝐵4 𝑃 𝛢 ∪ 𝛣 𝑃 𝐴 𝑃 𝐵 𝑃 𝛢 ∩ 𝐵

5 𝑃 𝛢 𝑃 𝛢 ∩ 𝐵 𝑃 𝐴 ∩ 𝐵 , ∀ υποσυνολο 𝐵 του Ω 6) 𝑃 𝐴 ∩ 𝐵 ≦ 𝑃 𝐴 ∩ 𝑍 𝑃 𝐵∩𝑍 , Ανισοτητα Wigner- d’Espagnat - Bell

Αποδειξη

1 ,2 ,3 ,4 Απλη Αλγεβρα, Βιβλιο Γ Λυκειου

5 𝑃 𝛢 𝑃 𝛢 ∩ 𝛺 𝑃 𝐴 ∩ 𝛣 ∪ 𝐵 𝑃 𝐴 ∩ 𝛣 ∪ 𝛢 ∩ 𝐵 𝑃 𝛢 ∩ 𝐵 𝑃 𝐴 ∩ 𝐵

Διοτι 𝐴 ∩ 𝛣 ∩ 𝛢 ∩ 𝐵 ∅

6 P A∩Z P B∩𝑍

𝑃 𝐴 ∩ 𝑍 ∩ 𝐵 𝑃 𝛢 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢

𝑃 𝐴 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢 𝑃 𝛢 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢

𝑃 𝐴 ∩ 𝐵 ∩ 𝑍 𝑃 𝛢 ∩ 𝐵 ∩ 𝑍 𝑃 𝛢 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢

𝑃 𝐴 ∩ 𝐵 𝑃 𝛢 ∩ 𝑍 ∩ 𝐵 𝑃 𝐵 ∩ 𝑍 ∩ 𝛢 𝑃 𝐴 ∩ 𝐵

Ασυμπτωτικη Συμπεριφορα Ακολουθιων Γεγονοτων Εστω η Ακολουθια Γεγονοτων 𝐴 𝐴 , 𝐴 , … 𝐴 lim

→⋂ Α ∪ Α ∪ … 𝑡𝑎𝑖𝑙 𝐴 , 𝐴 , …) η Ουρα (Tail) των 𝐴 , 𝐴 , …

το Γεγονος που αποτελειται από τα κοινα στοιχεια Ενός Απείρου πληθος Γεγονοτων 𝐴 , 𝐴 , …

Λήμμα Borel‐Cantelli 1 𝑝 𝐴 =0, Αν ∑ 𝑝 𝐴 ∞ Η Ουρα Ακολουθιας Γεγονοτων είναι αδύνατο γεγονος αν το αθροισμα των πιθανοτητων τους είναι πεπερασμενο Λήμμα Borel‐Cantelli 2 𝑝 𝐴 =1, Αν ∑ 𝑝 𝐴 ∞ και 𝐴 , 𝐴 , … Ανεξαρτητα Η Ουρα Ακολουθιας Γεγονοτων είναι βεβαιο γεγονος αν το αθροισμα των πιθανοτητων τους απειριζεται με την προϋπόθεση ότι τα γεγονότα Α𝜈 είναι ανεξάρτητα.

Θεωρημα Νομος Μηδεν – Ένα (Borel‐Κοlmogorov Ζero‐One law)Η Ουρα Ακολουθιας Ανεξαρτητων Γεγονοτων 𝐴 , 𝐴 , … είναι μονο Βεβαιο ή μονο Αβεβαιο Γεγονος 𝑝 𝐴 =0 ή 𝑝 𝐴 =1

Αποδειξις Lukacs E. 1976 Stochastic Convergence, Academic Press, New York. P76 Novikoff A., Barone J. 1977, The Borel Law of Normal Number, the Borel Zero‐One Law, and the Work of Van Vleck, Historia Mathematica 4, 43‐65 ΑΣΚΗΣΗ Αποδειξτε το Λήμμα Borel‐Cantelli 1 {βαθμος 0.2} Αποδειξτε το Λήμμα Borel‐Cantelli 2 {βαθμος 0.2} Αποδειξτε τον Νομο Μηδεν – Ένα των Borel‐Κοlmogorov {βαθμος 0.1}

ΣΧΟΛΙΟ Aν δεν γνωριζουμε κατι για τα Δυνατα Γεγονοτα, Εκχωρουμε Υποθετουμε Ισες Πιθανοτητες Αρχη Αποχρωντος Λογου .

Αν γνωριζουμε Παρατηρηση, Θεωρια, Υποθεση Τις Πιθανοτητες, τοτε αυτές συνοψιζουν την Γνωση μας, αρα και την εκτιμηση μας για τα παρατηρουμενα Αν γνωριζουμε ότι η Ζαρια ειναι Περιττος αριθμος Γεγονος 𝛱 Πως αλλαζουν οι Πιθανοτητες? Αν γνωριζουμε ως Γεγονος ότι η Ζαρια ειναι Αρτιος αριθμος 𝛢 Πως αλλαζουν οι Πιθανοτητες?

ΠΑΡΑΤΗΡΗΣΗ: Ριψη ΖαριουΓΝΩΣΗ ΥΠΟΘΕΣΗ ΠΙΘΑΝΟΤΗΤΕΣ𝛨 : Καμια Πληροφορια 𝑃 𝟏 𝑃 𝟐 𝑃 𝟑 𝑃 𝟒 𝑃 𝟓 𝑃 𝟔

𝛨 : Ζαρι "Πειραγμενο": Η εδρα 6 εμφανιζεται στις μισες ριψεις

𝑃 𝟏 𝑃 𝟐 𝑃 𝟑 𝑃 𝟒 𝑃 𝟓 ,

𝑃 𝟔

𝛨 : η Ζαρια ειναι Αρτιος αριθμος 𝛢

𝑃 𝟏 0, 𝑃 𝟐 , 𝑃 𝟑 0, 𝑃 𝟒 , 𝑃 𝟓 0 𝑃 𝟔

𝛨 : η Ζαρια ειναι Περιττος αριθμος 𝛱

𝑃 𝟏 0, 𝑃 𝟐 , 𝑃 𝟑 0, 𝑃 𝟒 , 𝑃 𝟓 0 𝑃 𝟔

𝛨 𝜅𝛼𝜄 𝛨 𝑃 , 𝟏 0, 𝑃 , 𝟐 , 𝑃 , 𝟑 0, 𝑃 , 𝟒 , 𝑃 , 𝟓 0, 𝑃 , 𝟔

𝛨 𝜅𝛼𝜄 𝛨 𝑃 , 𝟏 , 𝑃 , 𝟐 0, 𝑃 , 𝟑 , 𝑃 , 𝟒 0, 𝑃 , 𝟓 𝑃 , 𝟔 0

𝛨 𝜅𝛼𝜄 𝛨 𝑃 0

𝜊𝜒𝜄 𝛨𝛢 𝜅𝛼𝜄 𝜊𝜒𝜄 𝛨𝛱: η Ζαρια δεν ειναι Αρτιος ουτε Περιττος αριθμος

Το γεγονος 𝜊𝜒𝜄 𝛨 𝜅𝛼𝜄 𝜊𝜒𝜄 𝛨 Αδυνατο

⟶ Παραδοξο Kolmogorov-Borel

Δεσμευμένη Πιθανότητα ΣΧΟΛΙΟ Είναι Αναγκαιο να ορισουμε μια Νεα Πιθανοτητα 𝑝 η οποια να προσφερει εκτιμηση της πραγματικοτητας υπο την δεσμευση ότι το Γεγονος Η (με 𝑝 Η >0) είναι πλεον Βεβαιο.

Αν γνωριζουμε ότι το Γεγονος Η, με 𝑷 𝜢 𝟎 , εχει συμβει είναι βεβαιο , Οι Πιθανοτητες των Γεγονοτων στο συμπληρωμα 𝜢𝒄μηδενιζονται Τα δυνατα Γεγονοτα «περιοριζεται» στο βεβαιο πλεον Γεγονος Η. Τα Γεγονοτα Ξ περιοριζονται στα Ξ∩Η που συγκροτουν την Δεσμευμενη Αλγεβρα Boole από το Γεγονος Η: 𝓑𝜢 𝜩𝜢 𝜩 ∩ 𝜢|𝜩 ∈ 𝓑 Χρειαζομαστε μια νεα Πιθανοτητα 𝒑𝜢 η οποια ενσωματωνει την δεσμευση-γνωση ότι: Το γεγονος 𝜢 είναι Βεβαιο: 𝒑𝜢 𝜢 𝟏 Αρα: To Συμπληρωματικο Γεγονος 𝜢𝒄 είναι Αδυνατο: 𝒑𝜢 𝜢𝒄 𝟎 Δεσμευμενη Πιθανοτητα 𝒑𝜢 των Γεγονοτων

Απαιτησεις για την Δεσμευμενη Πιθανοτητα 𝑯: 1) Η είναι (επισης) Πιθανοτητα στον Δειγματοχωρο (ικανοποιει τα Αξιωματα Κolmogorov)

2) αν

Λημμα Δεσμευμενη Πιθανοτητα Τυπος Αν η συνολοσυναρτηση 𝑝 : 𝓑 → 0,1 : Ξ ⟼ 𝑝 Ξ Ικανοποιει τις Απαιτησεις (1) και (2): (1) Η 𝑝 είναι Πιθανοτητα στον Δειγματοχωρο 𝛺 (ικανοποιει τα Αξιωματα Κolmogorov) (2) 𝑝 Ξ , αν Ξ ⊆ Η

Τοτε 𝑝 Ξ ∩

Και αντιστροφως: Η συνολοσυναρτηση 𝑝 : 𝓑 → 0,1 : Ξ ⟼ 𝑝 Ξ ∩

ικανοποιει τις απαιτησεις (1) και (2)

Αποδειξις

Η 𝒑𝑯 𝜩 𝑷 𝜩∩𝜢𝑷 𝜢

ικανοποιει τις απαιτησεις 1) και 2)

1) 𝑝 𝛯 ∩ 0

(K1) 𝑝 Ω ∩ 1

(K2) 𝑝 ∅ ∅∩ ∅ 0

(K3) αν Ξ , Ξ ,… Ασυμβατα (Ξ ∩ Ξ ∅), τοτε:

𝑝 Ξ ∪ Ξ ∪ … ∪ ∪… ∩

∩ ∩ ⋯

∩ ∩ ⋯

𝑝 Ξ 𝑝 Ξ ⋯

2) αν Ξ ⊆ Η, τοτε: 𝑝 Ξ ∩

οεδ

Αποδειξις

Εστω ότι η συνολοσυναρτηση 𝑞 : ℬ → 0,1 : Ξ ⟼ 𝑃 Ξ

Ικανοποιει επισης τις Απαιτησεις (1) και (2):

Τοτε

𝑞 Α 𝑞 Α ∩ Ω 𝑞 Α ∩ Η ∪ Η

𝑞 Α ∩ Η ∪ Α ∩ Η

𝑞 Α ∩ Η 𝑞 Α ∩ Η

Υπολογιζουμε εκαστον ορο:

𝑞 Α ∩ Η ∩ , διοτι Α ∩ Η ⊆Η

𝑞 Α ∩ Η 𝑞 Η 1 𝑞 Η 1𝑝 Η𝑝 𝐻 1 1 0

Συνεπως: 𝑞 Α ∩ 0 ∩

οεδ

Ορισμος (Κοlmogorov)Δεσμευμενη Πιθανοτητα του Γεγονοτος Ξ εκ του Γεγονοτος Η

P Ξ 𝑃 Ξ | Η , ∩

προυποθεση: Ρ Η 0

ΣΧΟΛΙΟ

Το Γεγονος Ξ ως Αποτελεσμα της (πιθανης) Αιτιας H

Ποσο συμβαλλει το Γεγονος H

στην πραγματοποιηση του Γεγονοτος Ξ

Η Δεσμευμενη Πιθανοτητα 𝑃 Ξ | Η

είναι Πιθανοτητα στην Αλγεβρα Boole των Υποσυνολων του Η, δηλαδη Πιθανοτητα στον περιορισμενο Δειγματικο Χωρο Η

ΣΧΟΛΙΟ

Παραδοξο Borel‐Kolmogorov

Οι αποπειρες να συζητηθει η Δεσμευμενη Πιθανοτητα ως προς γεγονοτα μηδενικης Πιθανοτητος οδηγουν σε ενδιαφεροντα Παραδοξα.

The concept of a conditional probability with regard to an isolated hypothesis whose probability equals 0 is inadmissible. For we can obtain a probability distribution for [the latitude] on the meridian circle only if we regard this circle as an element of the decomposition of the entire spherical surface onto meridian circles with the given poles

Kolmogorov Α. 1933, Foundations of the Theory of Probability (2nd ed.). New York: Chelsea (1956)

Jaynes E 2003, "15.7 The Borel‐Kolmogorov paradox", in: Probability Theory: The Logic of Science. Cambridge University Press.

Εργασια

Πορισμα 1

Η Δεσμευμενη Πιθανοτητα 𝑃 . | Η

ικανοποιει ολες τις Ιδιοτητες της Πιθανοτητας,

Αλλα η συνολοσυναρτηση 𝑃 Ξ|. δεν είναι Πιθανοτητα:

𝑃 Ξ|Η 1 𝑃 Ξ| Η

Πορισμα 2

Η Πιθανοτητα Κolmogorov προκυπτει

απο την Δεσμευμενη Πιθανοτητα:

𝑃 Ξ 𝑃 Ξ|𝛺 , για κάθε Γεγονος Ξ

Δεσμευμενη Πιθανοτητα. Παραδειγμα Εχουμε 3 γάτες. Μία Λευκη (Λ), μια Μαύρη (Μ) και μια Γκριζα (Γ)

Ποιά είναι η πιθανότητα να είναι και οι 3 Θηλυκές;

α=αρσενικη

θ=θηλυκη

Γεγονοτα: Αα, Αθ, Μα, Μθ, Γα, Γβ

Ενδεχομενα: [Αα, Μα, Γα],

[Αα, Μθ, Γα],

[Αθ, Μα, Γα],

[Αθ, Μθ, Γα],

[Αα, Μα, Γθ],

[Αθ, Μα, Γθ],

[Αα, Μθ, Γθ],

[Αθ, Μθ, Γθ],

P[Αθ, Μθ, Γθ]=

Αν η Γκριζα εχει τριχρωμια, τοτε είναι θηλυκη. Με αυτό το βεβαιο γεγονος: P[Αθ, Μθ, Γθ| Γθ] =

Δεσμευμενη Πιθανοτητα. Παραδειγμα

Αποδειξη

1) 𝑝 Α|𝐻 ∩ ∩ 𝑝 H|Α

Και απο το Πολλαπλασιαστικο Θεωρημα

2) P[A] 𝑃 𝐴 ∩ 𝛺 𝑃 𝐴 ∩ 𝐻 ∪ 𝐻

𝑃 𝐴 ∩ 𝐻 ∪ 𝐴 ∩ 𝐻

𝑃 𝐴 ∩ 𝐻 𝑃 𝐴 ∩ 𝐻

𝑃 𝐴|𝐻 𝑃 𝐻 𝑃 𝐴|𝐻 𝑃 𝐻

Εφαρμογη της Ιδιοτητας 5) Πιθανοτητας Kolmogorov

3) 𝑃 A 𝑃 A ∩ 𝛺 𝑃 A ∩ 𝐻 ∪ 𝐻 ∪ … ∪ 𝐻

𝑃 𝐴 ∩ 𝐻 ∪ A ∩ 𝐻 ∪ … ∪ A ∩ 𝐻

P 𝐴 ∩ 𝐻 P A ∩ 𝐻 ⋯ P A ∩ 𝐻

∑ 𝑃 𝐴|𝐻 P 𝐻 ]

Εφαρμογη της Ιδιοτητας 5) Πιθανοτητας Kolmogorov

ΣΧΟΛΙΟ Θεωρημα Bayes. Ερμηνεια

𝑃 𝐻 , 𝑃 𝐻 , … , 𝑃 H οι Πιθανοτητες των Γεγονοτων H , H ,…, H Προ της Παρατηρησης Προτερες Πιθανοτητες (apriori probabilities) 𝑃 𝐻 |𝐴 , 𝑃 𝐻 |𝐴 , … , 𝑃 H |𝐴 οι πιθανοτητες των Γεγονοτων H , H ,…, H μετα την Διαπιστωση ότι συνεβη το γεγονος B Υστερες Πιθανοτητες (aposteriori probabilities) 𝑃 𝐴|𝐻 , 𝑃 𝐴|𝐻 , … , 𝑃 𝐴|H οι Πιθανοτητες τα Γεγονοτα H , H ,…, H να επηρεαζουν (ως Αιτιες) τo γεγονος Β Οι Πιθανοτητες Εξαρτησης του A από τα Γεγονοτα H , H ,…, H Ο Τυπος Bayes συνδεει Τις Υστερες Πιθανοτητες 𝑃 𝐻 |𝐴 , 𝑃 𝐻 |𝐴 , … , 𝑃 H |𝐴 με τις Προτερες Πιθανοτητες (apriori probabilities) 𝑃 𝐻 , 𝑃 𝐻 , … , 𝑃 H Μεσω των Πιθανοτητων Εξαρτησης 𝑃 A|𝐻 , 𝑃 A|𝐻 , … , 𝑃 𝐴|H

Bayesian Statistics

ΣΧΟΛΙΟ Θεωρημα Bayes. Εφαρμογη στον Ελεγχο Υποθεσεων

Σχεση Διαγνωσης‐Παρατηρησης με την Πραγματικοτητα

Η συμβολιζει την Υποθεση που διατυπωνουμε για ένα Φαινομενο ως Μεταβλητη

𝛨 1 𝑻𝑅𝑈𝐸 σημαινει ότι η Υποθεση είναι Αληθης

Η Υποθεση περιγραφει Αληθως την Πραγματικοτητα

𝛨 0 𝑭𝐴𝐿𝑆𝐸 σημαινει ότι η Υποθεση είναι Ψευδης

Η Υποθεση περιγραφει Ψευδως την Πραγματικοτητα

𝚮 συμβολιζει το αποτελεσμα της Δοκιμης‐Ελεγχου της Υποθεσης Η μεσω Παρατηρησης (Δεδομενα, Οργανο) Η 𝑷𝑂𝑆𝐼𝑇𝐼𝑉𝐸 σημαινει ότι η Παρατηρηση είναι Θετικη για την Υποθεση Η

Η Υποθεση Επιβεβαιωνεται από την Παρατηρηση

Η 𝑁𝐸𝐺𝐴𝑇𝐼𝑉𝐸 σημαινει ότι η Παρατηρηση είναι Αρνητικη για την Υποθεση Η

Η Υποθεση Δεν Επιβεβαιωνεται από την Παρατηρηση

Συναφεια της Παρατηρησης 𝐻 με την Υποθεση HTRUE POSITIVE OUTCOME

𝐻 και 𝛨 1 Η Παρατηρηση Επιβεβαιωνει 𝑯 την Αληθη Υποθεση 𝜢 𝟏 ΑΛΗΘΕΣ ΘΕΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ Διαγνωση Θετικη και το Ατομο ΠΑΣΧΕΙ Ο Ενοχος Καταδικαζεται

FN FALSE NEGATIVE OUTCOME𝐻 και 𝛨 1

Η Παρατηρηση Απορριπτει 𝑯 την Αληθη Υποθεση 𝜢 𝟏 ΨΕΥΔΕΣ ΑΡΝΗΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ Διαγνωση Αρνητικη

αλλα το Ατομο ΠΑΣΧΕΙ Ο Ενοχος Απαλασσεται

Σφαλμα 2ου Ειδους Τυπου IΙ

FP FALSE POSITIVE OUTCOME𝐻 και 𝛨 0

Η Παρατηρηση Επιβεβαιωνει 𝑯 την Ψευδη Υποθεση 𝜢 𝟎 ΨΕΥΔΕΣ ΘΕΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ Διαγνωση Θετικη αλλα το Ατομο ΔΕΝ ΠΑΣΧΕΙ Ο Αθωος Καταδικαζεται

Σφαλμα 1ου Ειδους Τυπου I

TN TRUE NEGATIVE OUTCOME𝐻 και 𝛨 0

Η Παρατηρηση Απορριπτει 𝑯 την Ψευδη Υποθεση 𝜢 𝟎 ΑΛΗΘΕΣ ΑΡΝΗΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ Διαγνωση Αρνητικη και το Ατομο ΔΕΝ ΠΑΣΧΕΙ Ο Αθωος Απαλλασσεται

Συναφεια Παρατηρησης με την Πραγματικοτητα ΑΛΗΘΕΣ ΘΕΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ ΤPΑΛΗΘΕΣ ΑΡΝΗΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ ΤNΗ Παρατηρηση Αναπαριστα (Φανερωνει) την Πραγματικοτητα Παιρνεις oτι Βλεπεις What you see is What you get

ΨΕΥΔΕΣ ΘΕΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ FPΨΕΥΔΕΣ ΑΡΝHΤΙΚΟ ΑΠΟΤΕΛΕΣΜΑ FNΗ Παρατηρηση δεν Αναπαριστα (Συγκαλυπτει) την Πραγματικοτητα Αλλα Βλεπεις, αλλα Παιρνεις What you see is Νot What you get Το Δικαστηριο είναι ο Φοβος του Αθωου και η Ελπιδα του Ενοχου ΨΕΥΔΑΙΣΘΗΣΗ HALLUCINATION ΠΑΡΑΠΛΑΝΗΣΗ ΠΛΑΝΗ ILLUSION ΑΥΤΑΠΑΤΗ GLAMOUR

Πληθος Γεγονοτων Συμβολο Πληθος Αληθως Θετικων Γεγονοτων 𝛨 και 𝛨 1

𝑇𝑃

Πληθος Αληθως Αρνητικων Γεγονοτων 𝛨 και 𝛨 0

𝑇𝛮

Πληθος Ψευδως Θετικων Γεγονοτων 𝛨 και 𝛨 0

𝐹𝑃

Πληθος Ψευδως Αρνητικων Γεγονοτων 𝛨 και 𝛨 1

𝐹𝛮

Πληθος Θετικων Γεγονοτων/Παρατηρησεων 𝛨

𝑃 𝑇𝑃 𝐹𝑃

Πληθος Αρνητικων Γεγονοτων/Παρατηρησεων 𝛨

𝑁 𝑇𝑁 𝐹𝑁

Πληθος Αληθων Γεγονοτων/Παρατηρησεων 𝛨 1

𝛵 𝑇𝑃 𝑇𝑁

Πληθος Ψευδων Γεγονοτων/Παρατηρησεων 𝛨 1

𝐹 𝐹𝑃 𝐹𝑁

Πληθος Γεγονοτων που Παρατηρηθηκαν 𝛭 𝑃 𝑁 𝑇 𝐹

Συναφεια Διαγνωσης‐Παρατηρησης με την Πραγματικοτητα

Πιθανοτητα Σφαλματων False Positive Probability = False Alarm Probability = Type I Error Probability = Significance Σημαντικοτητα

False Negative Probability =False Confidence Probability =Type II Error Probability

𝑃 𝛨 𝛨 0𝑃 𝐻 , 𝐻 0

𝑃 𝐻 0𝐹𝑃𝑀

𝐹𝑃 𝑇𝑁𝑀

𝐹𝑃

𝐹𝑃 𝑇𝑁

𝒂

𝑃 𝛨 𝛨 1𝑃 𝐻 , 𝐻 1

𝑃 𝐻 1 𝐹𝑁𝑀

𝑇𝑃 𝐹𝑁𝑀

𝐹𝑁

𝐹𝑁 𝑇𝑃 𝜷

Συναφεια Διαγνωσης‐Παρατηρησης με την Πραγματικοτητα

Πιθανοτητα Αληθους Ελεγχου True Positive Probability = Sensitivity Ευαισθησια = Power of the Test = Recall Ανακληση

True Negative Probability = Specificity Ειδικοτητα = Confidence Εμπιστοσυνη

𝑃 𝛨 𝛨 1𝑃 𝐻 , 𝐻 1

𝑃 𝐻 1

𝛵𝑃𝑀

𝛵𝑃 𝐹𝑁𝑀

𝛵𝑃

𝛵𝑃 𝐹𝑁

𝟏 𝜷

𝑃 𝛨 𝛨 0𝑃 𝐻 , 𝐻 0

𝑃 𝐻 0

𝑇𝑁𝑀

𝑇𝑁 𝐹𝑃𝑀

𝑇𝑁

𝑇𝑁 𝐹𝑃

𝟏 𝒂

Πιθανοτητα Αληθως Θετικου Ελεγχου

Πιθανοτητα Ψευδως Θετικου Ελεγχου Πιθανοτητα Σφαλματος Τυπου ΙΙ

Πιθανοτητα Ψευδως Αρνητικου Ελεγχου

Πιθανοτητα Σφαλματος Τυπου Ι

Πιθανοτητα Αληθως Αρνητικου Ελεγχου

Πιθανοτητα Ορθης Διαγνωσης

𝑃 𝛨 , Η 1 𝑜𝑟 𝛨 , Η 0 𝑃 𝛨 , Η 1 𝛨 , Η 0𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

1 𝛽 𝑃 Η 1 1 𝛽 𝑃 Η 0

1 𝛽 𝛱 1 𝛽 1 𝛱

𝛱 𝑃 Η 1 Η Επικρατηση (Prevalence)

Πιθανοτητα Εσφαλμενης Διαγνωσης


𝛽 ∙ 𝑃 Η 1 𝛼 ∙ 𝑃 Η 0

𝛽 ∙ 𝛱 𝛼 ∙ 1 𝛱

𝛱 𝑃 Η 1 Η Επικρατηση (Prevalence)

Θεωρημα Bayes. Διαγνωση Νοσου Εστω Μεθοδος Διαγνωσης Νοσου Η Νοσος εμφανιζεται σε ποσοστο 0.5% στον Πληθυσμο Η Μεθοδος Διαγνωσης εχει Πιθανοτητα 95% Αληθους Θετικης Διαγνωσης και Πιθανοτητα 10% Ψευδους Θετικης Διαγνωσης 1 Ποια η Πιθανοτητα να υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη? 2 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη? 3 Ποια η Πιθανοτητα Θετικης Διαγνωσης? 4 Ποια η Πιθανοτητα Αρνητικης Διαγνωσης? 5 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Αρνητικη? 6 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη? 7 Ποια η Πιθανοτητα Ορθης Διαγνωσης? 8 Ποια η Πιθανοτητα Εσφαλμενης Διαγνωσης?

Υπαρχουν 4 Ενδεχομενα: Η 1 : Υπαρχει Νοσος Η 0 : Δεν Υπαρχει Νοσος Η : η Δοκιμη είναι Θετικη Η : η Δοκιμη είναι Αρνητικη ΔΙΔΟΝΤΑΙ: Επικρατηση Prevalence Νοσου: 0.5% P Η 1 0.005 Επιδημιολογια Ευαισθησια Sensitivity : 80% P 𝛨 |Η 1 0.95 Προδιαγραφες

Μεθοδου ΔιαγνωσηςΣφαλμα False Positive: 10% P 𝛨 |Η 0 0.1

1 Ποια η Πιθανοτητα να υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη? Δηλαδη Ζητειται η Δεσμευμενη Πιθανοτητα 𝑃 Η 1|𝛨 Ευστοχια (Precision) της Διαγνωσης Εφαρμοζω το Θεωρημα Bayes:

𝑃 𝐴|𝐵𝑃 𝐵|𝐴 𝑃 𝐴

𝑃 𝐵𝑃 𝐵|𝐴 𝑃 𝐴

𝑃 𝐵|𝐴 𝑃 𝐴 𝑃 𝐵|𝛢𝑐 𝑃 𝛢𝑐

𝑃 Η 1|𝛨𝑃 𝛨 Η 1 𝑃 Η 1

𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.95 0.0050.95 0.005 0.1 0.995 0.0455

Η Πιθανοτητα να υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη, είναι 4.55% 2 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη?

𝑃 Η 0|𝛨 1 𝑃 Η 1|𝛨 1 0.0455 0.9545

3 Ποια η Πιθανοτητα Θετικης Διαγνωσης? Από το Θεωρημα Ολικης Πιθανοτητος:

𝑃 𝛨 𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0 0.10425 4 Ποια η Πιθανοτητα Αρνητικης Διαγνωσης?

𝑃 Η 1 𝑃 𝛨 1 0.10425 0.89575

5 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Αρνητικη?

𝑃 𝐴|𝐵𝑃 𝐵|𝐴 𝑃 𝐴

𝑃 𝐵


𝑃 𝛨

1 𝑃 𝛨 Η 0 1 𝑃 𝛨 1𝑃 𝛨

. ..

0,999916! 6 Ποια η Πιθανοτητα να μην υπαρχει Νοσος, αν η Διαγνωση είναι Θετικη?

𝑃 Η 0|𝛨 1 𝑃 Η 1|𝛨 1 0.0455 0.9545

7 Ποια η Πιθανοτητα Ορθης Διαγνωσης?

𝑃 𝛨 , Η 1 𝑜𝑟 𝛨 , Η 0 𝑃 𝛨 , Η 1 𝛨 , Η 0

𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.95 ∙ 0.005 0.9 ∙ 0.995 0.90025

𝑃 𝛨 Η 1 0.95, δεδομενο

𝑃 Η 1 0.005, δεδομενο

𝑃 𝛨 Η 0 1 P 𝛨 |Η 0 1 0.1 0.9

𝑃 Η 0 1 𝑃 Η 1 0.995

8 Ποια η Πιθανοτητα Εσφαλμενης Διαγνωσης?


0.05 ∙ 0.005 0.1 ∙ 0.995 0.0995

𝑃 𝛨 Η 1 1 P 𝛨 |Η 1 1 0.95 0.05

𝑃 Η 1 0.005, δεδομενο 𝑃 𝛨 Η 0 0.1, δεδομενο

𝑃 Η 0 1 𝑃 Η 1 0.995

Θεωρημα Bayes. Ταξινομηση Εστω Μεθοδος Ταξινομισης Ερπετων. Παρατηρησαμε μια περιεργη Σαυρα. 4 Ενδεχομενα: Η 1 : Η Σαυρα είναι Σπανιου Ειδους Η 0 : Η Σαυρα δεν είναι Σπανιου Ειδους Η : H Μεθοδος δειχνει ότι Η Σαυρα είναι Σπανιου Ειδους Η : H Μεθοδος δεν δειχνει ότι Η Σαυρα είναι Σπανιου Ειδους ΔΙΔΟΝΤΑΙ: Επικρατηση (Prevalence) Σπανιου Ειδους Σαυρων: 0.4% P[Η=1] 0.004 Επιδημιολογια Ευαισθησια (Sensitivity): 80% P[𝛨 |Η 1 0.8 Προδιαγραφες

Μεθοδου Διαγνωσης Σφαλμα Τυπου Ι: 10% P[𝛨 |Η 0]=0.1 ΖΗΤΕΙΤΑΙ: η Ευστοχια (Precision) της Μεθοδου Ταξινομισης Είναι η Σαυρα Σπανιου Ειδους [H=1], αν η Μεθοδος είναι Θετικη [𝜢 ] ?


𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.8 0.0040.8 0.004 0.1 0.996 0.031

Η Πιθανοτητα η Σαυρα που Παρατηρησαμε να είναι Σπανιου Ειδους, αν η Μεθοδος Ταξινομισης είναι Θετικη, είναι 3.1%

Θεωρημα Bayes. Αξιολογηση Μαρτυρα

Ταξί κάνει τροχαίο ατύχημα και αφήνει το θύμα αβοήθητο. Υπαρχουν δύο εταιρείες ταξί τα πράσινα και τα μπλε. Αυτόπτης μάρτυρας κατέθεσε ότι το ταξί ήταν μπλε. Είναι γνωστό ότι τα μπλε ταξί αποτελούν μόνο το 15% των ταξί της πόλης, ενώ τα υπόλοιπα 85% είναι πράσινα. Ο μάρτυς εξετάστηκε ως προς την ικανότητά του να διακρινει τα χρώματα. Διαπιστωθηκε ότι σε συνθήκες φωτισμού ανάλογες του ατυχήματος, ο μάρτυς αναγνωρίζει σωστά το χρώμα στις 80% των περιπτώσεων. Ποια η πιθανότητα στο ατύχημα να εμπλέκονταν μπλε ταξί? Υπαρχουν 4 Ενδεχομενα: Μ = Το ταξι είναι μπλε Π = Το ταξι είναι πρασινο Μ = ο μάρτυρας καταθέτει ότι το ταξί ήταν μπλε

𝑷 𝑴|𝑴𝑃 𝑀 𝑀 𝑃 𝑀

𝑃 𝑀 𝑀 𝑃 𝑀 𝑃 𝑀 Π 𝑃 Π

0.8 0.150.8 0.15 0.2 0.85 0.413

η πιθανότητα να είναι ορθη η καταθεση του μάρτυρα είναι πολύ μικρή. Ομως συχνά αποδεχομαστε ως βέβαιη τη μαρτυρία του.

Θεωρημα Bayes. Πιθανοτητα θετικης Διαγνωσης Σε μια πολη νοσουν 40 στα 100 ατομα. Το Διαγνωστικο Οργανο δειχνει Διαγνωση θετικη (ανιχνευεται νοσος) στα 92 από τα 100 ατομα που νοσουν πραγματικα, ενω στα ατομα που δεν νοσουν πραγματικα η διαγνωση είναι θετικη στα 2 από τα 100 ατομα. Αν εξεταστει ένα τυχαιο ατομο, ποια η πιθανοτητα η Διαγνωση να είναι θετικη Δεδομενα Η = το γεγονος ότι ενα τυχαιο ατομο νοσει πραγματικα 𝛨 = το γεγονος ότι ενα τυχαιο ατομο φαινεται από την διαγνωση να νοσει πραγματικα 𝑃 𝛨 0,4

𝑃 𝛨|𝐻 0,92 𝑃 𝛨|𝛨 0,02

Απαντηση Από το Θεωρημα Ολικης Πιθανοτητας:

𝑃 𝛨 𝑃 𝛨 𝑃 𝛨 𝐻 𝑃 𝛨 𝑃 𝛨 𝛨 𝑃 𝛨 𝑃 𝛨 ∩ 𝛨 ∪ 𝛨

𝑃 𝛨 ∩ 𝛨 ∪ 𝛨 ∩ 𝛨 𝑃 𝛨 ∩ 𝛨 𝑃 𝛨 ∩ 𝛨

𝑃 𝛨 𝑃 𝛨 𝐻 𝑃 𝛨 𝑃 𝛨 𝛨 𝑃 𝛨 0,4 ∙ 0,92 0,6 ∙ 0,02 0.38

Θεωρημα Bayes. Εξεταση πολλαπλης Επιλογης Σε εξεταση πολλαπλης Επιλογης 5 Ερωτησεων (μια από τις 5 είναι ορθη) ενας Υποψηφιος γνωριζει το αντικειμενο 70%. Αν απαντησε ορθα, ποια η πιθανοτητα να μην απαντησε τυχαια? Δεδομενα Η = το γεγονος ότι γνωριζει την απαντηση 𝛨 = το γεγονος ότι απαντησε ορθα 𝑃 𝛨 0,7 Απαντηση Η πιθανοτητα να μην απαντησε στην τυχη, δεδομενου οτι απαντησε ορθα είναι:

𝑃 𝛨 𝛨𝑃 𝛨 ∩ 𝛨

𝑃 𝛨

Από το Θεωρημα Ολικης Πιθανοτητας: 𝑃 𝛨 𝑃 𝛨 𝑃 𝛨 𝐻 𝑃 𝛨 𝑃 𝛨 𝛨

Αντικαθιστουμε: 𝑃 𝛨 𝛨 || |

, ∙, ∙ , ∙ ,

0,92

𝑃 𝛨 0,7 𝑃 𝛨 𝛨 1 𝑃 𝛨 0,3 𝑃 𝛨 𝛨 0,2 διοτι δεν γνωριζει την απαντηση και απαντησε τυχαια

Παραδειγμα: Ανιχνευση ανεπιθυμητων μηνυματων (spam) Εστω Φιλτρο ανεπιθυμητων (spam) μηνυματων. To Φιλτρο προγραμματιζεται να αναγνωριζει επιλεγμενες συγκεκριμενες λεξεις στα μηνυματα. Εχει διαπιστωθει από μετρησεις ότι 40% των μηνυματων ειναι ανεπιθυμητα και οτι 1% των ανεπιθυμητων μηνυματων περιεχουν τις συγκεκριμενες λεξεις που αναγνωριζει το Φιλτρο. Αυτές οι συγκεκριμενες λεξεις όμως, περιεχονται επισης και σε μηνυματα που δεν ειναι ανεπιθυμητα σε ποσοστο 0,4% Ποια η Πιθανοτητα να ληφθει μηνυμα ανεπιθυμητο, αν το Φιλτρο δειχνει ότι το μηνυμα είναι ανεπιθυμητο? Είναι ικανοποιητικο το Φιλτρο? Δεδομενα Η 1 : Το Μηνυμα είναι ανεπιθυμητο Η 0 : Το Μηνυμα δεν είναι ανεπιθυμητο Η : Το Φιλτρο δειχνει ότι το μηνυμα είναι ανεπιθυμητο Η : Το Φιλτρο δειχνει ότι το μηνυμα δεν είναι ανεπιθυμητο P[Η=1]=0.4 P[𝛨 |Η 1]=0.01 P[𝛨 |Η 0]=0.004

Απαντηση Η ζητουμενη Πιθανοτητα να ληφθει μηνυμα ανεπιθυμητο, αν το Φιλτρο δειχνει ότι το μηνυμα είναι ανεπιθυμητο είναι η Δεσμευμενη Πιθανοτητα: 𝑃 Η 1|𝛨 Από τον Τυπο του Bayes:


𝑃 𝛨 Η 1 𝑃 Η 1 𝑃 𝛨 Η 0 𝑃 Η 0

0.01 0.4

0.01 0.4 0.004 0.60.004

0.0064 0.625

Το Φιλτρο εχει ευστοχια 62.5%. Δεν κρινεται ικανοποιητικη. Απαιτουνται προσθετα κριτηρια (αλλες λεξεις, ονομα αποστολεα, αξιολογηση αποστολεα)

Θεωρημα Bayes. Ασκηση Ιουνιος 2019 Σε μια πολη υπαρχουν 2 Ομαδες Πληθυσμου Α, 𝛣 με ποσοστα 75%, 25% αντιστοιχως. Αγγλικα ομιλουν 20% των μελων της ομαδας 𝛢 και 10% των μελων της ομαδας Β. Ενας επισκεπτης συνανταει καποιον πολιτη που ομιλει Αγγλικα. Ποια η Πιθανοτητα ο πολιτης αυτος να ανηκει στην ομαδα Α? Ποια η Πιθανοτητα ο πολιτης αυτος να ανηκει στην ομαδα Β? Δεδομενα Εστω τα Ενδεχομενα [Α] Ο πολιτης ανηκει στην Ομαδα Α

[Β] Ο πολιτης ανηκει στην Ομαδα Β

[Ε] Ο πολιτης ομιλει Αγγλικα

𝑃 𝐴 0.75 𝑃 𝐵 0.25 𝑃 𝐸|𝐴 0.2 𝑃 𝐸|𝐵 0.1

Θεωρημα Bayes. Διερευνηση

ΑΣΚΗΣΗ 1 Διερευνηση Τυπου Bayes: 𝑌

Διερευνηστε τις Παραμετρους Σφαλματων α, β ώστε η Ευστοχια Υ (0≤Υ≤1) να λαμβανει αποδεκτες τιμες, πχ. Υ≥0.7=ξ Ητοι:

1) Επιλυστε την Ανισωση: 𝜉 , ξ ∈ (0,1)

Η τιμη της Επικρατησης Π είναι (0≤Π≤1) είναι δεδομενη , πχ. Π=0.1 ⟺ Ποια η Περιοχη Δ=Δ(ξ) του μοναδιαιου τετραγωνου, ωστε τα (α,β) ∈ Δ να ικανοποιουν την Ανισωση Επιλυση Αναλυτικη ή Αριθμητικη με Προγραμμα Input: οι τιμες των Παραμετρων (Π, ξ) Οutput: η Περιοχη Δ {βαθμος 0.8}

2) Αν α≥Α, τι τιμες δυναται να λαβει το β ώστε 𝜉 {βαθμος 0.1}

3) Αν β≥Β, τι τιμες δυναται να λαβει το α ώστε 𝜉 {βαθμος 0.1}

4) Πως μεταβαλλεται το ξ καθως αυξανει η Επικρατηση Π,

ώστε 𝜉 , για δεδομενα α,β? {βαθμος 0.5}

ΣΧΟΛΙΟ Ο Thomas Bayes (1701‐1761) ήταν υιος προτεστάντη κληρικού και διετέλεσε, για το μεγαλύτερο μέρος της ζωής του, προτεστάντης κληρικός στο Τάνμπριτζ Ουέλς. Παροτι γνωστός ως ικανός μαθηματικός, καμία εργασία του δεν δημοσιεύτηκε όσο ζούσε. Ο Bayes εκλέχτηκε μέλος της Βασιλικής Εταιρείας το 1742, ως «άνθρωπος εγνωσμένης αξίας, με σπουδαία κατάρτιση στη γεωμετρία και όλους τους κλάδους της μαθηματικής και φιλοσοφικής γνώσης και άξιος από όλες τις απόψεις να γίνει πολύτιμο μέλος μεταξύ ομοίων.» Μετά το θάνατο του Bayes, o φίλος του Richard Price ανακάλυψε ανάμεσα στα πράγματα του Bayes μια εργασία του για «την επίλυση ενός προβλήματος στη διδασκαλία του τυχαίου», που δημοσιεύτηκε στα πρακτικά της Βασιλικής Εταιρείας το 1763 και έκτοτε ανατυπώθηκε πολλές φορές. Αυτή η εργασία περιείχε την πεμπτουσία αυτού που σήμερα γνωρίζουμε ως θεώρημα του Bayes και η οποία επηρέασε και επηρεάζει σημαντικά την ανάπτυξη της σύγχρονης στατιστικής

Εφαρμογες Θ. Bayes: Αναλυση Δεδομενων Αξιολογηση Δοκιμαστηριων Ελεγχος Υποθεσεων Ταξινομιση Μαθηση Νοημοσυνη

• Gelman A., Carlin J., Stern H., Dunson D., Vehtari A., Rubin D. 2011, Bayesian Data Analysis Third Edition, CRC Press, Boca Raton, London, New York

• Murphy K. 2012, Machine Learning. A Probabilistic Perspective MIT Press, Cambridge, Massachusetts

• Pouget A., Beck J., Ma W., Latham P. 2013, Probabilistic brains: knowns and unknowns, Nature Neuroscience 16, No 9, 1170‐1178

• Lee M., Wagenmakers E.‐J. 2014, Bayesian Cognitive Modeling. A Practical Course Cambridge University Press, UK

• ERIC‐JAN Russell S. and Norvig P. 2016, Artificial Intelligence. A Modern Approach Third Edition, Pearson, Essex, UK

Ανεξαρτησια και Εξαρτηση Το Γεγονος Α είναι Ανεξαρτητο του Γεγονοτος Β ⟺ 𝑃 𝐴|𝐵 𝑃 𝐴 Λημμα H Ανεξαρτησια είναι Συμμετρικη σχεσηΑν το Α Ανεξαρτητο του Β, τοτε και το Β Ανεξαρτητο του Α. Δηλαδη τα γεγονοτα Α, Β ειναι Ανεξαρτητα (μεταξυ τους). Α,Β Ανεξαρτητα ⟺ P[A,B] = P[A] P[B] , προυποθεση: Ρ[Α] ≠ ∅, Ρ[Β] ≠ ∅ Αποδειξη

𝑷 𝐴│𝐵 𝑃 𝐴 ⟺𝑃 𝐴 ∩ 𝐵

𝑃 𝐵 𝑃 𝐴 ⟺𝑃 𝐴 ∩ 𝐵

𝑃 𝐴 𝑃 𝐵 ⟺ 𝑃 𝐵|𝐴 𝑃 𝐵

𝑃 𝐴|𝐵 Ρ Α και 𝑃 Β|Α Ρ Β , προυποθεση: Ρ Α ∅, Ρ Β ∅ ΣΧΟΛΙΟ Η συνθηκη: P[A,B] = P[A] P[B] , οριζει την Ανεξαρτησια Γεγονοτων χωρις την προυποθεση: Ρ[Α] ≠ ∅, Ρ[Β] ≠ ∅

Ορισμος Ξ, Η Ανεξαρτητα Γεγονοτα ⟺ 𝑃 Ξ ∩ Η 𝑃 Ξ ∙ 𝑃 Η Πορισμα 1 Αν τουλαχιστον ένα εκ των 𝛯, 𝛨 είναι Αδυνατο, τοτε τα γεγονοτα 𝛯, 𝛨 είναι Ανεξαρτητα Πορισμα 2 Τα Ανεξαρτητα Γεγονοτα 𝑃 Ξ ∩ Η 𝑃 Ξ ∙ 𝑃 Η δεν είναι Ασυμβατα Ξ ∩ Η ∅ , ουτε τα Ασυμβατα Γεγονοτα είναι Ανεξαρτητα Παραδειγμα: Τα Γεγονοτα Ξ10 και Η1 στα 2 ζαρια είναι Ασυμβατα αλλα δεν είναι Ανεξαρτητα: P[Ξ10 ]=P{ (4,6), (5,5),(6,4)}=

P[H5 ]=P{ (1,6), (6,1)} = P[Ξ10 ∩Η5 ]=0 , καθοτι Ξ10 ∩Η5 = ∅

Παραδειγμα

Γεγονος Α= το Αθροισμα των Ενδειξεων 2 ζαριων είναι 7 Γεγονος Β= η Ενδειξη εκαστου ζαριου δεν είναι πανω από 4 Είναι τα Α,Β Ανεξαρτητα? 𝑝 𝐴 𝑝 Β 𝑝 𝐴 𝑝 Β =

𝑝 𝐴, 𝐵 ≠𝑝 𝐴 𝑝 Β Τα Α,Β δεν είναι Ανεξαρτητα 2 Ξ2 ={ (1,1)} 1/36 3 Ξ3 ={ (1,2), (2,1)} 2/36 4 Ξ4 ={ (2,2), (1,3),(3,1)} 3/36 5 Ξ5 ={ (1,4), (2,3),(3,2), (4,1)} 4/36 6 Ξ6 ={ (1,5), (2,4),(3,3), (4,2), (5,1)} 5/36 7 Ξ7 ={ (1,6), (2,5),(3,4), (4,3), (5,2), (6,1)} 6/36 8 Ξ8 ={ (2,6), (3,5),(4,4), (5,3), (6,2)} 5/36 9 Ξ9 ={ (3,6), (4,5),(5,4), (6,3)} 4/36 10 Ξ10 ={ (4,6), (5,5),(6,4)} 3/36 11 Ξ11 ={ (5,6), (6,5)} 2/36 12 Ξ12 ={ (6,6)} 1/36

Ασκηση Είναι τα γεγονοτα {Χ1=7} , {Χ2=3} ανεξαρτητα? P[Χ1=7] = P[Χ2=3]= P[Χ1=7 , Χ2=3]=

Παραδειγμα: Ρίχνουμε ένα πράσινο και ένα κόκκινο ζάρι και θέτουμε: Α={το κόκκινο ζαρι έφερε 5}, Β={το άθροισμα είναι περιττός}, Γ={το άθροισμα είναι 11} Τότε: Τα Α,Β είναι Ανεξαρτητα Τα Α,Γ είναι Ανεξαρτητα Τα Β,Γ δεν είναι Ανεξαρτητα P[Α]= P[Β] = P[Γ] =

P[Α,Β]= ∙

P[Β,Γ]= ≠ ∙ Γ Β, επομένως τα Β,Γ «εξαρτώνται» πολύ

P[Α,Γ] = ≠ ∙

Θεωρημα Η Ανεξαρτησια 2 Γεγονοτων συνεπαγεται την Ανεξαρτησια των Συμπληρωματικων Γεγονοτων Αν τα Γεγονοτα Α,Β είναι Ανεξαρτητα, Τοτε είναι Ανεξαρτητα και τα Γεγονοτα: Α, Β Α , Β B, AAποδειξις

𝑝 𝐴 ∩ Β 𝑝 𝐴 𝑝 Β |𝐴 𝑝 𝐴 1 𝑝 Β|𝐴 𝑝 𝐴 1 𝑝 𝐵 𝑝 𝐴 𝑝 Β Ομοιως και τα αλλα ζευγη

ΣΧΟΛΙΟ Ποτε Ν Γεγονοτα είναι Ανεξαρτητα ? Αρκει να είναι Ανεξαρτητα ανα Ζευγη? OXI! Υπαρχουν Γεγονοτα Ανεξαρτητα ανα Ζευγη, Αλλα Ολικα Εξαρτημενα Παραδειγμα: 2 Ζαρια 𝛢 : Η Ενδειξη του ζαριου (1) ειναι Αρτιος Αριθμος 𝛢 : Η Ενδειξη του ζαριου (2) ειναι Αρτιος Αριθμος 𝛢 : Το Αθροισμα των Ενδειξεων των ζαριων ειναι Αρτιος Αριθμος P[𝛢 ] = P[𝛢 ]= P[𝛢 ]=

P[𝛢 𝛢 ] = P[𝛢 𝛢 ]= P[𝛢 𝛢 ]=

P[𝛢 𝛢 𝛢 ]= Τα ζευγη 𝛢 , 𝛢 ], 𝛢 , 𝛢 ], 𝛢 , 𝛢 ] είναι Ανεξαρτητα, αλλα P[𝛢 ] P[𝛢 ] P[𝛢 ]= ≠ = P[𝛢 𝛢 𝛢 ]

Το Αθροισμα των ενδειξεων 2 Ζαριων

Παρατηρησιμα Γεγονοτα Observable Events

Πιθανοτητα Probability

2 Ξ2 ={ (1,1)} 1/36=3% 3 Ξ3 ={ (1,2), (2,1)} 2/36=6% 4 Ξ4 ={ (2,2), (1,3),(3,1)} 3/36=8% 5 Ξ5 ={ (1,4), (2,3),(3,2), (4,1)} 4/36=11% 6 Ξ6 ={ (1,5), (2,4),(3,3), (4,2), (5,1)} 5/36=14% 7 Ξ7 ={ (1,6), (2,5),(3,4), (4,3), (5,2), (6,1)} 6/36=17% 8 Ξ8 ={ (2,6), (3,5),(4,4), (5,3), (6,2)} 5/36=14% 9 Ξ9 ={ (3,6), (4,5),(5,4), (6,3)} 4/36=11% 10 Ξ10 ={ (4,6), (5,5),(6,4)} 3/36=8% 11 Ξ11 ={ (5,6), (6,5)} 2/36=6% 12 Ξ12 ={ (6,6)} 1/36=3% P[Aθροισμα Αρτιος]=P[Aθροισμα Περιττος]=

ΣΧΟΛΙΟ Ποτε Ν Γεγονοτα είναι Ανεξαρτητα ? Υπαρχουν Γεγονοτα Ολικα Ανεξαρτητα, Αλλα Εξαρτημενα ανα Ζευγη? Παραδειγμα: 2 Ζαρια 𝛢 : Η Ενδειξη του ζαριου (1) ειναι 1 ή 2 ή 3 𝛢 : Η Ενδειξη του ζαριου (2) ειναι 3 ή 4 ή 5 𝛢 : Το Αθροισμα των Ενδειξεων των ζαριων ειναι 9 P[𝛢 𝛢 𝛢 ]= P[𝛢 ] P[𝛢 ] P[𝛢 ]= ∙ ∙ = Τα Γεγονοτα είναι Ολικα Ανεξαρτητα P[𝛢 𝛢 ] = P[𝛢 ] P[𝛢 ] = ∙ = ≠

P[𝛢 𝛢 ]= P[𝛢 ] P[𝛢 ]= ∙ = ≠

P[𝛢 𝛢 ]= P[𝛢 ] P[𝛢 ]= ∙ = ≠ Τα Γεγονοτα δεν είναι Ανεξαρτητα ανα ζευγη

Γεγονος Πιθανοτητα Δειγματοχώρος

𝛺 𝜅, 𝜆 : 𝜅, 𝜆 1,2,3,4,5,6 Tα 36 Στοιχειωδη Ενδεχομενα είναι Ισοπιθανα

Α 𝜅, 𝜆 : 𝜅 1,2,3, 𝜆 1,2,3,4,5,6 Η Ενδειξη του ζαριου (1) ειναι 1 ή 2 ή 3

𝑃 Α12

Α 𝜅, 𝜆 : 𝜅 3,4,5, 𝜆 1,2,3,4,5,6 Η Ενδειξη του ζαριου (1) ειναι 3 ή 4 ή 5

𝑃 Α12

Α (3,6), (4,5),(5,4), (6,3)} Το Αθροισμα των Ενδειξεων των ζαριων ειναι 9

𝑃 Α4

3619

Α Α (3,1), (3,2),(3,3),(3,4),(3,5), (3,6)} 𝑃 Α Α6

3616

Α Α 3,6 𝑃 Α Α1

36

Α Α (3,6), (4,5),(5,4) 𝑃 Α Α3

361

12

Α Α Α 3,6 𝑃 Α Α Α1

36

ΣΧΟΛΙΟ Ποτε Ν Γεγονοτα είναι Ανεξαρτητα ? Υπαρχουν Γεγονοτα Ολικα Ανεξαρτητα και Ανεξαρτητα ανα Ζευγη? Παραδειγμα: Ριψις Τριων Νομισματων 𝛢 : Η Ενδειξη του Νομισματος (1) ειναι Κεφαλή 𝛢 : Η Ενδειξη του Νομισματος (2) ειναι Κεφαλή 𝛢 : Η Ενδειξη του Νομισματος (3) ειναι Κεφαλή Τα γεγονότα 𝛢 , 𝛢 , 𝛢 είναι Ανεξάρτητα.

• P[𝛢 𝛢 ] P[𝛢 ]P[𝛢 ]

• P[𝛢 𝛢 ] P[𝛢 ]P[𝛢 ] 12

12

14

• P[𝛢 𝛢 ] P[𝛢 ]P[𝛢 ]

P[𝛢 𝛢 𝛢 ] P[𝛢 ]P[𝛢 ]P[𝛢 ]

Γεγονος Πιθανοτητα Δειγματοχώρος 𝛺 ΚΚΚ, ΚΚΓ, ΚΓΚ, ΓΚΚ, ΚΓΓ, ΓΚΓ, ΓΓΚ, ΓΓΓ

Tα 8 Στοιχειωδη Ενδεχομενα είναι Ισοπιθανα

Α ΚΚΚ, ΚΚΓ, ΚΓΚ, ΚΓΓ Η Ενδειξη του Νομισματος (1) ειναι Κεφαλή

𝑃 Α12

Α ΚΚΚ, ΚΚΓ, ΓΚΚ, ΓΚΓ Η Ενδειξη του Νομισματος (2) ειναι Κεφαλή

𝑃 Α12

Α ΚΚΚ, ΚΓΚ, ΓΚΚ, ΓΓΚ Η Ενδειξη του Νομισματος (3) ειναι Κεφαλή

𝑃 Α12

Α Α ΚΚΚ, ΚΚΓ 𝑃 Α Α14

Α Α ΚΚΚ, ΚΓΚ 𝑃 Α Α14

Α Α ΚΚΚ, ΓΚΚ 𝑃 Α Α14

Α Α Α ΚΚΚ 𝑃 Α Α Α18

ΣΧΟΛΙΟ Μετα την διαπιστωση ότι η Ολικη Ανεξαρτησια Γεγονοτων δεν συνεπαγεται κατ’ αναγκην Ανεξαρτησια ανα 2 και ότι η Ανεξαρτησια Γεγονοτων ανα 2 δεν συνεπαγεται κατ’ αναγκην Ολικη Ανεξαρτησια Γεγονοτων οδηγουμαστε στον εξης Ορισμο Ανεξαρτησιας Πολλων Γεγονοτων Ορισμος Α1, Α2,…, ΑΝ , Ν≥2 Ανεξαρτητα Γεγονοτα ⟺ Ακ, Αλ , κ≠λ Ανεξαρτητα Γεγονοτα και 𝛢 , 𝛢 , 𝛢 , κ≠λ κ≠μ μ≠λ Ανεξαρτητα Γεγονοτα … ⟺ 𝛢 , 𝛢 ,… 𝛢 , 𝜅 ≠ 𝜅 Ανεξαρτητα Γεγονοτα Για καθε n=2,3,…,Ν ⟺ P[𝛢 , 𝛢 ,… 𝛢 ] = P[𝛢 ] P[𝛢 ]… P[𝛢 ], Για καθε n=2,3,…,Ν

ΣΧΟΛΙΟ Το πλήθος των παραπάνω σχέσεων είναι πολύ μεγάλο ακόμη και για μικρά n, πράγμα που κάνει εξαιρετικά δύσκολο τον έλεγχο ανεξαρτησίας. Πράγματι, πρέπει να ελεγχθούν 2 𝑛 1 σχεσεις:

0

... 2 12 3 0 1

nn

k

n n n n n n nn k

Aξιωμα Γεγονότα που συμβαίνουν σε ΔΙΑΦΟΡΕΤΙΚΟΥΣ ΧΡΟΝΟΥΣ είτε σε ΔΙΑΦΟΡΕΤΙΚΟΥΣ ΧΩΡΟΥΣ για τα οποια δεν γνωριζουμε λογο εξαρτησης, θεωρούμε ότι ειναι Ανεξάρτητα.

Ορισμος Εξαρτημενα Γεγονοτα 𝑃 Α|Ξ 𝑃 𝐴 ⟺ Το Γεγονος Α Εξαρταται απο το Γεγονος Ξ Το Γεγονος Ξ Επηρεαζει το Γεγονος Α Η Εκτιμηση για το Γεγονος Α αλλαζει, αν συμβει το Γεγονος Ξ 𝑃 Α|Ξ 𝑃 𝐴 ⟺Το Γεγονος Α Εξαρταται Θετικα απο το Γεγονος Ξ Το Γεγονος Ξ Επηρεαζει Θετικα το Γεγονος Α Το Γεγονος Α καθισταται πιο Βεβαιο, αν συμβει το Γεγονος Ξ 𝑃 Α|Ξ 𝑃 𝐴 ⟺ Το Γεγονος Α Εξαρταται Αρνητικα απο το Γεγονος Ξ Το Γεγονος Ξ Επηρεαζει Αρνητικα το Γεγονος Α Το Γεγονος Α καθισταται πιο Αβεβαιο, αν συμβει το Γεγονος Ξ

𝔇 𝑦 |𝑥 P 𝑦 |𝑥 P 𝑦 P 𝑥ο βαθμος Εξαρτησης του Γεγονοτος Υ 𝑦 από το Γεγονος 𝛸 𝑥

Λημμα

Δεσμευμενη Πιθανοτητα. Παραδειγμα Διαυλος Επικοινωνιας Πομπος στελνει σηματα που αποτελουνται από 3 συμβολα α,β,γ Η συνοτητα εμφανισης των συμβολων ειναι 30%, 20%, 50% αντιστοιχα. Ο Δεκτης λαμβανει τα γραμματα διαδοχικα Κάθε ληψη εξαρταται μονο από την αντιστοιχη εκπομπη και οι ληψεις είναι ανεξαρτητες μεταξυ τους. Τα σηματα λαμβανονται με σφαλματα που εκτιμηθηκαν ως εξης: Όταν ο Πομπος στελνει το γραμμα α, ο Δεκτης λαμβανει το α με πιθανοτητα 70%, το β με πιθανοτητα 20%, το γ με πιθανοτητα 10%, Όταν ο Πομπος στελνει το γραμμα β, ο Δεκτης λαμβανει το α με πιθανοτητα 30%, το β με πιθανοτητα 60%, το γ με πιθανοτητα 10%, Όταν ο Πομπος στελνει το γραμμα γ, ο Δεκτης λαμβανει το α με πιθανοτητα 10%, το β με πιθανοτητα 50%, το γ με πιθανοτητα 40%. 1) Ποια η Πιθανοτητα ο Δεκτης να λαβει το σημα (ββα), αν ο Πομπος εστειλε το σημα (ββα) 2) Ποια η Πιθανοτητα ο Δεκτης να λαβει το σημα (ββα)? 3) Ποια η Πιθανοτητα ο Πομπος να εστειλε το σημα (αβγ), αν ο Δεκτης ελαβε το σημα (ββα)?

Δεδομενα

Εστω Α το Γεγονος ότι ο Πομπος στελνει το γραμμα α

Β το Γεγονος ότι ο Πομπος στελνει το γραμμα β

Γ το Γεγονος ότι ο Πομπος στελνει το γραμμα γ

𝛢 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα α

𝛣 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα β

𝛤 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα γ

Ρ[Α]=0.3 , Ρ[Β]=0.2 , Ρ[Γ]=0.5

𝛲 𝛢 𝛢 0.7 𝛲 𝛣 𝛢 0.2 𝛲 𝛤 𝛢 0.1

𝛲 𝛢 𝛣 0.3 𝛲 𝛣 𝛣 0.6 𝛲 𝛤 𝛣 0.1

𝛲 𝛢 𝛤 0.1 𝛲 𝛣 𝛤 0.5 𝛲 𝛤 𝛤 0.4

Απαντηση

Ερωτημα 1

𝛲 𝛣𝛣𝐴 𝛣𝐵𝐴 𝛲 𝛣 𝛣 𝛲 𝛣 𝛣 𝛲 𝛢 𝛢 0.6 ∙ 0.6 ∙ 0.7 0.252

Αφου οι ληψεις είναι ανεξαρτητες μεταξυ τους και κάθε ληψη εξαρταται μονο από την αντιστοιχη εκπομπη.

Υπομνηση Συμβολισμου: 𝜬 𝜢𝜩 𝜬 𝜢 ∙ 𝜩 𝜬 𝜢 ∩ 𝜩

Ερωτημα 2

Ρ[𝛣𝛣𝛢] =𝛲 𝛣 𝛲 𝛣 𝛲 𝛢

Υπολογιζουμε τις Πιθανοτητες 𝛲 𝛣 , 𝛲 𝛢 από το Θεωρημα Ολικης Πιθανοτητας:

𝛲 𝛣 𝛲 𝛣 𝛢 ∪ 𝛣 ∪ 𝛤 𝛲 𝛣𝛢 ∪ 𝛣𝛣 ∪ 𝛣𝛤 𝛲 𝛣𝛢 𝛲 𝛣𝛣 𝛲 𝛣𝛤 =

𝛲 𝛣|𝛢 𝛲 𝛢 𝛲 𝛣|𝛣 𝛲 𝛣 𝛲 𝛣|𝛤 𝛲 𝛤

0.2 ∙ 0.3 0.6 ∙ 0.2 0.5 ∙ 0.5 0.43

𝛲 𝛢 𝛲 𝛢 𝛢 ∪ 𝛣 ∪ 𝛤 𝛲 𝛢𝛢 ∪ 𝛢𝛣 ∪ 𝛢𝛤 𝛲 𝛢𝛢 𝛲 𝛢𝛣 𝛲 𝛢𝛤 =

𝛲 𝛢|𝛢 𝛲 𝛢 𝛲 𝛢|𝛣 𝛲 𝛣 𝛲 𝛢|𝛤 𝛲 𝛤

0.7 ∙ 0.3 0.3 ∙ 0.2 0.1 ∙ 0.5 0.32

Ρ[𝛣𝛣𝛢] =𝛲 𝛣 𝛲 𝛣 𝛲 𝛢 0.43 ∙ 0.43 ∙ 0.32 0.06

Ερωτημα 3

𝛲 𝐴𝐵𝛤 𝛣𝛣𝐴 𝛲 𝛢 𝛣 𝛲 𝛣 𝛣 𝛲 𝛤 𝛢 0.1395 ∙ 0.279 ∙ 0.156 0.006

𝛲 𝛢 𝛣 𝛲 𝛣 𝛢𝛲 𝛢𝛲 𝛣

0.20.3

0.43 0.1395

𝛲 𝛣 𝛣 𝛲 𝛣 𝛣𝛲 𝛣𝛲 𝛣

0.60.2

0.43 0.279

𝛲 𝛤 𝛢 𝛲 𝛢 𝛤𝛲 𝛤𝛲 𝛢

0.10.5

0.32 0.156

Δεσμευμενη Πιθανοτητα. Παραδειγμα Αποκωδικοποιηση Πομπος στελνει σηματα που αποτελουνται από 3 συμβολα α,β,γ Η συνοτητα εμφανισης των συμβολων ειναι 30%, 20%, 50% αντιστοιχα. Ο Δεκτης λαμβανει τα γραμματα διαδοχικα Κάθε ληψη εξαρταται μονο από την αντιστοιχη εκπομπη και οι ληψεις είναι ανεξαρτητες μεταξυ τους. Τα σηματα λαμβανονται με σφαλματα που εκτιμηθηκαν ως εξης: Όταν ο Πομπος στελνει το γραμμα α, ο Δεκτης λαμβανει το α με πιθανοτητα 70%, το β με πιθανοτητα 20%, το γ με πιθανοτητα 10%, Όταν ο Πομπος στελνει το γραμμα β, ο Δεκτης λαμβανει το α με πιθανοτητα 30%, το β με πιθανοτητα 60%, το γ με πιθανοτητα 10%, Όταν ο Πομπος στελνει το γραμμα γ, ο Δεκτης λαμβανει το α με πιθανοτητα 10%, το β με πιθανοτητα 50%, το γ με πιθανοτητα 40%. Ο Δεκτης αποκωδικοποιει το σημα που ελαβε με τον εξης κανονα: ως σημα που εσταλη επιλεγεται το σημα με μεγιστη πιθανοτητα να ειχε σταλει. Αν υπαρχουν περισσοτερα από ένα σηματα που εσταλησαν με μεγιστη πιθανοτητα, παρατιθετει ολες τις εκδοχες.

Να Αποκωδικοποιηθει το μηνυμα (αβ) που ελαβε ο Δεκτης

Δεδομενα

Εστω Α το Γεγονος ότι ο Πομπος στελνει το γραμμα α

Β το Γεγονος ότι ο Πομπος στελνει το γραμμα β

Γ το Γεγονος ότι ο Πομπος στελνει το γραμμα γ

𝛢 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα α

𝛣 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα β

𝛤 το Γεγονος ότι ο Δεκτης λαμβανει το γραμμα γ

Ρ[Α]=0.3 , Ρ[Β]=0.2 , Ρ[Γ]=0.5

𝛲 𝛢 𝛢 0.7 𝛲 𝛣 𝛢 0.2 𝛲 𝛤 𝛢 0.1

𝛲 𝛢 𝛣 0.3 𝛲 𝛣 𝛣 0.6 𝛲 𝛤 𝛣 0.1

𝛲 𝛢 𝛤 0.1 𝛲 𝛣 𝛤 0.5 𝛲 𝛤 𝛤 0.4

Απαντηση

Ο Πομπος δυναται να στειλει τα εξης 9 μηνυματα:

(αα), (αβ), (αγ), (βα), (ββ), (βγ), (γα), (γβ), (γγ)

Υπολογιζονται οι αντιστοιχες πιθανοτητες

𝛲 𝛢𝛢 𝛢𝛣 𝛲 𝛢 𝛢 𝛲 𝛢 𝛣 ≃ 0,656 ∙ 0,140 ≃ 0,092

𝛲 𝛢𝛣 𝛢𝛣 𝛲 𝛢 𝛢 𝛲 𝛣 𝛣 ≃ 0,656 ∙ 0,279 ≃ 0,183

𝛲 𝛢𝛤 𝛢𝛣 𝛲 𝛢 𝛢 𝛲 𝛤 𝛣 ≃ 0,656 ∙ 0,581 ≃ 0,381

𝛲 𝛣𝛢 𝛢𝛣 𝛲 𝛣 𝛢 𝛲 𝛢 𝛣 ≃ 0,187 ∙ 0,140 ≃ 0,026

𝛲 𝛣𝛣 𝛢𝛣 𝛲 𝛣 𝛢 𝛲 𝛣 𝛣 ≃ 0,187 ∙ 0,279 ≃ 0,052

𝛲 𝛣𝛤 𝛢𝛣 𝛲 𝛣 𝛢 𝛲 𝛤 𝛣 ≃ 0,187 ∙ 0,581 ≃ 0,109

𝛲 𝛤𝛢 𝛢𝛣 𝛲 𝛤 𝛢 𝛲 𝛢 𝛣 ≃ 0,156 ∙ 0,134 ≃ 0,021

𝛲 𝛤𝛣 𝛢𝛣 𝛲 𝛤 𝛢 𝛲 𝛣 𝛣 ≃ 0,156 ∙ 0,279 ≃ 0,044

𝛲 𝛤𝛤 𝛢𝛣 𝛲 𝛤 𝛢 𝛲 𝛤 𝛣 ≃ 0,156 ∙ 0,581 ≃ 0,091

Η μεγαλυτερη Πιθανοτητα είναι η 0,381.

Βασει του κανονα αποκωδικοποιησης τυπωνουμε (αγ), αν λαμβανουμε (αβ)

Υπολογισμοι Δεσμευμενων Πιθανοτητων που ειπεισερχονται

𝛲 𝛢 𝛢 𝛲 𝛢 𝛢𝛲 𝛢𝛲 𝛢

0,70,3

0,32 0,656

𝛲 𝛢 𝛲 𝛢 𝛢 ∪ 𝛣 ∪ 𝛤 𝛲 𝛢𝛢 ∪ 𝛢𝛣 ∪ 𝛢𝛤 𝛲 𝛢𝛢 𝛲 𝛢𝛣 𝛲 𝛢𝛤 =

𝛲 𝛢|𝛢 𝛲 𝛢 𝛲 𝛢|𝛣 𝛲 𝛣 𝛲 𝛢|𝛤 𝛲 𝛤

0.7 ∙ 0.3 0.3 ∙ 0.2 0.1 ∙ 0.5 0.32

𝛲 𝛢 𝛣 𝛲 𝛣 𝛢𝛲 𝛢𝛲 𝛣

0,20,3

0,43 0,134

𝛲 𝛣 𝛲 𝛣 𝛢 ∪ 𝛣 ∪ 𝛤 𝛲 𝛣𝛢 ∪ 𝛣𝛣 ∪ 𝛣𝛤 𝛲 𝛣𝛢 𝛲 𝛣𝛣 𝛲 𝛣𝛤 =

𝛲 𝛣|𝛢 𝛲 𝛢 𝛲 𝛣|𝛣 𝛲 𝛣 𝛲 𝛣|𝛤 𝛲 𝛤

0.2 ∙ 0.3 0.6 ∙ 0.2 0.5 ∙ 0.5 0.43

𝛲 𝛣 𝛣 𝛲 𝛣 𝛣𝛲 𝛣𝛲 𝛣

0,60,2

0,43 0.279

𝛲 𝛣 𝛢 𝛲 𝛢 𝛣𝛲 𝛣𝛲 𝛢

0,30,2

0,32 0.187

𝛲 𝛤 𝛣 𝛲 𝛣 𝛤𝛲 𝛤𝛲 𝛣

0,50,5

0,43 0.581

𝛲 𝛤 𝛢 𝛲 Α 𝛤𝛲 𝛤𝛲 𝛢

0,10,5

0,32 0.156

Ορισμος Εξαρτημενες και Ανεξαρτητες Μεταβλητες Οι Μεταβλητες Χ,Υ είναι Ανεξαρτητες ⟺ όλα τα Γεγονοτα 𝛸 𝜉, 𝛶 𝜂 είναι Ανεξαρτητα 𝑃 Χ ξ, Υ η 𝑃 𝛸 𝜉 ∙ 𝑃 𝛶 η , για ολες τις τιμες ξ, η που λαμβανουν οι Μεταβλητες Χ,Υ

Οι Μεταβλητες Χ,Υ είναι Εξαρτημενες ⟺ τουλαχιστον δυο Γεγονοτα 𝛸 𝜉, 𝛶 𝜂 δεν είναι Ανεξαρτητα 𝑃 Χ ξ, Υ η 𝑃 Χ ξ ∙ 𝑃 Υ η , για τουλαχιστον ένα ζευγος τιμων ξ, η που λαμβανουν οι Μεταβλητες Χ,Υ

Πως διαπιστωνεται η Εξαρτηση 2 Μεταβλητων?

H Εξαρτηση διαπιστωνεται από τις Παρατηρησεις

Πιναξ M Μετρησεων των 2 Μεταβλητων

Μεταβλητες 𝜲 𝚼

Καταχωρηση 1 𝜒 𝓎 Καταχωρηση 2 𝜒 𝓎

⋮ ⋮ ⋮ Καταχωρηση μ 𝜒 𝓎

⋮ ⋮ ⋮ Καταχωρηση M 𝜒 𝓎 Φασμα Τιμων της Χ: 𝜑𝜲 {𝑥 , 𝑥 , …, 𝑥 Φασμα Τιμων της Υ: 𝜑𝜰 { 𝑦 , 𝑦 , …, 𝑦

Παραδειγμα: Εξαρταται το Χρωμα των Οφθαλμων (Υ) από το Χρωμα Μαλλιων (Χ)? Δειγμα των Πρωτοετων Φοιτητων‐Φοιτητριων του 2012‐3 Υπολογισμοι: Ε. Καραπουλια, Ρ.‐Ν. Τασακης Πρωτοετεις Βιολογιας ΑΠΘ (2012‐3) Φασμα Τιμων της Χ: 𝜑𝜲 {𝒙𝟏, 𝒙𝟐, 𝒙𝟑, 𝒙𝟒, 𝒙𝟓

Χ Χρωμα Οφθαλμων 𝒙𝟏 Καφε 𝒙𝟐 Γαλαζια 𝒙𝟑 Καστανοπρασινα 𝒙𝟒 Πρασινα 𝒙𝟓 Γαλαζοπρασινα

Φασμα Τιμων της Υ: 𝜑𝜰 { 𝒚𝟏, 𝒚𝟐, 𝒚𝟑, 𝒚𝟒

Υ Χρωμα Μαλλιων𝒚𝟏 Μαυρα 𝒚𝟐 Ξανθα 𝒚𝟑 Καστανα 𝒚𝟒 Καστανοξανθα

Πιναξ Συναφειας της Y με την X

Τιμες της YΠεριθωριες Τιμες της X 𝑦 𝑦 … 𝑦

Τιμες της X

𝑥 M 𝑥 , 𝑦 M 𝑥 , 𝑦 … M 𝑥 , 𝑦 M 𝑥

𝑥 M 𝑥 , 𝑦 M 𝑥 , 𝑦 … M 𝑥 , 𝑦 M 𝑥⋮ ⋮ ⋮ ⋮ ⋮ ⋮

𝑥 M 𝑥 , 𝑦 M 𝑥 , 𝑦 … M 𝑥 , 𝑦 M 𝑥

Περιθωριες Τιμες της Y

M 𝑦

M 𝑦 … M 𝑦 M

Παραδειγμα: Εξαρταται το Χρωμα των Οφθαλμων (Υ) από το Χρωμα Μαλλιων (Χ)?

Πιναξ Συναφειας της Y με την X

Τιμες της Y Περιθωριες Τιμες της X 𝑦 𝑦 𝑦 𝑦 𝑦

Values of the Variable X

𝑥 4 0 3 1 0 8

𝑥 0 0 1 0 0 1

𝑥 26 1 2 2 0 31

𝑥 4 2 2 3 1 12

Περιθωριες Τιμες της Y 34

3

8 6

1

52

Πιναξ Κοινων Σχετικων Συχνοτητων της Υ με την Χ

Τιμες της Y Περιθωριες Πιθανοτητες της X𝑦 𝑦 … 𝑦

Τιμες της X

𝑥 P 𝑥 , 𝑦 P 𝑥 , 𝑦 … P 𝑥 , 𝑦 P 𝑥𝑥 P 𝑥 , 𝑦 P 𝑥 , 𝑦 … P 𝑥 , 𝑦 P 𝑥⋮ ⋮ ⋮ ⋮ ⋮ ⋮

𝑥 P 𝑥 , 𝑦 P 𝑥 , 𝑦 … P 𝑥 , 𝑦 P 𝑥Περιθωριες Πιθανοτητες της Y

P 𝑦 P 𝑦 … P 𝑦 1

P 𝑥 , 𝑦𝛭 𝑥 , 𝑦

𝛭


Πιναξ Κοινων Σχετικων Συχνοτητων της Υ με την Χ

Τιμες της Y Περιθωριες Πιθανοτητες της X 𝑦 𝑦 𝑦 𝑦 𝑦

Τιμες τηςX

𝑥 𝛲

𝛲0

52𝛲 𝛲 𝛲 P 𝑥

852

𝑥 𝛲

𝛲0


152

𝑥 𝛲

𝛲1

52𝛲 𝛲

252

𝛲 P 𝑥3152

𝑥 𝛲

𝛲2


1252

Περιθωριες Πιθανοτητες της Y

P 𝑦

P 𝑦

P 𝑦 P 𝑦

P 𝑦

1


Πιναξ Δεσμευμενων Πιθανοτητων της Υ εκ της Χ

Τιμες της Y Αθροισμα Γραμμων𝑦 𝑦 𝑦 𝑦 𝑦

Τιμες της X

𝑥 𝛲 | 𝛲 | 0 𝛲 | 𝛲 | 𝛲 | 0 1

𝑥 𝛲 | 0 𝛲 | 0 𝛲 | 1 𝛲 | 0 𝛲 | 0 1

𝑥 𝛲 | 𝛲 | 𝛲 | 𝛲 | 𝛲 | 0 1

𝑥 𝛲 | 𝛲 | 𝛲 | 𝛲 | 𝛲 | 1

Πιναξ Εξαρτησης της Υ εκ της Χ

Τιμες της Y𝑦 𝑦 … 𝑦Τιμες

της X

𝑥 𝔇 𝑦 |𝑥 𝔇 𝑦 |𝑥 … 𝔇 𝑦 𝑥 𝑥 𝔇 𝑦 |𝑥 𝔇 𝑦 |𝑥 … 𝔇 𝑦 𝑥 ⋮ ⋮ ⋮ ⋮ ⋮

𝑥 𝔇 𝑦 𝑥 𝔇 𝑦 𝑥 … 𝔇 𝑦 𝑥 𝔇 𝑦 |𝑥 P 𝑦 |𝑥 P 𝑦 P 𝑥 ο βαθμος Εξαρτησης του Γεγονοτος Υ=𝑦 από το Γεγονος Χ=𝑥 Παραδειγμα: Εξαρταται το Χρωμα των Οφθαλμων (Υ) από το Χρωμα Μαλλιων (Χ)?

Πιναξ Εξαρτησης της Υ εκ της Χ

Τιμες της Y𝑦 𝑦 𝑦 𝑦 𝑦

Τιμες της X

𝑥 𝔇 | 0.400 𝔇 | 0.009 𝔇 | 0.351 𝔇 | 0.047 𝔇 | 0.009

𝑥 𝔇 | 0.090 𝔇 | 0.007 𝔇 | 0.997 𝔇 | 0.002 𝔇 | 0.000

𝑥 𝔇 | 0,830 𝔇 | 0.002 𝔇 | 0.028 𝔇 | 0.009 𝔇 | 0.011

𝑥 𝔇 | 0,182 𝔇 | 0.154 𝔇 | 0.132 𝔇 | 0.223 𝔇 | 0.079

Ζητουμε: Απλουστερα Κριτηρια / Δεικτες Εξαρτησης, που να απαντουν στα Ερωτηματα:

• Είναι οι Μεταβλητες Ανεξαρτητες? Αν οι Μεταβλητες είναι Εξαρτημενες:

• Ποσο Εξαρτημενες είναι ? (Pearson, Αμοιβαια Πληροφορια) • Ποιος είναι ο τυπος της Εξαρτησης? (Αναλυση Παλινδρομησης)

Ανεξαρτησια και Εξαρτηση με Προυποθεσεις Ορισμος Τα Γεγονοτα Α,Β είναι Ανεξαρτητα με Προυποθεση το Γεγονος Ζ (υπο την Δεσμευση του Γεγονοτος Ζ)⟺ Τα Γεγονοτα Α,Β είναι Ανεξαρτητα ως προς την Δεσμευμενη Πιθανοτητα από το Ζ:

𝑃 𝐴 ∩ 𝐵 𝑃 𝐴 ∙ 𝑃 𝐵 p Α ∩ B|Z p Α|Z ∙ p B|Z

Λημμα Ισοδυναμη συνθηκη Ανεξαρτησιας με Προυποθεσεις p Α ∩ B|Z p Α|Z ∙ p B|Z ⟺ p A|B ∩ Z p A|Zp Α, B|Z p Α|Z ∙ p B|Z ⟺ p A|B, Z p A|Z Αποδειξη

p A ∩ B|Z p A|Z ∙ p B|Z

⟺ ∩ ||

p A|Z

p A ∩ B|Zp B|Z

p A ∩ B ∩ Z𝑝 𝑍

p B ∩ Z𝑝 𝑍

p A ∩ B ∩ Z𝑝 𝐵 ∩ 𝑍 p A|B ∩ Z

Λημμα Ενδεχομενα Εξαρτημενα καθιστανται Ανεξαρτητα Υπο Δεσμευσεις Αποδειξη με Παραδειγμα Ενα σφαιριδιο εξαγεται τυχαια από Kαλπη με 31 σφαιριδια Αριθμημενα. Δεν υπαρχουν σφαιριδια με τον αυτο αριθμο Θεωρουμε τα Γεγονοτα Α: το εξαγομενο σφαιριδιο να εχει αριθμο διαιρετο με τον αριθμο 2. Β: το εξαγομενο σφαιριδιο να εχει αριθμο διαιρετο με τον αριθμο 3. Ζ: το εξαγομενο σφαιριδιο να εχει αριθμο διαιρετο με τον αριθμο 5. Τα Ενδεχομενα Α και Β είναι Εξαρτημενα

P[Α∩B] P[Α] P[Β] Θα εξετασουμε αν τα Α, Β είναι παραμενουν Εξαρτημενα, Αν πραγματοποιηθει το Ζ:

𝑃 𝛢 ∩ 𝐵|𝛧P Α ∩ B ∩ Ζ

P Ζ

1316

31

16

𝑃 𝛢|𝛧 𝑃 𝛣|𝛧P Α ∩ Ζ

P ΖP Β ∩ Ζ

P Ζ

2316

31

3316

31

16

⟹ Τα Α,Β καθιστανται Ανεξαρτητα αν εχει πραγματοποιηθει το Ζ

Υπολογισμοι

Γεγονοτα Πιθανοτητα

Ο Δειγματικος Χωρος Ω αποτελειται από τους 31 αριθμους: 1,2, … ,30,31

Κάθε σφαιριδιο είναι ισοπιθανο

𝜜 𝟐, 𝟒, 𝟔, 𝟖, 𝟏𝟎, 𝟏𝟐, 𝟏𝟒, 𝟏𝟔, 𝟏𝟖, 𝟐𝟎, 𝟐𝟐, 𝟐𝟒, 𝟐𝟔, 𝟐𝟖, 𝟑𝟎 𝑷 𝜜𝟏𝟓𝟑𝟏

𝜝 𝟑, 𝟔, 𝟗, 𝟏𝟐, 𝟏𝟓, 𝟏𝟖, 𝟐𝟏, 𝟐𝟒, 𝟐𝟕, 𝟑𝟎 𝒑 𝑩𝟏𝟎𝟑𝟏

𝜡 𝟓, 𝟏𝟎, 𝟏𝟓, 𝟐𝟎, 𝟐𝟓, 𝟑𝟎 𝒑 𝜡𝟔

𝟑𝟏

𝜜 ∩ 𝜝 𝟔, 𝟏𝟐, 𝟏𝟖, 𝟐𝟒, 𝟑𝟎 𝑷 𝜜 ∩ 𝑩𝟓

𝟑𝟏

𝜜 ∩ 𝜡 𝟏𝟎, 𝟐𝟎, 𝟑𝟎 𝑷 𝜜 ∩ 𝜡𝟑

𝟑𝟏

𝑩 ∩ 𝜡 𝟏𝟓, 𝟑𝟎 𝑷 𝜝 ∩ 𝜡𝟐

𝟑𝟏

𝜜 ∩ 𝜝 ∩ 𝜡 𝟑𝟎 𝒑 𝜜 ∩ 𝜝 ∩ 𝜡𝟏

𝟑𝟏

Λημμα Ενδεχομενα Ανεξαρτητα καθιστανται Εξαρτημενα Υπο Δεσμευσεις Αποδειξη με Παραδειγμα Τρια σφαιριδια εξαγονται τυχαια από καλπη με επαναθεση. Η καλπη περιεχει 10 σφαιριδια αριθμημενα με τους αριθμους 0,1,2,…,9 Δεν υπαρχουν σφαιριδια με τον αυτο αριθμο. Θεωρουμε τα Γεγονοτα: Α: ο αριθμος του σφαιριδιου (1) είναι 0 Β: ο αριθμος του σφαιριδιου (2) είναι 0 Γ: δυο από τα 3 σφαιριδια εχουν τον αυτο αριθμο, ο οποιος όμως δεν συμπιπτει με τον αριθμο του τριτου σφαιριδιου Τα Β,Γ είναι Ανεξαρτητα 𝑝 𝐵 ∩ 𝛤 𝑝 𝐵 𝑝 𝛤 = Θα εξετασουμε αν τα Β, Γ είναι παραμενουν Ανεξαρτητα, Αν πραγματοποιηθει το Α:

𝑃 𝛣 ∩ 𝛤|𝛢P Β ∩ Γ ∩ Α

P Α

91000

110

9100

𝑃 𝛣|𝛢 𝑃 𝛤|𝛢 = 𝟗𝟏𝟎𝟎

⟹ Τα Β,Γ καθιστανται Εξαρτημενα αν εχει Πραγματοποιηθει το Α

Υπολογισμοι Γεγονος Πιθανοτητα Ο Δειγματικος Χωρος Ω περιεχει 10 3αδες (οι Διαταξεις μεγεθους 3 των Ν=10 Στοιχειων Με Επαναθεση)

Οι 1000 3αδες είναι ισοπιθανες

Το Α αποτελουν οι 100 3αδες 0, 𝑥 , 𝑥 𝑝 𝛢100

10001

10

Το B αποτελουν οι 100 3αδες 𝑥 , 0, 𝑥 𝑝 𝐵100

10001

10

To Γ αποτελουν οι 90 3αδες 𝑥, 𝑥, 𝑥 , 𝑥 𝑥, οι 90 3αδες 𝑥 , 𝑥, 𝑥 , 𝑥 𝑥 Και οι 90 3αδες 𝑥, 𝑥 , 𝑥 , 𝑥 𝑥

𝑝 𝛤270

100027

100

Το Β∩Γ αποτελουν οι 9 3αδες 0,0, 𝑥 , οι 9 3αδες 𝑥, 0,0 , Και οι 9 3αδες 𝑥, 0, 𝑥

𝑝 𝐵 ∩ 𝛤27

1000

Το Β∩Α αποτελουν οι 10 3αδες 0,0, 𝑥 𝑝 𝐵 ∩ 𝛢10

10001

100Το Γ∩Α αποτελουν οι 9 3αδες 0,0, 𝑥 , 𝑥 0 οι 9 3αδες 0, 𝑥, 𝑥 , 𝑥 0 Και οι 9 3αδες 0, 𝑥 , 0 , 𝑥 0

𝑝 𝛤 ∩ 𝐴27

1000

Το Β∩Γ∩Α αποτελουν οι 9 3αδες 0,0, 𝑥 , 𝑥 0 𝑝 𝛣 ∩ 𝛤 ∩ 𝐴9

1000

3. Δεσμευμενη Πιθανοτητα Iωαννης...

Documents

Transcript of 3. Δεσμευμενη Πιθανοτητα Iωαννης...