8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8...

21
Μαθηματικά και Στατιστικη στην Βιολογια ΧΕΙΜΕΡΙΝΟ ΕΞΑΜΗΝΟ (1 ο ) Mathematics and Statistics in Biology WINTER SEMESTER (1 st ) Τμημα Βιολογιας Αριστοτελειο Πανεπιστημιο Θεσσαλονικης School of Biology Aristotle University of Thessaloniki 8. Ελεγχος Υποθεσεων

Transcript of 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8...

Page 1: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Μαθηματικά και Στατιστικη στην Βιολογια ΧΕΙΜΕΡΙΝΟ ΕΞΑΜΗΝΟ (1ο)

Mathematics and Statistics in Biology WINTER SEMESTER (1st)

Τμημα Βιολογιας Αριστοτελειο Πανεπιστημιο Θεσσαλονικης

School of Biology Aristotle University of Thessaloniki

8. Ελεγχος Υποθεσεων

Page 2: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Δοκιμασια (Ελεγχος) Υποθεσης από Παρατηρησεις Δοκιμασια (Ελεγχος) Υποθεσης Παραμετρικος Δοκιμασια (Ελεγχος) Υποθεσης Μη Παραμετρικος Δοκιμασιες X2

Page 3: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Δοκιμασια (Ελεγχος) Υποθεσης από Παρατηρησεις Μηδενικη Υποθεση (Null Hypothesis) Η0 Εναλλακτικη Υποθεση (Alternative Hypothesis) Η1 Null Hypothesis Fisher 1935 Alternative Hypothesis Neyman Pearson, Fisher πολύ αντιθετος Η Παρατηρηση είναι (Στατιστικα) Σημαντικη (Statistically) Significant ⟺ H Δοκιμη Απορριπτει την Μηδενικη Υποθεση There are 4 possible Outcomes for the Null Hypothesis H0:

Page 4: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

ΣΧΕΣΗΠΑΡΑΤΗΡΗΣΗΣ

μετηνΠΡΑΓΜΑΤΙΚΟΤΗΤΑ

ΠΑΡΑΤΗΡΗΣΗ(ΕλεγχοςΗ0)Η0 isrejectedbytheTest⟺ ThetestisPositiveforH1

⟺ΤhereisΕvidenceforH1⟺ΔιαπιστωθηκεΕνοχη⟺PregnancyIndicated

Η0 isnotrejectedbytheTest⟺ThetestisNegativeforH1

⟺ΤhereisΝοΕvidenceforH1⟺ΔενδιαπιστωθηκεΕνοχη⟺PregnancynotIndicatedΠ

ΡΑΓΜΑΤΙΚ

ΟΤΗ

Σ

Η1 ΑληθηςΕίναι Ενοχος Pregnancy

TruePositive OutcomeConvictingtheGuiltyPregnancyIndicatedandTheLadyisPregnant

False Negative OutcomeErrorof2ndkindReleasingtheGuiltyPregnancynotIndicatedbutTheLadyisPregnant

Η1 ΨευδηςΕίναι Αθωος Νο Pregnancy

False Positive OutcomeErrorof1stkindConvictingtheInnocentPregnancyIndicatedbutTheLadyisnotPregnant

TrueNegative OutcomeReleasingtheInnocentPregnancynotIndicatedandTheLadyisnotPregnant

Page 5: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Δοκιμασια (Ελεγχος) Υποθεσης Παραμετρικος 0. Oριζω το Προβλημα και την Υποθεση Ερευνας προς Ελεγχο

το Φαρμακο Α θεραπευει σε χρονο τ = τ0 ημερες κατά μεσο ορο

Είναι το Φαρμακο Β καλυτερο από το Φαρμακο Α?

1. Oριζω την Μηδενικη Υποθεση (Null Hypothesis) Η0

Η0 = [τ=τ0]

2. Oριζω την Εναλλακτικη Υποθεση (Alternative Hypothesis) Η1

Η1= [τ< τ0]

3. Oριζω τις Παραδοχες

Οι εκτιμησεις του χρονου θεραπειας τ από το δειγμα

ακολουθουν Κανονικη Κατανομη με μεση τιμη μ και διασπορα σ2

4. Oριζω τον Στατιστικο (Στατιστικη Παραμετρο Ελεγχου) z από το δειγμα (ξ1,ξ2,…,ξΜ)

z=

Page 6: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

5.Oριζω την Περιοχη Απορριψης Ξ της Υποθεσης Η0 για σημαντικοτητα α

(α=0.1, α=0,05, α=0,01)

Ξ = ,P =α

Μονοπλευρη Υποθεση 6. Υπολογιζω την τιμη από το δειγμα

7. Συμπεραινω

∈Ξ⟹ΗΥποθεσηΗ1απορριπτεταιαπότηΔοκιμη

∉Ξ⟹ΗΥποθεσηΗ1δεναπορριπτεταιαπότηΔοκιμη

Page 7: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Δοκιμασια (Ελεγχος) Υποθεσης 0. Oριζω το Προβλημα και την Υποθεση Ερευνας προς Ελεγχο

το Φαρμακο Α θεραπευει σε χρονο τ = τ0 ημερες κατά μεσο ορο

Είναι το Φαρμακο Β χειροτερο από το Φαρμακο Α?

1. Oριζω την Μηδενικη Υποθεση (Null Hypothesis) Η0

Η0 = [τ=τ0]

2. Oριζω την Εναλλακτικη Υποθεση (Alternative Hypothesis) Η1

Η1= [τ > τ0]

3. Oριζω τις Παραδοχες

Οι εκτιμησεις του χρονου θεραπειας τ από το δειγμα

ακολουθουν Κανονικη κατανομη με μεση τιμη μ και διασπορα σ2

4. Oριζω τον Στατιστικο (Στατιστικη Παραμετρο Ελεγχου) z

από το δειγμα (ξ1,ξ2,…,ξΜ)

z=

Page 8: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

5.Oριζω την Περιοχη Απορριψης της Υποθεσης για σημαντικοτητα a

Ξ = ,P =α

Μονοπλευρη Υποθεση

6. Υπολογιζω την τιμη από το δειγμα

7. Συμπεραινω

∈Ξ⟹ΗΥποθεσηΗ1απορριπτεταιαπότηΔοκιμη ∉Ξ⟹ΗΥποθεσηΗ1δεναπορριπτεταιαπότηΔοκιμη

Page 9: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Δοκιμασια (Ελεγχος) Υποθεσης 0. Oριζω το Προβλημα και την Υποθεση Ερευνας προς Ελεγχο

το Φαρμακο Α θεραπευει σε χρονο τ = τ0 ημερες κατά μεσο ορο

Είναι το Φαρμακο Β διαφορετικο από το Φαρμακο Α?

1. Oριζω την Μηδενικη Υποθεση (Null Hypothesis) Η0

Η0 = [τ=τ0]

2. Oριζω την Εναλλακτικη Υποθεση (Alternative Hypothesis) Η1

Η1= [τ τ0]

3. Oριζω τις Παραδοχες

Οι εκτιμησεις του χρονου θεραπειας τ από το δειγμα

ακολουθουν Κανονικη κατανομη με μεση τιμη μ και διασπορα σ2

4. Oριζω τον Στατιστικο (Στατιστικη Παραμετρο Ελεγχου) z

από το δειγμα (ξ1,ξ2,…,ξΜ)

z=

Page 10: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

5.Oριζω την Περιοχη Απορριψης της Υποθεσης για σημαντικοτητα α

Ξ = | | | |/ ,P | |

/ = α

Διπλευρη Υποθεση

6. Υπολογιζω την τιμη από το δειγμα

7. Συμπεραινω

∈Ξ⟹ΗΥποθεσηΗ1απορριπτεταιαπότηΔοκιμη ∉Ξ⟹ΗΥποθεσηΗ1δεναπορριπτεταιαπότηΔοκιμη

Page 11: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Διαφορες Περιπτωσεις όπως στις Εκτιμησεις

Δοκιμασια (Ελεγχος) Υποθεσης Μη Παραμετρικος Έλεγχος κατανομής και εύρεση παράτυπων σημείων Ιστόγραμμα Θηκόγραμμα Q-Q Plot Stem and Leaf plot

Page 12: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Έλεγχος Kolmogorov-Smirnov Προϋποθέσεις Ελέγχου Kolmogorov – Smirnov 1 Το δείγμα είναι τυχαίο και προέρχεται απο Παρατηρησεις Ισοπιθανες 2. Οι παρατηρήσεις είναι Αμοιβαία Ανεξάρτητες (independence between the two samples) Oρισμος Η αθροιστική συνάρτηση κατανομής Kolmogorov είναι:

P(K ≤ x)

K η Τυχαια μεταβλητη Kolmogorov FΝ(x) = η εμπειρική αθροιστικη συνάρτηση κατανομής του δείγματος H0 : η FΝ(x) = F(x), οπου F δεδομενη αθροιστική συνάρτηση κατανομής

Page 13: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Θεωρημα Kolmogorov Αν F(x) συνεχής, τότε απορρίπτουμε την μηδενική υπόθεση H0 με σημαντικοτητα a αν √ supx| Fn(x) F(x)| > Κα Κα το ποσοστημοριο της Κατανομης Kolmogorov Για την περίπτωση δυο δειγμάτων με μεγέθη Μ για την F(x) και Ν για την G(x): Η μηδενική υπόθεση ισότητας των δυο εμπειρικών συναρτήσεων κατανομής (H0: F=G) Απορριπτεται αν:

αν supx|FΜ(x)-GΝ(x)| > Κα

Page 14: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Γενικευση σε Συνθετες Υποθεσεις

Διαμαχη Επιστημολογικη

Page 15: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Δοκιμασιες X2 Δοκιμασια X2 Kαλης Προσαρμογης (Goodness of Fit) 0. Oριζω το Προβλημα και την Υποθεση Ερευνας προς Ελεγχο

Ταξινομηση Ν Οντων σε n Κλασεις {σ1, σ2, ... σn}

Αριθμητικες ειτε Κατηγορικες μεταβλητες

Παραδειγμα: Ν σφαιριδια σε n δοχεια διαφορετικων χρωματων

Ν1 , Ν2 , ... , Νn oι αριθμοι των Οντων στις Κλασεις σ1 , σ2 , ... , σn , Ν1 + Ν2 + ... + Νn = Ν

Διαφερει η κατανομη που διαπιστωνω από την κατανομη με πιθανοτητες p1= p10,…, pn =pn0?

1. Oριζω την Μηδενικη Υποθεση (Null Hypothesis) Η0

Η0 = [p1= p10, p2= p20,…, pn =pn0 , p10 + p20 + ... + pn0 = 1 ]

2. Oριζω την Εναλλακτικη Υποθεση (Alternative Hypothesis) Η1

Η1 = [pκ pκ0, για τουλαχιστον καποιο κ=1,2,…n ] = οιαδηποτεδιαφοροποιησηαπότηνΗ0

Page 16: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

3. Oριζω τις Παραδοχες

p1, p2,…, pn oι (θεωρητικες) πιθανοτητες εκαστης κλασης, p1 + p2 + ... + pn = 1

Οι δοκιμες ανεξαρτητες

Θεωρημα

Η κοινη κατανομη πιθανοτητας είναι η Πολυωνυμικη (Γενικευση της Bernoulli)

ρ[Ν1 , Ν2 , ... , Νn] = !

! !… ! …

4. Oριζω το Στατιστικο (Στατιστικη Παραμετρο Δοκιμασιας) από το δειγμα (ξ1,ξ2,…,ξΜ)

ΣταθμισμενοΑθροισμαΤετραγωνωνΔιακυμανσεωνPearson

=∑ ∑

ο Θεωρητικα αναμενομενος αριθμος των Οντων στην Κλαση σκ , κ=1,2, ... , n

Page 17: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

5.Oριζω την Περιοχη Απορριψης Ξ της Υποθεσης για σημαντικοτητα a

Θεωρημα Pearson

Η Μεταβλητη =∑

ακολουθει κατανομη Xι – τετραγωνο βαθμου ν= Ν – 1

(λογω του περιορισμουΝ1 + Ν2 + ... + Νn = Ν)

Ξ = ,P =a

Pearson:

Cochran: και το πολύ 20% των μικροτερα του 5

Αλλως συμπτυξη κλασεων

6. Υπολογιζω την τιμη από το δειγμα

7. Συμπεραινω

∈Ξ⟹ΗΥποθεσηΗ1απορριπτεταιαπότηΔοκιμη

∉Ξ⟹ΗΥποθεσηΗ1δεναπορριπτεταιαπότηΔοκιμη

Page 18: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

Δοκιμασια X2 Αλληλοεξαρτηση (Interdependence) 0. Oριζω το Προβλημα και την Υποθεση Ερευνας προς Ελεγχο

Α1 , …, Ακ oι διαφορετικες κλασεις-τιμες της Μεταβλητης Α

Β1 , …, Βλ oι διαφορετικες κλασεις-τιμες της Μεταβλητης Β

Ναβ ο αριθμος των Οντων που εντασσονται στις κλασεις Αα και Ββ

Ν ο αριθμος των μετρησεων

Είναι οι Μεταβλητες Ανεξαρτητες?

Παραδειγμα

Α=το χρωμα των οφθαλμων των φοιτητων της Βιολογιας του ΑΠΘ

Α1=καστανο, Α2=γαλαζιο, Α3=πρασινο, Α4=γκρι, Α5=μελι

Β=το χρωμα των μαλιων των φοιτητων της Βιολογιας του ΑΠΘ

Β1=καστανο, Β2=μαυρο, Β3=ξανθο, Β4=κοκκινο

Page 19: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

1. Oριζω την Μηδενικη Υποθεση (Null Hypothesis) Η0

Η0 = [pαβ= pα pβ , α=1,…,κ , β=1,…,λ ]

2. Oριζω την Εναλλακτικη Υποθεση (Alternative Hypothesis) Η1

Η1 = [pαβ pα, pβ , για τουλαχιστον καποια α,β, α=1,…,κ , β=1,…,λ, κ=1,2,…n ]

= οιαδηποτεδιαφοροποιησηαπότηνΗ0

3. Oριζω τις Παραδοχες

Οι δοκιμες ανεξαρτητες

Page 20: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

4. Oριζω το Στατιστικο (Στατιστικη Παραμετρο Δοκιμασιας) από το δειγμα (ξ1,ξ2,…,ξΜ)

ΣταθμισμενοΑθροισμαΤετραγωνωνΔιακυμανσεωνPearson

=∑ ∑ ∑ ∑

ο Θεωρητικα αναμενομενος αριθμος των Οντων στις Κλασεις κ,λ

= ⋯

= ⋯

Page 21: 8. Ελεγχος Υποθεσεωνcosal.auth.gr/iantonio/sites/default/files/Lessons2015/BS 8 Ελεγχος... · 7. Συμπεραινω ... το Φαρμακο Α θεραπευει

5.Oριζω την Περιοχη Απορριψης Ξ της Υποθεσης για σημαντικοτητα a

Θεωρημα Pearson

Η Μεταβλητη =∑ ∑

ακολουθει κατανομη Xι – τετραγωνο βαθμου ν = (κ – 1)(λ 1)

Ξ =–

,P–

=a

Pearson:

Cochran: και το πολύ 20% των μικροτερα του 5

Αλλως συμπτυξη κλασεων

6. Υπολογιζω την τιμη από το δειγμα

7. Συμπεραινω

∈Ξ⟹ΗΥποθεσηΗ1απορριπτεταιαπότηΔοκιμη

∉Ξ⟹ΗΥποθεσηΗ1δεναπορριπτεταιαπότηΔοκιμη