ONE WAY ANOVA - Πανεπιστήμιο Πατρώνcostas/courses/anova_CRD_RCB_web.… · one...

completely random design with fixed effectscompletely random design with random effects

Randomized complete block design with fixed effects

ONE WAY ANOVA

∆.Π.Μ.Σ. ¨Μαθηµατικά των Υπολογιστών & των αποφάσεων¨

Πάτρα, 11 Ιανουαρίου 2011

∆.Π.Μ.Σ. ¨Μαθηµατικά των Υπολογιστών & των αποφάσεων¨ ONE WAY ANOVA



Πίνακας Περιεχοµένων

1 completely random design with fixed effects

2 completely random design with random effects

3 Randomized complete block design with fixed effects




Γενικά

΄Εχουµε N πειραµατικά δεδοµένα και επιθυµούµε να

µελετήσουµε τις επιδράσεις των k διαφορετικών ϑεραπειών. Οπότε

τα δεδοµένα διαιρούνται σε k υποοµάδες µεγέθους, αντίστοιχα,

n1, n2, ..., nk

∆ηλαδή οι k υποοµάδες µπορούµε να τις δούµε ότι αποτελούνται

από ανεξάρτητα τυχαία δείγµατα µεγέθους n1,n2, ...,nkαντίστοιχα, τα οποία έχουν προέλθει από πληθυσµούς µε µέσες

τιµές, µ1, µ2, ..., µk, αντίστοιχα.

Βασικός έλεγχος

H0 : µ1 = µ2 = ... = µk vs H1 : µi 6= µj για κάποιοi 6= j.




Επεξήγηση

One Way Classification

Μελετάµε ΜΟΝΟ έναν παράγοντα

Παράδειγµα 1 Ο τύπος της ϑεραπείας, ο οποίος λαµβάνεται.

Παράδειγµα 2 Εµπλέκεται µόνο η λίµνη.

Completely Random Design

Τα k δείγµατα είναι ανεξάρτητα το ένα από το άλλο.

fixed effects

Τα επίπεδα του κάθε παράγοντα που επιλέγονται είναι

συγκεκριµένα και καθορισµένα από τον πειραµατιστή.

Παράδειγµα 1 3 διαφορετικές ϑεραπείες

Παράδειγµα 2 4 λίµνες εµπλέκονται




Στατιστικές Συναρτήσεις

Τα δεδοµένα, συνήθως, δίνονται στην παρακάτω µορφή,

Επίπεδα Παράγοντα

1 2 . . . i . . . k

x11 x21 . . . xi1 . . . xk1x12 x22 . . . xi2 . . . xk2...

.... . .

.... . .

...

x1j x2j . . . xĳ . . . xkj...

.... . .

.... . .

...

x1n1 x2n2 . . . xini . . . xknk

Xĳ: µία τ.µ. η οποία ορίζει την µέτρηση της j πειραµατικής

µονάδας στο i επίπεδο του παράγοντα.

N =

k∑

i=1

ni είναι το συνολικό πλήθος των µετρήσεων.







1 2 . . . i . . . k

x11 x21 . . . xi1 . . . xk1x12 x22 . . . xi2 . . . xk2...

.... . .

.... . .

...

x1j x2j . . . xĳ . . . xkj...

.... . .

.... . .

...

x1n1 x2n2 . . . xini . . . xknk

Ti· =

ni∑

j=1

Xĳ: το σύνολο των µετρήσεων στο επίπεδο i.

X̄i· =1

niTi·: ο δειγµατικός µέσος στο επίπεδο i.







1 2 . . . i . . . k

x11 x21 . . . xi1 . . . xk1x12 x22 . . . xi2 . . . xk2...

.... . .

.... . .

...

x1j x2j . . . xĳ . . . xkj...

.... . .

.... . .

...

x1n1 x2n2 . . . xini . . . xknk

T·· =

k∑

i=1

ni∑

j=1

Xĳ =

k∑

i=1

Ti·: το σύνολο όλων των µετρήσεων.

X̄·· =1

NT··: ο ολικός δειγµατικός µέσος.




Βασικός ΄Ελεγχος

H0 : µ1 = µ2 = ... = µk = µ.

µi = η αναµενόµενη (µέση) τιµή στο i επίπεδο, i = 1,2, ..., k(µέση τιµή του i πληθυσµού)

µ = η µέση τιµή του πληθυσµού, ο οποίος δηµιουργείται ανκάνουµε τους k, έναν.

Παρατήρηση

∆ηλαδή, αν µi − µ 6= 0, για κάποιο i, τότε δεν ισχύει η H0.


Αν και κάθε µέλος του ίδιου πληθυσµού λαµβάνει την ίδια

ϑεραπεία, οι µετρήσεις που παίρνουµε ϑα διαφέρουν λόγω τυχαίων

επιδράσεων. ∆ηλαδή, µέσα (within) σε κάθε πληθυσµό, υπάρχει

κάποια ϕυσική µεταβλητότητα γύρω από τον µέσο του πληθυσµού.




Μαθηµατικό µοντέλο

Xĳ = µ+ (µi − µ) + (Xĳ − µi) , i = 1,2, ..., k , j = 1,2, ...,ni

µ 99K η συνολική µέση τιµή

µi − µ 99K µετράει την απόσταση από την συνολική µέση

τιµή, η οποία οφείλεται στο γεγονός ότι η µονάδα έλαβε την i

ϑεραπεία.

Xĳ − µi 99K τυχαία απόκλιση από τον µέσο του i πληθυσµού,

η οποία οφείλεται στις τυχαίες επιδράσεις.




Υποθέσεις

Τα k δείγµατα είναι ανεξάρτητα τυχαία δείγµατα από k

πληθυσµούς

Κάθε ένας από τους πληθυσµούς ακολουθεί κανονική

κατανοµή,

Κάθε ένας από τους πληθυσµούς έχει διασπορά σ2,

Xi1,Xi2, . . . ,Xik ανεξάρτητες τ.µ. ∼ N(µi , σ2).




Ανάλυση ∆ιασποράς

k∑

i=1

ni∑

j=1

(Xĳ − X ..)2 =

k∑

i=1

ni(X i. − X ..)2 +

k∑

i=1

b∑

j=1

(Xĳ − X i.)2





k∑

i=1

ni∑

j=1

(Xĳ − X ..)2 =

k∑

i=1

ni(X i. − X ..)2 +

k∑

i=1

b∑

j=1

(Xĳ − X i.)2

SSTotal : Μετράει την συνολική µεταβλητότητα των δεδοµένων





k∑

i=1

ni∑

j=1

(Xĳ − X ..)2 =

k∑

i=1

ni(X i. − X ..)2 +

k∑

i=1

b∑

j=1

(Xĳ − X i.)2

SSTreatment : Μετράει την µεταβλητότητα που οφείλεται στις διαφορετικές ϑεραπείες





k∑

i=1

ni∑

j=1

(Xĳ − X ..)2 =

k∑

i=1

ni(X i. − X ..)2 +

k∑

i=1

b∑

j=1

(Xĳ − X i.)2

SSError : Μετράει την µεταβλητότητα που οφείλεται στους τυχαίους παράγοντες





k∑

i=1

ni∑

j=1

(Xĳ − X ..)2 =

k∑

i=1

ni(X i. − X ..)2 +

k∑

i=1

b∑

j=1

(Xĳ − X i.)2


MSTr =SSTr

k − 1E(MSTr) = σ

2 +

k∑

i=1

ni(µi − µ)2

k − 1

MSE =SSE

N − kE(MSE) = σ

2




Πίνακας ANOVA

Πηγή της ϐαθµοί

Μεταβλητότητας ελευθερίας SS MS F

Επίπεδο k − 1

k∑

i=1

T2i.

ni−

T2..

N

SSTr

k − 1

MSTr

MSE

Υπόλοιπο N − k SSTotal − SSTrSSE

N − k

Συνολικά N − 1

k∑

i=1

ni∑

j=1

X2ĳ −T2..

N




Παρατηρήσεις

Γιατί να χρησιµοποιήσουµε ANOVA και όχι διαδοχικά t-test;

1 Χρονοβόρο, π.χ. 5 επίπεδα 10 t-test

2 Υπάρχει πιθανότητα σε κάθε t-test 5% να µην είναι σωστό,οπότε αν κάνουµε 3 t-test, αυτή η πιθανότητα γίνεται

(1 − 0.953)× 100% = 14.26%.

Αν απορρίψουµε την H0, σηµαίνει ότι υπάρχει διαφορά µεταξύ

των µέσων των k πληθυσµών. Που υπάρχουν αυτές οι διαφορές ;

PostHoc - tests




Παρατηρήσεις

PostHoc - tests

1 Duncan’s multiple range test

2 Least Squared Distributed (LSD)

3 Bonferroni

4 Sceffé

΄Ελεγχος Οµοσκεδαστικότητας

H0 : σ21 = σ

22 = ... = σ

2k = σ

2




completely random design with random effects

Προηγουµένως τα επίπεδα των παραγόντων (οι ϑεραπείες)

ήταν καθορισµένες από τον πειραµατιστή. Η λογική του

πειράµατος ήταν ότι επιθυµούσαµε να συγκρίνουµε τους

µέσους k συγκεκριµένων πληθυσµών.

Αν ϑέλουµε να κάνουµε σύγκριση περισσοτέρων πληθυσµών,

τότε οι k πληθυσµοί µπορεί να ϑεωρηθούν σαν ένα δείγµα

από αυτούς και λέµε ότι έχουµε τυχαίους παράγοντες (και

όχι δοσµένους k).

Αυτό που µας ενδιαφέρει, πλέον, είναι να δούµε αν υπάρχει

κάποιου είδους µεταβλητότητα (variability) ανάµεσα σε

όλους τους πληθυσµούς.




Επεξήγηση

One Way Classification

Μελετάµε ΜΟΝΟ έναν παράγοντα

Παράδειγµα 3 Κατασκευαστές ενός συγκεκριµένου µέσου

Completely Random Design

Τα k (k = 3) δείγµατα είναι ανεξάρτητα το ένα από το άλλο.

with random effects

Τα επίπεδα του κάθε παράγοντα που επιλέγονται ∆ΕΝ είναι

συγκεκριµένα και καθορισµένα από τον πειραµατιστή.

Παράδειγµα 3 συγκρίνουµε την ποιότητα των µέσων ΟΛΩΝ των

κατασκευαστών




Μαθηµατικό µοντέλο

Xĳ = µ+ Ti + Eĳ , i = 1,2, ..., k , j = 1,2, ...,ni

µ 99K η συνολική µέση τιµή

Ti = µi − µ 99K µετράει την απόσταση από την συνολικήµέση τιµή, η οποία οφείλεται στο γεγονός ότι η µονάδα έλαβε

την i ϑεραπεία.

Eĳ = Xĳ − µi 99K τυχαία απόκλιση από τον µέσο του iπληθυσµού, η οποία οφείλεται στις τυχαίες επιδράσεις.




Υποθέσεις

Τα k δείγµατα είναι ανεξάρτητα τυχαία δείγµατα από k

πληθυσµούς, οι οποίοι επιλέχθηκαν τυχαία από ένα

µεγαλύτερο σύνολο πληθυσµών

Κάθε ένας από τους πληθυσµούς του µεγαλύτερου συνόλου

ακολουθεί κανονική κατανοµή, οπότε κάθε ένας από τους k

δειγµατικούς πληθυσµούς ακολουθεί κανονική κατανοµή.

Κάθε ένας από τους πληθυσµούς του µεγαλύτερου συνόλου

έχει διασπορά σ2, οπότε κάθε ένας από τους k δειγµατικούς

πληθυσµούς έχει διασπορά σ2.

T1, T2, . . . , Tk ανεξάρτητες τ.µ. ∼ N(0, σ2Tr).

∆ιαφορά µε fixed effects

Εδώ, οι Ti = µi − µ ϑεωρούνται τυχαίες µεταβλητές, ενώ στα fixedeffect models ϑεωρούνται άγνωστες σταθερές.




Λογική Ελέγχου

Αν στους πληθυσµούς του µεγαλύτερου συνόλου, οι µέσοι

είναι ακριβώς οι ίδιοι, σηµαίνει ότι για τους k δειγµατικούς

πληθυσµούς, οι τ.µ. Ti = µi − µ δεν ϑα διαφέρουν (δεν ϑαµεταβάλλονται)

H0 : σ2Tr = 0 , H1 : σ

2Tr 6= 0.

Η ανάλυση είναι ακριβώς η ίδια µε το προηγούµενο µοντέλο

(CRD with fixed effects) µε την µόνη διαφορά ότι,

E(MSTr) = σ2 + n0σ

2Tr , n0 =

N −

k∑

i=1

n2i

N

k − 1.








k∑

i=1

T2i.

ni−

T2..

N

SSTr

k − 1

MSTr

MSE

Υπόλοιπο N − k SSTotal − SSTrSSE

N − k

Συνολικά N − 1

k∑

i=1

ni∑

j=1

X2ĳ −T2..

N


∆εν χρειάζεται περαιτέρω ανάλυση, ακόµα και αν η H0απορρίπτεται.





block

Τα πειραµατικά δεδοµένα συγκρίνονται σε σχέση µε κάποια

µεταβλητή

randomized

Οι ϑεραπείες γίνονται τυχαία σε κάθε block

complete

Κάθε ϑεραπεία χρησιµοποιείται ακριβώς µια ϕορά µέσα σε κάθε

block

with fixed effects

Οι ϑεραπείες και τα block που επιλέγονται είναι συγκεκριµένα

και καθορισµένα από τον πειραµατιστή.




Χρήσιµοι ΄Ελεγχοι

H0 : µ1. = µ2. = . . . = µk. (µi.είναι ο µέσος της i ϑεραπείας)

H ′0 : µ.1 = µ.2 = . . . = µ.b (µ.jείναι ο µέσος του j block)


Αναµένουµε την H ′0 να απορριφθεί !






Θεραπεία

1 2 . . . i . . . k

1 x11 x21 . . . xi1 . . . xk12 x12 x22 . . . xi2 . . . xk2...

......

. . ....

. . ....

j x1j x2j . . . xĳ . . . xkj...

......

. . ....

. . ....

b x1b x2b . . . xib . . . xkb

Xĳ: µία τ.µ. η οποία ορίζει την µέτρηση της i ϑεραπείας στο j

block

N = kb είναι το συνολικό πλήθος των µετρήσεων






Θεραπεία

1 2 . . . i . . . k

1 x11 x21 . . . xi1 . . . xk12 x12 x22 . . . xi2 . . . xk2...

......

. . ....

. . ....

j x1j x2j . . . xĳ . . . xkj...

......

. . ....

. . ....

b x1b x2b . . . xib . . . xkb

Ti. =

b∑

j=1

Xĳ το σύνολο των µετρήσεων της i ϑεραπείας

X i. =1

bTi. ο δειγµατικός µέσος της i ϑεραπείας






Θεραπεία

1 2 . . . i . . . k

1 x11 x21 . . . xi1 . . . xk12 x12 x22 . . . xi2 . . . xk2...

......

. . ....

. . ....

j x1j x2j . . . xĳ . . . xkj...

......

. . ....

. . ....

b x1b x2b . . . xib . . . xkb

T.j =

k∑

i=1

Xĳ το σύνολο των µετρήσεων στο j block

X.j =

1

kT.j ο δειγµατικός µέσος στο j block






Θεραπεία

1 2 . . . i . . . k

1 x11 x21 . . . xi1 . . . xk12 x12 x22 . . . xi2 . . . xk2...

......

. . ....

. . ....

j x1j x2j . . . xĳ . . . xkj...

......

. . ....

. . ....

b x1b x2b . . . xib . . . xkb

T..=

k∑

i=1

b∑

j=1

Xĳ το σύνολο όλων των µετρήσεων

X..=

1

NT.. ο δειγµατικός µέσος όλων των µετρήσεων




Μαθηµατικό Μοντέλο

Xĳ = µ+ τi + βj + Eĳ , i = 1,2, ..., k , j = 1,2, ..., b

µ 99K ο ολικός µέσος του πληθυσµού

τi = µi. − µ 99K απόσταση από την συνολική µέση τιµή, ηοποία οφείλεται στο γεγονός ότι η µονάδα έλαβε την i

ϑεραπεία.

µi. 99K ο µέσος της i ϑεραπείας

βj = µ.j − µ 99K απόσταση από την συνολική µέση τιµή, ηοποία οφείλεται στο j block

µ.j 99K ο µέσος του j block

Eĳ = Xĳ − µĳ 99K τυχαία απόκλιση από τον µέσο του iπληθυσµού, η οποία οφείλεται στις τυχαίες επιδράσεις.

µĳ 99K ο µέσος της i ϑεραπείας και του j block




Υποθέσεις

Xĳ ∼ N(µĳ, σ2) , i = 1,2, ..., k j = 1,2, ..., b

∆εν υπάρχει καµµιά αλληλεπίδραση µεταξύ ϑεραπειών και

block

(Οι διαφορές στους µέσους για δύο ϑεραπείες είναι η ίδια σε

κάθε block και οι διαφορές στους µέσους για κάθε δύο block

είναι η ίδια για κάθε ϑεραπεία)

Παράδειγµα

1 2 3

1 µ11 = 4 µ21 = 5 µ31 = 72 µ12 = 3 µ22 = 4 µ32 = 6





k∑

i=1

b∑

j=1

(Xĳ−X ..)2 = b

k∑

i=1

(X i.−X ..)2+k

b∑

j=1

(X.j−X ..)

2+k∑

i=1

b∑

j=1

(Xĳ−X i.−X .j+X ..)2





k∑

i=1

b∑

j=1

(Xĳ − X ..)2 = b

k∑

i=1

(X i.−X ..)2+k

b∑

j=1

(X.j−X ..)

2+k∑

i=1

b∑

j=1

(Xĳ−X i.−X .j+X ..)2

SSTotal : Μετράει την συνολική µεταβλητότητα των δεδοµένων





k∑

i=1

b∑

j=1

(Xĳ−X ..)2 = b

k∑

i=1

(X i. − X ..)2+k

b∑

j=1

(X.j−X ..)

2+k∑

i=1

b∑

j=1

(Xĳ−X i.−X .j+X ..)2

SSTreatment : Μετράει την µεταβλητότητα που οφείλεται στις διαφορετικές ϑεραπείες





k∑

i=1

b∑

j=1

(Xĳ−X ..)2 = b

k∑

i=1

(X i.−X ..)2+k

b∑

j=1

(X.j − X ..)

2+k∑

i=1

b∑

j=1

(Xĳ−X i.−X .j+X ..)2

SSBlocks : Μετράει την µεταβλητότητα που οφείλεται στα διαφορετικά block





k∑

i=1

b∑

j=1

(Xĳ−X ..)2 = b

k∑

i=1

(X i.−X ..)2+k

b∑

j=1

(X.j−X ..)

2+k∑

i=1

b∑

j=1

(Xĳ − X i. − X .j + X ..)2

SSError : Μετράει την µεταβλητότητα που οφείλεται σε τυχαίους παράγοντες





k∑

i=1

b∑

j=1

(Xĳ−X ..)2 = b

k∑

i=1

(X i.−X ..)2+k

b∑

j=1

(X.j−X ..)

2+k∑

i=1

b∑

j=1

(Xĳ−X i.−X .j+X ..)2


MSTr =SSTr

k − 1E(MSTr) = σ

2 +b

k − 1

k∑

i=1

(µi. − µ)2

MSBl =SSBl

b − 1E(MSBl) = σ

2 +k

b − 1

b∑

j=1

(µ.j − µ)

2

MSE =SSE

(k − 1)(b − 1)E(MSE) = σ

2




΄Ελεγχοι Υποθέσεων

H0 : µ1. = µ2. = . . . = µk. vs H1 : µi. 6= µj. για κάποιο(i, j)

Απορρίπτω την H0, εάν :MSTr

MSE> Fk−1,(k−1)(b−1),a

H ′0 : µ.1 = µ.2 = . . . = µ.b vs H1 : µ.i 6= µ.j για κάποιο(i, j)

Απορρίπτω την H ′0, εάν :MSTr

MSE> Fb−1,(k−1)(b−1),a








k∑

i=1

T2i.

b−

T2..

N

SSTr

k − 1

MSTr

MSE

block b − 1

b∑

j=1

T2.j

k−

T2..

N

SSBl

b − 1

MSBl

MSE

Υπόλοιπο (k − 1)(b − 1) SSTotal − SSTr − SSBlSSE

(k − 1)(b − 1)

Συνολικά kb − 1

k∑

i=1

b∑

j=1

X2ĳ −

T2..

N




Παρατηρήσεις :

Υπάρχει περίπτωση να υπάρχει αλληλεπίδραση µεταξύ ϑεραπειών

και block, δηλ. να υπάρχει έλλειψη συνέπειας στην συµπεριφορά

των ϑεραπειών κατά µήκος των block ή και αντίστροφα, κάτι που

πρέπει να ελεγχθεί. (΄Ελεγχος Σφαιρικότητας)









Αν απορριφτεί η H0, τότε κάνουµε τον έλεγχο του Duncan

SSRp = rp

√

MSE

b









Αν απορριφτεί η H0, τότε κάνουµε τον έλεγχο του Duncan

SSRp = rp

√

MSE

b

Υπάρχει περίπτωση οι ϑεραπείες να είναι συγκεκριµένες, αλλά τα

block να εκλέγονται τυχαία από ένα µεγαλύτερο σύνολο block, σε

αυτήν την περίπτωση έχουµε την ίδια ανάλυση για την H0, αλλά

H ′0 : σ2Bl = 0 (καµµιά µεταβλητότητα στην επίδραση των block)

Αυτό το µοντέλο ονοµάζεται µικτό





΄Ενα άλλο µικτό µοντέλο είναι τα block να είναι δοσµένα, αλλά οι

ϑεραπείες τυχαίες.





΄Ενα άλλο µικτό µοντέλο είναι τα block να είναι δοσµένα, αλλά οι

ϑεραπείες τυχαίες.

Και οι ϑεραπείες και τα block να είναι τυχαία επιλεγµένα (Τυχαίο

µοντέλο)


completely random design with fixed effectscompletely random design with random effectsRandomized complete block design with fixed effects

ONE WAY ANOVA - Πανεπιστήμιο Πατρώνcostas/courses/anova_CRD_RCB_web.… · one...

Documents

Transcript of ONE WAY ANOVA - Πανεπιστήμιο Πατρώνcostas/courses/anova_CRD_RCB_web.… · one...